diff --git a/v1.13.x/en/guide/subnet/index.html b/v1.13.x/en/guide/subnet/index.html
index 48d0a5ae4..7855e5f28 100644
--- a/v1.13.x/en/guide/subnet/index.html
+++ b/v1.13.x/en/guide/subnet/index.html
@@ -152,7 +152,7 @@
 <span class=w>  </span><span class=nt>allowSubnets</span><span class=p>:</span>
 <span class=w>  </span><span class="p p-Indicator">-</span><span class=w> </span><span class="l l-Scalar l-Scalar-Plain">10.16.0.0/16</span>
 <span class=w>  </span><span class="p p-Indicator">-</span><span class=w> </span><span class="l l-Scalar l-Scalar-Plain">10.18.0.0/16</span>
-</code></pre></div> <h2 id=underlay-settings>Underlay Settings<a class=headerlink href=#underlay-settings title="Permanent link">&para;</a></h2> <blockquote> <p>This part of the feature is only available for Underlay type Subnets.</p> </blockquote> <ul> <li><code>vlan</code>: If an Underlay network is used, this field is used to control which Vlan CR the Subnet is bound to. This option defaults to the empty string, meaning that the Underlay network is not used.</li> <li><code>logicalGateway</code>: Some Underlay environments are pure Layer 2 networks, with no physical Layer 3 gateway. In this case a virtual gateway can be set up with the OVN to connect the Underlay and Overlay networks. The default value is: <code>false</code>.</li> </ul> <h2 id=gateway-check-settings>Gateway Check Settings<a class=headerlink href=#gateway-check-settings title="Permanent link">&para;</a></h2> <p>By default <code>kube-ovn-cni</code> will request the gateway using ICMP or ARP protocol after starting the Pod and wait for the return to verify that the network is working properly. Some Underlay environment gateways cannot respond to ARP requests, or scenarios that do not require external connectivity, the checking can be disabled .</p> <div class=highlight><pre><span></span><code><span class=nt>apiVersion</span><span class=p>:</span><span class=w> </span><span class="l l-Scalar l-Scalar-Plain">kubeovn.io/v1</span>
+</code></pre></div> <h2 id=underlay-settings>Underlay Settings<a class=headerlink href=#underlay-settings title="Permanent link">&para;</a></h2> <blockquote> <p>This part of the feature is only available for Underlay type Subnets.</p> </blockquote> <ul> <li><code>vlan</code>: If an Underlay network is used, this field is used to control which Vlan CR the Subnet is bound to. This option defaults to the empty string, meaning that the Underlay network is not used.</li> <li><code>logicalGateway</code>: Some Underlay environments are pure Layer 2 networks, with no physical Layer 3 gateway. In this case a virtual gateway can be set up with the OVN to connect the Underlay and Overlay networks. The default value is: <code>false</code>.</li> </ul> <h2 id=gateway-check-settings>Gateway Check Settings<a class=headerlink href=#gateway-check-settings title="Permanent link">&para;</a></h2> <p>By default <code>kube-ovn-cni</code> will request the gateway using ICMP or ARP protocol after starting the Pod and wait for the return to verify that the network is working properly. Some Underlay environment gateways cannot respond to ICMP requests, or scenarios that do not require external connectivity, the checking can be disabled .</p> <div class=highlight><pre><span></span><code><span class=nt>apiVersion</span><span class=p>:</span><span class=w> </span><span class="l l-Scalar l-Scalar-Plain">kubeovn.io/v1</span>
 <span class=nt>kind</span><span class=p>:</span><span class=w> </span><span class="l l-Scalar l-Scalar-Plain">Subnet</span>
 <span class=nt>metadata</span><span class=p>:</span>
 <span class=w>  </span><span class=nt>name</span><span class=p>:</span><span class=w> </span><span class="l l-Scalar l-Scalar-Plain">disable-gw-check</span>
@@ -170,7 +170,7 @@
 <span class=w>  </span><span class=nt>name</span><span class=p>:</span><span class=w> </span><span class="l l-Scalar l-Scalar-Plain">sample1</span>
 <span class=nt>spec</span><span class=p>:</span>
 <span class=w>  </span><span class=nt>mtu</span><span class=p>:</span><span class=w> </span><span class="l l-Scalar l-Scalar-Plain">1300</span>
-</code></pre></div> <h2 id=other-advanced-settings>Other Advanced Settings<a class=headerlink href=#other-advanced-settings title="Permanent link">&para;</a></h2> <ul> <li><a href=../ippool/ >Configure IPPool</a></li> <li><a href=../../advance/nat-policy-rule/ >Default VPC NAT Policy Rule</a></li> <li><a href=../qos/ >Manage QoS</a></li> <li><a href=../../advance/multi-nic/ >Manage Multiple Interface</a></li> <li><a href=../../advance/dhcp/ >DHCP</a></li> <li><a href=../../advance/external-gateway/ >External Gateway</a></li> <li><a href=../../advance/with-ovn-ic/ >Cluster Inter-Connection with OVN-IC</a></li> <li><a href=../../advance/vip/ >VIP Reservation</a></li> </ul> <p><a class=md-button href=https://jinshuju.net/f/lyrEow target=_blank><span class=twemoji><svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M9.5 4C5.36 4 2 6.69 2 10c0 1.89 1.08 3.56 2.78 4.66L4 17l2.5-1.5c.89.31 1.87.5 2.91.5A5.22 5.22 0 0 1 9 14c0-3.31 3.13-6 7-6 .19 0 .38 0 .56.03C15.54 5.69 12.78 4 9.5 4m-3 2.5a1 1 0 0 1 1 1 1 1 0 0 1-1 1 1 1 0 0 1-1-1 1 1 0 0 1 1-1m5 0a1 1 0 0 1 1 1 1 1 0 0 1-1 1 1 1 0 0 1-1-1 1 1 0 0 1 1-1M16 9c-3.31 0-6 2.24-6 5s2.69 5 6 5c.67 0 1.31-.08 1.91-.25L20 20l-.62-1.87C20.95 17.22 22 15.71 22 14c0-2.76-2.69-5-6-5m-2 2.5a1 1 0 0 1 1 1 1 1 0 0 1-1 1 1 1 0 0 1-1-1 1 1 0 0 1 1-1m4 0a1 1 0 0 1 1 1 1 1 0 0 1-1 1 1 1 0 0 1-1-1 1 1 0 0 1 1-1Z"/></svg></span> 微信群</a> <a class=md-button href=https://communityinviter.com/apps/kube-ovn/kube-ovn/ target=_blank><span class=twemoji><svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M6 15a2 2 0 0 1-2 2 2 2 0 0 1-2-2 2 2 0 0 1 2-2h2v2m1 0a2 2 0 0 1 2-2 2 2 0 0 1 2 2v5a2 2 0 0 1-2 2 2 2 0 0 1-2-2v-5m2-8a2 2 0 0 1-2-2 2 2 0 0 1 2-2 2 2 0 0 1 2 2v2H9m0 1a2 2 0 0 1 2 2 2 2 0 0 1-2 2H4a2 2 0 0 1-2-2 2 2 0 0 1 2-2h5m8 2a2 2 0 0 1 2-2 2 2 0 0 1 2 2 2 2 0 0 1-2 2h-2v-2m-1 0a2 2 0 0 1-2 2 2 2 0 0 1-2-2V5a2 2 0 0 1 2-2 2 2 0 0 1 2 2v5m-2 8a2 2 0 0 1 2 2 2 2 0 0 1-2 2 2 2 0 0 1-2-2v-2h2m0-1a2 2 0 0 1-2-2 2 2 0 0 1 2-2h5a2 2 0 0 1 2 2 2 2 0 0 1-2 2h-5Z"/></svg></span> Slack</a> <a class=md-button href=https://twitter.com/KubeOvn target=_blank><span class=twemoji><svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M22.46 6c-.77.35-1.6.58-2.46.69.88-.53 1.56-1.37 1.88-2.38-.83.5-1.75.85-2.72 1.05C18.37 4.5 17.26 4 16 4c-2.35 0-4.27 1.92-4.27 4.29 0 .34.04.67.11.98C8.28 9.09 5.11 7.38 3 4.79c-.37.63-.58 1.37-.58 2.15 0 1.49.75 2.81 1.91 3.56-.71 0-1.37-.2-1.95-.5v.03c0 2.08 1.48 3.82 3.44 4.21a4.22 4.22 0 0 1-1.93.07 4.28 4.28 0 0 0 4 2.98 8.521 8.521 0 0 1-5.33 1.84c-.34 0-.68-.02-1.02-.06C3.44 20.29 5.7 21 8.12 21 16 21 20.33 14.46 20.33 8.79c0-.19 0-.37-.01-.56.84-.6 1.56-1.36 2.14-2.23Z"/></svg></span> Twitter</a> <a class=md-button href=https://ma.alauda.cn/p/2f53a target=_blank><span class=twemoji><svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="m20 8-8 5-8-5V6l8 5 8-5m0-2H4c-1.11 0-2 .89-2 2v12a2 2 0 0 0 2 2h16a2 2 0 0 0 2-2V6a2 2 0 0 0-2-2Z"/></svg></span> Support</a></p> <aside class=md-source-file> <span class=md-source-file__fact> <span class=md-icon title="Last update"> <svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M21 13.1c-.1 0-.3.1-.4.2l-1 1 2.1 2.1 1-1c.2-.2.2-.6 0-.8l-1.3-1.3c-.1-.1-.2-.2-.4-.2m-1.9 1.8-6.1 6V23h2.1l6.1-6.1-2.1-2M12.5 7v5.2l4 2.4-1 1L11 13V7h1.5M11 21.9c-5.1-.5-9-4.8-9-9.9C2 6.5 6.5 2 12 2c5.3 0 9.6 4.1 10 9.3-.3-.1-.6-.2-1-.2s-.7.1-1 .2C19.6 7.2 16.2 4 12 4c-4.4 0-8 3.6-8 8 0 4.1 3.1 7.5 7.1 7.9l-.1.2v1.8Z"/></svg> </span> <span class="git-revision-date-localized-plugin git-revision-date-localized-plugin-date">February 5, 2024</span> </span> <span class=md-source-file__fact> <span class=md-icon title=Created> <svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M14.47 15.08 11 13V7h1.5v5.25l3.08 1.83c-.41.28-.79.62-1.11 1m-1.39 4.84c-.36.05-.71.08-1.08.08-4.42 0-8-3.58-8-8s3.58-8 8-8 8 3.58 8 8c0 .37-.03.72-.08 1.08.69.1 1.33.32 1.92.64.1-.56.16-1.13.16-1.72 0-5.5-4.5-10-10-10S2 6.5 2 12s4.47 10 10 10c.59 0 1.16-.06 1.72-.16-.32-.59-.54-1.23-.64-1.92M18 15v3h-3v2h3v3h2v-3h3v-2h-3v-3h-2Z"/></svg> </span> <span class="git-revision-date-localized-plugin git-revision-date-localized-plugin-date">May 24, 2022</span> </span> <span class=md-source-file__fact> <span class=md-icon title=Contributors> <svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M12 2A10 10 0 0 0 2 12c0 4.42 2.87 8.17 6.84 9.5.5.08.66-.23.66-.5v-1.69c-2.77.6-3.36-1.34-3.36-1.34-.46-1.16-1.11-1.47-1.11-1.47-.91-.62.07-.6.07-.6 1 .07 1.53 1.03 1.53 1.03.87 1.52 2.34 1.07 2.91.83.09-.65.35-1.09.63-1.34-2.22-.25-4.55-1.11-4.55-4.92 0-1.11.38-2 1.03-2.71-.1-.25-.45-1.29.1-2.64 0 0 .84-.27 2.75 1.02.79-.22 1.65-.33 2.5-.33.85 0 1.71.11 2.5.33 1.91-1.29 2.75-1.02 2.75-1.02.55 1.35.2 2.39.1 2.64.65.71 1.03 1.6 1.03 2.71 0 3.82-2.34 4.66-4.57 4.91.36.31.69.92.69 1.85V21c0 .27.16.59.67.5C19.14 20.16 22 16.42 22 12A10 10 0 0 0 12 2Z"/></svg> </span> <span>GitHub</span> <nav> <a href=https://github.com/oilbeater class=md-author title=@oilbeater> <img src="https://avatars.githubusercontent.com/u/1189736?v=4&size=72" alt=oilbeater> </a> <a href=https://github.com/changluyi class=md-author title=@changluyi> <img src="https://avatars.githubusercontent.com/u/47097611?v=4&size=72" alt=changluyi> </a> <a href=https://github.com/lynn901 class=md-author title=@lynn901> <img src="https://avatars.githubusercontent.com/u/11764870?v=4&size=72" alt=lynn901> </a> <a href=https://github.com/zhangzujian class=md-author title=@zhangzujian> <img src="https://avatars.githubusercontent.com/u/13048299?v=4&size=72" alt=zhangzujian> </a> <a href=https://github.com/kubeovn/docs/blob/master/docs/guide/subnet.en.md class="md-author md-author--more"> +2 </a> </nav> </span> </aside> <h2 id=__comments>Comments</h2> <script src=https://giscus.app/client.js data-repo=kubeovn/kube-ovn data-repo-id="MDEwOlJlcG9zaXRvcnkxNzcwNjg5NjE=" data-category=Announcements data-category-id=DIC_kwDOCo3boc4CAj60 data-mapping=pathname data-reactions-enabled=1 data-emit-metadata=0 data-input-position=bottom data-theme=light data-lang=en crossorigin=anonymous async>
+</code></pre></div> <h2 id=other-advanced-settings>Other Advanced Settings<a class=headerlink href=#other-advanced-settings title="Permanent link">&para;</a></h2> <ul> <li><a href=../ippool/ >Configure IPPool</a></li> <li><a href=../../advance/nat-policy-rule/ >Default VPC NAT Policy Rule</a></li> <li><a href=../qos/ >Manage QoS</a></li> <li><a href=../../advance/multi-nic/ >Manage Multiple Interface</a></li> <li><a href=../../advance/dhcp/ >DHCP</a></li> <li><a href=../../advance/external-gateway/ >External Gateway</a></li> <li><a href=../../advance/with-ovn-ic/ >Cluster Inter-Connection with OVN-IC</a></li> <li><a href=../../advance/vip/ >VIP Reservation</a></li> </ul> <p><a class=md-button href=https://jinshuju.net/f/lyrEow target=_blank><span class=twemoji><svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M9.5 4C5.36 4 2 6.69 2 10c0 1.89 1.08 3.56 2.78 4.66L4 17l2.5-1.5c.89.31 1.87.5 2.91.5A5.22 5.22 0 0 1 9 14c0-3.31 3.13-6 7-6 .19 0 .38 0 .56.03C15.54 5.69 12.78 4 9.5 4m-3 2.5a1 1 0 0 1 1 1 1 1 0 0 1-1 1 1 1 0 0 1-1-1 1 1 0 0 1 1-1m5 0a1 1 0 0 1 1 1 1 1 0 0 1-1 1 1 1 0 0 1-1-1 1 1 0 0 1 1-1M16 9c-3.31 0-6 2.24-6 5s2.69 5 6 5c.67 0 1.31-.08 1.91-.25L20 20l-.62-1.87C20.95 17.22 22 15.71 22 14c0-2.76-2.69-5-6-5m-2 2.5a1 1 0 0 1 1 1 1 1 0 0 1-1 1 1 1 0 0 1-1-1 1 1 0 0 1 1-1m4 0a1 1 0 0 1 1 1 1 1 0 0 1-1 1 1 1 0 0 1-1-1 1 1 0 0 1 1-1Z"/></svg></span> 微信群</a> <a class=md-button href=https://communityinviter.com/apps/kube-ovn/kube-ovn/ target=_blank><span class=twemoji><svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M6 15a2 2 0 0 1-2 2 2 2 0 0 1-2-2 2 2 0 0 1 2-2h2v2m1 0a2 2 0 0 1 2-2 2 2 0 0 1 2 2v5a2 2 0 0 1-2 2 2 2 0 0 1-2-2v-5m2-8a2 2 0 0 1-2-2 2 2 0 0 1 2-2 2 2 0 0 1 2 2v2H9m0 1a2 2 0 0 1 2 2 2 2 0 0 1-2 2H4a2 2 0 0 1-2-2 2 2 0 0 1 2-2h5m8 2a2 2 0 0 1 2-2 2 2 0 0 1 2 2 2 2 0 0 1-2 2h-2v-2m-1 0a2 2 0 0 1-2 2 2 2 0 0 1-2-2V5a2 2 0 0 1 2-2 2 2 0 0 1 2 2v5m-2 8a2 2 0 0 1 2 2 2 2 0 0 1-2 2 2 2 0 0 1-2-2v-2h2m0-1a2 2 0 0 1-2-2 2 2 0 0 1 2-2h5a2 2 0 0 1 2 2 2 2 0 0 1-2 2h-5Z"/></svg></span> Slack</a> <a class=md-button href=https://twitter.com/KubeOvn target=_blank><span class=twemoji><svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M22.46 6c-.77.35-1.6.58-2.46.69.88-.53 1.56-1.37 1.88-2.38-.83.5-1.75.85-2.72 1.05C18.37 4.5 17.26 4 16 4c-2.35 0-4.27 1.92-4.27 4.29 0 .34.04.67.11.98C8.28 9.09 5.11 7.38 3 4.79c-.37.63-.58 1.37-.58 2.15 0 1.49.75 2.81 1.91 3.56-.71 0-1.37-.2-1.95-.5v.03c0 2.08 1.48 3.82 3.44 4.21a4.22 4.22 0 0 1-1.93.07 4.28 4.28 0 0 0 4 2.98 8.521 8.521 0 0 1-5.33 1.84c-.34 0-.68-.02-1.02-.06C3.44 20.29 5.7 21 8.12 21 16 21 20.33 14.46 20.33 8.79c0-.19 0-.37-.01-.56.84-.6 1.56-1.36 2.14-2.23Z"/></svg></span> Twitter</a> <a class=md-button href=https://ma.alauda.cn/p/2f53a target=_blank><span class=twemoji><svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="m20 8-8 5-8-5V6l8 5 8-5m0-2H4c-1.11 0-2 .89-2 2v12a2 2 0 0 0 2 2h16a2 2 0 0 0 2-2V6a2 2 0 0 0-2-2Z"/></svg></span> Support</a></p> <aside class=md-source-file> <span class=md-source-file__fact> <span class=md-icon title="Last update"> <svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M21 13.1c-.1 0-.3.1-.4.2l-1 1 2.1 2.1 1-1c.2-.2.2-.6 0-.8l-1.3-1.3c-.1-.1-.2-.2-.4-.2m-1.9 1.8-6.1 6V23h2.1l6.1-6.1-2.1-2M12.5 7v5.2l4 2.4-1 1L11 13V7h1.5M11 21.9c-5.1-.5-9-4.8-9-9.9C2 6.5 6.5 2 12 2c5.3 0 9.6 4.1 10 9.3-.3-.1-.6-.2-1-.2s-.7.1-1 .2C19.6 7.2 16.2 4 12 4c-4.4 0-8 3.6-8 8 0 4.1 3.1 7.5 7.1 7.9l-.1.2v1.8Z"/></svg> </span> <span class="git-revision-date-localized-plugin git-revision-date-localized-plugin-date">April 17, 2024</span> </span> <span class=md-source-file__fact> <span class=md-icon title=Created> <svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M14.47 15.08 11 13V7h1.5v5.25l3.08 1.83c-.41.28-.79.62-1.11 1m-1.39 4.84c-.36.05-.71.08-1.08.08-4.42 0-8-3.58-8-8s3.58-8 8-8 8 3.58 8 8c0 .37-.03.72-.08 1.08.69.1 1.33.32 1.92.64.1-.56.16-1.13.16-1.72 0-5.5-4.5-10-10-10S2 6.5 2 12s4.47 10 10 10c.59 0 1.16-.06 1.72-.16-.32-.59-.54-1.23-.64-1.92M18 15v3h-3v2h3v3h2v-3h3v-2h-3v-3h-2Z"/></svg> </span> <span class="git-revision-date-localized-plugin git-revision-date-localized-plugin-date">May 24, 2022</span> </span> <span class=md-source-file__fact> <span class=md-icon title=Contributors> <svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M12 2A10 10 0 0 0 2 12c0 4.42 2.87 8.17 6.84 9.5.5.08.66-.23.66-.5v-1.69c-2.77.6-3.36-1.34-3.36-1.34-.46-1.16-1.11-1.47-1.11-1.47-.91-.62.07-.6.07-.6 1 .07 1.53 1.03 1.53 1.03.87 1.52 2.34 1.07 2.91.83.09-.65.35-1.09.63-1.34-2.22-.25-4.55-1.11-4.55-4.92 0-1.11.38-2 1.03-2.71-.1-.25-.45-1.29.1-2.64 0 0 .84-.27 2.75 1.02.79-.22 1.65-.33 2.5-.33.85 0 1.71.11 2.5.33 1.91-1.29 2.75-1.02 2.75-1.02.55 1.35.2 2.39.1 2.64.65.71 1.03 1.6 1.03 2.71 0 3.82-2.34 4.66-4.57 4.91.36.31.69.92.69 1.85V21c0 .27.16.59.67.5C19.14 20.16 22 16.42 22 12A10 10 0 0 0 12 2Z"/></svg> </span> <span>GitHub</span> <nav> <a href=https://github.com/zhangzujian class=md-author title=@zhangzujian> <img src="https://avatars.githubusercontent.com/u/13048299?v=4&size=72" alt=zhangzujian> </a> <a href=https://github.com/oilbeater class=md-author title=@oilbeater> <img src="https://avatars.githubusercontent.com/u/1189736?v=4&size=72" alt=oilbeater> </a> <a href=https://github.com/bobz965 class=md-author title=@bobz965> <img src="https://avatars.githubusercontent.com/u/7981158?v=4&size=72" alt=bobz965> </a> <a href=https://github.com/changluyi class=md-author title=@changluyi> <img src="https://avatars.githubusercontent.com/u/47097611?v=4&size=72" alt=changluyi> </a> <a href=https://github.com/kubeovn/docs/blob/master/docs/guide/subnet.en.md class="md-author md-author--more"> +3 </a> </nav> </span> </aside> <h2 id=__comments>Comments</h2> <script src=https://giscus.app/client.js data-repo=kubeovn/kube-ovn data-repo-id="MDEwOlJlcG9zaXRvcnkxNzcwNjg5NjE=" data-category=Announcements data-category-id=DIC_kwDOCo3boc4CAj60 data-mapping=pathname data-reactions-enabled=1 data-emit-metadata=0 data-input-position=bottom data-theme=light data-lang=en crossorigin=anonymous async>
 </script> <script>
     var palette = __md_get("__palette")
     if (palette && typeof palette.color === "object")
diff --git a/v1.13.x/guide/subnet/index.html b/v1.13.x/guide/subnet/index.html
index d41125f80..ec9c6519a 100644
--- a/v1.13.x/guide/subnet/index.html
+++ b/v1.13.x/guide/subnet/index.html
@@ -152,7 +152,7 @@
 <span class=w>  </span><span class=nt>allowSubnets</span><span class=p>:</span>
 <span class=w>  </span><span class="p p-Indicator">-</span><span class=w> </span><span class="l l-Scalar l-Scalar-Plain">10.16.0.0/16</span>
 <span class=w>  </span><span class="p p-Indicator">-</span><span class=w> </span><span class="l l-Scalar l-Scalar-Plain">10.18.0.0/16</span>
-</code></pre></div> <h2 id=underlay>Underlay 相关选项<a class=headerlink href=#underlay title="Permanent link">&para;</a></h2> <blockquote> <p>该部分功能只对 Underlay 类型子网生效。</p> </blockquote> <ul> <li><code>vlan</code>: 如果使用 Underlay 网络，该字段用来控制该 Subnet 和哪个 Vlan CR 进行绑定。该选项默认为空字符串，即不使用 Underlay 网络。</li> <li><code>logicalGateway</code>: 一些 Underlay 环境为纯二层网络，不存在物理的三层网关。在这种情况下可以借助 OVN 本身的能力设置一个虚拟网关，将 Underlay 和 Overlay 网络打通。默认值为：<code>false</code>。</li> </ul> <h2 id=_11>网关检查设置<a class=headerlink href=#_11 title="Permanent link">&para;</a></h2> <p>默认情况下 <code>kube-ovn-cni</code> 在启动 Pod 后会使用 ICMP 或 ARP 协议请求网关并等待返回， 以验证网络工作正常，在部分 Underlay 环境网关无法响应 ARP 请求，或无需网络外部联通的场景 可以关闭网关检查。</p> <div class=highlight><pre><span></span><code><span class=nt>apiVersion</span><span class=p>:</span><span class=w> </span><span class="l l-Scalar l-Scalar-Plain">kubeovn.io/v1</span>
+</code></pre></div> <h2 id=underlay>Underlay 相关选项<a class=headerlink href=#underlay title="Permanent link">&para;</a></h2> <blockquote> <p>该部分功能只对 Underlay 类型子网生效。</p> </blockquote> <ul> <li><code>vlan</code>: 如果使用 Underlay 网络，该字段用来控制该 Subnet 和哪个 Vlan CR 进行绑定。该选项默认为空字符串，即不使用 Underlay 网络。</li> <li><code>logicalGateway</code>: 一些 Underlay 环境为纯二层网络，不存在物理的三层网关。在这种情况下可以借助 OVN 本身的能力设置一个虚拟网关，将 Underlay 和 Overlay 网络打通。默认值为：<code>false</code>。</li> </ul> <h2 id=_11>网关检查设置<a class=headerlink href=#_11 title="Permanent link">&para;</a></h2> <p>默认情况下 <code>kube-ovn-cni</code> 在启动 Pod 后会使用 ICMP 或 ARP 协议请求网关并等待返回， 以验证网络工作正常，在部分 Underlay 环境网关无法响应 ICMP 请求，或无需网络外部联通的场景 可以关闭网关检查。</p> <div class=highlight><pre><span></span><code><span class=nt>apiVersion</span><span class=p>:</span><span class=w> </span><span class="l l-Scalar l-Scalar-Plain">kubeovn.io/v1</span>
 <span class=nt>kind</span><span class=p>:</span><span class=w> </span><span class="l l-Scalar l-Scalar-Plain">Subnet</span>
 <span class=nt>metadata</span><span class=p>:</span>
 <span class=w>  </span><span class=nt>name</span><span class=p>:</span><span class=w> </span><span class="l l-Scalar l-Scalar-Plain">disable-gw-check</span>
@@ -170,7 +170,7 @@
 <span class=w>  </span><span class=nt>name</span><span class=p>:</span><span class=w> </span><span class="l l-Scalar l-Scalar-Plain">sample1</span>
 <span class=nt>spec</span><span class=p>:</span>
 <span class=w>  </span><span class=nt>mtu</span><span class=p>:</span><span class=w> </span><span class="l l-Scalar l-Scalar-Plain">1300</span>
-</code></pre></div> <h2 id=_12>其他高级设置<a class=headerlink href=#_12 title="Permanent link">&para;</a></h2> <ul> <li><a href=../ippool/ >IP 池使用</a></li> <li><a href=../../advance/nat-policy-rule/ >默认 VPC NAT 策略规则</a></li> <li><a href=../qos/ >QoS 设置</a></li> <li><a href=../../advance/multi-nic/ >多网卡管理</a></li> <li><a href=../../advance/dhcp/ >DHCP 选项</a></li> <li><a href=../../advance/external-gateway/ >外部网关设置</a></li> <li><a href=../../advance/with-ovn-ic/ >集群互联设置</a></li> <li><a href=../../advance/vip/ >虚拟 IP 设置</a></li> </ul> <p><a class=md-button href=https://jinshuju.net/f/lyrEow target=_blank><span class=twemoji><svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M9.5 4C5.36 4 2 6.69 2 10c0 1.89 1.08 3.56 2.78 4.66L4 17l2.5-1.5c.89.31 1.87.5 2.91.5A5.22 5.22 0 0 1 9 14c0-3.31 3.13-6 7-6 .19 0 .38 0 .56.03C15.54 5.69 12.78 4 9.5 4m-3 2.5a1 1 0 0 1 1 1 1 1 0 0 1-1 1 1 1 0 0 1-1-1 1 1 0 0 1 1-1m5 0a1 1 0 0 1 1 1 1 1 0 0 1-1 1 1 1 0 0 1-1-1 1 1 0 0 1 1-1M16 9c-3.31 0-6 2.24-6 5s2.69 5 6 5c.67 0 1.31-.08 1.91-.25L20 20l-.62-1.87C20.95 17.22 22 15.71 22 14c0-2.76-2.69-5-6-5m-2 2.5a1 1 0 0 1 1 1 1 1 0 0 1-1 1 1 1 0 0 1-1-1 1 1 0 0 1 1-1m4 0a1 1 0 0 1 1 1 1 1 0 0 1-1 1 1 1 0 0 1-1-1 1 1 0 0 1 1-1Z"/></svg></span> 微信群</a> <a class=md-button href=https://communityinviter.com/apps/kube-ovn/kube-ovn/ target=_blank><span class=twemoji><svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M6 15a2 2 0 0 1-2 2 2 2 0 0 1-2-2 2 2 0 0 1 2-2h2v2m1 0a2 2 0 0 1 2-2 2 2 0 0 1 2 2v5a2 2 0 0 1-2 2 2 2 0 0 1-2-2v-5m2-8a2 2 0 0 1-2-2 2 2 0 0 1 2-2 2 2 0 0 1 2 2v2H9m0 1a2 2 0 0 1 2 2 2 2 0 0 1-2 2H4a2 2 0 0 1-2-2 2 2 0 0 1 2-2h5m8 2a2 2 0 0 1 2-2 2 2 0 0 1 2 2 2 2 0 0 1-2 2h-2v-2m-1 0a2 2 0 0 1-2 2 2 2 0 0 1-2-2V5a2 2 0 0 1 2-2 2 2 0 0 1 2 2v5m-2 8a2 2 0 0 1 2 2 2 2 0 0 1-2 2 2 2 0 0 1-2-2v-2h2m0-1a2 2 0 0 1-2-2 2 2 0 0 1 2-2h5a2 2 0 0 1 2 2 2 2 0 0 1-2 2h-5Z"/></svg></span> Slack</a> <a class=md-button href=https://twitter.com/KubeOvn target=_blank><span class=twemoji><svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M22.46 6c-.77.35-1.6.58-2.46.69.88-.53 1.56-1.37 1.88-2.38-.83.5-1.75.85-2.72 1.05C18.37 4.5 17.26 4 16 4c-2.35 0-4.27 1.92-4.27 4.29 0 .34.04.67.11.98C8.28 9.09 5.11 7.38 3 4.79c-.37.63-.58 1.37-.58 2.15 0 1.49.75 2.81 1.91 3.56-.71 0-1.37-.2-1.95-.5v.03c0 2.08 1.48 3.82 3.44 4.21a4.22 4.22 0 0 1-1.93.07 4.28 4.28 0 0 0 4 2.98 8.521 8.521 0 0 1-5.33 1.84c-.34 0-.68-.02-1.02-.06C3.44 20.29 5.7 21 8.12 21 16 21 20.33 14.46 20.33 8.79c0-.19 0-.37-.01-.56.84-.6 1.56-1.36 2.14-2.23Z"/></svg></span> Twitter</a> <a class=md-button href=https://ma.alauda.cn/p/2f53a target=_blank><span class=twemoji><svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="m20 8-8 5-8-5V6l8 5 8-5m0-2H4c-1.11 0-2 .89-2 2v12a2 2 0 0 0 2 2h16a2 2 0 0 0 2-2V6a2 2 0 0 0-2-2Z"/></svg></span> Support</a></p> <aside class=md-source-file> <span class=md-source-file__fact> <span class=md-icon title=最后更新> <svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M21 13.1c-.1 0-.3.1-.4.2l-1 1 2.1 2.1 1-1c.2-.2.2-.6 0-.8l-1.3-1.3c-.1-.1-.2-.2-.4-.2m-1.9 1.8-6.1 6V23h2.1l6.1-6.1-2.1-2M12.5 7v5.2l4 2.4-1 1L11 13V7h1.5M11 21.9c-5.1-.5-9-4.8-9-9.9C2 6.5 6.5 2 12 2c5.3 0 9.6 4.1 10 9.3-.3-.1-.6-.2-1-.2s-.7.1-1 .2C19.6 7.2 16.2 4 12 4c-4.4 0-8 3.6-8 8 0 4.1 3.1 7.5 7.1 7.9l-.1.2v1.8Z"/></svg> </span> <span class="git-revision-date-localized-plugin git-revision-date-localized-plugin-date">2024年2月5日</span> </span> <span class=md-source-file__fact> <span class=md-icon title=创建日期> <svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M14.47 15.08 11 13V7h1.5v5.25l3.08 1.83c-.41.28-.79.62-1.11 1m-1.39 4.84c-.36.05-.71.08-1.08.08-4.42 0-8-3.58-8-8s3.58-8 8-8 8 3.58 8 8c0 .37-.03.72-.08 1.08.69.1 1.33.32 1.92.64.1-.56.16-1.13.16-1.72 0-5.5-4.5-10-10-10S2 6.5 2 12s4.47 10 10 10c.59 0 1.16-.06 1.72-.16-.32-.59-.54-1.23-.64-1.92M18 15v3h-3v2h3v3h2v-3h3v-2h-3v-3h-2Z"/></svg> </span> <span class="git-revision-date-localized-plugin git-revision-date-localized-plugin-date">2022年5月24日</span> </span> <span class=md-source-file__fact> <span class=md-icon title=贡献者> <svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M12 2A10 10 0 0 0 2 12c0 4.42 2.87 8.17 6.84 9.5.5.08.66-.23.66-.5v-1.69c-2.77.6-3.36-1.34-3.36-1.34-.46-1.16-1.11-1.47-1.11-1.47-.91-.62.07-.6.07-.6 1 .07 1.53 1.03 1.53 1.03.87 1.52 2.34 1.07 2.91.83.09-.65.35-1.09.63-1.34-2.22-.25-4.55-1.11-4.55-4.92 0-1.11.38-2 1.03-2.71-.1-.25-.45-1.29.1-2.64 0 0 .84-.27 2.75 1.02.79-.22 1.65-.33 2.5-.33.85 0 1.71.11 2.5.33 1.91-1.29 2.75-1.02 2.75-1.02.55 1.35.2 2.39.1 2.64.65.71 1.03 1.6 1.03 2.71 0 3.82-2.34 4.66-4.57 4.91.36.31.69.92.69 1.85V21c0 .27.16.59.67.5C19.14 20.16 22 16.42 22 12A10 10 0 0 0 12 2Z"/></svg> </span> <span>GitHub</span> <nav> <a href=https://github.com/oilbeater class=md-author title=@oilbeater> <img src="https://avatars.githubusercontent.com/u/1189736?v=4&size=72" alt=oilbeater> </a> <a href=https://github.com/bobz965 class=md-author title=@bobz965> <img src="https://avatars.githubusercontent.com/u/7981158?v=4&size=72" alt=bobz965> </a> <a href=https://github.com/changluyi class=md-author title=@changluyi> <img src="https://avatars.githubusercontent.com/u/47097611?v=4&size=72" alt=changluyi> </a> <a href=https://github.com/lynn901 class=md-author title=@lynn901> <img src="https://avatars.githubusercontent.com/u/11764870?v=4&size=72" alt=lynn901> </a> <a href=https://github.com/kubeovn/docs/blob/master/docs/guide/subnet.md class="md-author md-author--more"> +4 </a> </nav> </span> </aside> <h2 id=__comments>评论</h2> <script src=https://giscus.app/client.js data-repo=kubeovn/kube-ovn data-repo-id="MDEwOlJlcG9zaXRvcnkxNzcwNjg5NjE=" data-category=Announcements data-category-id=DIC_kwDOCo3boc4CAj60 data-mapping=pathname data-reactions-enabled=1 data-emit-metadata=0 data-input-position=bottom data-theme=light data-lang=zh-CN crossorigin=anonymous async>
+</code></pre></div> <h2 id=_12>其他高级设置<a class=headerlink href=#_12 title="Permanent link">&para;</a></h2> <ul> <li><a href=../ippool/ >IP 池使用</a></li> <li><a href=../../advance/nat-policy-rule/ >默认 VPC NAT 策略规则</a></li> <li><a href=../qos/ >QoS 设置</a></li> <li><a href=../../advance/multi-nic/ >多网卡管理</a></li> <li><a href=../../advance/dhcp/ >DHCP 选项</a></li> <li><a href=../../advance/external-gateway/ >外部网关设置</a></li> <li><a href=../../advance/with-ovn-ic/ >集群互联设置</a></li> <li><a href=../../advance/vip/ >虚拟 IP 设置</a></li> </ul> <p><a class=md-button href=https://jinshuju.net/f/lyrEow target=_blank><span class=twemoji><svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M9.5 4C5.36 4 2 6.69 2 10c0 1.89 1.08 3.56 2.78 4.66L4 17l2.5-1.5c.89.31 1.87.5 2.91.5A5.22 5.22 0 0 1 9 14c0-3.31 3.13-6 7-6 .19 0 .38 0 .56.03C15.54 5.69 12.78 4 9.5 4m-3 2.5a1 1 0 0 1 1 1 1 1 0 0 1-1 1 1 1 0 0 1-1-1 1 1 0 0 1 1-1m5 0a1 1 0 0 1 1 1 1 1 0 0 1-1 1 1 1 0 0 1-1-1 1 1 0 0 1 1-1M16 9c-3.31 0-6 2.24-6 5s2.69 5 6 5c.67 0 1.31-.08 1.91-.25L20 20l-.62-1.87C20.95 17.22 22 15.71 22 14c0-2.76-2.69-5-6-5m-2 2.5a1 1 0 0 1 1 1 1 1 0 0 1-1 1 1 1 0 0 1-1-1 1 1 0 0 1 1-1m4 0a1 1 0 0 1 1 1 1 1 0 0 1-1 1 1 1 0 0 1-1-1 1 1 0 0 1 1-1Z"/></svg></span> 微信群</a> <a class=md-button href=https://communityinviter.com/apps/kube-ovn/kube-ovn/ target=_blank><span class=twemoji><svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M6 15a2 2 0 0 1-2 2 2 2 0 0 1-2-2 2 2 0 0 1 2-2h2v2m1 0a2 2 0 0 1 2-2 2 2 0 0 1 2 2v5a2 2 0 0 1-2 2 2 2 0 0 1-2-2v-5m2-8a2 2 0 0 1-2-2 2 2 0 0 1 2-2 2 2 0 0 1 2 2v2H9m0 1a2 2 0 0 1 2 2 2 2 0 0 1-2 2H4a2 2 0 0 1-2-2 2 2 0 0 1 2-2h5m8 2a2 2 0 0 1 2-2 2 2 0 0 1 2 2 2 2 0 0 1-2 2h-2v-2m-1 0a2 2 0 0 1-2 2 2 2 0 0 1-2-2V5a2 2 0 0 1 2-2 2 2 0 0 1 2 2v5m-2 8a2 2 0 0 1 2 2 2 2 0 0 1-2 2 2 2 0 0 1-2-2v-2h2m0-1a2 2 0 0 1-2-2 2 2 0 0 1 2-2h5a2 2 0 0 1 2 2 2 2 0 0 1-2 2h-5Z"/></svg></span> Slack</a> <a class=md-button href=https://twitter.com/KubeOvn target=_blank><span class=twemoji><svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M22.46 6c-.77.35-1.6.58-2.46.69.88-.53 1.56-1.37 1.88-2.38-.83.5-1.75.85-2.72 1.05C18.37 4.5 17.26 4 16 4c-2.35 0-4.27 1.92-4.27 4.29 0 .34.04.67.11.98C8.28 9.09 5.11 7.38 3 4.79c-.37.63-.58 1.37-.58 2.15 0 1.49.75 2.81 1.91 3.56-.71 0-1.37-.2-1.95-.5v.03c0 2.08 1.48 3.82 3.44 4.21a4.22 4.22 0 0 1-1.93.07 4.28 4.28 0 0 0 4 2.98 8.521 8.521 0 0 1-5.33 1.84c-.34 0-.68-.02-1.02-.06C3.44 20.29 5.7 21 8.12 21 16 21 20.33 14.46 20.33 8.79c0-.19 0-.37-.01-.56.84-.6 1.56-1.36 2.14-2.23Z"/></svg></span> Twitter</a> <a class=md-button href=https://ma.alauda.cn/p/2f53a target=_blank><span class=twemoji><svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="m20 8-8 5-8-5V6l8 5 8-5m0-2H4c-1.11 0-2 .89-2 2v12a2 2 0 0 0 2 2h16a2 2 0 0 0 2-2V6a2 2 0 0 0-2-2Z"/></svg></span> Support</a></p> <aside class=md-source-file> <span class=md-source-file__fact> <span class=md-icon title=最后更新> <svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M21 13.1c-.1 0-.3.1-.4.2l-1 1 2.1 2.1 1-1c.2-.2.2-.6 0-.8l-1.3-1.3c-.1-.1-.2-.2-.4-.2m-1.9 1.8-6.1 6V23h2.1l6.1-6.1-2.1-2M12.5 7v5.2l4 2.4-1 1L11 13V7h1.5M11 21.9c-5.1-.5-9-4.8-9-9.9C2 6.5 6.5 2 12 2c5.3 0 9.6 4.1 10 9.3-.3-.1-.6-.2-1-.2s-.7.1-1 .2C19.6 7.2 16.2 4 12 4c-4.4 0-8 3.6-8 8 0 4.1 3.1 7.5 7.1 7.9l-.1.2v1.8Z"/></svg> </span> <span class="git-revision-date-localized-plugin git-revision-date-localized-plugin-date">2024年4月17日</span> </span> <span class=md-source-file__fact> <span class=md-icon title=创建日期> <svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M14.47 15.08 11 13V7h1.5v5.25l3.08 1.83c-.41.28-.79.62-1.11 1m-1.39 4.84c-.36.05-.71.08-1.08.08-4.42 0-8-3.58-8-8s3.58-8 8-8 8 3.58 8 8c0 .37-.03.72-.08 1.08.69.1 1.33.32 1.92.64.1-.56.16-1.13.16-1.72 0-5.5-4.5-10-10-10S2 6.5 2 12s4.47 10 10 10c.59 0 1.16-.06 1.72-.16-.32-.59-.54-1.23-.64-1.92M18 15v3h-3v2h3v3h2v-3h3v-2h-3v-3h-2Z"/></svg> </span> <span class="git-revision-date-localized-plugin git-revision-date-localized-plugin-date">2022年5月24日</span> </span> <span class=md-source-file__fact> <span class=md-icon title=贡献者> <svg xmlns=http://www.w3.org/2000/svg viewbox="0 0 24 24"><path d="M12 2A10 10 0 0 0 2 12c0 4.42 2.87 8.17 6.84 9.5.5.08.66-.23.66-.5v-1.69c-2.77.6-3.36-1.34-3.36-1.34-.46-1.16-1.11-1.47-1.11-1.47-.91-.62.07-.6.07-.6 1 .07 1.53 1.03 1.53 1.03.87 1.52 2.34 1.07 2.91.83.09-.65.35-1.09.63-1.34-2.22-.25-4.55-1.11-4.55-4.92 0-1.11.38-2 1.03-2.71-.1-.25-.45-1.29.1-2.64 0 0 .84-.27 2.75 1.02.79-.22 1.65-.33 2.5-.33.85 0 1.71.11 2.5.33 1.91-1.29 2.75-1.02 2.75-1.02.55 1.35.2 2.39.1 2.64.65.71 1.03 1.6 1.03 2.71 0 3.82-2.34 4.66-4.57 4.91.36.31.69.92.69 1.85V21c0 .27.16.59.67.5C19.14 20.16 22 16.42 22 12A10 10 0 0 0 12 2Z"/></svg> </span> <span>GitHub</span> <nav> <a href=https://github.com/zhangzujian class=md-author title=@zhangzujian> <img src="https://avatars.githubusercontent.com/u/13048299?v=4&size=72" alt=zhangzujian> </a> <a href=https://github.com/oilbeater class=md-author title=@oilbeater> <img src="https://avatars.githubusercontent.com/u/1189736?v=4&size=72" alt=oilbeater> </a> <a href=https://github.com/bobz965 class=md-author title=@bobz965> <img src="https://avatars.githubusercontent.com/u/7981158?v=4&size=72" alt=bobz965> </a> <a href=https://github.com/changluyi class=md-author title=@changluyi> <img src="https://avatars.githubusercontent.com/u/47097611?v=4&size=72" alt=changluyi> </a> <a href=https://github.com/kubeovn/docs/blob/master/docs/guide/subnet.md class="md-author md-author--more"> +4 </a> </nav> </span> </aside> <h2 id=__comments>评论</h2> <script src=https://giscus.app/client.js data-repo=kubeovn/kube-ovn data-repo-id="MDEwOlJlcG9zaXRvcnkxNzcwNjg5NjE=" data-category=Announcements data-category-id=DIC_kwDOCo3boc4CAj60 data-mapping=pathname data-reactions-enabled=1 data-emit-metadata=0 data-input-position=bottom data-theme=light data-lang=zh-CN crossorigin=anonymous async>
 </script> <script>
     var palette = __md_get("__palette")
     if (palette && typeof palette.color === "object")
diff --git a/v1.13.x/search/search_index.json b/v1.13.x/search/search_index.json
index fbf9717fe..1d664992f 100644
--- a/v1.13.x/search/search_index.json
+++ b/v1.13.x/search/search_index.json
@@ -1 +1 @@
-{"config":{"lang":["en","zh"],"separator":"[\\s\\u200b\\-]","pipeline":["stemmer"]},"docs":[{"location":"","title":"Kube-OVN","text":"<p>Kube-OVN \u200b\u662f\u200b\u4e00\u6b3e\u200b CNCF \u200b\u65d7\u4e0b\u200b\u7684\u200b\u4f01\u4e1a\u7ea7\u200b\u4e91\u200b\u539f\u751f\u200b\u7f51\u7edc\u200b\u7f16\u6392\u200b\u7cfb\u7edf\u200b\uff0c\u200b\u5c06\u200b SDN \u200b\u7684\u200b\u80fd\u529b\u200b\u548c\u200b\u4e91\u200b\u539f\u751f\u200b\u7ed3\u5408\u200b\uff0c \u200b\u63d0\u4f9b\u200b\u4e30\u5bcc\u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u6781\u81f4\u200b\u7684\u200b\u6027\u80fd\u200b\u4ee5\u53ca\u200b\u826f\u597d\u200b\u7684\u200b\u53ef\u200b\u8fd0\u7ef4\u6027\u200b\u3002</p> <p>\u200b\u4e30\u5bcc\u200b\u7684\u200b\u529f\u80fd\u200b\uff1a</p> <p>\u200b\u5982\u679c\u200b\u4f60\u200b\u6000\u5ff5\u200b SDN \u200b\u9886\u57df\u200b\u4e30\u5bcc\u200b\u7684\u200b\u7f51\u7edc\u200b\u80fd\u529b\u200b\u5374\u200b\u5728\u200b\u4e91\u200b\u539f\u751f\u200b\u9886\u57df\u200b\u82e6\u82e6\u200b\u8ffd\u5bfb\u200b\u800c\u200b\u4e0d\u5f97\u200b\uff0c\u200b\u90a3\u4e48\u200b Kube-OVN \u200b\u5c06\u200b\u662f\u200b\u4f60\u200b\u7684\u200b\u6700\u4f73\u200b\u9009\u62e9\u200b\u3002</p> <p>\u200b\u501f\u52a9\u200b OVS/OVN \u200b\u5728\u200b SDN \u200b\u9886\u57df\u200b\u6210\u719f\u200b\u7684\u200b\u80fd\u529b\u200b\uff0cKube-OVN \u200b\u5c06\u200b\u7f51\u7edc\u200b\u865a\u62df\u5316\u200b\u7684\u200b\u4e30\u5bcc\u200b\u529f\u80fd\u200b\u5e26\u5165\u200b\u4e91\u200b\u539f\u751f\u200b\u9886\u57df\u200b\u3002\u200b\u76ee\u524d\u200b\u5df2\u200b\u652f\u6301\u200b\u5b50\u7f51\u200b\u7ba1\u7406\u200b\uff0c \u200b\u9759\u6001\u200b IP \u200b\u5206\u914d\u200b\uff0c\u200b\u5206\u5e03\u5f0f\u200b/\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0cUnderlay/Overlay \u200b\u6df7\u5408\u200b\u7f51\u7edc\u200b\uff0c VPC \u200b\u591a\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\uff0c\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u7f51\u7edc\u200b\uff0cQoS \u200b\u7ba1\u7406\u200b\uff0c \u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b\uff0cACL \u200b\u7f51\u7edc\u200b\u63a7\u5236\u200b\uff0c\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\uff0cARM \u200b\u652f\u6301\u200b\uff0c Windows \u200b\u652f\u6301\u200b\u7b49\u200b\u8bf8\u591a\u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u6781\u81f4\u200b\u7684\u200b\u6027\u80fd\u200b\uff1a</p> <p>\u200b\u5982\u679c\u200b\u4f60\u200b\u62c5\u5fc3\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u4f1a\u200b\u5e26\u6765\u200b\u989d\u5916\u200b\u7684\u200b\u6027\u80fd\u200b\u635f\u8017\u200b\uff0c\u200b\u90a3\u4e48\u200b\u6765\u770b\u200b\u4e00\u4e0b\u200b Kube-OVN \u200b\u662f\u200b\u5982\u4f55\u200b\u6781\u81f4\u200b\u7684\u200b\u4f18\u5316\u200b\u6027\u80fd\u200b\u3002</p> <p>\u200b\u5728\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\uff0c\u200b\u901a\u8fc7\u200b\u4e00\u7cfb\u5217\u200b\u5bf9\u6d41\u200b\u8868\u200b\u548c\u200b\u5185\u6838\u200b\u7684\u200b\u7cbe\u5fc3\u200b\u4f18\u5316\u200b\uff0c\u200b\u5e76\u200b\u501f\u52a9\u200b eBPF\u3001DPDK\u3001\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b\u5378\u8f7d\u200b\u7b49\u200b\u65b0\u5174\u200b\u6280\u672f\u200b\uff0c Kube-OVN \u200b\u53ef\u4ee5\u200b\u5728\u200b\u5ef6\u8fdf\u200b\u548c\u200b\u541e\u5410\u91cf\u200b\u7b49\u200b\u65b9\u9762\u200b\u7684\u200b\u6307\u6807\u200b\u8fbe\u5230\u200b\u8fd1\u4f3c\u200b\u6216\u200b\u8d85\u51fa\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u6027\u80fd\u200b\u7684\u200b\u6c34\u5e73\u200b\u3002\u200b\u5728\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\uff0c\u200b\u901a\u8fc7\u200b\u5bf9\u200b OVN \u200b\u4e0a\u6e38\u200b\u6d41\u8868\u200b\u7684\u200b\u88c1\u526a\u200b\uff0c \u200b\u5404\u79cd\u200b\u7f13\u5b58\u200b\u6280\u672f\u200b\u7684\u200b\u4f7f\u7528\u200b\u548c\u200b\u8c03\u4f18\u200b\uff0cKube-OVN \u200b\u53ef\u4ee5\u200b\u652f\u6301\u200b\u5927\u89c4\u6a21\u200b\u4e0a\u5343\u200b\u8282\u70b9\u200b\u548c\u200b\u4e0a\u4e07\u200b Pod \u200b\u7684\u200b\u96c6\u7fa4\u200b\u3002</p> <p>\u200b\u6b64\u5916\u200b Kube-OVN \u200b\u8fd8\u200b\u5728\u200b\u4e0d\u65ad\u200b\u4f18\u5316\u200b CPU \u200b\u548c\u200b\u5185\u5b58\u200b\u7b49\u200b\u8d44\u6e90\u200b\u7684\u200b\u4f7f\u7528\u91cf\u200b\uff0c\u200b\u4ee5\u200b\u9002\u5e94\u200b\u8fb9\u7f18\u200b\u7b49\u200b\u8d44\u6e90\u200b\u6709\u9650\u200b\u573a\u666f\u200b\u3002</p> <p>\u200b\u826f\u597d\u200b\u7684\u200b\u53ef\u200b\u8fd0\u7ef4\u6027\u200b\uff1a</p> <p>\u200b\u5982\u679c\u200b\u4f60\u200b\u5bf9\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u8fd0\u7ef4\u200b\u5fc3\u5b58\u200b\u5fe7\u8651\u200b\uff0cKube-OVN \u200b\u5185\u7f6e\u200b\u4e86\u200b\u5927\u91cf\u200b\u7684\u200b\u5de5\u5177\u200b\u6765\u200b\u5e2e\u52a9\u200b\u4f60\u200b\u7b80\u5316\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\u3002</p> <p>Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\uff0c\u200b\u5e2e\u52a9\u200b\u7528\u6237\u200b\u8fc5\u901f\u200b\u642d\u5efa\u200b\u751f\u4ea7\u200b\u5c31\u7eea\u200b\u7684\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u3002\u200b\u540c\u65f6\u200b\u5185\u7f6e\u200b\u7684\u200b\u4e30\u5bcc\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u548c\u200b Grafana \u200b\u9762\u677f\u200b\uff0c \u200b\u53ef\u200b\u5e2e\u52a9\u200b\u7528\u6237\u200b\u5efa\u7acb\u200b\u5b8c\u5584\u200b\u7684\u200b\u76d1\u63a7\u200b\u4f53\u7cfb\u200b\u3002\u200b\u5f3a\u5927\u200b\u7684\u200b\u547d\u4ee4\u884c\u200b\u5de5\u5177\u200b\u53ef\u4ee5\u200b\u7b80\u5316\u200b\u7528\u6237\u200b\u7684\u200b\u65e5\u5e38\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\u3002\u200b\u901a\u8fc7\u200b\u548c\u200b Cilium \u200b\u7ed3\u5408\u200b\uff0c\u200b\u5229\u7528\u200b eBPF \u200b\u80fd\u529b\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b \u200b\u589e\u5f3a\u200b\u5bf9\u200b\u7f51\u7edc\u200b\u7684\u200b\u53ef\u200b\u89c2\u6d4b\u200b\u6027\u200b\u3002 \u200b\u6b64\u5916\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u7684\u200b\u80fd\u529b\u200b\u53ef\u4ee5\u200b\u65b9\u4fbf\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b\u6d41\u91cf\u200b\u76d1\u63a7\u200b\uff0c\u200b\u5e76\u200b\u548c\u200b\u4f20\u7edf\u200b\u7684\u200b NPM \u200b\u7cfb\u7edf\u200b\u5bf9\u63a5\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"contact/","title":"\u8054\u7cfb\u65b9\u5f0f","text":"<p>\u200b\u5173\u6ce8\u200b\u516c\u4f17\u200b\u53f7\u200b\u83b7\u5f97\u200b\u66f4\u200b\u591a\u200b\u6700\u65b0\u200b\u4fe1\u606f\u200b\uff0c\u200b\u8bf7\u200b\u626b\u63cf\u200b\u4e0b\u65b9\u200b\u4e8c\u7ef4\u7801\u200b:</p> <p></p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/","title":"\u4f7f\u7528\u200b eBPF \u200b\u52a0\u901f\u200b\u8282\u70b9\u200b\u5185\u200b TCP \u200b\u901a\u4fe1","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u8fb9\u7f18\u200b\u548c\u200b 5G \u200b\u7684\u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u540c\u200b\u8282\u70b9\u200b\u5185\u200b\u7684\u200b Pod \u200b\u4e4b\u95f4\u200b\u4f1a\u200b\u8fdb\u884c\u200b\u5927\u91cf\u200b\u7684\u200b TCP \u200b\u901a\u4fe1\u200b\uff0c\u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b Intel \u200b\u5f00\u6e90\u200b\u7684\u200b istio-tcpip-bypass \u200b\u9879\u76ee\u200b\uff0cPod \u200b\u53ef\u4ee5\u200b\u501f\u52a9\u200b eBPF \u200b\u7684\u200b\u80fd\u529b\u200b\u7ed5\u8fc7\u200b\u4e3b\u673a\u200b\u7684\u200b TCP/IP \u200b\u534f\u8bae\u200b\u6808\u200b\uff0c\u200b\u76f4\u63a5\u200b\u8fdb\u884c\u200b socket \u200b\u901a\u4fe1\u200b\uff0c\u200b\u4ece\u800c\u200b\u5927\u5e45\u200b\u964d\u4f4e\u200b\u5ef6\u8fdf\u200b\u5e76\u200b\u63d0\u5347\u200b\u541e\u5410\u91cf\u200b\u3002</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_1","title":"\u57fa\u672c\u539f\u7406","text":"<p>\u200b\u5728\u200b\u5f53\u524d\u200b\u7684\u200b\u5b9e\u73b0\u200b\u4e0b\u200b\uff0c\u200b\u540c\u200b\u4e3b\u673a\u200b\u7684\u200b\u4e24\u4e2a\u200b Pod \u200b\u8fdb\u884c\u200b TCP \u200b\u8fdb\u884c\u200b\u901a\u4fe1\u200b\u9700\u8981\u200b\u7ecf\u8fc7\u200b\u5927\u91cf\u200b\u7684\u200b\u7f51\u7edc\u200b\u6808\u200b\uff0c\u200b\u5305\u62ec\u200b TCP/IP, netfilter\uff0cOVS \u200b\u7b49\u200b\u5982\u4e0b\u200b\u56fe\u200b\u6240\u793a\u200b\uff1a</p> <p></p> <p>istio-tcpip-bypass \u200b\u63d2\u4ef6\u200b\u53ef\u4ee5\u200b\u81ea\u52a8\u200b\u5206\u6790\u200b\u5e76\u200b\u8bc6\u522b\u200b\u51fa\u540c\u200b\u4e3b\u673a\u200b\u5185\u200b\u7684\u200b TCP \u200b\u901a\u4fe1\u200b\uff0c\u200b\u5e76\u200b\u7ed5\u8fc7\u200b\u590d\u6742\u200b\u7684\u200b\u5185\u6838\u200b\u6808\u200b\u4ece\u800c\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u8fdb\u884c\u200b socket \u200b\u95f4\u200b\u7684\u200b\u6570\u636e\u4f20\u8f93\u200b\uff0c \u200b\u6765\u200b\u964d\u4f4e\u200b\u7f51\u7edc\u200b\u6808\u200b\u5904\u7406\u200b\u5f00\u9500\u200b\uff0c\u200b\u5982\u4e0b\u200b\u56fe\u200b\u6240\u793a\u200b\uff1a</p> <p></p> <p>\u200b\u7531\u4e8e\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u53ef\u4ee5\u200b\u81ea\u52a8\u8bc6\u522b\u200b\u540c\u200b\u4e3b\u673a\u200b\u5185\u200b\u7684\u200b TCP \u200b\u901a\u4fe1\u200b\uff0c\u200b\u5e76\u200b\u8fdb\u884c\u200b\u4f18\u5316\u200b\u3002\u200b\u5728\u200b\u57fa\u4e8e\u200b\u4ee3\u7406\u200b\u6a21\u5f0f\u200b\u7684\u200b Service Mesh \u200b\u73af\u5883\u200b\u4e0b\u200b\uff0c\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u589e\u5f3a\u200b Service Mesh \u200b\u7684\u200b\u6027\u80fd\u200b\u8868\u73b0\u200b\u3002</p> <p>\u200b\u66f4\u200b\u591a\u200b\u6280\u672f\u200b\u5b9e\u73b0\u200b\u7ec6\u8282\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Tanzu Service Mesh Acceleration using eBPF\u3002</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_2","title":"\u73af\u5883\u200b\u51c6\u5907","text":"<p>eBPF \u200b\u5bf9\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u6709\u200b\u4e00\u5b9a\u200b\u8981\u6c42\u200b\uff0c\u200b\u63a8\u8350\u200b\u4f7f\u7528\u200b Ubuntu 20.04 \u200b\u548c\u200b Linux 5.4.0-74-generic \u200b\u7248\u672c\u200b\u5185\u6838\u200b\u8fdb\u884c\u200b\u5b9e\u9a8c\u200b\u3002</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_3","title":"\u5b9e\u9a8c\u200b\u6b65\u9aa4","text":"<p>\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u90e8\u7f72\u200b\u4e24\u4e2a\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b Pod\uff0c\u200b\u82e5\u200b\u96c6\u7fa4\u200b\u5185\u200b\u5b58\u5728\u200b\u591a\u53f0\u200b\u673a\u5668\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b <code>nodeSelector</code>\uff1a</p> <pre><code># kubectl create deployment perf --image=kubeovn/perf:dev --replicas=2\ndeployment.apps/perf created\n# kubectl get pod -o wide\nNAME                    READY   STATUS    RESTARTS   AGE   IP           NODE     NOMINATED NODE   READINESS GATES\nperf-7697bc6ddf-b2cpv   1/1     Running   0          28s   100.64.0.3   sealos   &lt;none&gt;           &lt;none&gt;\nperf-7697bc6ddf-p2xpt   1/1     Running   0          28s   100.64.0.2   sealos   &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>\u200b\u8fdb\u5165\u200b\u5176\u4e2d\u200b\u4e00\u4e2a\u200b Pod \u200b\u5f00\u542f\u200b qperf server\uff0c\u200b\u5728\u200b\u53e6\u200b\u4e00\u4e2a\u200b Pod \u200b\u4e2d\u200b\u542f\u52a8\u200b qperf client \u200b\u8fdb\u884c\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b\uff1a</p> <pre><code># kubectl exec -it perf-7697bc6ddf-b2cpv sh\n/ # qperf\n\n# kubectl exec -it perf-7697bc6ddf-p2xpt sh\n/ # qperf -t 60 100.64.0.3 -ub -oo msg_size:1:16K:*4 -vu tcp_lat tcp_bw\n</code></pre> <p>\u200b\u90e8\u7f72\u200b istio-tcpip-bypass \u200b\u63d2\u4ef6\u200b\uff1a</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/intel/istio-tcpip-bypass/main/bypass-tcpip-daemonset.yaml\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u8fdb\u5165\u200b perf client \u200b\u5bb9\u5668\u200b\u8fdb\u884c\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b\uff1a</p> <pre><code># kubectl exec -it perf-7697bc6ddf-p2xpt sh\n/ # qperf -t 60 100.64.0.3 -ub -oo msg_size:1:16K:*4 -vu tcp_lat tcp_bw\n</code></pre>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_4","title":"\u6d4b\u8bd5\u200b\u7ed3\u679c","text":"<p>\u200b\u6839\u636e\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b TCP \u200b\u5ef6\u8fdf\u200b\u5728\u200b\u4e0d\u540c\u200b\u6570\u636e\u5305\u200b\u5927\u5c0f\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u4f1a\u200b\u6709\u200b 40% ~ 60% \u200b\u7684\u200b\u5ef6\u8fdf\u200b\u4e0b\u964d\u200b\uff0c\u200b\u5728\u200b\u6570\u636e\u5305\u200b\u5927\u4e8e\u200b 1024 \u200b\u5b57\u8282\u200b\u65f6\u200b\u541e\u5410\u91cf\u200b\u4f1a\u200b\u6709\u200b 40% ~ 80% \u200b\u63d0\u5347\u200b\u3002</p> Packet Size (byte) eBPF tcp_lat (us) Default tcp_lat (us) eBPF tcp_bw (Mb/s) Default tcp_bw(Mb/s) 1 20.2 44.5 1.36 4.27 4 20.2 48.7 5.48 16.7 16 19.6 41.6 21.7 63.5 64 18.8 41.3 96.8 201 256 19.2 36 395 539 1024 18.3 42.4 1360 846 4096 16.5 62.6 4460 2430 16384 20.2 58.8 9600 6900 <p>\u200b\u5728\u200b\u6d4b\u8bd5\u200b\u7684\u200b\u786c\u4ef6\u200b\u73af\u5883\u200b\u4e0b\u200b\uff0c\u200b\u6570\u636e\u5305\u200b\u5c0f\u4e8e\u200b 512 \u200b\u5b57\u8282\u200b\u65f6\u200b\uff0c\u200b\u4f7f\u7528\u200b eBPF \u200b\u4f18\u5316\u200b\u541e\u5410\u91cf\u200b\u6307\u6807\u200b\u4f1a\u200b\u4f4e\u4e8e\u200b\u9ed8\u8ba4\u200b\u914d\u7f6e\u200b\u4e0b\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u3002 \u200b\u8be5\u200b\u60c5\u51b5\u200b\u53ef\u80fd\u200b\u548c\u200b\u9ed8\u8ba4\u200b\u914d\u7f6e\u200b\u4e0b\u200b\u7f51\u5361\u200b\u5f00\u542f\u200b TCP \u200b\u805a\u5408\u200b\u4f18\u5316\u200b\u76f8\u5173\u200b\u3002\u200b\u5982\u679c\u200b\u5e94\u7528\u200b\u573a\u666f\u200b\u5bf9\u200b\u5c0f\u5305\u200b\u541e\u5410\u91cf\u200b\u654f\u611f\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u76f8\u5e94\u200b\u73af\u5883\u200b\u4e0b\u200b \u200b\u8fdb\u884c\u200b\u6d4b\u8bd5\u200b\u5224\u65ad\u200b\u662f\u5426\u200b\u5f00\u542f\u200b eBPF \u200b\u4f18\u5316\u200b\u3002\u200b\u6211\u4eec\u200b\u4e5f\u200b\u4f1a\u200b\u540e\u7eed\u200b\u5bf9\u200b eBPF TCP \u200b\u5c0f\u5305\u200b\u573a\u666f\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u8fdb\u884c\u200b\u4f18\u5316\u200b\u3002</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_5","title":"\u53c2\u8003\u8d44\u6599","text":"<ol> <li>istio-tcpip-bypass</li> <li>Deep Dive TCP/IP Bypass with eBPF in Service Mesh</li> <li>Tanzu Service Mesh Acceleration using eBPF</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/cilium-hubble-observe/","title":"Cilium \u200b\u7f51\u7edc\u6d41\u91cf\u200b\u89c2\u6d4b","text":"<p>Kube-OVN \u200b\u5f53\u524d\u200b\u5df2\u7ecf\u200b\u652f\u6301\u200b\u4e0e\u200b Cilium \u200b\u96c6\u6210\u200b\uff0c\u200b\u5177\u4f53\u64cd\u4f5c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Cilium \u200b\u96c6\u6210\u200b\u3002</p> <p>Cilium \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e30\u5bcc\u200b\u7684\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\u80fd\u529b\u200b\uff0c\u200b\u6d41\u91cf\u200b\u53ef\u200b\u89c2\u6d4b\u200b\u6027\u662f\u200b\u7531\u200b Hubble \u200b\u63d0\u4f9b\u200b\u7684\u200b\u3002Hubble \u200b\u53ef\u4ee5\u200b\u89c2\u5bdf\u200b\u8282\u70b9\u200b\u3001\u200b\u96c6\u7fa4\u200b\u751a\u81f3\u200b\u591a\u200b\u96c6\u7fa4\u200b\u573a\u666f\u200b\u4e0b\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u7684\u200b\u6d41\u91cf\u200b\u3002</p>"},{"location":"advance/cilium-hubble-observe/#hubble","title":"\u5b89\u88c5\u200b Hubble","text":"<p>\u200b\u9ed8\u8ba4\u200b\u7684\u200b Cilium \u200b\u96c6\u6210\u200b\u5b89\u88c5\u200b\u4e2d\u200b\uff0c\u200b\u5e76\u200b\u6ca1\u6709\u200b\u5b89\u88c5\u200b Hubble \u200b\u76f8\u5173\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u56e0\u6b64\u200b\u8981\u200b\u652f\u6301\u200b\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\uff0c\u200b\u9700\u8981\u200b\u5148\u200b\u5728\u200b\u73af\u5883\u200b\u4e0a\u200b\u8865\u5145\u200b\u5b89\u88c5\u200b Hubble\u3002</p> <p>\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff0c\u200b\u4f7f\u7528\u200b helm \u200b\u5b89\u88c5\u200b Hubble\uff1a</p> <pre><code>helm upgrade cilium cilium/cilium --version 1.11.6 \\\n   --namespace kube-system \\\n   --reuse-values \\\n   --set hubble.relay.enabled=true \\\n   --set hubble.ui.enabled=true\n</code></pre> <p>\u200b\u8865\u5145\u200b\u5b89\u88c5\u200b Hubble \u200b\u4e4b\u540e\u200b\uff0c\u200b\u6267\u884c\u200b <code>cilium status</code> \u200b\u67e5\u770b\u200b\u7ec4\u4ef6\u200b\u72b6\u6001\u200b\uff0c\u200b\u786e\u8ba4\u200b Hubble \u200b\u5b89\u88c5\u200b\u6210\u529f\u200b\u3002</p> <pre><code># cilium status\n    /\u00af\u00af\\\n /\u00af\u00af\\__/\u00af\u00af\\    Cilium:         OK\n \\__/\u00af\u00af\\__/    Operator:       OK\n /\u00af\u00af\\__/\u00af\u00af\\    Hubble:         OK\n \\__/\u00af\u00af\\__/    ClusterMesh:    disabled\n    \\__/\n\nDeployment        hubble-relay       Desired: 1, Ready: 1/1, Available: 1/1\nDeployment        cilium-operator    Desired: 2, Ready: 2/2, Available: 2/2\nDaemonSet         cilium             Desired: 2, Ready: 2/2, Available: 2/2\nDeployment        hubble-ui          Desired: 1, Ready: 1/1, Available: 1/1\nContainers:       cilium             Running: 2\n                  hubble-ui          Running: 1\n                  hubble-relay       Running: 1\n                  cilium-operator    Running: 2\nCluster Pods:     16/17 managed by Cilium\nImage versions    hubble-relay       quay.io/cilium/hubble-relay:v1.11.6@sha256:fd9034a2d04d5b973f1e8ed44f230ea195b89c37955ff32e34e5aa68f3ed675a: 1\n                  cilium-operator    quay.io/cilium/operator-generic:v1.11.6@sha256:9f6063c7bcaede801a39315ec7c166309f6a6783e98665f6693939cf1701bc17: 2\n                  cilium             quay.io/cilium/cilium:v1.11.6@sha256:f7f93c26739b6641a3fa3d76b1e1605b15989f25d06625260099e01c8243f54c: 2\n                  hubble-ui          quay.io/cilium/hubble-ui:v0.9.0@sha256:0ef04e9a29212925da6bdfd0ba5b581765e41a01f1cc30563cef9b30b457fea0: 1\n                  hubble-ui          quay.io/cilium/hubble-ui-backend:v0.9.0@sha256:000df6b76719f607a9edefb9af94dfd1811a6f1b6a8a9c537cba90bf12df474b: 1\napple@bogon cilium %\n</code></pre> <p>\u200b\u5b89\u88c5\u200b Hubble \u200b\u7ec4\u4ef6\u200b\u4e4b\u540e\u200b\uff0c\u200b\u9700\u8981\u200b\u5b89\u88c5\u200b\u547d\u4ee4\u884c\u200b\uff0c\u200b\u7528\u4e8e\u200b\u5728\u200b\u73af\u5883\u200b\u4e0a\u200b\u67e5\u770b\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002 \u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff0c\u200b\u5b89\u88c5\u200b Hubble CLI :</p> <pre><code>curl -L --fail --remote-name-all https://github.com/cilium/hubble/releases/download/v0.10.0/hubble-linux-amd64.tar.gz\nsudo tar xzvfC hubble-linux-amd64.tar.gz /usr/local/bin\n</code></pre>"},{"location":"advance/cilium-hubble-observe/#_1","title":"\u90e8\u7f72\u200b\u6d4b\u8bd5\u200b\u4e1a\u52a1","text":"<p>Cilium \u200b\u5b98\u65b9\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u4e2a\u200b\u6d41\u91cf\u200b\u6d4b\u8bd5\u200b\u7684\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\u5b98\u65b9\u200b\u90e8\u7f72\u200b\u7684\u200b\u4e1a\u52a1\u200b\u8fdb\u884c\u200b\u6d4b\u8bd5\u200b\u3002</p> <p>\u200b\u6267\u884c\u547d\u4ee4\u200b <code>cilium connectivity test</code>\uff0cCilium \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u521b\u5efa\u200b <code>cilium-test</code> \u200b\u7684\u200b Namespace\uff0c\u200b\u540c\u65f6\u200b\u5728\u200b cilium-test \u200b\u4e0b\u200b\u90e8\u7f72\u200b\u6d4b\u8bd5\u200b\u4e1a\u52a1\u200b\u3002</p> <p>\u200b\u6b63\u5e38\u200b\u90e8\u7f72\u200b\u5b8c\u540e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b cilium-test namespace \u200b\u4e0b\u200b\u7684\u200b\u8d44\u6e90\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53c2\u8003\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># kubectl get all -n cilium-test\nNAME                                  READY   STATUS    RESTARTS   AGE\npod/client-7df6cfbf7b-z5t2j           1/1     Running   0          21s\npod/client2-547996d7d8-nvgxg          1/1     Running   0          21s\npod/echo-other-node-d79544ccf-hl4gg   2/2     Running   0          21s\npod/echo-same-node-5d466d5444-ml7tc   2/2     Running   0          21s\n\nNAME                      TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE\nservice/echo-other-node   NodePort   10.109.58.126   &lt;none&gt;        8080:32269/TCP   21s\nservice/echo-same-node    NodePort   10.108.70.32    &lt;none&gt;        8080:32490/TCP   21s\n\nNAME                              READY   UP-TO-DATE   AVAILABLE   AGE\ndeployment.apps/client            1/1     1            1           21s\ndeployment.apps/client2           1/1     1            1           21s\ndeployment.apps/echo-other-node   1/1     1            1           21s\ndeployment.apps/echo-same-node    1/1     1            1           21s\n\nNAME                                        DESIRED   CURRENT   READY   AGE\nreplicaset.apps/client-7df6cfbf7b           1         1         1       21s\nreplicaset.apps/client2-547996d7d8          1         1         1       21s\nreplicaset.apps/echo-other-node-d79544ccf   1         1         1       21s\nreplicaset.apps/echo-same-node-5d466d5444   1         1         1       21s\n</code></pre>"},{"location":"advance/cilium-hubble-observe/#_2","title":"\u4f7f\u7528\u200b\u547d\u4ee4\u884c\u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u89c2\u6d4b","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\u4ec5\u200b\u63d0\u4f9b\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b Cilium \u200b\u4ee3\u7406\u200b\u89c2\u5bdf\u200b\u5230\u200b\u7684\u200b\u6d41\u91cf\u200b\u3002 \u200b\u53ef\u4ee5\u200b\u5728\u200b <code>kube-system namespace</code> \u200b\u4e0b\u200b\u7684\u200b Cilium \u200b\u4ee3\u7406\u200b pod \u200b\u4e2d\u200b\u6267\u884c\u200b <code>hubble observe</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u770b\u200b\u8be5\u200b\u8282\u70b9\u200b\u4e0a\u200b\u7684\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002</p> <pre><code># kubectl get pod -n kube-system -o wide\nNAME                                             READY   STATUS    RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES\ncilium-d6h56                                     1/1     Running   0          2d20h   172.18.0.2   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\ncilium-operator-5887f78bbb-c7sb2                 1/1     Running   0          2d20h   172.18.0.2   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\ncilium-operator-5887f78bbb-wj8gt                 1/1     Running   0          2d20h   172.18.0.3   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\ncilium-tq5xb                                     1/1     Running   0          2d20h   172.18.0.3   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\nkube-ovn-pinger-7lgk8                            1/1     Running   0          21h     10.16.0.19   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\nkube-ovn-pinger-msvcn                            1/1     Running   0          21h     10.16.0.18   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\n\n# kubectl exec -it -n kube-system cilium-d6h56 -- bash\nroot@kube-ovn-worker:/home/cilium# hubble observe --from-namespace kube-system\nJul 29 03:24:25.551: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.561: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: RST)\nJul 29 03:24:25.561: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, RST)\nJul 29 03:24:25.572: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: SYN)\nJul 29 03:24:25.572: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.651: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.661: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: RST)\nJul 29 03:24:25.661: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, RST)\nJul 29 03:24:25.761: kube-system/kube-ovn-pinger-msvcn:52004 -&gt; 172.18.0.3:6443 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.779: kube-system/kube-ovn-pinger-msvcn -&gt; kube-system/kube-ovn-pinger-7lgk8 to-stack FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:25.779: kube-system/kube-ovn-pinger-msvcn &lt;- kube-system/kube-ovn-pinger-7lgk8 to-endpoint FORWARDED (ICMPv4 EchoReply)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 &lt;- kube-system/hubble-relay-959988db5-zc5vv:4245 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 &lt;- kube-system/hubble-relay-959988db5-zc5vv:80 to-endpoint FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 -&gt; kube-system/hubble-relay-959988db5-zc5vv:4245 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 -&gt; kube-system/hubble-relay-959988db5-zc5vv:4245 to-endpoint FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.975: kube-system/kube-ovn-pinger-7lgk8 -&gt; kube-system/kube-ovn-pinger-msvcn to-endpoint FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:25.975: kube-system/kube-ovn-pinger-7lgk8 &lt;- kube-system/kube-ovn-pinger-msvcn to-stack FORWARDED (ICMPv4 EchoReply)\nJul 29 03:24:25.979: kube-system/kube-ovn-pinger-msvcn -&gt; 172.18.0.3 to-stack FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:26.037: kube-system/coredns-6d4b75cb6d-lbgjg:36430 -&gt; 172.18.0.3:6443 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:26.282: kube-system/kube-ovn-pinger-msvcn -&gt; 172.18.0.2 to-stack FORWARDED (ICMPv4 EchoRequest)\n</code></pre> <p>\u200b\u90e8\u7f72\u200b Hubble Relay \u200b\u540e\u200b\uff0cHubble \u200b\u53ef\u4ee5\u200b\u63d0\u4f9b\u200b\u5b8c\u6574\u200b\u7684\u200b\u96c6\u7fa4\u200b\u8303\u56f4\u200b\u7684\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\u3002</p>"},{"location":"advance/cilium-hubble-observe/#_3","title":"\u914d\u7f6e\u200b\u7aef\u53e3\u200b\u8f6c\u53d1","text":"<p>\u200b\u4e3a\u4e86\u200b\u80fd\u200b\u6b63\u5e38\u200b\u8bbf\u95ee\u200b Hubble API\uff0c\u200b\u9700\u8981\u200b\u521b\u5efa\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u5c06\u200b\u672c\u5730\u200b\u8bf7\u6c42\u200b\u8f6c\u53d1\u200b\u5230\u200b Hubble Service\u3002\u200b\u53ef\u4ee5\u200b\u6267\u884c\u200b <code>kubectl port-forward deployment/hubble-relay -n kube-system 4245:4245</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u5728\u200b\u5f53\u524d\u200b\u7ec8\u7aef\u200b\u5f00\u542f\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u3002</p> <p>\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u914d\u7f6e\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b \u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u3002</p> <p><code>kubectl port-forward</code> \u200b\u547d\u4ee4\u200b\u4e0d\u4f1a\u200b\u8fd4\u56de\u200b\uff0c\u200b\u9700\u8981\u200b\u6253\u5f00\u200b\u53e6\u200b\u4e00\u4e2a\u200b\u7ec8\u7aef\u200b\u6765\u200b\u7ee7\u7eed\u200b\u6d4b\u8bd5\u200b\u3002</p> <p>\u200b\u914d\u7f6e\u200b\u5b8c\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u4e4b\u540e\u200b\uff0c\u200b\u5728\u200b\u7ec8\u7aef\u200b\u6267\u884c\u200b <code>hubble status</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u5982\u679c\u200b\u6709\u200b\u7c7b\u4f3c\u200b\u5982\u4e0b\u200b\u8f93\u51fa\u200b\uff0c\u200b\u5219\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u914d\u7f6e\u200b\u6b63\u786e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u547d\u4ee4\u884c\u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\u3002</p> <pre><code># hubble status\nHealthcheck (via localhost:4245): Ok\nCurrent/Max Flows: 8,190/8,190 (100.00%)\nFlows/s: 22.86\nConnected Nodes: 2/2\n</code></pre>"},{"location":"advance/cilium-hubble-observe/#_4","title":"\u547d\u4ee4\u884c\u200b\u89c2\u6d4b","text":"<p>\u200b\u5728\u200b\u7ec8\u7aef\u200b\u4e0a\u200b\u6267\u884c\u200b <code>hubble observe</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u770b\u200b\u96c6\u7fa4\u200b\u7684\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002 \u200b\u89c2\u6d4b\u200b\u5230\u200b\u7684\u200b cilium-test \u200b\u76f8\u5173\u200b\u7684\u200b\u6d4b\u8bd5\u200b\u6d41\u91cf\u200b\u53c2\u8003\u200b\u5982\u4e0b\u200b\uff1a </p> <p>\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u7684\u200b\u662f\u200b\uff0c <code>hubble observe</code> \u200b\u547d\u4ee4\u200b\u7684\u200b\u663e\u793a\u200b\u7ed3\u679c\u200b\uff0c\u200b\u662f\u200b\u5f53\u524d\u200b\u547d\u4ee4\u884c\u200b\u6267\u884c\u200b\u65f6\u200b\u67e5\u8be2\u200b\u5230\u200b\u7684\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002\u200b\u591a\u6b21\u200b\u6267\u884c\u547d\u4ee4\u200b\u884c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b\u5230\u200b\u4e0d\u540c\u200b\u7684\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002 \u200b\u66f4\u200b\u591a\u200b\u8be6\u7ec6\u200b\u7684\u200b\u89c2\u6d4b\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u6267\u884c\u200b <code>hubble help observe</code> \u200b\u547d\u4ee4\u200b\u67e5\u770b\u200b Hubble CLI \u200b\u7684\u200b\u8be6\u7ec6\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u3002</p>"},{"location":"advance/cilium-hubble-observe/#ui","title":"\u4f7f\u7528\u200b UI \u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u89c2\u6d4b","text":"<p>\u200b\u6267\u884c\u200b <code>cilium status</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u786e\u8ba4\u200b Hubble UI \u200b\u5df2\u7ecf\u200b\u5b89\u88c5\u200b\u6210\u529f\u200b\u3002\u200b\u5728\u200b\u7b2c\u4e8c\u6b65\u200b\u7684\u200b Hubble \u200b\u5b89\u88c5\u200b\u4e2d\u200b\uff0c\u200b\u5df2\u7ecf\u200b\u8865\u5145\u200b\u4e86\u200b UI \u200b\u7684\u200b\u5b89\u88c5\u200b\u3002</p> <p>\u200b\u6267\u884c\u547d\u4ee4\u200b <code>cilium hubble ui</code> \u200b\u53ef\u4ee5\u200b\u81ea\u52a8\u200b\u521b\u5efa\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u5c06\u200b <code>hubble-ui service</code> \u200b\u6620\u5c04\u200b\u5230\u200b\u672c\u5730\u200b\u7aef\u53e3\u200b\u3002 \u200b\u6b63\u5e38\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u6267\u884c\u200b\u5b8c\u200b\u547d\u4ee4\u200b\u540e\u200b\uff0c\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u6253\u5f00\u200b\u672c\u5730\u200b\u7684\u200b\u6d4f\u89c8\u5668\u200b\uff0c\u200b\u8df3\u8f6c\u200b\u5230\u200b Hubble UI \u200b\u754c\u9762\u200b\u3002\u200b\u5982\u679c\u200b\u6ca1\u6709\u200b\u81ea\u52a8\u200b\u8df3\u8f6c\u200b\uff0c\u200b\u5728\u200b\u6d4f\u89c8\u5668\u200b\u4e2d\u200b\u8f93\u5165\u200b <code>http://localhost:12000</code> \u200b\u6253\u5f00\u200b UI \u200b\u89c2\u5bdf\u200b\u754c\u9762\u200b\u3002</p> <p>\u200b\u5728\u200b\u754c\u9762\u200b\u5de6\u4e0a\u89d2\u200b\uff0c\u200b\u9009\u62e9\u200b <code>cilium-test</code> namespace\uff0c\u200b\u67e5\u770b\u200b Cilium \u200b\u63d0\u4f9b\u200b\u7684\u200b\u6d4b\u8bd5\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002 </p>"},{"location":"advance/cilium-hubble-observe/#hubble_1","title":"Hubble \u200b\u6d41\u91cf\u200b\u76d1\u63a7","text":"<p>Hubble \u200b\u7ec4\u4ef6\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u96c6\u7fa4\u200b\u4e2d\u200b Pod \u200b\u7f51\u7edc\u200b\u884c\u4e3a\u200b\u7684\u200b\u76d1\u63a7\u200b\uff0c\u200b\u4e3a\u4e86\u200b\u652f\u6301\u200b\u67e5\u770b\u200b Hubble \u200b\u63d0\u4f9b\u200b\u7684\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\uff0c\u200b\u9700\u8981\u200b\u4f7f\u80fd\u200b\u76d1\u63a7\u200b\u7edf\u8ba1\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff0c\u200b\u8865\u5145\u200b <code>hubble.metrics.enabled</code> \u200b\u914d\u7f6e\u200b\u9879\u200b:</p> <pre><code>helm upgrade cilium cilium/cilium --version 1.11.6 \\\n   --namespace kube-system \\\n   --reuse-values \\\n   --set hubble.relay.enabled=true \\\n   --set hubble.ui.enabled=true \\\n   --set hubble.metrics.enabled=\"{dns,drop,tcp,flow,icmp,http}\"\n</code></pre> <p>\u200b\u90e8\u7f72\u200b\u4e4b\u540e\u200b\uff0c\u200b\u4f1a\u200b\u5728\u200b kube-system namespace \u200b\u751f\u6210\u200b\u540d\u79f0\u200b\u4e3a\u200b <code>hubble-metrics</code> \u200b\u7684\u200b\u670d\u52a1\u200b\u3002\u200b\u901a\u8fc7\u200b\u8bbf\u95ee\u200b Endpoints \u200b\u67e5\u8be2\u200b Hubble \u200b\u63d0\u4f9b\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff0c\u200b\u53c2\u8003\u200b\u5982\u4e0b\u200b:</p> <pre><code># curl 172.18.0.2:9091/metrics\n# HELP hubble_drop_total Number of drops\n# TYPE hubble_drop_total counter\nhubble_drop_total{protocol=\"ICMPv6\",reason=\"Unsupported L3 protocol\"} 2\n# HELP hubble_flows_processed_total Total number of flows processed\n# TYPE hubble_flows_processed_total counter\nhubble_flows_processed_total{protocol=\"ICMPv4\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 335\nhubble_flows_processed_total{protocol=\"ICMPv4\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 335\nhubble_flows_processed_total{protocol=\"ICMPv6\",subtype=\"\",type=\"Drop\",verdict=\"DROPPED\"} 2\nhubble_flows_processed_total{protocol=\"TCP\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 8282\nhubble_flows_processed_total{protocol=\"TCP\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 6767\nhubble_flows_processed_total{protocol=\"UDP\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 1642\nhubble_flows_processed_total{protocol=\"UDP\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 1642\n# HELP hubble_icmp_total Number of ICMP messages\n# TYPE hubble_icmp_total counter\nhubble_icmp_total{family=\"IPv4\",type=\"EchoReply\"} 335\nhubble_icmp_total{family=\"IPv4\",type=\"EchoRequest\"} 335\nhubble_icmp_total{family=\"IPv4\",type=\"RouterSolicitation\"} 2\n# HELP hubble_tcp_flags_total TCP flag occurrences\n# TYPE hubble_tcp_flags_total counter\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"FIN\"} 2043\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"RST\"} 301\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"SYN\"} 1169\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"SYN-ACK\"} 1169\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/cilium-networkpolicy/","title":"Cilium NetworkPolicy \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u5f53\u524d\u200b\u5df2\u7ecf\u200b\u652f\u6301\u200b\u4e0e\u200b Cilium \u200b\u96c6\u6210\u200b\uff0c\u200b\u5177\u4f53\u64cd\u4f5c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Cilium \u200b\u96c6\u6210\u200b\u3002</p> <p>\u200b\u5728\u200b\u96c6\u6210\u200b Cilium \u200b\u4e4b\u540e\u200b\uff0c\u200b\u5c31\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b Cilium \u200b\u4f18\u79c0\u200b\u7684\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u80fd\u529b\u200b\uff0c\u200b\u5b9e\u73b0\u200b\u5bf9\u200b\u6d41\u91cf\u200b\u8bbf\u95ee\u200b\u7684\u200b\u63a7\u5236\u200b\u3002\u200b\u4ee5\u4e0b\u200b\u6587\u6863\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u5bf9\u200b Cilium L3 \u200b\u548c\u200b L4 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u80fd\u529b\u200b\u7684\u200b\u96c6\u6210\u200b\u9a8c\u8bc1\u200b\u3002</p>"},{"location":"advance/cilium-networkpolicy/#_1","title":"\u9a8c\u8bc1\u200b\u6b65\u9aa4","text":""},{"location":"advance/cilium-networkpolicy/#pod","title":"\u521b\u5efa\u200b\u6d4b\u8bd5\u200b Pod","text":"<p>\u200b\u521b\u5efa\u200b namespace <code>test</code>\u3002\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u5728\u200b test namespace \u200b\u4e2d\u200b\u521b\u5efa\u200b\u6307\u5b9a\u200b label <code>app=test</code> \u200b\u7684\u200b Pod\uff0c\u200b\u4f5c\u4e3a\u200b\u6d4b\u8bd5\u200b\u8bbf\u95ee\u200b\u7684\u200b\u76ee\u7684\u200b Pod\u3002</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: test\n  name: test\n  namespace: test\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: test\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      labels:\n        app: test\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n</code></pre> <p>\u200b\u540c\u6837\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u5728\u200b default namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b\u6307\u5b9a\u200b label <code>app=dynamic</code> \u200b\u7684\u200b Pod \u200b\u4e3a\u200b\u53d1\u8d77\u200b\u8bbf\u95ee\u200b\u6d4b\u8bd5\u200b\u7684\u200b Pod\u3002</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: dynamic\n  name: dynamic\n  namespace: default\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: dynamic\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      creationTimestamp: null\n      labels:\n        app: dynamic\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n</code></pre> <p>\u200b\u67e5\u770b\u200b\u6d4b\u8bd5\u200b Pod \u200b\u4ee5\u53ca\u200b Label \u200b\u4fe1\u606f\u200b:</p> <pre><code># kubectl get pod -o wide --show-labels\nNAME                         READY   STATUS    RESTARTS   AGE   IP           NODE                     NOMINATED NODE   READINESS GATES   LABELS\ndynamic-7d8d7874f5-9v5c4     1/1     Running   0          28h   10.16.0.35   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\ndynamic-7d8d7874f5-s8z2n     1/1     Running   0          28h   10.16.0.36   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\n# kubectl get pod -o wide -n test --show-labels\nNAME                           READY   STATUS    RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES   LABELS\ndynamic-7d8d7874f5-6dsg6       1/1     Running   0          7h20m   10.16.0.2    kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\ndynamic-7d8d7874f5-tjgtp       1/1     Running   0          7h46m   10.16.0.42   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\nlabel-test1-77b6764857-swq4k   1/1     Running   0          3h43m   10.16.0.12   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=test1,pod-template-hash=77b6764857\n\n// \u200b\u4ee5\u4e0b\u200b\u4e3a\u200b\u6d4b\u8bd5\u200b\u8bbf\u95ee\u200b\u76ee\u7684\u200b Pod\ntest-54c98bc466-mft5s          1/1     Running   0          8h      10.16.0.41   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=test,pod-template-hash=54c98bc466\n</code></pre>"},{"location":"advance/cilium-networkpolicy/#l3","title":"L3 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u6d4b\u8bd5","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b <code>CiliumNetworkPolicy</code> \u200b\u8d44\u6e90\u200b:</p> <pre><code>apiVersion: \"cilium.io/v2\"\nkind: CiliumNetworkPolicy\nmetadata:\n  name: \"l3-rule\"\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n</code></pre> <p>\u200b\u5728\u200b default namespace \u200b\u4e0b\u200b\u7684\u200b\u6d4b\u8bd5\u200b Pod \u200b\u4e2d\u200b\uff0c\u200b\u53d1\u8d77\u200b\u5bf9\u200b\u76ee\u7684\u200b Pod \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u7ed3\u679c\u200b\u8bbf\u95ee\u200b\u4e0d\u901a\u200b\u3002 \u200b\u4f46\u662f\u200b\u5728\u200b test namespace \u200b\u4e0b\u200b\uff0c\u200b\u6d4b\u8bd5\u200b\u5230\u200b\u76ee\u7684\u200b Pod \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u6d4b\u8bd5\u200b\u6b63\u5e38\u200b\u3002</p> <p>default namespace \u200b\u4e0b\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b:</p> <pre><code># kubectl exec -it dynamic-7d8d7874f5-9v5c4 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\n</code></pre> <p>test namepsace \u200b\u4e0b\u200b Pod \u200b\u7684\u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u8bbf\u95ee\u200b\u6b63\u5e38\u200b:</p> <pre><code># kubectl exec -it -n test dynamic-7d8d7874f5-6dsg6 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n64 bytes from 10.16.0.41: seq=0 ttl=64 time=2.558 ms\n64 bytes from 10.16.0.41: seq=1 ttl=64 time=0.223 ms\n64 bytes from 10.16.0.41: seq=2 ttl=64 time=0.304 ms\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.223/1.028/2.558 ms\n</code></pre> <p>\u200b\u67e5\u770b\u200b Cilium \u200b\u5b98\u65b9\u200b\u6587\u6863\u200b\u89e3\u91ca\u200b\uff0c<code>CiliumNetworkPolicy</code> \u200b\u8d44\u6e90\u200b\u5c06\u200b\u9650\u5236\u200b\u63a7\u5236\u200b\u5728\u200b\u4e86\u200b <code>Namespace</code> \u200b\u7ea7\u522b\u200b\u3002\u200b\u8be6\u7ec6\u4fe1\u606f\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b Cilium \u200b\u9650\u5236\u200b\u3002</p> <p>\u200b\u5728\u200b\u6709\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u5339\u914d\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u53ea\u6709\u200b\u540c\u4e00\u4e2a\u200b Namespace \u200b\u7684\u200b Pod \uff0c\u200b\u624d\u200b\u53ef\u4ee5\u200b\u6309\u7167\u200b\u89c4\u5219\u200b\u8fdb\u884c\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u62d2\u7edd\u200b\u5176\u4ed6\u200b Namespace \u200b\u7684\u200b Pod \u200b\u8fdb\u884c\u200b\u8bbf\u95ee\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u60f3\u200b\u5b9e\u73b0\u200b\u8de8\u200b Namespace \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u89c4\u5219\u200b\u4e2d\u200b\u660e\u786e\u200b\u6307\u5b9a\u200b Namespace \u200b\u4fe1\u606f\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\uff0c\u200b\u4fee\u6539\u200b <code>CiliumNetworkPolicy</code> \u200b\u8d44\u6e90\u200b\uff0c\u200b\u589e\u52a0\u200b namespace \u200b\u4fe1\u606f\u200b:</p> <pre><code>  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n        k8s:io.kubernetes.pod.namespace: default    // \u200b\u63a7\u5236\u200b\u5176\u4ed6\u200b Namespace \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\n</code></pre> <p>\u200b\u67e5\u770b\u200b\u4fee\u6539\u200b\u540e\u200b\u7684\u200b <code>CiliumNetworkPolicy</code> \u200b\u8d44\u6e90\u200b\u4fe1\u606f\u200b:</p> <pre><code># kubectl get cnp -n test  -o yaml l3-rule\napiVersion: cilium.io/v2\nkind: CiliumNetworkPolicy\nmetadata:\n  name: l3-rule\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n    - matchLabels:\n        app: dynamic\n        k8s:io.kubernetes.pod.namespace: default\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u6d4b\u8bd5\u200b default namespace \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\uff0c\u200b\u76ee\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\u6b63\u5e38\u200b:</p> <pre><code># kubectl exec -it dynamic-7d8d7874f5-9v5c4 -n test -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n64 bytes from 10.16.0.41: seq=0 ttl=64 time=2.383 ms\n64 bytes from 10.16.0.41: seq=1 ttl=64 time=0.115 ms\n64 bytes from 10.16.0.41: seq=2 ttl=64 time=0.142 ms\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.115/0.880/2.383 ms\n</code></pre> <p>\u200b\u4f7f\u7528\u200b\u6807\u51c6\u200b\u7684\u200b Kubernetes \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b networkpolicy\uff0c\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u663e\u793a\u200b Cilium \u200b\u540c\u6837\u200b\u5c06\u200b\u8bbf\u95ee\u200b\u9650\u5236\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b Namespace \u200b\u5185\u200b\uff0c\u200b\u8de8\u200b Namespace \u200b\u7684\u200b\u8bbf\u95ee\u200b\u662f\u200b\u7981\u6b62\u200b\u7684\u200b\u3002</p> <p>\u200b\u8fd9\u70b9\u200b\u4e0e\u200b Kube-OVN \u200b\u5b9e\u73b0\u200b\u662f\u200b\u4e0d\u540c\u200b\u7684\u200b\u3002Kube-OVN \u200b\u652f\u6301\u200b\u6807\u51c6\u200b\u7684\u200b k8s \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\uff0c\u200b\u9650\u5236\u200b\u4e86\u200b\u5177\u4f53\u200b Namespace \u200b\u4e0b\u200b\u7684\u200b\u76ee\u7684\u200b Pod\uff0c\u200b\u4f46\u662f\u200b\u5bf9\u200b\u6e90\u5730\u5740\u200b Pod\uff0c\u200b\u662f\u200b\u6ca1\u6709\u200b Namespace \u200b\u9650\u5236\u200b\u7684\u200b\uff0c\u200b\u4efb\u4f55\u200b Namespace \u200b\u4e0b\u200b\u7b26\u5408\u200b\u9650\u5236\u200b\u89c4\u5219\u200b\u7684\u200b Pod\uff0c\u200b\u90fd\u200b\u53ef\u4ee5\u200b\u5b9e\u73b0\u200b\u5bf9\u200b\u76ee\u7684\u200b Pod \u200b\u7684\u200b\u8bbf\u95ee\u200b\u3002</p>"},{"location":"advance/cilium-networkpolicy/#l4","title":"L4 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u6d4b\u8bd5","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b L4 \u200b\u5c42\u200b\u7684\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u8d44\u6e90\u200b:</p> <pre><code>apiVersion: \"cilium.io/v2\"\nkind: CiliumNetworkPolicy\nmetadata:\n  name: \"l4-rule\"\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n    toPorts:\n    - ports:\n      - port: \"80\"\n        protocol: TCP\n</code></pre> <p>\u200b\u6d4b\u8bd5\u200b\u76f8\u540c\u200b Namespace \u200b\u4e0b\u200b\uff0c\u200b\u7b26\u5408\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u7684\u200b Pod \u200b\u7684\u200b\u8bbf\u95ee\u200b</p> <pre><code># kubectl exec -it -n test dynamic-7d8d7874f5-6dsg6 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\nbash-5.0#\nbash-5.0# curl 10.16.0.41:80\n&lt;html&gt;\n&lt;head&gt;\n        &lt;title&gt;Hello World!&lt;/title&gt;\n        &lt;link href='//fonts.googleapis.com/css?family=Open+Sans:400,700' rel='stylesheet' type='text/css'&gt;\n        &lt;style&gt;\n        body {\n                background-color: white;\n                text-align: center;\n                padding: 50px;\n                font-family: \"Open Sans\",\"Helvetica Neue\",Helvetica,Arial,sans-serif;\n        }\n        #logo {\n                margin-bottom: 40px;\n        }\n        &lt;/style&gt;\n&lt;/head&gt;\n&lt;body&gt;\n                &lt;h1&gt;Hello World!&lt;/h1&gt;\n                                &lt;h3&gt;Links found&lt;/h3&gt;\n        &lt;h3&gt;I am on  test-54c98bc466-mft5s&lt;/h3&gt;\n        &lt;h3&gt;Cookie                  =&lt;/h3&gt;\n                                        &lt;b&gt;KUBERNETES&lt;/b&gt; listening in 443 available at tcp://10.96.0.1:443&lt;br /&gt;\n                                                &lt;h3&gt;my name is hanhouchao!&lt;/h3&gt;\n                        &lt;h3&gt; RequestURI='/'&lt;/h3&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre> <p>\u200b\u76f8\u540c\u200b Namespace \u200b\u4e0b\u200b\uff0c\u200b\u4e0d\u200b\u7b26\u5408\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\u6d4b\u8bd5\u200b</p> <pre><code># kubectl exec -it -n test label-test1-77b6764857-swq4k -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\nbash-5.0#\nbash-5.0# curl -v 10.16.0.41:80 --connect-timeout 10\n*   Trying 10.16.0.41:80...\n* After 10000ms connect time, move on!\n* connect to 10.16.0.41 port 80 failed: Operation timed out\n* Connection timeout after 10001 ms\n* Closing connection 0\ncurl: (28) Connection timeout after 10001 ms\n</code></pre> <p>\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u751f\u6548\u200b\u540e\u200b\uff0c\u200b\u8de8\u200b Namespace \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u4f9d\u7136\u200b\u662f\u200b\u88ab\u200b\u7981\u6b62\u200b\u7684\u200b\uff0c\u200b\u8ddf\u200b L3 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b\u4e00\u81f4\u200b\u3002</p> <p>\u200b\u5728\u200b L4 \u200b\u7f51\u7edc\u200b\u89c4\u5219\u200b\u751f\u6548\u200b\u540e\u200b\uff0cping \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\uff0c\u200b\u4f46\u662f\u200b\u7b26\u5408\u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u7684\u200b TCP \u200b\u8bbf\u95ee\u200b\uff0c\u200b\u662f\u200b\u53ef\u4ee5\u200b\u6b63\u5e38\u200b\u6267\u884c\u200b\u7684\u200b\u3002</p> <p>\u200b\u5173\u4e8e\u200b ICMP \u200b\u7684\u200b\u9650\u5236\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u5b98\u65b9\u200b\u8bf4\u660e\u200b L4 \u200b\u9650\u5236\u200b\u8bf4\u660e\u200b\u3002</p>"},{"location":"advance/cilium-networkpolicy/#l7","title":"L7 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u6d4b\u8bd5","text":"<p>chaining \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0cL7 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u76ee\u524d\u200b\u662f\u200b\u5b58\u5728\u200b\u95ee\u9898\u200b\u7684\u200b\u3002\u200b\u5728\u200b Cilium \u200b\u5b98\u65b9\u200b\u6587\u6863\u200b\u4e2d\u200b\uff0c\u200b\u5bf9\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u7ed9\u51fa\u200b\u4e86\u200b\u8bf4\u660e\u200b\uff0c\u200b\u53c2\u8003\u200b Generic Veth Chaining\u3002</p> <p>\u200b\u8fd9\u4e2a\u200b\u95ee\u9898\u200b\u4f7f\u7528\u200b issue 12454 \u200b\u8ddf\u8e2a\u200b\uff0c\u200b\u76ee\u524d\u200b\u8fd8\u200b\u6ca1\u6709\u200b\u89e3\u51b3\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/dhcp/","title":"DHCP \u200b\u8bbe\u7f6e","text":"<p>\u200b\u5728\u200b\u4f7f\u7528\u200b SR-IOV \u200b\u6216\u200b DPDK \u200b\u7c7b\u578b\u200b\u7f51\u7edc\u200b\u65f6\u200b\uff0cKubeVirt \u200b\u5185\u7f6e\u200b\u7684\u200b DHCP \u200b\u65e0\u6cd5\u200b\u5728\u200b\u8be5\u200b\u7f51\u7edc\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u5de5\u4f5c\u200b\u3002Kube-OVN \u200b\u53ef\u4ee5\u200b\u5229\u7528\u200b OVN \u200b\u7684\u200b DHCP \u200b\u80fd\u529b\u200b\u5728\u200b\u5b50\u7f51\u200b\u7ea7\u522b\u200b\u8bbe\u7f6e\u200b  DHCP \u200b\u9009\u9879\u200b\uff0c\u200b\u4ece\u800c\u200b\u5e2e\u52a9\u200b\u8be5\u200b\u7f51\u7edc\u200b\u7c7b\u578b\u200b\u7684\u200b KubeVirt \u200b\u865a\u673a\u200b\u6b63\u5e38\u200b\u4f7f\u7528\u200b DHCP \u200b\u83b7\u5f97\u200b\u5206\u914d\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002Kube-OVN \u200b\u540c\u65f6\u200b\u652f\u6301\u200b DHCPv4 \u200b\u548c\u200b DHCPv6\u3002</p> <p>\u200b\u5b50\u7f51\u200b DHCP \u200b\u7684\u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sn-dual\nspec:\n  cidrBlock: \"10.0.0.0/24,240e::a00/120\"\n  default: false\n  disableGatewayCheck: true\n  disableInterConnection: false\n  excludeIps:\n    - 10.0.0.1\n    - 240e::a01\n  gateway: 10.0.0.1,240e::a01\n  gatewayNode: ''\n  gatewayType: distributed\n  natOutgoing: false\n  private: false\n  protocol: Dual\n  provider: ovn\n  vpc: vpc-test\n  enableDHCP: true\n  dhcpV4Options: \"lease_time=3600,router=10.0.0.1,server_id=169.254.0.254,server_mac=00:00:00:2E:2F:B8\"\n  dhcpV6Options: \"server_id=00:00:00:2E:2F:C5\"\n  enableIPv6RA: true\n  ipv6RAConfigs: \"address_mode=dhcpv6_stateful,max_interval=30,min_interval=5,send_periodic=true\"\n</code></pre> <ul> <li><code>enableDHCP</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u5b50\u7f51\u200b\u7684\u200b DHCP \u200b\u529f\u80fd\u200b\u3002</li> <li><code>dhcpV4Options</code>,<code>dhcpV6Options</code>: \u200b\u8be5\u5b57\u6bb5\u200b\u76f4\u63a5\u200b\u66b4\u9732\u200b ovn-nb \u200b\u5185\u200b DHCP \u200b\u76f8\u5173\u200b\u9009\u9879\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b DHCP Options\u3002 \u200b\u9ed8\u8ba4\u503c\u200b\u5206\u522b\u200b\u4e3a\u200b <code>\"lease_time=3600, router=$ipv4_gateway, server_id=169.254.0.254, server_mac=$random_mac\"</code> \u200b\u548c\u200b <code>server_id=$random_mac</code>\u3002</li> <li><code>enableIPv6RA</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b DHCPv6 \u200b\u7684\u200b\u8def\u7531\u200b\u5e7f\u64ad\u200b\u529f\u80fd\u200b\u3002</li> <li><code>ipv6RAConfigs</code>\uff1a\u200b\u8be5\u5b57\u6bb5\u200b\u76f4\u63a5\u200b\u66b4\u9732\u200b ovn-nb \u200b\u5185\u200b Logical_Router_Port \u200b\u76f8\u5173\u200b\u9009\u9879\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b Logical Router Port \u200b\u9ed8\u8ba4\u503c\u200b\u4e3a\u200b <code>address_mode=dhcpv6_stateful, max_interval=30, min_interval=5, send_periodic=true</code>\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/dpdk/","title":"DPDK \u200b\u652f\u6301","text":"<p>\u200b\u8be5\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b Kube-OVN \u200b\u5982\u4f55\u200b\u548c\u200b OVS-DPDK \u200b\u7ed3\u5408\u200b\uff0c\u200b\u7ed9\u200b KubeVirt \u200b\u7684\u200b\u865a\u673a\u200b\u63d0\u4f9b\u200b DPDK \u200b\u7c7b\u578b\u200b\u7684\u200b\u7f51\u7edc\u63a5\u53e3\u200b\u3002</p> <p>\u200b\u4e0a\u6e38\u200b\u7684\u200b KubeVirt \u200b\u76ee\u524d\u200b\u8fd8\u200b\u672a\u200b\u652f\u6301\u200b OVS-DPDK\uff0c\u200b\u7528\u6237\u200b\u9700\u8981\u200b\u81ea\u5df1\u200b\u901a\u8fc7\u200b\u76f8\u5173\u200b patch Vhostuser implementation \u200b\u6784\u5efa\u200b KubeVirt \u200b\u6216\u200b KVM Device Plugin \u200b\u6765\u200b\u4f7f\u7528\u200b OVS-DPDK\u3002</p>"},{"location":"advance/dpdk/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ul> <li>\u200b\u8282\u70b9\u200b\u9700\u200b\u63d0\u4f9b\u200b\u4e13\u95e8\u200b\u7ed9\u200b DPDK \u200b\u9a71\u52a8\u200b\u8fd0\u884c\u200b\u7684\u200b\u7f51\u5361\u200b\u3002</li> <li>\u200b\u8282\u70b9\u200b\u9700\u200b\u5f00\u542f\u200b Hugepages\u3002</li> </ul>"},{"location":"advance/dpdk/#dpdk_1","title":"\u7f51\u5361\u200b\u8bbe\u7f6e\u200b DPDK \u200b\u9a71\u52a8","text":"<p>\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b <code>driverctl</code> \u200b\u4e3a\u4f8b\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5177\u4f53\u200b\u53c2\u6570\u200b\u548c\u200b\u5176\u4ed6\u200b\u9a71\u52a8\u200b\u4f7f\u7528\u200b\u8bf7\u200b\u53c2\u8003\u200b DPDK \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\u3002</p> <pre><code>driverctl set-override 0000:00:0b.0 uio_pci_generic\n</code></pre>"},{"location":"advance/dpdk/#_2","title":"\u8282\u70b9\u200b\u914d\u7f6e","text":"<p>\u200b\u5bf9\u200b\u652f\u6301\u200b OVS-DPDK \u200b\u7684\u200b\u8282\u70b9\u200b\u6253\u200b\u6807\u7b7e\u200b\uff0c\u200b\u4ee5\u4fbf\u200b Kube-OVN \u200b\u8fdb\u884c\u200b\u8bc6\u522b\u200b\u5904\u7406\u200b\uff1a</p> <pre><code>kubectl label nodes &lt;node&gt; ovn.kubernetes.io/ovs_dp_type=\"userspace\"\n</code></pre> <p>\u200b\u5728\u200b\u652f\u6301\u200b OVS-DPDK \u200b\u8282\u70b9\u200b\u7684\u200b <code>/opt/ovs-config</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\u521b\u5efa\u200b\u914d\u7f6e\u6587\u4ef6\u200b <code>ovs-dpdk-config</code>\uff1a</p> <pre><code>ENCAP_IP=192.168.122.193/24\nDPDK_DEV=0000:00:0b.0\n</code></pre> <ul> <li><code>ENCAP_IP</code>: \u200b\u96a7\u9053\u200b\u7aef\u70b9\u200b\u5730\u5740\u200b\u3002</li> <li><code>DPDK_DEV</code>: \u200b\u8bbe\u5907\u200b\u7684\u200b PCI ID\u3002</li> </ul>"},{"location":"advance/dpdk/#kube-ovn","title":"\u5b89\u88c5\u200b Kube-OVN","text":"<p>\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u542f\u7528\u200b DPDK \u200b\u5b89\u88c5\u200b\u9009\u9879\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a</p> <pre><code>bash install.sh --with-hybrid-dpdk\n</code></pre>"},{"location":"advance/dpdk/#_3","title":"\u4f7f\u7528\u200b\u65b9\u5f0f","text":"<p>\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u901a\u8fc7\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b\u4f7f\u7528\u200b vhostuser \u200b\u7c7b\u578b\u200b\u7f51\u5361\u200b\u7684\u200b\u865a\u200b\u673a\u6765\u200b\u9a8c\u8bc1\u200b OVS-DPDK \u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u5b89\u88c5\u200b KVM Device Plugin \u200b\u6765\u200b\u521b\u5efa\u200b\u865a\u673a\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u8bf7\u200b\u53c2\u8003\u200b KVM Device Plugin\u3002</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/kubevirt/kubernetes-device-plugins/master/manifests/kvm-ds.yml\n</code></pre> <p>\u200b\u521b\u5efa\u200b NetworkAttachmentDefinition\uff1a</p> <pre><code>apiVersion: k8s.cni.cncf.io/v1\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-dpdk\n  namespace: default\nspec:\n  config: &gt;-\n    {\n        \"cniVersion\": \"0.3.0\", \n        \"type\": \"kube-ovn\", \n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\", \n        \"provider\": \"ovn-dpdk.default.ovn\",\n        \"vhost_user_socket_volume_name\": \"vhostuser-sockets\",\n        \"vhost_user_socket_name\": \"sock\"\n    }\n</code></pre> <p>\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b Dockerfile \u200b\u521b\u5efa\u200b VM \u200b\u955c\u50cf\u200b\uff1a</p> <pre><code>FROM quay.io/kubevirt/virt-launcher:v0.46.1\n\n# wget http://cloud.centos.org/centos/7/images/CentOS-7-x86_64-GenericCloud.qcow2\nCOPY CentOS-7-x86_64-GenericCloud.qcow2 /var/lib/libvirt/images/CentOS-7-x86_64-GenericCloud.qcow2\n</code></pre> <p>\u200b\u521b\u5efa\u200b\u865a\u62df\u673a\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vm-config\ndata:\n  start.sh: |\n    chmod u+w /etc/libvirt/qemu.conf\n    echo \"hugetlbfs_mount = \\\"/dev/hugepages\\\"\" &gt;&gt; /etc/libvirt/qemu.conf\n    virtlogd &amp;\n    libvirtd &amp;\n\n    mkdir /var/lock\n\n    sleep 5\n\n    virsh define /root/vm/vm.xml\n    virsh start vm\n\n    tail -f /dev/null\n  vm.xml: |\n    &lt;domain type='kvm'&gt;\n      &lt;name&gt;vm&lt;/name&gt;\n      &lt;uuid&gt;4a9b3f53-fa2a-47f3-a757-dd87720d9d1d&lt;/uuid&gt;\n      &lt;memory unit='KiB'&gt;2097152&lt;/memory&gt;\n      &lt;currentMemory unit='KiB'&gt;2097152&lt;/currentMemory&gt;\n      &lt;memoryBacking&gt;\n        &lt;hugepages&gt;\n          &lt;page size='2' unit='M' nodeset='0'/&gt;\n        &lt;/hugepages&gt;\n      &lt;/memoryBacking&gt;\n      &lt;vcpu placement='static'&gt;2&lt;/vcpu&gt;\n      &lt;cputune&gt;\n        &lt;shares&gt;4096&lt;/shares&gt;\n        &lt;vcpupin vcpu='0' cpuset='4'/&gt;\n        &lt;vcpupin vcpu='1' cpuset='5'/&gt;\n        &lt;emulatorpin cpuset='1,3'/&gt;\n      &lt;/cputune&gt;\n      &lt;os&gt;\n        &lt;type arch='x86_64' machine='pc'&gt;hvm&lt;/type&gt;\n        &lt;boot dev='hd'/&gt;\n      &lt;/os&gt;\n      &lt;features&gt;\n        &lt;acpi/&gt;\n        &lt;apic/&gt;\n      &lt;/features&gt;\n      &lt;cpu mode='host-model'&gt;\n        &lt;model fallback='allow'/&gt;\n        &lt;topology sockets='1' cores='2' threads='1'/&gt;\n        &lt;numa&gt;\n          &lt;cell id='0' cpus='0-1' memory='2097152' unit='KiB' memAccess='shared'/&gt;\n        &lt;/numa&gt;\n      &lt;/cpu&gt;\n      &lt;on_reboot&gt;restart&lt;/on_reboot&gt;\n      &lt;devices&gt;\n        &lt;emulator&gt;/usr/libexec/qemu-kvm&lt;/emulator&gt;\n        &lt;disk type='file' device='disk'&gt;\n          &lt;driver name='qemu' type='qcow2' cache='none'/&gt;\n          &lt;source file='/var/lib/libvirt/images/CentOS-7-x86_64-GenericCloud.qcow2'/&gt;\n          &lt;target dev='vda' bus='virtio'/&gt;\n        &lt;/disk&gt;\n\n        &lt;interface type='vhostuser'&gt;\n          &lt;mac address='00:00:00:0A:30:89'/&gt;\n          &lt;source type='unix' path='/var/run/vm/sock' mode='server'/&gt;\n           &lt;model type='virtio'/&gt;\n          &lt;driver queues='2'&gt;\n            &lt;host mrg_rxbuf='off'/&gt;\n          &lt;/driver&gt;\n        &lt;/interface&gt;\n        &lt;serial type='pty'&gt;\n          &lt;target type='isa-serial' port='0'&gt;\n            &lt;model name='isa-serial'/&gt;\n          &lt;/target&gt;\n        &lt;/serial&gt;\n        &lt;console type='pty'&gt;\n          &lt;target type='serial' port='0'/&gt;\n        &lt;/console&gt;\n        &lt;channel type='unix'&gt;\n          &lt;source mode='bind' path='/var/lib/libvirt/qemu/channel/target/domain-1-vm/org.qemu.guest_agent.0'/&gt;\n          &lt;target type='virtio' name='org.qemu.guest_agent.0' state='connected'/&gt;\n          &lt;alias name='channel0'/&gt;\n          &lt;address type='virtio-serial' controller='0' bus='0' port='1'/&gt;\n        &lt;/channel&gt;\n\n      &lt;/devices&gt;\n    &lt;/domain&gt;\n---\napiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: vm-deployment\n  labels:\n    app: vm\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: vm\n  template:\n    metadata:\n      labels:\n        app: vm\n      annotations:\n        k8s.v1.cni.cncf.io/networks: default/ovn-dpdk\n        ovn-dpdk.default.ovn.kubernetes.io/ip_address: 10.16.0.96\n        ovn-dpdk.default.ovn.kubernetes.io/mac_address: 00:00:00:0A:30:89\n    spec:\n      nodeSelector:\n        ovn.kubernetes.io/ovs_dp_type: userspace\n      securityContext:\n        runAsUser: 0\n      volumes:\n        - name: vhostuser-sockets\n          emptyDir: {}\n        - name: xml\n          configMap:\n            name: vm-config\n        - name: hugepage\n          emptyDir:\n            medium: HugePages-2Mi\n        - name: libvirt-runtime\n          emptyDir: {}\n      containers:\n        - name: vm\n          image: vm-vhostuser:latest\n          command: [\"bash\", \"/root/vm/start.sh\"]\n          securityContext:\n            capabilities:\n              add:\n                - NET_BIND_SERVICE\n                - SYS_NICE\n                - NET_RAW\n                - NET_ADMIN\n            privileged: false\n            runAsUser: 0\n          resources:\n            limits:\n              cpu: '2'\n              devices.kubevirt.io/kvm: '1'\n              memory: '8784969729'\n              hugepages-2Mi: 2Gi\n            requests:\n              cpu: 666m\n              devices.kubevirt.io/kvm: '1'\n              ephemeral-storage: 50M\n              memory: '4490002433'\n          volumeMounts:\n            - name: vhostuser-sockets\n              mountPath: /var/run/vm\n            - name: xml\n              mountPath: /root/vm/\n            - mountPath: /dev/hugepages\n              name: hugepage\n            - name: libvirt-runtime\n              mountPath: /var/run/libvirt\n</code></pre> <p>\u200b\u7b49\u5f85\u200b\u865a\u62df\u673a\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u8fdb\u5165\u200b Pod \u200b\u8fdb\u884c\u200b\u865a\u673a\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code># virsh set-user-password vm root 12345\nPassword set successfully for root in vm\n\n# virsh console vm\nConnected to domain 'vm'\nEscape character is ^] (Ctrl + ])\n\nCentOS Linux 7 (Core)\nKernel 3.10.0-1127.el7.x86_64 on an x86_64\n\nlocalhost login: root\nPassword:\nLast login: Fri Feb 25 09:52:54 on ttyS0\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u767b\u5f55\u200b\u865a\u673a\u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\u5e76\u200b\u6d4b\u8bd5\u200b\uff1a</p> <pre><code>ip link set eth0 mtu 1400\nip addr add 10.16.0.96/16 dev eth0\nip ro add default via 10.16.0.1\nping 114.114.114.114\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/external-gateway/","title":"\u5916\u90e8\u200b\u7f51\u5173\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u5bf9\u200b\u6240\u6709\u200b\u5bb9\u5668\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7684\u200b\u6d41\u91cf\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b\u4e00\u4e2a\u200b\u5916\u90e8\u200b\u7684\u200b\u7f51\u5173\u200b\u8fdb\u884c\u200b\u7edf\u4e00\u200b\u7684\u200b\u7ba1\u7406\u200b\u548c\u200b\u5ba1\u8ba1\u200b\u3002 Kube-OVN \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5728\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b\u8def\u7531\u200b\u914d\u7f6e\u200b\uff0c\u200b\u5c06\u200b\u51fa\u7f51\u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b\u81f3\u200b\u5bf9\u5e94\u200b\u7684\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u3002</p>"},{"location":"advance/external-gateway/#_2","title":"\u4f7f\u7528\u200b\u65b9\u5f0f","text":"<pre><code>kind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: external\nspec:\n  cidrBlock: 172.31.0.0/16\n  gatewayType: centralized\n  natOutgoing: false\n  externalEgressGateway: 192.168.0.1\n  policyRoutingTableID: 1000\n  policyRoutingPriority: 1500\n</code></pre> <ul> <li><code>natOutgoing</code>: \u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code>\u3002</li> <li><code>externalEgressGateway</code>\uff1a\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u9700\u8981\u200b\u548c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u4e8c\u5c42\u200b\u53ef\u8fbe\u57df\u200b\u3002</li> <li><code>policyRoutingTableID</code>\uff1a\u200b\u4f7f\u7528\u200b\u7684\u200b\u672c\u5730\u200b\u7b56\u7565\u200b\u8def\u7531\u8868\u200b\u7684\u200b TableID \u200b\u6bcf\u4e2a\u200b\u5b50\u7f51\u200b\u5747\u200b\u9700\u200b\u4e0d\u540c\u200b\u4ee5\u200b\u907f\u514d\u200b\u51b2\u7a81\u200b\u3002</li> <li><code>policyRoutingPriority</code>\uff1a\u200b\u8def\u7531\u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u4e3a\u200b\u907f\u514d\u200b\u540e\u7eed\u200b\u7528\u6237\u200b\u5b9a\u5236\u200b\u5316\u200b\u7684\u200b\u5176\u4ed6\u200b\u8def\u7531\u200b\u64cd\u4f5c\u200b\u51b2\u7a81\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u53ef\u4ee5\u200b\u6307\u5b9a\u200b\u8def\u7531\u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u82e5\u200b\u65e0\u200b\u7279\u6b8a\u200b\u9700\u6c42\u200b\u586b\u5165\u200b\u4efb\u610f\u200b\u503c\u200b\u5373\u53ef\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/fastpath/","title":"\u624b\u52a8\u200b\u7f16\u8bd1\u200b FastPath \u200b\u6a21\u5757","text":"<p>\u200b\u7ecf\u8fc7\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u7684\u200b\u6027\u80fd\u200b Profile\uff0c<code>Netfilter</code> \u200b\u5728\u200b\u5bb9\u5668\u200b\u5185\u200b\u548c\u200b\u5bbf\u4e3b\u673a\u200b\u4e0a\u200b\u7684\u200b\u76f8\u5173\u200b\u5904\u7406\u200b\u6d88\u8017\u200b\u4e86\u200b 20% \u200b\u5de6\u53f3\u200b\u7684\u200b CPU \u200b\u8d44\u6e90\u200b\uff0cFastPath \u200b\u6a21\u5757\u200b\u53ef\u4ee5\u200b\u7ed5\u8fc7\u200b <code>Netfilter</code> \u200b\u4ece\u800c\u200b \u200b\u964d\u4f4e\u200b CPU \u200b\u7684\u200b\u6d88\u8017\u200b\u548c\u200b\u5ef6\u8fdf\u200b\uff0c\u200b\u5e76\u200b\u63d0\u5347\u200b\u541e\u5410\u91cf\u200b\u3002\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u200b\u4ecb\u7ecd\u200b\u5982\u4f55\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b FastPath \u200b\u6a21\u5757\u200b\u3002</p>"},{"location":"advance/fastpath/#_1","title":"\u4e0b\u8f7d\u200b\u76f8\u5173\u200b\u5185\u6838\u6a21\u5757\u200b\u4ee3\u7801","text":"<pre><code>git clone --depth=1 https://github.com/kubeovn/kube-ovn.git\n</code></pre>"},{"location":"advance/fastpath/#_2","title":"\u5b89\u88c5\u200b\u4f9d\u8d56","text":"<p>\u200b\u8fd9\u91cc\u200b\u4ee5\u200b CentOS \u200b\u4e3a\u4f8b\u200b\u4e0b\u8f7d\u200b\u76f8\u5173\u200b\u4f9d\u8d56\u200b\uff1a</p> <pre><code>yum install -y kernel-devel-$(uname -r) gcc elfutils-libelf-devel\n</code></pre>"},{"location":"advance/fastpath/#_3","title":"\u7f16\u8bd1\u200b\u76f8\u5173\u200b\u6a21\u5757","text":"<p>\u200b\u9488\u5bf9\u200b 3.x \u200b\u7684\u200b\u5185\u6838\u200b\uff1a</p> <pre><code>cd kube-ovn/fastpath\nmake all\n</code></pre> <p>\u200b\u9488\u5bf9\u200b 4.x \u200b\u7684\u200b\u5185\u6838\u200b\uff1a</p> <pre><code>cd kube-ovn/fastpath/4.18\ncp ../Makefile .\nmake all\n</code></pre>"},{"location":"advance/fastpath/#_4","title":"\u5b89\u88c5\u200b\u5185\u6838\u6a21\u5757","text":"<p>\u200b\u5c06\u200b <code>kube_ovn_fastpath.ko</code> \u200b\u590d\u5236\u5230\u200b\u6bcf\u4e2a\u200b\u9700\u8981\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u7684\u200b\u8282\u70b9\u200b <code>/tmp</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\uff0c<code>kube-ovn-cni</code> \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u52a0\u8f7d\u200b\u8be5\u200b\u6a21\u5757\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b <code>dmesg</code> \u200b\u786e\u8ba4\u200b\u5b89\u88c5\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># dmesg\n[619631.323788] init_module,kube_ovn_fastpath_local_out\n[619631.323798] init_module,kube_ovn_fastpath_post_routing\n[619631.323800] init_module,kube_ovn_fastpath_pre_routing\n[619631.323801] init_module,kube_ovn_fastpath_local_in\n</code></pre> <p>\u200b\u5982\u9700\u200b\u5378\u8f7d\u200b\u6a21\u5757\u200b\uff0c\u200b\u53ef\u200b\u5c06\u200b\u8be5\u200b\u6a21\u5757\u200b\u4ece\u200b <code>/tmp</code> \u200b\u76ee\u5f55\u200b\u4e0b\u79fb\u200b\u9664\u200b\uff0c<code>kube-ovn-cni</code> \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5378\u8f7d\u200b\u8be5\u200b\u6a21\u5757\u200b\u3002</p> <p>\u200b\u8be5\u200b\u6a21\u5757\u200b\u5728\u200b\u673a\u5668\u200b\u91cd\u542f\u200b\u540e\u200b\u4e0d\u4f1a\u200b\u81ea\u52a8\u200b\u52a0\u8f7d\u200b\uff0c\u200b\u5982\u9700\u200b\u81ea\u52a8\u200b\u52a0\u8f7d\u200b\u8bf7\u200b\u6839\u636e\u200b\u7cfb\u7edf\u200b\u5f04\u200b\u914d\u7f6e\u200b\u7f16\u5199\u200b\u76f8\u5e94\u200b\u81ea\u542f\u52a8\u200b\u811a\u672c\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/multi-nic/","title":"\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406","text":"<p>Kube-OVN \u200b\u53ef\u4ee5\u200b\u4e3a\u200b\u5176\u4ed6\u200b CNI \u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u4f8b\u5982\u200b macvlan\u3001vlan\u3001host-device \u200b\u7b49\u200b\u63d2\u4ef6\u200b\u63d0\u4f9b\u200b\u96c6\u7fa4\u200b\u7ea7\u522b\u200b\u7684\u200b IPAM \u200b\u80fd\u529b\u200b\uff0c \u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5230\u200b Kube-OVN \u200b\u4e2d\u5b50\u200b\u7f51\u200b\u4ee5\u53ca\u200b\u56fa\u5b9a\u200b IP \u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u540c\u65f6\u200b Kube-OVN \u200b\u4e5f\u200b\u652f\u6301\u200b\u591a\u5757\u200b\u7f51\u5361\u200b\u5747\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7f51\u5361\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u7684\u200b\u5730\u5740\u200b\u7ba1\u7406\u200b\u3002</p>"},{"location":"advance/multi-nic/#_2","title":"\u5de5\u4f5c\u200b\u539f\u7406","text":"<p>\u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b\uff1a</p> <p>\u200b\u4e0b\u9762\u200b\u662f\u200b\u7531\u200b Multus CNI \u200b\u63d0\u4f9b\u200b\u7684\u200b\u8fde\u63a5\u200b\u5230\u200b pod \u200b\u7684\u200b\u7f51\u7edc\u63a5\u53e3\u200b\u793a\u610f\u56fe\u200b\u3002\u200b\u56fe\u4e2d\u200b\u663e\u793a\u200b pod \u200b\u6709\u200b\u4e09\u4e2a\u200b\u63a5\u53e3\u200b\uff1aeth0\u3001net0 \u200b\u548c\u200b net1\u3002 eth0 \u200b\u8fde\u63a5\u200b kubernetes \u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7528\u4e8e\u200b\u8fde\u63a5\u200b kubernetes \u200b\u670d\u52a1\u5668\u200b\uff08\u200b\u5982\u200b kubernetes api-server\u3001kubelet \u200b\u7b49\u200b\uff09\u3002 net0 \u200b\u548c\u200b net1 \u200b\u662f\u200b\u9644\u52a0\u200b\u7f51\u7edc\u63a5\u53e3\u200b\uff0c\u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b\u5176\u4ed6\u200b CNI \u200b\u63d2\u4ef6\u200b\uff08\u200b\u5982\u200b vlan/vxlan/ptp\uff09\u200b\u8fde\u63a5\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u3002</p> <p></p> <p>IPAM\uff1a</p> <p>\u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b Multus CNI, \u200b\u6211\u4eec\u200b\u53ef\u4ee5\u200b\u7ed9\u200b\u4e00\u4e2a\u200b Pod \u200b\u6dfb\u52a0\u200b\u591a\u5757\u200b\u4e0d\u540c\u200b\u7f51\u7edc\u200b\u7684\u200b\u7f51\u5361\u200b\u3002 \u200b\u7136\u800c\u200b\u6211\u4eec\u200b\u4ecd\u7136\u200b\u7f3a\u4e4f\u200b\u5bf9\u200b\u96c6\u7fa4\u200b\u8303\u56f4\u200b\u5185\u200b\u4e0d\u540c\u200b\u7f51\u7edc\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u8fdb\u884c\u200b\u7ba1\u7406\u200b\u7684\u200b\u80fd\u529b\u200b\u3002\u200b\u5728\u200b Kube-OVN \u200b\u4e2d\u200b\uff0c\u200b\u6211\u4eec\u200b\u5df2\u7ecf\u200b\u80fd\u591f\u200b\u901a\u8fc7\u200b Subnet \u200b\u548c\u200b IP \u200b\u7684\u200b CRD \u200b\u6765\u200b\u8fdb\u884c\u200b IP \u200b\u7684\u200b\u9ad8\u7ea7\u200b\u7ba1\u7406\u200b\uff0c \u200b\u4f8b\u5982\u200b\u5b50\u7f51\u200b\u7ba1\u7406\u200b\uff0cIP \u200b\u9884\u7559\u200b\uff0c\u200b\u968f\u673a\u200b\u5206\u914d\u200b\uff0c\u200b\u56fa\u5b9a\u200b\u5206\u914d\u200b\u7b49\u200b\u3002\u200b\u73b0\u5728\u200b\u6211\u4eec\u200b\u5bf9\u200b\u5b50\u7f51\u200b\u8fdb\u884c\u200b\u6269\u5c55\u200b\uff0c\u200b\u6765\u200b\u63a5\u5165\u200b\u5176\u4ed6\u200b\u4e0d\u540c\u200b\u7684\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u4f7f\u5f97\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u7684\u200b IPAM \u200b\u529f\u80fd\u200b\u3002</p>"},{"location":"advance/multi-nic/#_3","title":"\u5de5\u4f5c\u200b\u6d41\u7a0b","text":"<p>\u200b\u4e0a\u200b\u56fe\u200b\u5c55\u793a\u200b\u4e86\u200b\u5982\u4f55\u200b\u901a\u8fc7\u200b Kube-OVN \u200b\u6765\u200b\u7ba1\u7406\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002\u200b\u5176\u4e2d\u200b\u5bb9\u5668\u200b\u7684\u200b eth0 \u200b\u7f51\u5361\u200b\u63a5\u5165\u200b OVN \u200b\u7f51\u7edc\u200b\uff0cnet1 \u200b\u7f51\u5361\u200b\u63a5\u5165\u200b\u5176\u4ed6\u200b CNI \u200b\u7f51\u7edc\u200b\u3002 net1 \u200b\u7f51\u7edc\u200b\u7684\u200b\u7f51\u7edc\u200b\u5b9a\u4e49\u200b\u6765\u81ea\u200b\u4e8e\u200b multus-cni \u200b\u4e2d\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u8d44\u6e90\u200b\u5b9a\u4e49\u200b\u3002</p> <p>\u200b\u5f53\u200b Pod \u200b\u521b\u5efa\u200b\u65f6\u200b\uff0c<code>kube-ovn-controller</code> \u200b\u4f1a\u200b\u76d1\u542c\u200b\u5230\u200b Pod \u200b\u6dfb\u52a0\u200b\u4e8b\u4ef6\u200b\uff0c\u200b\u5e76\u200b\u6839\u636e\u200b Pod \u200b\u4e2d\u200b\u7684\u200b annotation \u200b\u53bb\u200b\u5bfb\u627e\u200b\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b Subnet \u200b\u5e76\u200b\u4ece\u4e2d\u200b\u8fdb\u884c\u200b IP \u200b\u7684\u200b\u5206\u914d\u200b\u548c\u200b\u7ba1\u7406\u200b\uff0c \u200b\u5e76\u200b\u5c06\u200b Pod \u200b\u6240\u200b\u5206\u914d\u200b\u5230\u200b\u7684\u200b\u5730\u5740\u200b\u4fe1\u606f\u200b\u5199\u200b\u56de\u5230\u200b Pod annotation \u200b\u4e2d\u200b\u3002</p> <p>\u200b\u5728\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u673a\u5668\u200b\u7684\u200b CNI \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5728\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u914d\u7f6e\u200b <code>kube-ovn-cni</code> \u200b\u4f5c\u4e3a\u200b ipam \u200b\u63d2\u4ef6\u200b, <code>kube-ovn-cni</code> \u200b\u5c06\u4f1a\u200b\u8bfb\u53d6\u200b Pod annotation \u200b\u5e76\u200b\u5c06\u200b\u5730\u5740\u200b\u4fe1\u606f\u200b\u901a\u8fc7\u200b CNI \u200b\u534f\u8bae\u200b\u7684\u200b\u6807\u51c6\u200b\u683c\u5f0f\u200b\u8fd4\u56de\u200b\u7ed9\u200b\u76f8\u5e94\u200b\u7684\u200b CNI \u200b\u63d2\u4ef6\u200b\u3002</p>"},{"location":"advance/multi-nic/#_4","title":"\u4f7f\u7528\u200b\u65b9\u6cd5","text":""},{"location":"advance/multi-nic/#kube-ovn-multus","title":"\u5b89\u88c5\u200b Kube-OVN \u200b\u548c\u200b Multus","text":"<p>\u200b\u8bf7\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b \u200b\u548c\u200b Multus how to use \u200b\u6765\u200b\u5b89\u88c5\u200b Kube-OVN \u200b\u548c\u200b Multus-CNI\u3002</p>"},{"location":"advance/multi-nic/#cni-ipam","title":"\u4e3a\u200b\u5176\u4ed6\u200b CNI \u200b\u63d0\u4f9b\u200b IPAM","text":"<p>\u200b\u6b64\u65f6\u200b\u4e3b\u200b\u7f51\u5361\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7f51\u5361\u200b\uff0c\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4e3a\u200b\u5176\u4ed6\u200b\u7c7b\u578b\u200b CNI\u3002</p>"},{"location":"advance/multi-nic/#networkattachmentdefinition","title":"\u521b\u5efa\u200b NetworkAttachmentDefinition","text":"<p>\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b macvlan \u200b\u4f5c\u4e3a\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u7b2c\u4e8c\u4e2a\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u5176\u200b ipam \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>kube-ovn</code>\uff1a</p> <pre><code># \u200b\u52a0\u8f7d\u200b macvlan \u200b\u6a21\u5757\u200b\nsudo modprobe macvlan\n</code></pre> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: macvlan\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth0\",\n      \"mode\": \"bridge\",\n      \"ipam\": {\n        \"type\": \"kube-ovn\",\n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n        \"provider\": \"macvlan.default\"\n      }\n    }'\n</code></pre> <ul> <li><code>spec.config.ipam.type</code>: \u200b\u9700\u8981\u200b\u4e3a\u200b <code>kube-ovn</code> \u200b\u6765\u200b\u8c03\u7528\u200b kube-ovn \u200b\u7684\u200b\u63d2\u4ef6\u200b\u6765\u200b\u83b7\u53d6\u200b\u5730\u5740\u200b\u4fe1\u606f\u200b\u3002</li> <li><code>server_socket</code>: Kube-OVN \u200b\u901a\u4fe1\u200b\u4f7f\u7528\u200b\u7684\u200b socket \u200b\u6587\u4ef6\u200b\u3002 \u200b\u9ed8\u8ba4\u200b\u4f4d\u7f6e\u200b\u4e3a\u200b <code>/run/openvswitch/kube-ovn-daemon.sock</code>\u3002</li> <li><code>provider</code>: \u200b\u5f53\u524d\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;name&gt;.&lt;namespace&gt;</code> , Kube-OVN \u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u8fd9\u4e9b\u200b\u4fe1\u606f\u200b\u627e\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b Subnet \u200b\u8d44\u6e90\u200b\u3002</li> <li><code>master</code>: \u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b\u7269\u7406\u200b\u7f51\u5361\u200b</li> </ul>"},{"location":"advance/multi-nic/#kube-ovn-subnet","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet","text":"<p>\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet, \u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>cidrBlock</code> \u200b\u548c\u200b <code>exclude_ips</code>\uff0c<code>provider</code> \u200b\u5e94\u8be5\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;name&gt;.&lt;namespace&gt;</code>\uff0c \u200b\u4f8b\u5982\u200b\u7528\u200b macvlan \u200b\u63d0\u4f9b\u200b\u9644\u52a0\u200b\u7f51\u5361\u200b\uff0c\u200b\u521b\u5efa\u200b Subnet \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: macvlan\nspec:\n  protocol: IPv4\n  provider: macvlan.default\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre> <p><code>gateway</code>, <code>private</code>, <code>nat</code> \u200b\u53ea\u200b\u5bf9\u200b <code>provider</code> \u200b\u7c7b\u578b\u200b\u4e3a\u200b ovn \u200b\u7684\u200b\u7f51\u7edc\u200b\u751f\u6548\u200b\uff0c\u200b\u4e0d\u9002\u200b\u7528\u4e8e\u200b attachment network\u3002</p>"},{"location":"advance/multi-nic/#pod","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u591a\u200b\u7f51\u7edc\u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u5730\u5740\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u7684\u200b Pod\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b annotation <code>k8s.v1.cni.cncf.io/networks</code>,\u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"advance/multi-nic/#ip-pod","title":"\u521b\u5efa\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b Pod\uff0c\u200b\u6dfb\u52a0\u200b <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/ip_address</code> annotation\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: static-ip\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\n    ovn.kubernetes.io/ip_address: 10.16.0.15\n    ovn.kubernetes.io/mac_address: 00:00:00:53:6B:B6\n    macvlan.default.kubernetes.io/ip_address: 172.17.0.100\n    macvlan.default.kubernetes.io/mac_address: 00:00:00:53:6B:BB\nspec:\n  containers:\n  - name: static-ip\n    image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"advance/multi-nic/#ip","title":"\u521b\u5efa\u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d","text":"<p>\u200b\u5bf9\u4e8e\u200b\u4f7f\u7528\u200b ippool \u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b, \u200b\u6dfb\u52a0\u200b <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/ip_pool</code> annotations:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  namespace: default\n  name: static-workload\n  labels:\n    app: static-workload\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: static-workload\n  template:\n    metadata:\n      labels:\n        app: static-workload\n      annotations:\n        k8s.v1.cni.cncf.io/networks: default/macvlan\n        ovn.kubernetes.io/ip_pool: 10.16.0.15,10.16.0.16,10.16.0.17\n        macvlan.default.kubernetes.io/ip_pool: 172.17.0.200,172.17.0.201,172.17.0.202\n    spec:\n      containers:\n      - name: static-workload\n        image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"advance/multi-nic/#macvlan-pod","title":"\u521b\u5efa\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u4f7f\u7528\u200b macvlan \u200b\u4f5c\u4e3a\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u7684\u200b Pod\uff0c\u200b\u82e5\u200b\u5e0c\u671b\u200b\u5c06\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4f5c\u4e3a\u200b Pod \u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b annotation\uff0c<code>default-route</code> \u200b\u4e3a\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod-route\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: '[{\n      \"name\": \"macvlan\",\n      \"namespace\": \"default\",\n      \"default-route\": [\"172.17.0.1\"]\n    }]'\nspec:\n  containers:\n  - name: samplepod-route\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"advance/multi-nic/#macvlan-pod_1","title":"\u521b\u5efa\u200b\u4e3b\u200b\u7f51\u5361\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u4f7f\u7528\u200b macvlan \u200b\u4f5c\u4e3a\u200b\u4e3b\u200b\u7f51\u5361\u200b\u7684\u200b Pod\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b annotation <code>v1.multus-cni.io/default-network</code>, \u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod-macvlan\n  namespace: default\n  annotations:\n    v1.multus-cni.io/default-network: default/macvlan\nspec:\n  containers:\n  - name: samplepod-macvlan\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"advance/multi-nic/#kube-ovn-subnetprovider-ovn","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet\uff08Provider ovn\uff09","text":"<p>\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet\uff0c\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>cidrBlock</code> \u200b\u548c\u200b <code>exclude_ips</code>, <code>provider</code> \u200b\u4e3a\u200b ovn\uff0c\u200b\u521b\u5efa\u200b Subnet \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: macvlan\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"advance/multi-nic/#pod_1","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u591a\u200b\u7f51\u7edc\u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u9700\u8981\u200b\u4ece\u200b <code>provider</code> \u200b\u7c7b\u578b\u200b\u4e3a\u200b ovn \u200b\u7684\u200b subnet \u200b\u4e2d\u200b\u83b7\u53d6\u200b IP \u200b\u7684\u200b Pod\uff0c\u200b\u9700\u200b\u5c06\u200b annotation <code>k8s.v1.cni.cncf.io/networks</code> \u200b\u548c\u200b <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/logical_switch</code> \u200b\u7ed3\u5408\u200b\u4f7f\u7528\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\n    macvlan.default.kubernetes.io/logical_switch: macvlan\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre> <ul> <li><code>k8s.v1.cni.cncf.io/networks</code>: \u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code></li> <li><code>macvlan.default.kubernetes.io/logical_switch</code>: \u200b\u53d6\u503c\u200b\u4e3a\u5b50\u200b\u7f51\u540d\u200b</li> </ul> <p>\u200b\u6ce8\u610f\u200b: \u200b\u901a\u8fc7\u200b<code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/logical_switch</code> \u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\u9ad8\u4e8e\u200b\u901a\u8fc7\u200b provider \u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u57fa\u4e8e\u200b ovn \u200b\u7c7b\u578b\u200b\u7684\u200b subnet \u200b\u63d0\u4f9b\u200b ipam \u200b\u540c\u6837\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b Pod\u3001\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u3001\u200b\u521b\u5efa\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod\uff0c\u200b\u4f46\u200b\u4e0d\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u4e3b\u200b\u7f51\u5361\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod\u3002</p>"},{"location":"advance/multi-nic/#kube-ovn","title":"\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7f51\u5361","text":"<p>\u200b\u6b64\u65f6\u200b\u591a\u5757\u200b\u7f51\u5361\u200b\u5747\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7f51\u5361\u200b\u3002</p>"},{"location":"advance/multi-nic/#networkattachmentdefinition_1","title":"\u521b\u5efa\u200b NetworkAttachmentDefinition","text":"<p>\u200b\u5c06\u200b <code>provider</code> \u200b\u7684\u200b\u540e\u7f00\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>ovn</code>\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: attachnet\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"attachnet.default.ovn\"\n    }'\n</code></pre> <ul> <li><code>spec.config.type</code>: \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>kube-ovn</code> \u200b\u6765\u200b\u89e6\u53d1\u200b CNI \u200b\u63d2\u4ef6\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u5b50\u7f51\u200b\u3002</li> <li><code>server_socket</code>: Kube-OVN \u200b\u901a\u4fe1\u200b\u4f7f\u7528\u200b\u7684\u200b socket \u200b\u6587\u4ef6\u200b\u3002 \u200b\u9ed8\u8ba4\u200b\u4f4d\u7f6e\u200b\u4e3a\u200b <code>/run/openvswitch/kube-ovn-daemon.sock</code>\u3002</li> <li><code>provider</code>: \u200b\u5f53\u524d\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;name&gt;.&lt;namespace&gt;.ovn</code> , Kube-OVN \u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u8fd9\u4e9b\u200b\u4fe1\u606f\u200b\u627e\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b Subnet \u200b\u8d44\u6e90\u200b\uff0c\u200b\u6ce8\u610f\u200b\u540e\u7f00\u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b ovn\u3002</li> </ul>"},{"location":"advance/multi-nic/#kube-ovn-subnet_1","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet","text":"<p>\u200b\u5982\u679c\u200b\u4ee5\u200b Kube-OVN \u200b\u4f5c\u4e3a\u200b\u9644\u52a0\u200b\u7f51\u5361\u200b\uff0c\u200b\u5219\u200b <code>provider</code> \u200b\u5e94\u8be5\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;name&gt;.&lt;namespace&gt;.ovn</code>\uff0c\u200b\u5e76\u200b\u8981\u200b\u4ee5\u200b <code>ovn</code> \u200b\u4f5c\u4e3a\u200b\u540e\u7f00\u200b\u7ed3\u675f\u200b\u3002 \u200b\u7528\u200b Kube-OVN \u200b\u63d0\u4f9b\u200b\u9644\u52a0\u200b\u7f51\u5361\u200b\uff0c\u200b\u521b\u5efa\u200b Subnet \u200b\u793a\u4f8b\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attachnet\nspec:\n  protocol: IPv4\n  provider: attachnet.default.ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"advance/multi-nic/#pod_2","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u591a\u200b\u7f51\u7edc\u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u5730\u5740\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u7684\u200b Pod\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b annotation <code>k8s.v1.cni.cncf.io/networks</code>, \u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"advance/multi-nic/#kube-ovn-subnetprovider-ovn_1","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet\uff08Provider ovn\uff09","text":"<p>\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet\uff0c\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>cidrBlock</code> \u200b\u548c\u200b <code>exclude_ips</code>, <code>provider</code> \u200b\u4e3a\u200b ovn\uff0c\u200b\u521b\u5efa\u200b Subnet \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attachnet\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"advance/multi-nic/#pod_3","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u591a\u200b\u7f51\u7edc\u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u9700\u8981\u200b\u4ece\u200b <code>provider</code> \u200b\u7c7b\u578b\u200b\u4e3a\u200b ovn \u200b\u7684\u200b subnet \u200b\u4e2d\u200b\u83b7\u53d6\u200b IP \u200b\u7684\u200b Pod\uff0c\u200b\u9700\u200b\u5c06\u200b annotation <code>k8s.v1.cni.cncf.io/networks</code> \u200b\u548c\u200b <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.ovn.kubernetes.io/logical_switch</code> \u200b\u7ed3\u5408\u200b\u4f7f\u7528\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\n    attachnet.default.ovn.kubernetes.io/logical_switch: attachnet\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre> <ul> <li><code>k8s.v1.cni.cncf.io/networks</code>: \u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code></li> <li><code>attachnet.default.ovn.kubernetes.io/logical_switch</code>: \u200b\u53d6\u503c\u200b\u4e3a\u5b50\u200b\u7f51\u540d\u200b</li> </ul> <p>\u200b\u6ce8\u610f\u200b: \u200b\u901a\u8fc7\u200b<code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/logical_switch</code> \u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\u9ad8\u4e8e\u200b\u901a\u8fc7\u200b provider \u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u5bf9\u4e8e\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7684\u200b Pod\uff0c\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b Pod\u3001\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u3001\u200b\u521b\u5efa\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod\uff0c\u200b\u540c\u65f6\u200b\u4e5f\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u4e3b\u200b\u7f51\u5361\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7684\u200b Pod\uff0c\u200b\u914d\u7f6e\u200b\u65b9\u5f0f\u200b\u53ef\u200b\u53c2\u8003\u200b\u4e0a\u200b\u4e00\u8282\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/nat-policy-rule/","title":"\u9ed8\u8ba4\u200b VPC NAT \u200b\u7b56\u7565\u200b\u89c4\u5219","text":""},{"location":"advance/nat-policy-rule/#_1","title":"\u7528\u9014","text":"<p>\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Overlay \u200b\u5b50\u7f51\u200b\uff0c\u200b\u6253\u5f00\u200b <code>natOutgoing</code> \u200b\u5f00\u5173\u200b\u65f6\u200b\uff0cSubnet \u200b\u4e0b\u200b\u7684\u200b\u6240\u6709\u200b Pod \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u90fd\u200b\u9700\u8981\u200b\u505a\u200b SNAT \u200b\u6210\u200b\u8282\u70b9\u200b\u7684\u200b IP\uff0c\u200b\u4f46\u662f\u200b\u6709\u4e9b\u200b\u573a\u666f\u200b\u6211\u4eec\u200b\u5e76\u200b\u4e0d\u200b\u5e0c\u671b\u200b\u5b50\u7f51\u200b\u5185\u200b\u6240\u6709\u200b Pod \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u90fd\u200b\u505a\u200b SNAT\u3002</p> <p>\u200b\u56e0\u6b64\u200b NAT \u200b\u7b56\u7565\u200b\u5c31\u662f\u200b\u4e3a\u4e86\u200b\u63d0\u4f9b\u200b\u4e00\u4e2a\u200b\u63a5\u53e3\u200b\u8ba9\u200b\u7528\u6237\u200b\u51b3\u5b9a\u200b\u5b50\u7f51\u200b\u5185\u200b\u7684\u200b\u54ea\u4e9b\u200b CIDR \u200b\u6216\u8005\u200b IP \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u505a\u200b SNAT\u3002</p>"},{"location":"advance/nat-policy-rule/#_2","title":"\u4f7f\u7528\u200b\u65b9\u6cd5","text":"<p>\u200b\u5728\u200b <code>subnet.Spec</code> \u200b\u4e2d\u200b\u5f00\u542f\u200b <code>natOutgoing</code> \u200b\u5f00\u5173\u200b\uff0c \u200b\u5e76\u4e14\u200b\u6dfb\u52a0\u200b\u5b57\u200b\u6bb5\u200b <code>natOutgoingPolicyRules</code> \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>spec:\n  natOutgoing: true\n  natOutgoingPolicyRules:\n    - action: forward\n      match:\n        srcIPs: 10.0.11.0/30,10.0.11.254\n    - action: nat\n      match:\n        srcIPs: 10.0.11.128/26\n        dstIPs: 114.114.114.114,8.8.8.8\n</code></pre> <p>\u200b\u4ee5\u4e0a\u200b\u6848\u4f8b\u200b\u8868\u793a\u200b\u6709\u200b\u4e24\u6761\u200b NAT \u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\uff1a</p> <ol> <li>\u200b\u6e90\u200b IP \u200b\u662f\u200b 10.0.11.0/30 \u200b\u6216\u8005\u200b 10.0.11.254  \u200b\u7684\u200b\u62a5\u6587\u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u65f6\u200b\u4e0d\u4f1a\u200b\u505a\u200b SNAT\u3002</li> <li>\u200b\u6e90\u200b IP \u200b\u662f\u200b 10.0.11.128/26 \u200b\u5e76\u4e14\u200b\u76ee\u7684\u200b IP \u200b\u662f\u200b 114.114.114.114 \u200b\u6216\u8005\u200b 8.8.8.8 \u200b\u7684\u200b\u62a5\u6587\u200b\u8bbf\u95ee\u200b\u5916\u200b\u7f51\u200b\u65f6\u4f1a\u200b\u505a\u200b SNAT\u3002</li> </ol> <p>\u200b\u5b57\u200b\u6bb5\u200b\u63cf\u8ff0\u200b\uff1a</p> <p><code>action</code>\uff1a\u200b\u6ee1\u8db3\u200b <code>match</code> \u200b\u5bf9\u5e94\u200b\u6761\u4ef6\u200b\u7684\u200b\u62a5\u6587\u200b\uff0c\u200b\u4f1a\u200b\u6267\u884c\u200b\u7684\u200b action, action \u200b\u5206\u4e3a\u200b\u4e24\u79cd\u200b <code>forward</code> \u200b\u548c\u200b <code>nat</code> \uff0c<code>forward</code> \u200b\u8868\u793a\u200b\u62a5\u6587\u200b\u51fa\u5916\u200b\u7f51\u4e0d\u505a\u200b SNAT, <code>nat</code> \u200b\u8868\u793a\u200b\u62a5\u6587\u200b\u51fa\u5916\u200b\u7f51\u505a\u200b SNAT\u3002 \u200b\u6ca1\u6709\u200b\u914d\u7f6e\u200b natOutgoingPolicyRules \u200b\u65f6\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u62a5\u6587\u200b\u4ecd\u7136\u200b\u662f\u200b\u505a\u200b SNAT\u3002</p> <p><code>match</code>\uff1a\u200b\u8868\u793a\u200b\u62a5\u6587\u200b\u7684\u200b\u5339\u914d\u6bb5\u200b\uff0c\u200b\u5339\u914d\u6bb5\u200b\u6709\u200b <code>srcIPs</code> \u200b\u548c\u200b <code>dstIPs</code>\uff0c \u200b\u8fd9\u91cc\u200b\u8868\u793a\u200b\u4ece\u200b\u5b50\u7f51\u200b\u5185\u5230\u200b\u5916\u7f51\u200b\u65b9\u5411\u200b\u4e0a\u200b\u7684\u200b\u62a5\u6587\u200b\u7684\u200b\u6e90\u200b IP \u200b\u548c\u200b \u200b\u76ee\u7684\u200b IP\u3002<code>match.srcIPs</code> \u200b\u548c\u200b <code>match.dstIPs</code> \u200b\u652f\u6301\u200b\u591a\u4e2a\u200b CIDR \u200b\u548c\u200b IP\uff0c\u200b\u4e4b\u95f4\u200b\u7528\u200b\u9017\u53f7\u200b\u95f4\u9694\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u51fa\u73b0\u200b\u591a\u4e2a\u200b match \u200b\u89c4\u5219\u200b\u91cd\u53e0\u200b\uff0c\u200b\u5219\u200b\u6309\u7167\u200b <code>natOutgoingPolicyRules</code> \u200b\u6570\u7ec4\u200b\u987a\u5e8f\u200b\u8fdb\u884c\u200b\u5339\u914d\u200b\uff0c\u200b\u6700\u5148\u200b\u88ab\u200b\u5339\u914d\u200b\u7684\u200b action \u200b\u4f1a\u200b\u88ab\u200b\u6267\u884c\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/node-local-dns/","title":"\u8282\u70b9\u200b\u672c\u5730\u200b DNS \u200b\u7f13\u5b58\u200b\u548c\u200b Kube-OVN \u200b\u9002\u914d","text":"<p>NodeLocal DNSCache \u200b\u662f\u200b\u901a\u8fc7\u200b\u96c6\u7fa4\u200b\u8282\u70b9\u200b\u4e0a\u200b\u4f5c\u4e3a\u200b DaemonSet \u200b\u8fd0\u884c\u200b DNS \u200b\u7f13\u5b58\u200b\u6765\u200b\u63d0\u9ad8\u200b\u96c6\u7fa4\u200b DNS \u200b\u6027\u80fd\u200b\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u548c\u200b Kube-OVN \u200b\u9002\u914d\u200b\u3002</p>"},{"location":"advance/node-local-dns/#dns","title":"\u8282\u70b9\u200b\u672c\u5730\u200b DNS \u200b\u7f13\u5b58\u200b\u90e8\u7f72","text":""},{"location":"advance/node-local-dns/#kubernetes-dns","title":"\u90e8\u7f72\u200b Kubernetes \u200b\u7684\u200b\u8282\u70b9\u200b\u672c\u5730\u200b DNS \u200b\u7f13\u5b58","text":"<p>\u200b\u8be5\u200b\u6b65\u9aa4\u200b\u53c2\u8003\u200b Kubernetes \u200b\u5b98\u7f51\u200b\u914d\u7f6e\u200b Nodelocaldnscache\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u200b\u811a\u672c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>#!bin/bash\n\nlocaldns=169.254.20.10\ndomain=cluster.local\nkubedns=10.96.0.10\n\nwget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/dns/nodelocaldns/nodelocaldns.yaml\nsed -i \"s/__PILLAR__LOCAL__DNS__/$localdns/g; s/__PILLAR__DNS__DOMAIN__/$domain/g; s/,__PILLAR__DNS__SERVER__//g; s/__PILLAR__CLUSTER__DNS__/$kubedns/g\" nodelocaldns.yaml\n\nkubectl apply -f nodelocaldns.yaml\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u7684\u200b kubelet \u200b\u914d\u7f6e\u6587\u4ef6\u200b\uff0c\u200b\u5c06\u200b <code>/var/lib/kubelet/config.yaml</code> \u200b\u4e2d\u200b\u7684\u200b clusterDNS \u200b\u5b57\u200b\u6bb5\u200b\u4fee\u6539\u200b\u4e3a\u200b\u672c\u5730\u200b DNS IP 169.254.20.10\uff0c\u200b\u7136\u540e\u200b\u91cd\u542f\u200b kubelet \u200b\u670d\u52a1\u200b\u3002</p>"},{"location":"advance/node-local-dns/#kube-ovn-dns","title":"Kube-OVN \u200b\u76f8\u5e94\u200b DNS \u200b\u914d\u7f6e","text":"<p>\u200b\u90e8\u7f72\u200b\u597d\u200b Kubernetes \u200b\u7684\u200b Nodelocal DNScache \u200b\u7ec4\u4ef6\u200b\u540e\u200b\uff0c Kube-OVN \u200b\u9700\u8981\u200b\u505a\u51fa\u200b\u4e0b\u9762\u200b\u4fee\u6539\u200b\uff1a</p>"},{"location":"advance/node-local-dns/#underlay-subnet-u2o","title":"Underlay Subnet \u200b\u5f00\u542f\u200b U2O \u200b\u5f00\u5173","text":"<p>\u200b\u5982\u679c\u200b\u662f\u200b Underlay Subnet \u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u672c\u5730\u200b DNS \u200b\u529f\u80fd\u200b\uff0c\u200b\u9700\u8981\u200b\u5f00\u542f\u200b U2O \u200b\u529f\u80fd\u200b\uff0c\u200b\u5373\u200b\u5728\u200b <code>kubectl edit subnet {your subnet}</code> \u200b\u4e2d\u200b\u914d\u7f6e\u200b <code>spec.u2oInterconnection = true</code> , \u200b\u5982\u679c\u200b\u662f\u200b Overlay Subnet \u200b\u5219\u200b\u4e0d\u200b\u9700\u8981\u200b\u8fd9\u6b65\u200b\u64cd\u4f5c\u200b\u3002</p>"},{"location":"advance/node-local-dns/#kube-ovn-controller-dns-ip","title":"\u7ed9\u200b Kube-ovn-controller \u200b\u6307\u5b9a\u200b\u5bf9\u5e94\u200b\u7684\u200b\u672c\u5730\u200b DNS IP","text":"<pre><code>kubectl edit deployment kube-ovn-controller -n kube-system\n</code></pre> <p>\u200b\u7ed9\u200b <code>spec.template.spec.containers.args</code> \u200b\u589e\u52a0\u200b\u5b57\u200b\u6bb5\u200b <code>--node-local-dns-ip=169.254.20.10</code></p>"},{"location":"advance/node-local-dns/#pod","title":"\u91cd\u5efa\u200b\u5df2\u7ecf\u200b\u521b\u5efa\u200b\u7684\u200b Pod","text":"<p>\u200b\u8fd9\u6b65\u200b\u539f\u56e0\u200b\u662f\u200b\u8ba9\u200b Pod \u200b\u91cd\u65b0\u200b\u751f\u6210\u200b <code>/etc/resolv.conf</code> \u200b\u8ba9\u200b nameserver \u200b\u6307\u5411\u200b\u672c\u5730\u200b DNS IP\uff0c\u200b\u5982\u679c\u200b\u6ca1\u6709\u200b\u91cd\u5efa\u200b Pod \u200b\u7684\u200b nameserver \u200b\u5c06\u200b\u4ecd\u7136\u200b\u4f7f\u7528\u200b\u96c6\u7fa4\u200b\u7684\u200b DNS ClusterIP\u3002\u200b\u540c\u65f6\u200b u2o \u200b\u5f00\u5173\u200b\u5982\u679c\u200b\u5f00\u542f\u200b\u4e5f\u200b\u9700\u8981\u200b\u91cd\u5efa\u200b Pod \u200b\u6765\u200b\u91cd\u65b0\u200b\u751f\u6210\u200b Pod \u200b\u7f51\u5173\u200b\u3002</p>"},{"location":"advance/node-local-dns/#dns_1","title":"\u9a8c\u8bc1\u200b\u8282\u70b9\u200b\u672c\u5730\u200b DNS \u200b\u7f13\u5b58\u200b\u529f\u80fd","text":"<p>\u200b\u4ee5\u4e0a\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b\u540e\u200b\u53ef\u4ee5\u200b\u627e\u5230\u200b Pod \u200b\u9a8c\u8bc1\u200b\u5982\u4e0b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b Pod \u200b\u7684\u200b DNS \u200b\u670d\u52a1\u5668\u200b\u662f\u200b\u6307\u5411\u200b\u672c\u5730\u200b 169.254.20.10 \uff0c\u200b\u5e76\u200b\u6210\u529f\u200b\u89e3\u6790\u200b\u57df\u540d\u200b\uff1a</p> <pre><code># kubectl exec -it pod1 -- nslookup github.com\nServer:         169.254.20.10\nAddress:        169.254.20.10:53\n\n\nName:   github.com\nAddress: 20.205.243.166\n</code></pre> <p>\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u5728\u200b\u8282\u70b9\u200b\u6293\u5305\u200b\u9a8c\u8bc1\u200b\u5982\u4e0b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b DNS \u200b\u67e5\u8be2\u200b\u62a5\u6587\u200b\u901a\u8fc7\u200b ovn0 \u200b\u7f51\u5361\u200b\u5230\u8fbe\u200b\u672c\u5730\u200b\u7684\u200b DNS \u200b\u670d\u52a1\u200b\uff0cDNS \u200b\u54cd\u5e94\u200b\u62a5\u6587\u200b\u539f\u200b\u8def\u200b\u8fd4\u56de\u200b:</p> <pre><code># tcpdump -i any port 53\n\n06:20:00.441889 659246098c56_h P   ifindex 17 00:00:00:73:f1:06 ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1291+ A? baidu.com. (27)\n06:20:00.441889 ovn0  In  ifindex 7 00:00:00:50:32:cd ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1291+ A? baidu.com. (27)\n06:20:00.441950 659246098c56_h P   ifindex 17 00:00:00:73:f1:06 ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1611+ AAAA? baidu.com. (27)\n06:20:00.441950 ovn0  In  ifindex 7 00:00:00:50:32:cd ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1611+ AAAA? baidu.com. (27)\n06:20:00.442203 ovn0  Out ifindex 7 00:00:00:52:99:d8 ethertype IPv4 (0x0800), length 145: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1611* 0/1/0 (97)\n06:20:00.442219 659246098c56_h Out ifindex 17 00:00:00:ea:b3:5e ethertype IPv4 (0x0800), length 145: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1611* 0/1/0 (97)\n06:20:00.442273 ovn0  Out ifindex 7 00:00:00:52:99:d8 ethertype IPv4 (0x0800), length 125: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1291* 2/0/0 A 39.156.66.10, A 110.242.68.66 (77)\n06:20:00.442278 659246098c56_h Out ifindex 17 00:00:00:ea:b3:5e ethertype IPv4 (0x0800), length 125: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1291* 2/0/0 A 39.156.66.10, A 110.242.68.66 (77)\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/offload-corigine/","title":"\u82af\u542f\u6e90\u200b\u7f51\u5361\u200b Offload \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u5728\u200b\u6700\u7ec8\u200b\u7684\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u4f7f\u7528\u200b OVS \u200b\u6765\u200b\u5b8c\u6210\u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u76f8\u5173\u200b\u7684\u200b\u6d41\u8868\u200b\u5339\u914d\u200b\uff0c\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u7b49\u200b\u529f\u80fd\u200b\u4e3a\u200b CPU \u200b\u5bc6\u96c6\u578b\u200b\uff0c\u200b\u5728\u200b\u5927\u200b\u6d41\u91cf\u200b\u4e0b\u4f1a\u200b\u6d88\u8017\u200b\u5927\u91cf\u200b CPU \u200b\u8d44\u6e90\u200b\u5e76\u200b\u5bfc\u81f4\u200b \u200b\u5ef6\u8fdf\u200b\u4e0a\u5347\u200b\u548c\u200b\u541e\u5410\u91cf\u200b\u4e0b\u964d\u200b\u3002\u200b\u82af\u542f\u6e90\u200b\u7684\u200b Agilio CX \u200b\u7cfb\u5217\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b\u53ef\u4ee5\u200b\u5c06\u200b OVS \u200b\u76f8\u5173\u200b\u7684\u200b\u64cd\u4f5c\u200b\u5378\u8f7d\u200b\u5230\u200b\u786c\u4ef6\u200b\u7f51\u5361\u200b\u4e2d\u200b\u6267\u884c\u200b\u3002 \u200b\u8be5\u200b\u6280\u672f\u200b\u53ef\u4ee5\u200b\u5728\u200b\u65e0\u9700\u200b\u5bf9\u200b OVS \u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7f29\u77ed\u200b\u6570\u636e\u200b\u8def\u5f84\u200b\uff0c\u200b\u907f\u514d\u200b\u5bf9\u200b\u4e3b\u673a\u200b CPU \u200b\u8d44\u6e90\u200b\u7684\u200b\u4f7f\u7528\u200b\uff0c\u200b\u5927\u5e45\u200b\u964d\u4f4e\u200b\u5ef6\u8fdf\u200b\u5e76\u200b\u663e\u8457\u200b\u63d0\u5347\u200b\u541e\u5410\u91cf\u200b\u3002</p> <p></p>"},{"location":"advance/offload-corigine/#_1","title":"\u524d\u7f6e\u6761\u4ef6","text":"<ul> <li>\u200b\u82af\u542f\u6e90\u200b Agilio CX \u200b\u7cfb\u5217\u200b\u7684\u200b\u786c\u4ef6\u200b\u7f51\u5361\u200b\u3002</li> <li>CentOS 8 Stream \u200b\u6216\u200b\u4e0a\u6e38\u200b Linux 5.7 \u200b\u4ee5\u4e0a\u200b\u5185\u6838\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u5f53\u524d\u200b\u7f51\u5361\u200b\u4e0d\u200b\u652f\u6301\u200b <code>dp_hash</code> \u200b\u548c\u200b <code>hash</code> \u200b\u64cd\u4f5c\u200b\u5378\u8f7d\u200b\uff0c\u200b\u9700\u200b\u5173\u95ed\u200b OVN LB \u200b\u529f\u80fd\u200b\u3002</li> </ul>"},{"location":"advance/offload-corigine/#sr-iov","title":"\u8bbe\u7f6e\u200b\u7f51\u5361\u200b SR-IOV \u200b\u6a21\u5f0f","text":"<p>\u200b\u7528\u6237\u200b\u53ef\u200b\u53c2\u8003\u200b Agilio Open vSwitch TC User Guide \u200b\u83b7\u5f97\u200b\u8be5\u200b\u7f51\u5361\u200b\u4f7f\u7528\u200b\u7684\u200b\u66f4\u200b\u591a\u200b\u8be6\u7ec6\u4fe1\u606f\u200b\u3002</p> <p>\u200b\u4fdd\u5b58\u200b\u4e0b\u5217\u200b\u811a\u672c\u200b\u7528\u4e8e\u200b\u540e\u7eed\u200b\u6267\u884c\u200b\u56fa\u4ef6\u200b\u76f8\u5173\u200b\u64cd\u4f5c\u200b\uff1a</p> <pre><code>#!/bin/bash\nDEVICE=${1}\nDEFAULT_ASSY=scan\nASSY=${2:-${DEFAULT_ASSY}}\nAPP=${3:-flower}\n\nif [ \"x${DEVICE}\" = \"x\" -o ! -e /sys/class/net/${DEVICE} ]; then\n    echo Syntax: ${0} device [ASSY] [APP]\n    echo\n    echo This script associates the TC Offload firmware\n    echo with a Netronome SmartNIC.\n    echo\n    echo device: is the network device associated with the SmartNIC\n    echo ASSY: defaults to ${DEFAULT_ASSY}\n    echo APP: defaults to flower. flower-next is supported if updated\n    echo      firmware has been installed.\n    exit 1\nfi\n\n# It is recommended that the assembly be determined by inspection\n# The following code determines the value via the debug interface\nif [ \"${ASSY}x\" = \"scanx\" ]; then\n    ethtool -W ${DEVICE} 0\n    DEBUG=$(ethtool -w ${DEVICE} data /dev/stdout | strings)\n    SERIAL=$(echo \"${DEBUG}\" | grep \"^SN:\")\n    ASSY=$(echo ${SERIAL} | grep -oE AMDA[0-9]{4})\nfi\n\nPCIADDR=$(basename $(readlink -e /sys/class/net/${DEVICE}/device))\nFWDIR=\"/lib/firmware/netronome\"\n\n# AMDA0081 and AMDA0097 uses the same firmware\nif [ \"${ASSY}\" = \"AMDA0081\" ]; then\n    if [ ! -e ${FWDIR}/${APP}/nic_AMDA0081.nffw ]; then\n       ln -sf nic_AMDA0097.nffw ${FWDIR}/${APP}/nic_AMDA0081.nffw\n   fi\nfi\n\nFW=\"${FWDIR}/pci-${PCIADDR}.nffw\"\nln -sf \"${APP}/nic_${ASSY}.nffw\" \"${FW}\"\n\n# insert distro-specific initramfs section here...\n</code></pre> <p>\u200b\u5207\u6362\u200b\u56fa\u4ef6\u200b\u9009\u9879\u200b\u5e76\u200b\u91cd\u8f7d\u200b\u9a71\u52a8\u200b\uff1a</p> <pre><code>./agilio-tc-fw-select.sh ens47np0 scan\nrmmod nfp\nmodprobe nfp\n</code></pre> <p>\u200b\u68c0\u67e5\u200b\u53ef\u7528\u200b VF \u200b\u6570\u91cf\u200b\uff0c\u200b\u5e76\u200b\u521b\u5efa\u200b VF\uff1a</p> <pre><code># cat /sys/class/net/ens3/device/sriov_totalvfs\n65\n\n# echo 4 &gt; /sys/class/net/ens47/device/sriov_numvfs\n</code></pre>"},{"location":"advance/offload-corigine/#sr-iov-device-plugin","title":"\u5b89\u88c5\u200b SR-IOV Device Plugin","text":"<p>\u200b\u7531\u4e8e\u200b\u6bcf\u4e2a\u200b\u673a\u5668\u200b\u7684\u200b VF \u200b\u6570\u91cf\u200b\u6709\u9650\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u4f7f\u7528\u200b\u52a0\u901f\u200b\u7684\u200b Pod \u200b\u4f1a\u200b\u5360\u7528\u200b VF \u200b\u8d44\u6e90\u200b\uff0c\u200b\u6211\u4eec\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b SR-IOV Device Plugin \u200b\u7ba1\u7406\u200b\u76f8\u5e94\u200b\u8d44\u6e90\u200b\uff0c\u200b\u4f7f\u5f97\u200b\u8c03\u5ea6\u200b\u5668\u200b\u77e5\u9053\u200b\u5982\u4f55\u200b\u6839\u636e\u200b \u200b\u8d44\u6e90\u200b\u8fdb\u884c\u200b\u8c03\u5ea6\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b SR-IOV \u200b\u76f8\u5173\u200b Configmap\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: sriovdp-config\n  namespace: kube-system\ndata:\n  config.json: |\n    {\n      \"resourceList\": [{\n          \"resourcePrefix\": \"corigine.com\",\n          \"resourceName\": \"agilio_sriov\",\n          \"selectors\": {\n                  \"vendors\": [\"19ee\"],\n                  \"devices\": [\"6003\"],\n                  \"drivers\": [\"nfp_netvf\"]\n              }\n      }\n      ]\n    }\n</code></pre> <p>\u200b\u53c2\u8003\u200b SR-IOV \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b:</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/intel/sriov-network-device-plugin/master/deployments/k8s-v1.16/sriovdp-daemonset.yaml\n</code></pre> <p>\u200b\u68c0\u67e5\u200b SR-IOV \u200b\u8d44\u6e90\u200b\u662f\u5426\u200b\u5df2\u7ecf\u200b\u6ce8\u518c\u200b\u5230\u200b Kubernetes Node \u200b\u4e2d\u200b\uff1a</p> <pre><code>kubectl describe no containerserver  | grep corigine\n\ncorigine.com/agilio_sriov:  4\ncorigine.com/agilio_sriov:  4\ncorigine.com/agilio_sriov  0           0\n</code></pre>"},{"location":"advance/offload-corigine/#multus-cni","title":"\u5b89\u88c5\u200b Multus-CNI","text":"<p>SR-IOV Device Plugin \u200b\u8c03\u5ea6\u200b\u65f6\u200b\u83b7\u5f97\u200b\u7684\u200b\u8bbe\u5907\u200b ID \u200b\u9700\u8981\u200b\u901a\u8fc7\u200b Multus-CNI \u200b\u4f20\u9012\u200b\u7ed9\u200b Kube-OVN\uff0c\u200b\u56e0\u6b64\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b Multus-CNI \u200b\u914d\u5408\u200b\u5b8c\u6210\u200b\u76f8\u5173\u200b\u4efb\u52a1\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b Multus-CNI \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/multus-cni/master/deployments/multus-daemonset.yml\n</code></pre> <p>\u200b\u521b\u5efa\u200b <code>NetworkAttachmentDefinition</code>\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: default\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/resourceName: corigine.com/agilio_sriov\nspec:\n  config: '{\n    \"cniVersion\": \"0.3.1\",\n    \"name\": \"kube-ovn\",\n    \"plugins\":[\n        {\n            \"type\":\"kube-ovn\",\n            \"server_socket\":\"/run/openvswitch/kube-ovn-daemon.sock\",\n            \"provider\": \"default.default.ovn\"\n        },\n        {\n            \"type\":\"portmap\",\n            \"capabilities\":{\n                \"portMappings\":true\n            }\n        }\n    ]\n}'\n</code></pre> <ul> <li><code>provider</code>: \u200b\u683c\u5f0f\u200b\u4e3a\u200b\u5f53\u524d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {name}.{namespace}.ovn\u3002</li> </ul>"},{"location":"advance/offload-corigine/#kube-ovn","title":"Kube-OVN \u200b\u4e2d\u200b\u5f00\u542f\u200b\u5378\u8f7d\u200b\u6a21\u5f0f","text":"<p>\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/alauda/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\uff0c<code>IFACE</code> \u200b\u9700\u8981\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u8be5\u200b\u7f51\u5361\u200b\u9700\u8981\u200b\u6709\u200b\u53ef\u200b\u8def\u7531\u200b IP\uff1a</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"ensp01\"\n</code></pre> <p>\u200b\u5b89\u88c5\u200b Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"advance/offload-corigine/#vf-pod","title":"\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u7f51\u5361\u200b\u7684\u200b Pod","text":"<p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b yaml \u200b\u683c\u5f0f\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx\n  namespace: default\n  annotations:\n    v1.multus-cni.io/default-network: default/default\nspec:\n  containers:\n    - name: nginx\n      image: docker.io/library/nginx:alpine\n      resources:\n        requests:\n          corigine.com/agilio_sriov: '1'\n        limits:\n          corigine.com/agilio_sriov: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: \u200b\u4e3a\u200b\u4e0a\u200b\u4e00\u200b\u6b65\u9aa4\u200b\u4e2d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {namespace}/{name}\u3002</li> </ul> <p>\u200b\u53ef\u200b\u901a\u8fc7\u200b\u5728\u200b Pod \u200b\u8fd0\u884c\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\u4e2d\u200b\u8fd0\u884c\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u89c2\u5bdf\u200b\u5378\u8f7d\u200b\u662f\u5426\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># ovs-appctl dpctl/dump-flows -m type=offloaded\nufid:91cc45de-e7e9-4935-8f82-1890430b0f66, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(5b45c61b307e_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:c5:6d:4e,dst=00:00:00:e7:16:ce),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:941539, bytes:62142230, used:0.260s, offloaded:yes, dp:tc, actions:54235e5753b8_h\nufid:e00768d7-e652-4d79-8182-3291d852b791, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(54235e5753b8_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:e7:16:ce,dst=00:00:00:c5:6d:4e),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:82386659, bytes:115944854173, used:0.260s, offloaded:yes, dp:tc, actions:5b45c61b307e_h\n</code></pre> <p>\u200b\u5982\u679c\u200b\u6709\u200b <code>offloaded:yes, dp:tc</code> \u200b\u5185\u5bb9\u200b\u8bc1\u660e\u200b\u5378\u8f7d\u200b\u6210\u529f\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/offload-mellanox/","title":"Mellanox \u200b\u7f51\u5361\u200b Offload \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u5728\u200b\u6700\u7ec8\u200b\u7684\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u4f7f\u7528\u200b OVS \u200b\u6765\u200b\u5b8c\u6210\u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u76f8\u5173\u200b\u7684\u200b\u6d41\u8868\u200b\u5339\u914d\u200b\uff0c\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u7b49\u200b\u529f\u80fd\u200b\u4e3a\u200b CPU \u200b\u5bc6\u96c6\u578b\u200b\uff0c\u200b\u5728\u200b\u5927\u200b\u6d41\u91cf\u200b\u4e0b\u4f1a\u200b\u6d88\u8017\u200b\u5927\u91cf\u200b CPU \u200b\u8d44\u6e90\u200b\u5e76\u200b\u5bfc\u81f4\u200b \u200b\u5ef6\u8fdf\u200b\u4e0a\u5347\u200b\u548c\u200b\u541e\u5410\u91cf\u200b\u4e0b\u964d\u200b\u3002Mellanox \u200b\u7684\u200b Accelerated Switching And Packet Processing (ASAP\u00b2) \u200b\u6280\u672f\u200b\u53ef\u4ee5\u200b\u5c06\u200b OVS \u200b\u76f8\u5173\u200b\u7684\u200b\u64cd\u4f5c\u200b\u5378\u8f7d\u200b\u5230\u200b\u786c\u4ef6\u200b\u7f51\u5361\u200b\u5185\u200b\u7684\u200b eSwitch \u200b\u4e0a\u200b\u6267\u884c\u200b\u3002\u200b\u8be5\u200b\u6280\u672f\u200b\u53ef\u4ee5\u200b\u5728\u200b\u65e0\u9700\u200b\u5bf9\u200b OVS \u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7f29\u77ed\u200b\u6570\u636e\u200b\u8def\u5f84\u200b\uff0c\u200b\u907f\u514d\u200b\u5bf9\u200b\u4e3b\u673a\u200b CPU \u200b\u8d44\u6e90\u200b\u7684\u200b\u4f7f\u7528\u200b\uff0c\u200b\u5927\u5e45\u200b\u964d\u4f4e\u200b\u5ef6\u8fdf\u200b\u5e76\u200b\u663e\u8457\u200b\u63d0\u5347\u200b\u541e\u5410\u91cf\u200b\u3002</p> <p></p>"},{"location":"advance/offload-mellanox/#_1","title":"\u524d\u7f6e\u6761\u4ef6","text":"<ul> <li>Mellanox CX5/CX6/CX7/BlueField \u200b\u7b49\u200b\u652f\u6301\u200b ASAP\u00b2 \u200b\u7684\u200b\u786c\u4ef6\u200b\u7f51\u5361\u200b\u3002</li> <li>CentOS 8 Stream \u200b\u6216\u200b\u4e0a\u6e38\u200b Linux 5.7 \u200b\u4ee5\u4e0a\u200b\u5185\u6838\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u5f53\u524d\u200b\u7f51\u5361\u200b\u4e0d\u200b\u652f\u6301\u200b <code>dp_hash</code> \u200b\u548c\u200b <code>hash</code> \u200b\u64cd\u4f5c\u200b\u5378\u8f7d\u200b\uff0c\u200b\u9700\u200b\u5173\u95ed\u200b OVN LB \u200b\u529f\u80fd\u200b\u3002</li> <li>\u200b\u4e3a\u4e86\u200b\u914d\u7f6e\u200b\u5378\u8f7d\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u7f51\u5361\u200b\u4e0d\u80fd\u200b\u7ed1\u5b9a\u200b bond\u3002</li> </ul>"},{"location":"advance/offload-mellanox/#sr-iov-device-plugin","title":"\u914d\u7f6e\u200b SR-IOV \u200b\u548c\u200b Device Plugin","text":"<p>Mellanox \u200b\u7f51\u5361\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u914d\u7f6e\u200b offload \u200b\u7684\u200b\u65b9\u5f0f\u200b\uff0c\u200b\u4e00\u79cd\u200b\u624b\u52a8\u200b\u914d\u7f6e\u200b\u7f51\u5361\u200b SR-IOV \u200b\u548c\u200b Device Plugin\uff0c\u200b\u53e6\u200b\u4e00\u79cd\u200b\u901a\u8fc7\u200b sriov-network-operator \u200b\u8fdb\u884c\u200b\u81ea\u52a8\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"advance/offload-mellanox/#sr-iov-device-plugin_1","title":"\u624b\u52a8\u200b\u914d\u7f6e\u200b SR-IOV \u200b\u548c\u200b Device Plugin","text":""},{"location":"advance/offload-mellanox/#sr-iov","title":"\u914d\u7f6e\u200b SR-IOV","text":"<p>\u200b\u67e5\u8be2\u200b\u7f51\u5361\u200b\u7684\u200b\u8bbe\u5907\u200b ID\uff0c\u200b\u4e0b\u9762\u200b\u7684\u200b\u4f8b\u5b50\u200b\u4e2d\u4e3a\u200b <code>84:00.0</code> \u200b\u548c\u200b <code>84.00.1</code>\uff1a</p> <pre><code># lspci -nn | grep ConnectX-5\n84:00.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n84:00.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n</code></pre> <p>\u200b\u6839\u636e\u200b\u8bbe\u5907\u200b ID \u200b\u627e\u5230\u200b\u5bf9\u5e94\u200b\u7f51\u5361\u200b\uff1a</p> <pre><code># ls -l /sys/class/net/ | grep 84:00.0\nlrwxrwxrwx 1 root root 0 Feb 4 16:16 enp132s0f0np0 -&gt; ../../devices/pci0000:80/0000:80:08.0/0000:84:00.0/net/enp132s0f0np0\n# ls -l /sys/class/net/ | grep 84:00.1\nlrwxrwxrwx 1 root root 0 Feb 4 16:16 enp132s0f1np1 -&gt; ../../devices/pci0000:80/0000:80:08.0/0000:84:00.1/net/enp132s0f1np1\n</code></pre> <p>\u200b\u68c0\u67e5\u200b\u7f51\u5361\u200b\u662f\u5426\u200b\u7ed1\u5b9a\u200b bond\uff1a</p> <p>\u200b\u672c\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u7f51\u5361\u200b enp132s0f0np0 \u200b\u548c\u200b enp132s0f1np1 \u200b\u7ed1\u5b9a\u200b bond1</p> <pre><code># ip link show enp132s0f0np0 | grep bond\n160: enp132s0f0np0: &lt;BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP&gt; mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000\n# ip link show enp132s0f1np1 | grep bond\n169: enp132s0f1np1: &lt;BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP&gt; mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000\n</code></pre> <p>\u200b\u79fb\u9664\u200b bond \u200b\u548c\u200b\u73b0\u6709\u200b\u7684\u200b VF\uff1a</p> <pre><code>ifenslave -d bond1 enp132s0f0np0\nifenslave -d bond1 enp132s0f1np1\necho 0 &gt; /sys/class/net/enp132s0f0np0/device/sriov_numvfs\necho 0 &gt; /sys/class/net/enp132s0f1np1/device/sriov_numvfs\nip link set enp132s0f0np0 down\nip link set enp132s0f1np1 down\n</code></pre> <p>\u200b\u914d\u7f6e\u200b\u89c4\u5219\u200b\u4e0b\u53d1\u200b\u6a21\u5f0f\u200b\uff1a</p> <p>OVS \u200b\u5185\u6838\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u89c4\u5219\u200b\u63d2\u5165\u200b\u786c\u4ef6\u200b\u7684\u200b\u6a21\u5f0f\u200b\uff1aSMFS \u200b\u548c\u200b DMFS</p> <ul> <li>SMFS (software-managed flow steering)\uff1a\u200b\u9ed8\u8ba4\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u89c4\u5219\u200b\u7531\u200b\u8f6f\u4ef6\u200b\uff08\u200b\u9a71\u52a8\u7a0b\u5e8f\u200b\uff09\u200b\u76f4\u63a5\u63d2\u5165\u200b\u786c\u4ef6\u200b\u3002\u200b\u8fd9\u79cd\u200b\u6a21\u5f0f\u200b\u5bf9\u200b\u89c4\u5219\u200b\u63d2\u5165\u200b\u8fdb\u884c\u200b\u4e86\u200b\u4f18\u5316\u200b\u3002</li> <li>DMFS (device-managed flow steering)\uff1a\u200b\u89c4\u5219\u200b\u63d2\u5165\u200b\u662f\u200b\u901a\u8fc7\u200b\u56fa\u4ef6\u200b\u547d\u4ee4\u200b\u5b8c\u6210\u200b\u7684\u200b\u3002\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u9488\u5bf9\u200b\u7cfb\u7edf\u200b\u4e2d\u200b\u5c11\u91cf\u200b\u89c4\u5219\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u8fdb\u884c\u200b\u4e86\u200b\u4f18\u5316\u200b\u3002</li> </ul> <p>\u200b\u53ef\u200b\u5728\u200b\u652f\u6301\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u7684\u200b\u5185\u6838\u200b\u4e2d\u200b\u901a\u8fc7\u200b sysfs \u200b\u6216\u200b devlink API \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code># \u200b\u901a\u8fc7\u200b sysfs \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\necho &lt;smfs|dmfs&gt; &gt; /sys/class/net/enp132s0f0np0/compat/devlink/steering_mode\necho &lt;smfs|dmfs&gt; &gt; /sys/class/net/enp132s0f1np1/compat/devlink/steering_mode\n# \u200b\u901a\u8fc7\u200b devlink \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\ndevlink dev param set pci/84:00.0 name flow_steering_mode value smfs cmode runtime\ndevlink dev param set pci/84:00.1 name flow_steering_mode value smfs cmode runtime\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u82e5\u200b\u4e0d\u200b\u4e86\u89e3\u200b\u5e94\u8be5\u200b\u9009\u62e9\u200b\u54ea\u4e2a\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u5219\u200b\u53ef\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u65e0\u9700\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u68c0\u67e5\u200b\u53ef\u7528\u200b VF \u200b\u6570\u91cf\u200b\uff1a</p> <pre><code># cat /sys/class/net/enp132s0f0np0/device/sriov_totalvfs\n127\n# cat /sys/class/net/enp132s1f0np1/device/sriov_totalvfs\n127\n</code></pre> <p>\u200b\u521b\u5efa\u200b VF\uff0c\u200b\u603b\u6570\u200b\u4e0d\u8981\u200b\u8d85\u8fc7\u200b\u4e0a\u9762\u200b\u67e5\u8be2\u200b\u51fa\u200b\u7684\u200b\u6570\u91cf\u200b\uff1a</p> <pre><code># echo '4' &gt; /sys/class/net/enp132s0f0np0/device/sriov_numvfs\n# echo '4' &gt; /sys/class/net/enp132s1f0np1/device/sriov_numvfs\n# ip link show enp132s0f0np0\n160: enp132s0f0np0: &lt;NO-CARRIER,BROADCAST,MULTICAST,UP&gt; mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000\n    link/ether 08:c0:eb:74:c3:4a brd ff:ff:ff:ff:ff:ff\n    vf 0 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 1 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 2 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 3 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n# ip link show enp132s0f1np1\n169: enp132s0f1np1: &lt;NO-CARRIER,BROADCAST,MULTICAST,UP&gt; mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000\n    link/ether 08:c0:eb:74:c3:4b brd ff:ff:ff:ff:ff:ff\n    vf 0 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 1 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 2 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 3 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n# ip link set enp132s0f0np0 up\n# ip link set enp132s0f1np1 up\n</code></pre> <p>\u200b\u627e\u5230\u200b\u4e0a\u8ff0\u200b VF \u200b\u5bf9\u5e94\u200b\u7684\u200b\u8bbe\u5907\u200b ID\uff1a</p> <pre><code># lspci -nn | grep ConnectX-5 | grep Virtual\n84:00.2 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.3 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.4 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.5 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.6 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.7 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:01.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:01.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n</code></pre> <p>\u200b\u5c06\u200b VF \u200b\u4ece\u200b\u9a71\u52a8\u200b\u4e2d\u89e3\u200b\u7ed1\u200b\uff1a</p> <pre><code>echo 0000:84:00.2 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.3 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.4 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.5 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.6 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.7 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:01.0 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:01.1 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\n</code></pre> <p>\u200b\u5f00\u542f\u200b eSwitch \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u5e76\u200b\u8bbe\u7f6e\u200b\u786c\u4ef6\u200b\u5378\u8f7d\u200b\uff1a</p> <pre><code>devlink dev eswitch set pci/0000:84:00.0 mode switchdev\ndevlink dev eswitch set pci/0000:84:00.1 mode switchdev\nethtool -K enp132s0f0np0 hw-tc-offload on\nethtool -K enp132s0f1np1 hw-tc-offload on\n</code></pre> <p>SR-IOV VF \u200b\u94fe\u8def\u200b\u805a\u5408\u200b\u914d\u7f6e\u200b\uff1a</p> <p>SR-IOV VF LAG \u200b\u5141\u8bb8\u200b\u7f51\u5361\u200b\u7684\u200b PF \u200b\u83b7\u53d6\u200b OVS \u200b\u8bd5\u56fe\u200b\u5378\u8f7d\u200b\u5230\u200b\u7ed1\u5b9a\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u7684\u200b\u89c4\u5219\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u5176\u200b\u5378\u8f7d\u200b\u5230\u200b\u786c\u4ef6\u200b e-switch \u200b\u4e0a\u200b\u3002\u200b\u652f\u6301\u200b\u7684\u200b bond \u200b\u6a21\u5f0f\u200b\u5982\u4e0b\u200b\uff1a</p> <ul> <li>Active-backup</li> <li>XOR</li> <li>LACP</li> </ul> <p>SR-IOV VF LAG \u200b\u53ef\u200b\u5c06\u200b LAG \u200b\u529f\u80fd\u200b\u5b8c\u5168\u200b\u5378\u8f7d\u200b\u7ed9\u200b\u786c\u4ef6\u200b\u3002bond \u200b\u4f1a\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b\u5355\u4e00\u200b\u7684\u200b bond PF \u200b\u7aef\u53e3\u200b\u3002\u200b\u5f53\u200b\u4f7f\u7528\u200b\u786c\u4ef6\u200b\u5378\u8f7d\u200b\u65f6\u200b\uff0c\u200b\u4e24\u4e2a\u200b\u7aef\u53e3\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u53ef\u200b\u8f6c\u53d1\u200b\u5230\u200b\u4efb\u4f55\u200b\u4e00\u4e2a\u200b VF\u3002\u200b\u6765\u81ea\u200b VF \u200b\u7684\u200b\u6d41\u91cf\u200b\u53ef\u200b\u6839\u636e\u200b bond \u200b\u72b6\u6001\u200b\u8f6c\u53d1\u200b\u5230\u200b\u4e24\u4e2a\u200b\u7aef\u53e3\u200b\u3002\u200b\u8fd9\u200b\u610f\u5473\u7740\u200b\uff0c\u200b\u5728\u200b\u4e3b\u5907\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u53ea\u6709\u200b\u4e00\u4e2a\u200b PF \u200b\u5904\u4e8e\u200b\u8fd0\u884c\u200b\u72b6\u6001\u200b\uff0c\u200b\u6765\u81ea\u200b\u4efb\u4f55\u200b VF \u200b\u7684\u200b\u6d41\u91cf\u200b\u90fd\u200b\u4f1a\u200b\u901a\u8fc7\u200b\u8be5\u200b PF\u3002\u200b\u5728\u200b XOR \u200b\u6216\u200b LACP \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u5982\u679c\u200b\u4e24\u4e2a\u200b PF \u200b\u90fd\u200b\u6b63\u5e38\u200b\u8fd0\u884c\u200b\uff0c\u200b\u5219\u200b\u6765\u81ea\u200b\u4efb\u4f55\u200b VF \u200b\u7684\u200b\u6d41\u91cf\u200b\u90fd\u200b\u4f1a\u200b\u5728\u200b\u8fd9\u200b\u4e24\u4e2a\u200b PF \u200b\u4e4b\u95f4\u200b\u5206\u914d\u200b\u3002</p> <p>\u200b\u672c\u200b\u793a\u4f8b\u200b\u4e2d\u5c06\u200b\u91c7\u7528\u200b LACP \u200b\u7684\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u914d\u7f6e\u200b\u65b9\u5f0f\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>modprobe bonding mode=802.3ad\nip link set enp132s0f0np0 master bond1\nip link set enp132s0f1np1 master bond1\nip link set enp132s0f0np0 up\nip link set enp132s0f1np1 up\nip link set bond1 up\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u82e5\u200b\u4e0d\u200b\u9700\u8981\u200b\u7ed1\u5b9a\u200b bond\uff0c\u200b\u8bf7\u200b\u5ffd\u7565\u200b\u4e0a\u8ff0\u200b\u64cd\u4f5c\u200b\u3002</p> <p>\u200b\u91cd\u65b0\u200b\u7ed1\u5b9a\u200b\u9a71\u52a8\u200b\uff0c\u200b\u5b8c\u6210\u200b VF \u200b\u8bbe\u7f6e\u200b\uff1a</p> <pre><code>echo 0000:84:00.2 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.3 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.4 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.5 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.6 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.7 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:01.0 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:01.1 &gt; /sys/bus/pci/drivers/mlx5_core/bind\n</code></pre> <p><code>NetworkManager</code> \u200b\u7684\u200b\u4e00\u4e9b\u200b\u884c\u4e3a\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u5bfc\u81f4\u200b\u9a71\u52a8\u200b\u5f02\u5e38\u200b\uff0c\u200b\u5982\u679c\u200b\u5378\u8f7d\u200b\u51fa\u73b0\u200b\u95ee\u9898\u200b\u5efa\u8bae\u200b\u5173\u95ed\u200b <code>NetworkManager</code> \u200b\u518d\u200b\u8fdb\u884c\u200b\u5c1d\u8bd5\u200b\uff1a</p> <pre><code>systemctl stop NetworkManager\nsystemctl disable NetworkManager\n</code></pre>"},{"location":"advance/offload-mellanox/#device-plugin","title":"\u914d\u7f6e\u200b Device Plugin","text":"<p>\u200b\u7531\u4e8e\u200b\u6bcf\u4e2a\u200b\u673a\u5668\u200b\u7684\u200b VF \u200b\u6570\u91cf\u200b\u4f18\u5148\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u4f7f\u7528\u200b\u52a0\u901f\u200b\u7684\u200b Pod \u200b\u4f1a\u200b\u5360\u7528\u200b VF \u200b\u8d44\u6e90\u200b\uff0c\u200b\u6211\u4eec\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b SR-IOV Device Plugin \u200b\u7ba1\u7406\u200b\u76f8\u5e94\u200b\u8d44\u6e90\u200b\uff0c\u200b\u4f7f\u5f97\u200b\u8c03\u5ea6\u200b\u5668\u200b\u77e5\u9053\u200b\u5982\u4f55\u200b\u6839\u636e\u200b \u200b\u8d44\u6e90\u200b\u8fdb\u884c\u200b\u8c03\u5ea6\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b SR-IOV \u200b\u76f8\u5173\u200b Configmap\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: sriovdp-config\n  namespace: kube-system\ndata:\n  config.json: |\n    {\n      \"resourceList\": [{\n          \"resourcePrefix\": \"mellanox.com\",\n          \"resourceName\": \"cx5_sriov_switchdev\",\n          \"selectors\": {\n                  \"vendors\": [\"15b3\"],\n                  \"devices\": [\"1018\"],\n                  \"drivers\": [\"mlx5_core\"]\n              }\n      }\n      ]\n    }\n</code></pre> <p>SR-IOV Device Plugin \u200b\u4f1a\u200b\u6839\u636e\u200b\u5173\u8054\u200b\u7684\u200b ConfigMap \u200b\u4e2d\u200b\u6307\u5b9a\u200b\u7684\u200b\u914d\u7f6e\u200b\u521b\u5efa\u200b\u8bbe\u5907\u200b\u63d2\u4ef6\u200b\u7aef\u70b9\u200b\uff0cConfigMap \u200b\u7684\u200b name \u200b\u4e3a\u200b sriovdp-config\u3002</p> <ul> <li><code>selectors</code>: VF \u200b\u9009\u62e9\u5668\u200b</li> <li><code>vendors</code>: \u200b\u76ee\u6807\u200b\u8bbe\u5907\u200b\u4f9b\u5e94\u5546\u200b\u5341\u516d\u8fdb\u5236\u200b\u4ee3\u7801\u200b\u5b57\u7b26\u4e32\u200b</li> <li><code>devices</code>: \u200b\u76ee\u6807\u200b\u8bbe\u5907\u200b\u7684\u200b\u8bbe\u5907\u200b\u5341\u516d\u8fdb\u5236\u200b\u4ee3\u7801\u200b\u5b57\u7b26\u4e32\u200b</li> <li><code>drivers</code>: \u200b\u4ee5\u200b\u5b57\u7b26\u4e32\u200b\u5f62\u5f0f\u200b\u663e\u793a\u200b\u7684\u200b\u76ee\u6807\u200b\u8bbe\u5907\u200b\u9a71\u52a8\u7a0b\u5e8f\u200b\u540d\u79f0\u200b</li> </ul> <p><code>selectors</code> \u200b\u8fd8\u200b\u652f\u6301\u200b\u57fa\u4e8e\u200b <code>pciAddresses</code>\u3001<code>acpiIndexes</code> \u200b\u7b49\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b VF \u200b\u7684\u200b\u9009\u62e9\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u8be6\u7ec6\u200b\u914d\u7f6e\u200b\u8bf7\u200b\u53c2\u8003\u200bSR-IOV ConfigMap \u200b\u914d\u7f6e\u200b</p> <p>\u200b\u53c2\u8003\u200b SR-IOV \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b:</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/sriov-network-device-plugin/v3.6.2/deployments/sriovdp-daemonset.yaml\n</code></pre> <p>\u200b\u68c0\u67e5\u200b SR-IOV \u200b\u8d44\u6e90\u200b\u662f\u5426\u200b\u5df2\u7ecf\u200b\u6ce8\u518c\u200b\u5230\u200b Kubernetes Node \u200b\u4e2d\u200b\uff1a</p> <pre><code>kubectl describe node kube-ovn-01  | grep mellanox\n\nmellanox.com/cx5_sriov_switchdev:  8\nmellanox.com/cx5_sriov_switchdev:  8\nmellanox.com/cx5_sriov_switchdev  0           0\n</code></pre>"},{"location":"advance/offload-mellanox/#sriov-network-operator-sr-iov-device-plugin","title":"\u4f7f\u7528\u200b sriov-network-operator \u200b\u914d\u7f6e\u200b SR-IOV \u200b\u548c\u200b Device Plugin","text":"<p>\u200b\u5b89\u88c5\u200b node-feature-discovery \u200b\u81ea\u52a8\u68c0\u6d4b\u200b\u786c\u4ef6\u200b\u7684\u200b\u529f\u80fd\u200b\u548c\u200b\u7cfb\u7edf\u914d\u7f6e\u200b:</p> <pre><code>kubectl apply -k https://github.com/kubernetes-sigs/node-feature-discovery/deployment/overlays/default?ref=v0.11.3\n</code></pre> <p>\u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff0c\u200b\u624b\u52a8\u200b\u7ed9\u200b\u6709\u200b offload \u200b\u80fd\u529b\u200b\u7684\u200b\u7f51\u5361\u200b\u589e\u52a0\u200b annotation:</p> <pre><code>kubectl label nodes [offloadNicNode] feature.node.kubernetes.io/network-sriov.capable=true\n</code></pre> <p>\u200b\u514b\u9686\u200b\u4ee3\u7801\u200b\u4ed3\u5e93\u200b\u5e76\u200b\u5b89\u88c5\u200b Operator\uff1a</p> <pre><code>git clone --depth=1 https://github.com/kubeovn/sriov-network-operator.git\nkubectl apply -k sriov-network-operator/deploy\n</code></pre> <p>\u200b\u68c0\u67e5\u200b Operator \u200b\u7ec4\u4ef6\u200b\u662f\u5426\u200b\u5de5\u4f5c\u200b\u6b63\u5e38\u200b\uff1a</p> <pre><code># kubectl get -n kube-system all | grep sriov\nNAME                                          READY   STATUS    RESTARTS   AGE\npod/sriov-network-config-daemon-bf9nt         1/1     Running   0          8s\npod/sriov-network-operator-54d7545f65-296gb   1/1     Running   0          10s\n\nNAME                                         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                                                 AGE\ndaemonset.apps/sriov-network-config-daemon   1         1         1       1            1           beta.kubernetes.io/os=linux,feature.node.kubernetes.io/network-sriov.capable=true   8s\n\nNAME                                     READY   UP-TO-DATE   AVAILABLE   AGE\ndeployment.apps/sriov-network-operator   1/1     1            1           10s\n\nNAME                                                DESIRED   CURRENT   READY   AGE\nreplicaset.apps/sriov-network-operator-54d7545f65   1         1         1       10s\n</code></pre> <p>\u200b\u68c0\u67e5\u200b <code>SriovNetworkNodeState</code>\uff0c\u200b\u4e0b\u9762\u200b\u4ee5\u200b <code>node1</code> \u200b\u8282\u70b9\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u8be5\u200b\u8282\u70b9\u200b\u4e0a\u200b\u6709\u200b\u4e24\u4e2a\u200b Mellanox \u200b\u7f51\u5361\u200b\uff1a</p> <pre><code># kubectl get sriovnetworknodestates.sriovnetwork.openshift.io -n kube-system node1 -o yaml\napiVersion: sriovnetwork.openshift.io/v1\nkind: SriovNetworkNodeState\nspec: ...\nstatus:\n  interfaces:\n  - deviceID: \"1017\"\n    driver: mlx5_core\n    mtu: 1500\n    pciAddress: \"0000:5f:00.0\"\n    totalvfs: 8\n    vendor: \"15b3\"\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    name: ens41f0np0\n  - deviceID: \"1017\"\n    driver: mlx5_core\n    mtu: 1500\n    pciAddress: \"0000:5f:00.1\"\n    totalvfs: 8\n    vendor: \"15b3\"\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    name: ens41f1np1\n</code></pre> <p>\u200b\u521b\u5efa\u200b <code>SriovNetworkNodePolicy</code> \u200b\u8d44\u6e90\u200b\uff0c\u200b\u5e76\u200b\u901a\u8fc7\u200b <code>nicSelector</code> \u200b\u9009\u62e9\u200b\u8981\u200b\u7ba1\u7406\u200b\u7684\u200b\u7f51\u5361\u200b\uff1a</p> <pre><code>apiVersion: sriovnetwork.openshift.io/v1\nkind: SriovNetworkNodePolicy\nmetadata:\n  name: policy\n  namespace: kube-system\nspec:\n  nodeSelector:\n    feature.node.kubernetes.io/network-sriov.capable: \"true\"\n  eSwitchMode: switchdev\n  numVfs: 3\n  nicSelector:\n    pfNames:\n    - ens41f0np0\n    - ens41f1np1\n  resourceName: cx_sriov_switchdev\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u68c0\u67e5\u200b <code>SriovNetworkNodeState</code> \u200b\u7684\u200b <code>status</code> \u200b\u5b57\u200b\u6bb5\u200b\uff1a</p> <pre><code># kubectl get sriovnetworknodestates.sriovnetwork.openshift.io -n kube-system node1 -o yaml\n\n...\nspec:\n  interfaces:\n  - eSwitchMode: switchdev\n    name: ens41f0np0\n    numVfs: 3\n    pciAddress: 0000:5f:00.0\n    vfGroups:\n    - policyName: policy\n      vfRange: 0-2\n      resourceName: cx_sriov_switchdev\n  - eSwitchMode: switchdev\n    name: ens41f1np1\n    numVfs: 3\n    pciAddress: 0000:5f:00.1\n    vfGroups:\n    - policyName: policy\n      vfRange: 0-2\n      resourceName: cx_sriov_switchdev\nstatus:\n  interfaces\n  - Vfs:\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.2\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.3\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.4\n      vendor: \"15b3\"\n    deviceID: \"1017\"\n    driver: mlx5_core\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:ab\n    mtu: 1500\n    name: ens41f0np0\n    numVfs: 3\n    pciAddress: 0000:5f:00.0\n    totalvfs: 3\n    vendor: \"15b3\"\n  - Vfs:\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.5\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.6\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.7\n      vendor: \"15b3\"\n    deviceID: \"1017\"\n    driver: mlx5_core\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    mtu: 1500\n    name: ens41f1np1\n    numVfs: 3\n    pciAddress: 0000:5f:00.1\n    totalvfs: 3\n    vendor: \"15b3\"\n</code></pre> <p>\u200b\u68c0\u67e5\u200b VF \u200b\u7684\u200b\u72b6\u6001\u200b\uff1a</p> <pre><code># lspci -nn | grep ConnectX\n5f:00.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n5f:00.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n5f:00.2 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.3 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.4 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.5 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.6 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.7 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n</code></pre> <p>\u200b\u68c0\u67e5\u200b PF \u200b\u5de5\u4f5c\u200b\u6a21\u5f0f\u200b\uff1a</p> <pre><code># cat /sys/class/net/ens41f0np0/compat/devlink/mode\nswitchdev\n</code></pre>"},{"location":"advance/offload-mellanox/#multus-cni","title":"\u5b89\u88c5\u200b Multus-CNI","text":"<p>SR-IOV Device Plugin \u200b\u8c03\u5ea6\u200b\u65f6\u200b\u83b7\u5f97\u200b\u7684\u200b\u8bbe\u5907\u200b ID \u200b\u9700\u8981\u200b\u901a\u8fc7\u200b Multus-CNI \u200b\u4f20\u9012\u200b\u7ed9\u200b Kube-OVN\uff0c\u200b\u56e0\u6b64\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b Multus-CNI \u200b\u914d\u5408\u200b\u5b8c\u6210\u200b\u76f8\u5173\u200b\u4efb\u52a1\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b Multus-CNI \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/multus-cni/v4.0.2/deployments/multus-daemonset-thick.yml\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1amultus \u200b\u63d0\u4f9b\u200b\u4e86\u200b Thin \u200b\u548c\u200b Thick \u200b\u7248\u672c\u200b\u7684\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u82e5\u200b\u8981\u200b\u652f\u6301\u200b SR-IOV \u200b\u5219\u200b\u9700\u8981\u200b\u5b89\u88c5\u200b Thick \u200b\u7248\u672c\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b <code>NetworkAttachmentDefinition</code>\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: sriov\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/resourceName: mellanox.com/cx5_sriov_switchdev\nspec:\n  config: '{\n    \"cniVersion\": \"0.3.1\",\n    \"name\": \"kube-ovn\",\n    \"plugins\":[\n        {\n            \"type\":\"kube-ovn\",\n            \"server_socket\":\"/run/openvswitch/kube-ovn-daemon.sock\",\n            \"provider\": \"sriov.default.ovn\"\n        },\n        {\n            \"type\":\"portmap\",\n            \"capabilities\":{\n                \"portMappings\":true\n            }\n        }\n    ]\n}'\n</code></pre> <ul> <li><code>provider</code>: \u200b\u683c\u5f0f\u200b\u4e3a\u200b\u5f53\u524d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {name}.{namespace}.ovn\u3002</li> </ul>"},{"location":"advance/offload-mellanox/#overlay","title":"Overlay \u200b\u5378\u8f7d","text":""},{"location":"advance/offload-mellanox/#kube-ovn","title":"Kube-OVN \u200b\u4e2d\u200b\u5f00\u542f\u200b\u5378\u8f7d\u200b\u6a21\u5f0f","text":"<p>\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\uff0c<code>IFACE</code> \u200b\u9700\u8981\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u8be5\u200b\u7f51\u5361\u200b\u9700\u8981\u200b\u6709\u200b\u53ef\u200b\u8def\u7531\u200b IP\uff1a</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"bond1\"\n# \u200b\u4ee5\u200b\u624b\u52a8\u200b\u914d\u7f6e\u200b SR-IOV \u200b\u548c\u200b Device Plugin \u200b\u4e2d\u200b\u7684\u200b\u7f51\u5361\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u82e5\u200b\u7ed1\u5b9a\u200b bond\uff0c\u200b\u5219\u200b\u5c06\u200b IFACE \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b bond1\uff0c\u200b\u82e5\u200b\u672a\u200b\u7ed1\u5b9a\u200b bond\uff0c\u200b\u5219\u200b\u53ef\u200b\u5c06\u200b IFACE \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b enp132s0f0np0 \u200b\u6216\u200b enp132s0f1np1\n</code></pre> <p>\u200b\u5b89\u88c5\u200b Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"advance/offload-mellanox/#vf-pod","title":"\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u7f51\u5361\u200b\u7684\u200b Pod","text":"<p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b yaml \u200b\u683c\u5f0f\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-overlay\n  annotations:\n    v1.multus-cni.io/default-network: default/sriov\n    sriov.default.ovn.kubernetes.io/logical_switch: ovn-default\nspec:\n  containers:\n  - name: nginx-overlay\n    image: docker.io/library/nginx:alpine\n    resources:\n      requests:\n        mellanox.com/cx5_sriov_switchdev: '1'\n      limits:\n        mellanox.com/cx5_sriov_switchdev: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: \u200b\u4e3a\u200b\u4e0a\u200b\u4e00\u200b\u6b65\u9aa4\u200b\u4e2d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {namespace}/{name}\u3002</li> <li><code>sriov.default.ovn.kubernetes.io/logical_switch</code>: \u200b\u6307\u5b9a\u200b Pod \u200b\u6240\u5c5e\u200b\u7684\u200b Subnet\uff0c\u200b\u82e5\u200b\u5e0c\u671b\u200b Pod \u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e3a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u5219\u200b\u8be5\u884c\u200b\u6ce8\u89e3\u200b\u53ef\u200b\u7701\u7565\u200b\u3002</li> </ul>"},{"location":"advance/offload-mellanox/#underlay","title":"Underlay \u200b\u5378\u8f7d","text":""},{"location":"advance/offload-mellanox/#kube-ovn_1","title":"Kube-OVN \u200b\u4e2d\u200b\u5f00\u542f\u200b\u5378\u8f7d\u200b\u6a21\u5f0f","text":"<p>\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\uff0c<code>IFACE</code> \u200b\u9700\u8981\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u8be5\u200b\u7f51\u5361\u200b\u9700\u8981\u200b\u6709\u200b\u53ef\u200b\u8def\u7531\u200b IP\uff1a</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"\"\n# \u200b\u82e5\u200b\u9700\u8981\u200b Underlay \u200b\u5378\u8f7d\u200b\uff0cIFACE \u200b\u9700\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5176\u5b83\u200b\u975e\u200b PF \u200b\u7684\u200b\u7f51\u5361\u200b\u3002\uff08IFACE \u200b\u4e3a\u7a7a\u200b\u65f6\u4f1a\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b K8s \u200b\u96c6\u7fa4\u200b\u901a\u4fe1\u200b\u7684\u200b\u7f51\u5361\u200b\uff0c\u200b\u6ce8\u610f\u200b\u8fd9\u5f20\u200b\u7f51\u5361\u200b\u4e0d\u80fd\u200b\u662f\u200b PF \u200b\u7684\u200b\u7f51\u5361\u200b\uff09\n</code></pre> <p>\u200b\u5b89\u88c5\u200b Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"advance/offload-mellanox/#vf-pod_1","title":"\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u7f51\u5361\u200b\u7684\u200b Pod","text":"<p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b yaml \u200b\u683c\u5f0f\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: underlay-offload\nspec:\n  defaultInterface: bond1\n\n---\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan0\nspec:\n  id: 0\n  provider: underlay-offload\n\n---\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vlan0\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 10.10.204.0/24\n  gateway: 10.10.204.254\n  vlan: vlan0\n  excludeIps:\n  - 10.10.204.1..10.10.204.100\n\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-underlay\n  annotations:\n    k8s.v1.cni.cncf.io/networks: '[{\n      \"name\": \"sriov\",\n      \"namespace\": \"default\",\n      \"default-route\": [\"10.10.204.254\"]\n    }]'\n    sriov.default.ovn.kubernetes.io/logical_switch: vlan0\nspec:\n  containers:\n  - name: nginx-underlay\n    image: docker.io/library/nginx:alpine\n    resources:\n      requests:\n        mellanox.com/cx5_sriov_switchdev: '1'\n      limits:\n        mellanox.com/cx5_sriov_switchdev: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: \u200b\u4e3a\u200b\u4e0a\u200b\u4e00\u200b\u6b65\u9aa4\u200b\u4e2d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {namespace}/{name}\u3002</li> </ul> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u4e0a\u8ff0\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u901a\u8fc7\u200b multus \u200b\u521b\u5efa\u200b\u4e86\u200b\u4f7f\u7528\u200b VF \u200b\u4f5c\u4e3a\u200b\u526f\u200b\u7f51\u5361\u200b\u7684\u200b Pod\uff0c\u200b\u540c\u65f6\u200b\u5c06\u200b VF \u200b\u4f5c\u4e3a\u200b Pod \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u3002\u200b\u8fd8\u200b\u53ef\u4ee5\u200b\u5c06\u200b VF \u200b\u4f5c\u4e3a\u200b Pod \u200b\u7684\u200b\u4e3b\u200b\u7f51\u5361\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b multus \u200b\u914d\u7f6e\u200b\u8be6\u89c1\u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b\u3002</p> <p>\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u7684\u200b\u662f\u200b\u4ecd\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b yaml \u200b\u683c\u5f0f\u200b\u521b\u5efa\u200b\u4e0d\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-underlay-noVF\n  annotations:\n    ovn.kubernetes.io/logical_switch: vlan0\nspec:\n  containers:\n  - name: nginx-underlay-noVF\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u4e0a\u8ff0\u200b\u793a\u4f8b\u200b\u4f1a\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b\u4e0d\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod\uff0c\u200b\u5176\u6d41\u8868\u200b\u4ecd\u4f1a\u200b\u88ab\u200b\u4e0b\u53d1\u200b\u81f3\u200b ovs-kernel \u200b\u4e2d\u200b\u800c\u200b\u4e0d\u4f1a\u200b\u4e0b\u53d1\u200b\u5230\u200b e-switch \u200b\u4e2d\u200b\u3002</p>"},{"location":"advance/offload-mellanox/#_2","title":"\u5378\u8f7d\u200b\u9a8c\u8bc1","text":"<p>\u200b\u53ef\u200b\u901a\u8fc7\u200b\u5728\u200b Pod \u200b\u8fd0\u884c\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\u4e2d\u200b\u8fd0\u884c\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u89c2\u5bdf\u200b\u5378\u8f7d\u200b\u662f\u5426\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># ovs-appctl dpctl/dump-flows -m type=offloaded\nufid:91cc45de-e7e9-4935-8f82-1890430b0f66, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(5b45c61b307e_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:c5:6d:4e,dst=00:00:00:e7:16:ce),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:941539, bytes:62142230, used:0.260s, offloaded:yes, dp:tc, actions:54235e5753b8_h\nufid:e00768d7-e652-4d79-8182-3291d852b791, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(54235e5753b8_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:e7:16:ce,dst=00:00:00:c5:6d:4e),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:82386659, bytes:115944854173, used:0.260s, offloaded:yes, dp:tc, actions:5b45c61b307e_h\n</code></pre> <p>\u200b\u5982\u679c\u200b\u6709\u200b <code>offloaded:yes, dp:tc</code> \u200b\u5185\u5bb9\u200b\u8bc1\u660e\u200b\u5378\u8f7d\u200b\u6210\u529f\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/overlay-with-route/","title":"Overlay \u200b\u4e0b\u200b\u8def\u7531\u200b\u65b9\u5f0f\u200b\u7f51\u7edc\u200b\u6253\u901a","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u7f51\u7edc\u200b\u73af\u5883\u200b\u4e0d\u200b\u652f\u6301\u200b Underlay \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u4f46\u662f\u200b\u4f9d\u7136\u200b\u9700\u8981\u200b Pod \u200b\u80fd\u200b\u548c\u200b\u5916\u90e8\u200b\u8bbe\u65bd\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b IP \u200b\u8fdb\u884c\u200b\u4e92\u8bbf\u200b\uff0c \u200b\u8fd9\u65f6\u5019\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u8def\u7531\u200b\u65b9\u5f0f\u200b\u5c06\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u548c\u200b\u5916\u90e8\u200b\u8054\u901a\u200b\u3002</p> <p>\u200b\u8def\u7531\u200b\u6a21\u5f0f\u200b\u53ea\u200b\u652f\u6301\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Overlay \u200b\u7f51\u7edc\u200b\u548c\u200b\u5916\u90e8\u200b\u6253\u901a\u200b\uff0c\u200b\u5728\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0cPod IP \u200b\u4f1a\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u653e\u5f00\u200b\u5173\u4e8e\u200b\u6e90\u5730\u5740\u200b\u548c\u200b\u76ee\u200b\u5730\u5740\u200b\u7684\u200b IP \u200b\u68c0\u67e5\u200b\u3002</p>"},{"location":"advance/overlay-with-route/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ul> <li>\u200b\u6b64\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u4e3b\u673a\u200b\u9700\u8981\u200b\u5f00\u653e\u200b <code>ip_forward</code>\u3002</li> <li>\u200b\u68c0\u67e5\u200b\u4e3b\u673a\u200b iptables \u200b\u89c4\u5219\u200b\u4e2d\u200b\u662f\u5426\u200b\u5728\u200b forward \u200b\u94fe\u4e2d\u200b\u662f\u5426\u200b\u6709\u200b Drop \u200b\u89c4\u5219\u200b\uff0c\u200b\u9700\u8981\u200b\u653e\u884c\u200b\u5bb9\u5668\u200b\u76f8\u5173\u200b\u6d41\u91cf\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u53ef\u80fd\u200b\u5b58\u5728\u200b\u975e\u5bf9\u79f0\u200b\u8def\u7531\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0c\u200b\u4e3b\u673a\u200b\u9700\u200b\u653e\u884c\u200b ct \u200b\u72b6\u6001\u200b\u4e3a\u200b <code>INVALID</code> \u200b\u7684\u200b\u6570\u636e\u5305\u200b\u3002</li> </ul>"},{"location":"advance/overlay-with-route/#_2","title":"\u8bbe\u7f6e\u200b\u6b65\u9aa4","text":"<p>\u200b\u5bf9\u4e8e\u200b\u9700\u8981\u200b\u5bf9\u5916\u200b\u76f4\u63a5\u200b\u8def\u7531\u200b\u7684\u200b\u5b50\u7f51\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b\u5b50\u7f51\u200b\u7684\u200b <code>natOutgoing</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code>\uff0c\u200b\u5173\u95ed\u200b nat \u200b\u6620\u5c04\u200b\uff0c\u200b\u4f7f\u5f97\u200b Pod IP \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: routed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: distributed\n  natOutgoing: false\n</code></pre> <p>\u200b\u6b64\u65f6\u200b\uff0cPod \u200b\u7684\u200b\u6570\u636e\u5305\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4e3b\u673a\u200b\u8def\u7531\u200b\u5230\u8fbe\u200b\u5bf9\u7aef\u200b\u8282\u70b9\u200b\uff0c\u200b\u4f46\u662f\u200b\u5bf9\u7aef\u200b\u8282\u70b9\u200b\u8fd8\u200b\u4e0d\u200b\u77e5\u9053\u200b\u56de\u7a0b\u200b\u6570\u636e\u5305\u200b\u5e94\u8be5\u200b\u53d1\u9001\u5230\u200b\u54ea\u91cc\u200b\uff0c\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u56de\u7a0b\u200b\u8def\u7531\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u5bf9\u7aef\u200b\u4e3b\u673a\u200b\u548c\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u5bbf\u4e3b\u673a\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u4e8c\u5c42\u200b\u7f51\u7edc\u200b\uff0c\u200b\u6211\u4eec\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u5728\u200b\u5bf9\u200b\u7aef\u200b\u4e3b\u673a\u200b\u6dfb\u52a0\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u5c06\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u6307\u5411\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b\u4efb\u610f\u200b\u4e00\u53f0\u200b\u673a\u5668\u200b\u3002</p> <pre><code>ip route add 10.166.0.0/16 via 192.168.2.10 dev eth0\n</code></pre> <p><code>10.166.0.0/16</code> \u200b\u4e3a\u200b\u5bb9\u5668\u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b\uff0c<code>192.168.2.10</code> \u200b\u4e3a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u5185\u200b\u4efb\u610f\u200b\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u3002</p> <p>\u200b\u82e5\u200b\u5bf9\u200b\u7aef\u200b\u4e3b\u673a\u200b\u548c\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u5bbf\u4e3b\u673a\u200b\u4e0d\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u4e8c\u5c42\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u5728\u200b\u8def\u7531\u5668\u200b\u4e0a\u200b\u914d\u7f6e\u200b\u76f8\u5e94\u200b\u7684\u200b\u89c4\u5219\u200b\uff0c\u200b\u901a\u8fc7\u200b\u8def\u7531\u5668\u200b\u8fdb\u884c\u200b\u6253\u901a\u200b\u3002</p> <p>\u200b\u6ce8\u610f\u200b\uff1a \u200b\u6307\u5b9a\u200b\u67d0\u4e2a\u200b\u8282\u70b9\u200b IP \u200b\u5b58\u5728\u200b\u5355\u70b9\u6545\u969c\u200b\u7684\u200b\u53ef\u80fd\u200b\uff0c\u200b\u5982\u679c\u200b\u5e0c\u671b\u200b\u505a\u5230\u200b\u5feb\u901f\u200b\u7684\u200b\u6545\u969c\u200b\u5207\u6362\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Keepalived \u200b\u7ed9\u200b\u591a\u4e2a\u200b\u8282\u70b9\u200b\u8bbe\u7f6e\u200b VIP\uff0c\u200b\u540c\u65f6\u200b\u5c06\u200b\u8def\u7531\u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u6307\u5411\u200b VIP\u3002</p> <p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u865a\u62df\u5316\u200b\u73af\u5883\u200b\u4e2d\u200b\uff0c\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u4f1a\u200b\u5c06\u200b\u975e\u5bf9\u79f0\u200b\u6d41\u91cf\u200b\u8bc6\u522b\u200b\u4e3a\u200b\u975e\u6cd5\u200b\u6d41\u91cf\u200b\u5e76\u200b\u4e22\u5f03\u200b\u3002 \u200b\u6b64\u65f6\u200b\u9700\u8981\u200b\u5c06\u200b Subnet \u200b\u7684\u200b <code>gatewayType</code> \u200b\u8c03\u6574\u200b\u4e3a\u200b <code>centralized</code>\uff0c\u200b\u5e76\u200b\u5728\u200b\u8def\u7531\u200b\u8bbe\u7f6e\u200b\u65f6\u200b\u5c06\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>gatewayNode</code> \u200b\u8282\u70b9\u200b\u7684\u200b IP\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: routed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: centralized\n  gatewayNode: \"node1\"\n  natOutgoing: false\n</code></pre> <p>\u200b\u5982\u679c\u200b\u5bf9\u4e8e\u200b\u90e8\u5206\u200b\u6d41\u91cf\u200b\uff08\u200b\u5982\u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u7684\u200b\u6d41\u91cf\u200b\uff09\u200b\u4ecd\u7136\u200b\u5e0c\u671b\u200b\u8fdb\u884c\u200b nat \u200b\u5904\u7406\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b\u9ed8\u8ba4\u200b VPC NAT \u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/ovn-eip-fip-snat/","title":"OVN EIP FIP SNAT DNAT \u200b\u652f\u6301","text":"<pre><code>\ngraph LR\n\npod--&gt;subnet--&gt;vpc--&gt;lrp--bind--&gt;gw-chassis--&gt;snat--&gt;lsp--&gt;external-subnet\nlrp-.-peer-.-lsp\n</code></pre> <p>Pod \u200b\u57fa\u4e8e\u200b SNAT \u200b\u51fa\u200b\u516c\u7f51\u200b\u7684\u200b\u5927\u81f4\u200b\u6d41\u7a0b\u200b\uff0c\u200b\u6700\u540e\u200b\u662f\u200b\u7ecf\u8fc7\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u5361\u200b\u3002 Pod \u200b\u57fa\u4e8e\u200b Fip \u200b\u4f7f\u7528\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u8def\u5f84\u200b\u4e5f\u200b\u7c7b\u4f3c\u200b\u3002</p> <pre><code>\ngraph LR\n\n\npod--&gt;subnet--&gt;vpc--&gt;lrp--bind--&gt;local-chassis--&gt;snat--&gt;lsp--&gt;external-subnet\n\n\nlrp-.-peer-.-lsp\n</code></pre> <p>Pod \u200b\u57fa\u4e8e\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b FIP (dnat_and_snat) \u200b\u51fa\u200b\u516c\u7f51\u200b\u7684\u200b\u5927\u81f4\u200b\u6d41\u7a0b\u200b\uff0c\u200b\u6700\u540e\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b\u672c\u5730\u200b\u8282\u70b9\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u5361\u200b\u51fa\u200b\u516c\u7f51\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u6240\u200b\u652f\u6301\u200b\u7684\u200b CRD \u200b\u5728\u200b\u4f7f\u7528\u200b\u4e0a\u5c06\u200b\u548c\u200b iptable nat gw \u200b\u516c\u7f51\u200b\u65b9\u6848\u200b\u4fdd\u6301\u200b\u57fa\u672c\u4e00\u81f4\u200b\u3002</p> <ul> <li>ovn eip: \u200b\u7528\u4e8e\u200b\u516c\u7f51\u200b ip \u200b\u5360\u4f4d\u200b\uff0c\u200b\u4ece\u200b underlay provider network vlan subnet \u200b\u4e2d\u200b\u5206\u914d\u200b</li> <li>ovn fip\uff1a \u200b\u4e00\u5bf9\u4e00\u200b dnat snat\uff0c\u200b\u4e3a\u200b vpc \u200b\u5185\u200b\u7684\u200b ip \u200b\u6216\u8005\u200b vip \u200b\u63d0\u4f9b\u200b\u516c\u7f51\u200b\u76f4\u63a5\u200b\u8bbf\u95ee\u200b\u80fd\u529b\u200b</li> <li>ovn snat\uff1a\u200b\u6574\u4e2a\u200b\u5b50\u7f51\u200b\u6216\u8005\u200b\u5355\u4e2a\u200b vpc \u200b\u5185\u200b ip \u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b snat \u200b\u8bbf\u95ee\u200b\u516c\u7f51\u200b</li> <li>ovn dnat\uff1a\u200b\u57fa\u4e8e\u200b router lb \u200b\u5b9e\u73b0\u200b, \u200b\u57fa\u4e8e\u200b\u516c\u7f51\u200b ip + \u200b\u7aef\u53e3\u200b \u200b\u76f4\u63a5\u200b\u8bbf\u95ee\u200b vpc \u200b\u5185\u200b\u7684\u200b \u200b\u4e00\u7ec4\u200b endpoints</li> </ul>"},{"location":"advance/ovn-eip-fip-snat/#1","title":"1. \u200b\u90e8\u7f72","text":"<p>\u200b\u76ee\u524d\u200b\u5141\u8bb8\u200b\u6240\u6709\u200b\uff08\u200b\u9ed8\u8ba4\u200b\u4ee5\u53ca\u200b\u81ea\u5b9a\u4e49\u200b\uff09 vpc \u200b\u4f7f\u7528\u200b\u540c\u4e00\u4e2a\u200b\u9ed8\u8ba4\u200b provider vlan subnet \u200b\u8d44\u6e90\u200b\uff0c\u200b\u540c\u65f6\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u652f\u6301\u200b\u6269\u5c55\u200b provider vlan subnet \u200b\u4ece\u800c\u200b\u5b9e\u73b0\u200b\u4f7f\u7528\u200b\u591a\u4e2a\u200b\u516c\u7f51\u200b\uff0c\u200b\u517c\u5bb9\u200b\u9ed8\u8ba4\u200b VPC EIP/SNAT\u200b\u7684\u200b\u573a\u666f\u200b\u3002</p> <p>\u200b\u7c7b\u4f3c\u200b neutron ovn\uff0c\u200b\u670d\u52a1\u200b\u542f\u52a8\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b provider network \u200b\u76f8\u5173\u200b\u7684\u200b\u914d\u7f6e\u200b\uff0c\u200b\u4e0b\u8ff0\u200b\u7684\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u4e5f\u200b\u662f\u200b\u4e3a\u4e86\u200b\u517c\u5bb9\u200b VPC EIP/SNAT \u200b\u7684\u200b\u5b9e\u73b0\u200b\u3002</p> <p>\u200b\u90e8\u7f72\u200b\u9636\u6bb5\u200b\uff0c\u200b\u6839\u636e\u200b\u5b9e\u9645\u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u80fd\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b\u9ed8\u8ba4\u200b\u516c\u7f51\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u3002 \u200b\u5982\u679c\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u4e2d\u200b\u6ca1\u6709\u200b vlan\uff08\u200b\u4f7f\u7528\u200b vlan 0\uff09\uff0c\u200b\u90a3\u4e48\u200b\u4e0b\u8ff0\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u65e0\u9700\u200b\u914d\u7f6e\u200b\u3002</p> <pre><code># \u200b\u90e8\u7f72\u200b\u7684\u200b\u65f6\u5019\u200b\u4f60\u200b\u9700\u8981\u200b\u53c2\u8003\u200b\u4ee5\u4e0a\u200b\u573a\u666f\u200b\uff0c\u200b\u6839\u636e\u200b\u5b9e\u9645\u200b\u60c5\u51b5\u200b\uff0c\u200b\u6309\u200b\u9700\u200b\u6307\u5b9a\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b\n# 1. kube-ovn-controller \u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b\uff1a\n          - --external-gateway-vlanid=204\n          - --external-gateway-switch=external204\n\n# 2. kube-ovn-cni \u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b:\n          - --external-gateway-switch=external204 \n\n### \u200b\u4ee5\u4e0a\u200b\u914d\u7f6e\u200b\u90fd\u200b\u548c\u200b\u4e0b\u9762\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b vlan id \u200b\u548c\u200b\u8d44\u6e90\u200b\u540d\u200b\u4fdd\u6301\u4e00\u81f4\u200b\uff0c\u200b\u76ee\u524d\u200b\u4ec5\u200b\u652f\u6301\u200b\u6307\u5b9a\u200b\u4e00\u4e2a\u200b underlay \u200b\u516c\u7f51\u200b\u4f5c\u4e3a\u200b\u9ed8\u8ba4\u200b\u5916\u90e8\u200b\u516c\u7f51\u200b\u3002\n</code></pre> <p>\u200b\u8be5\u200b\u914d\u7f6e\u200b\u9879\u200b\u7684\u200b\u8bbe\u8ba1\u200b\u548c\u200b\u4f7f\u7528\u200b\u4e3b\u8981\u200b\u8003\u8651\u200b\u4e86\u200b\u5982\u4e0b\u200b\u56e0\u7d20\u200b\uff1a</p> <ul> <li>\u200b\u57fa\u4e8e\u200b\u8be5\u200b\u914d\u7f6e\u200b\u9879\u200b\u53ef\u4ee5\u200b\u5bf9\u200b\u63a5\u5230\u200b provider network\uff0cvlan\uff0csubnet \u200b\u7684\u200b\u8d44\u6e90\u200b\u3002</li> <li>\u200b\u57fa\u4e8e\u200b\u8be5\u200b\u914d\u7f6e\u200b\u9879\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u9ed8\u8ba4\u200b vpc enable_eip_snat \u200b\u529f\u80fd\u200b\u5bf9\u200b\u63a5\u5230\u200b\u5df2\u6709\u200b\u7684\u200b vlan\uff0csubnet \u200b\u8d44\u6e90\u200b\uff0c\u200b\u540c\u65f6\u200b\u652f\u6301\u200b\u516c\u7f51\u200b ip \u200b\u7684\u200b ipam\u3002</li> <li>\u200b\u5982\u679c\u200b\u4ec5\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b vpc \u200b\u7684\u200b enable_eip_snat \u200b\u6a21\u5f0f\u200b, \u200b\u4e14\u200b\u4ec5\u200b\u4f7f\u7528\u200b\u65e7\u200b\u7684\u200b\u57fa\u4e8e\u200b pod annotaion \u200b\u7684\u200b fip snat\uff0c\u200b\u90a3\u4e48\u200b\u8fd9\u4e2a\u200b\u914d\u7f6e\u200b\u65e0\u9700\u200b\u914d\u7f6e\u200b\u3002</li> <li>\u200b\u57fa\u4e8e\u200b\u8be5\u200b\u914d\u7f6e\u200b\u53ef\u4ee5\u200b\u4e0d\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b vpc enable_eip_snat \u200b\u6d41\u7a0b\u200b\uff0c\u200b\u4ec5\u200b\u901a\u8fc7\u200b\u5bf9\u5e94\u200b\u5230\u200b vlan\uff0csubnet \u200b\u6d41\u7a0b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u517c\u5bb9\u200b\u4ec5\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u4f7f\u7528\u200b eip snat \u200b\u7684\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\u3002</li> </ul>"},{"location":"advance/ovn-eip-fip-snat/#11-underlay","title":"1.1 \u200b\u51c6\u5907\u200b underlay \u200b\u516c\u7f51\u200b\u7f51\u7edc","text":"<pre><code># \u200b\u51c6\u5907\u200b provider-network\uff0c vlan\uff0c subnet\n# cat 01-provider-network.yaml\n\napiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: external204\nspec:\n  defaultInterface: vlan\n\n# cat 02-vlan.yaml\n\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan204\nspec:\n  id: 204\n  provider: external204\n\n# cat 03-vlan-subnet.yaml\n\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: external204\nspec:\n  protocol: IPv4\n  cidrBlock: 10.5.204.0/24\n  gateway: 10.5.204.254\n  vlan: vlan204\n  excludeIps:\n  - 10.5.204.1..10.5.204.100\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#12-vpc-eip_snat","title":"1.2 \u200b\u9ed8\u8ba4\u200b vpc \u200b\u542f\u7528\u200b eip_snat","text":"<pre><code># \u200b\u542f\u7528\u200b\u9ed8\u8ba4\u200b vpc \u200b\u548c\u200b\u4e0a\u8ff0\u200b underlay \u200b\u516c\u7f51\u200b provider subnet \u200b\u4e92\u8054\u200b\n# cat 00-centralized-external-gw-no-ip.yaml\n\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-external-gw-config\n  namespace: kube-system\ndata:\n  enable-external-gw: \"true\"\n  external-gw-nodes: \"pc-node-1,pc-node-2,pc-node-3\"\n  type: \"centralized\" \n  external-gw-nic: \"vlan\" # \u200b\u7528\u4e8e\u200b\u63a5\u5165\u200b ovs \u200b\u516c\u7f51\u200b\u7f51\u6865\u200b\u7684\u200b\u7f51\u5361\u200b\n  external-gw-addr: \"10.5.204.254/24\" # underlay \u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u7684\u200b ip\n</code></pre> <p>\u200b\u76ee\u524d\u200b\u8be5\u200b\u529f\u80fd\u200b\u5df2\u200b\u652f\u6301\u200b\u53ef\u4ee5\u200b\u4e0d\u200b\u6307\u5b9a\u200b logical router port (lrp) ip \u200b\u548c\u200b mac\uff0c\u200b\u5df2\u200b\u652f\u6301\u200b\u4ece\u200b underlay \u200b\u516c\u7f51\u200b\u4e2d\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\uff0c\u200b\u521b\u5efa\u200b lrp \u200b\u7c7b\u578b\u200b\u7684\u200b ovn eip \u200b\u8d44\u6e90\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u6307\u5b9a\u200b\u4e86\u200b\uff0c\u200b\u5219\u200b\u76f8\u5f53\u4e8e\u200b\u4ee5\u200b\u6307\u5b9a\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\u521b\u5efa\u200b\u4e86\u200b\u4e00\u4e2a\u200b lrp \u200b\u7c7b\u578b\u200b\u7684\u200b ovn-eip\u3002 \u200b\u5f53\u7136\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u63d0\u524d\u200b\u624b\u52a8\u200b\u521b\u5efa\u200b lrp \u200b\u7c7b\u578b\u200b\u7684\u200b ovn eip\u3002</p>"},{"location":"advance/ovn-eip-fip-snat/#13-vpc-eip-snat-fip","title":"1.3 \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u542f\u7528\u200b eip snat fip \u200b\u529f\u80fd","text":"<p>\u200b\u96c6\u7fa4\u200b\u4e00\u822c\u200b\u9700\u8981\u200b\u591a\u4e2a\u200b\u7f51\u5173\u200b node \u200b\u6765\u200b\u5b9e\u73b0\u200b\u9ad8\u200b\u53ef\u7528\u200b\uff0c\u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># \u200b\u9996\u5148\u200b\u901a\u8fc7\u200b\u6dfb\u52a0\u200b\u6807\u7b7e\u200b\u6307\u5b9a\u200b external-gw-nodes\nkubectl label nodes pc-node-1 pc-node-2 pc-node-3 ovn.kubernetes.io/external-gw=true\n</code></pre> <pre><code># cat 00-ns.yml\n\napiVersion: v1\nkind: Namespace\nmetadata:\n  name: vpc1\n\n# cat 01-vpc-ecmp-enable-external-bfd.yml\n\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true\n# vpc \u200b\u542f\u7528\u200b enableExternal \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u521b\u5efa\u200b lrp \u200b\u5173\u8054\u200b\u5230\u200b\u4e0a\u8ff0\u200b\u6307\u5b9a\u200b\u7684\u200b\u516c\u7f51\u200b\n\n# cat 02-subnet.yml\n\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vpc1-subnet1\nspec:\n  cidrBlock: 192.168.0.0/24\n  default: false\n  disableGatewayCheck: false\n  disableInterConnection: true\n  enableEcmp: true\n  gatewayNode: \"\"\n  gatewayType: distributed\n  #gatewayType: centralized\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n  provider: ovn\n  vpc: vpc1\n  namespaces:\n  - vpc1\n\n# \u200b\u8fd9\u91cc\u200b\u5b50\u7f51\u200b\u548c\u200b\u4e4b\u524d\u200b\u4f7f\u7528\u200b\u5b50\u7f51\u200b\u4e00\u6837\u200b\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u5728\u200b subnet \u200b\u4e0a\u200b\u6ca1\u6709\u200b\u65b0\u589e\u200b\u5c5e\u6027\u200b\uff0c\u200b\u6ca1\u6709\u200b\u4efb\u4f55\u200b\u53d8\u66f4\u200b\n</code></pre> <p>\u200b\u4ee5\u4e0a\u200b\u6a21\u677f\u200b\u5e94\u7528\u200b\u540e\u200b\uff0c\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\u5b58\u5728\u200b</p> <pre><code># k ko nbctl show vpc1\n\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 21d853b0-f7b4-40bd-9a53-31d2e2745739\n        external ip: \"10.5.204.115\"\n        logical ip: \"192.168.0.0/24\"\n        type: \"snat\"\n</code></pre> <pre><code># k ko nbctl lr-route-list vpc1\n\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0              10.5.204.254 dst-ip\n# \u200b\u76ee\u524d\u200b\u8be5\u200b\u8def\u7531\u200b\u5df2\u200b\u81ea\u52a8\u200b\u7ef4\u62a4\u200b\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#14","title":"1.4 \u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc","text":""},{"location":"advance/ovn-eip-fip-snat/#141-underlay","title":"1.4.1 \u200b\u51c6\u5907\u200b\u989d\u5916\u200b underlay \u200b\u516c\u7f51\u200b\u7f51\u7edc","text":"<p>\u200b\u989d\u5916\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\u5728\u200b\u542f\u52a8\u200b\u9ed8\u8ba4\u200b eip snat fip \u200b\u529f\u80fd\u200b\u540e\u200b\u624d\u200b\u4f1a\u200b\u542f\u7528\u200b\uff0c\u200b\u82e5\u200b\u53ea\u6709\u200b 1 \u200b\u4e2a\u200b\u516c\u7f51\u200b\u7f51\u5361\u200b\uff0c\u200b\u8bf7\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b eip snat fip \u200b\u529f\u80fd\u200b</p> <pre><code># \u200b\u51c6\u5907\u200b provider-network\uff0c vlan\uff0c subnet\n# cat 01-extra-provider-network.yaml\napiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: extra\nspec:\n  defaultInterface: vlan\n# cat 02-extra-vlan.yaml\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan0\nspec:\n  id: 0\n  provider: extra\n# cat 03-extra-vlan-subnet.yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: extra\nspec:\n  protocol: IPv4\n  cidrBlock: 10.10.204.0/24\n  gateway: 10.10.204.254\n  vlan: vlan0\n  excludeIps:\n  - 10.10.204.1..10.10.204.100\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#142-vpc","title":"1.4.2 \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u914d\u7f6e","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vpc\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true  # \u200b\u5f00\u542f\u200b enableExternal \u200b\u540e\u200b vpc \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u8fde\u63a5\u200b\u540d\u4e3a\u200b external \u200b\u7684\u200b ls\n  addExternalSubnets: # \u200b\u914d\u7f6e\u200b addExternalSubnets \u200b\u652f\u6301\u200b\u8fde\u63a5\u200b\u591a\u4e2a\u200b\u989d\u5916\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\n  - extra\n</code></pre> <p>\u200b\u4ee5\u4e0a\u200b\u6a21\u677f\u200b\u5e94\u7528\u200b\u540e\u200b\uff0c\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\u5b58\u5728\u200b</p> <pre><code># k ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    port vpc1-extra\n        mac: \"00:00:00:EF:6A:C7\"\n        networks: [\"10.10.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#2-ovn-eip","title":"2. ovn-eip","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u548c\u200b iptables-eip \u200b\u8bbe\u8ba1\u200b\u548c\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u57fa\u672c\u4e00\u81f4\u200b\uff0covn-eip \u200b\u76ee\u524d\u200b\u6709\u200b\u4e09\u79cd\u200b type</p> <ul> <li>nat: \u200b\u662f\u200b\u6307\u200b ovn dnat\uff0cfip, snat \u200b\u8fd9\u200b\u4e09\u79cd\u200b nat \u200b\u8d44\u6e90\u7c7b\u578b\u200b</li> <li>lrp: \u200b\u8f6f\u200b\u8def\u7531\u200b\u57fa\u4e8e\u200b\u8be5\u200b\u7aef\u53e3\u200b\u548c\u200b underlay \u200b\u516c\u7f51\u200b\u4e92\u8054\u200b\uff0c\u200b\u8be5\u200b lrp \u200b\u7aef\u53e3\u200b\u7684\u200b ip \u200b\u53ef\u4ee5\u200b\u88ab\u200b\u5176\u4ed6\u200b dnat snat \u200b\u590d\u7528\u200b</li> <li>lsp: \u200b\u7528\u4e8e\u200b ovn \u200b\u57fa\u4e8e\u200b bfd \u200b\u7684\u200b ecmp \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u573a\u666f\u200b\uff0c\u200b\u5728\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u4e0a\u200b\u63d0\u4f9b\u200b\u4e00\u4e2a\u200b ovs internal port \u200b\u4f5c\u4e3a\u200b ecmp \u200b\u8def\u7531\u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b</li> </ul> <pre><code>---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: external204\n  type: nat\n\n# \u200b\u52a8\u6001\u5206\u914d\u200b\u4e00\u4e2a\u200b eip \u200b\u8d44\u6e90\u200b\uff0c\u200b\u8be5\u200b\u8d44\u6e90\u200b\u9884\u7559\u200b\u7528\u4e8e\u200b fip \u200b\u573a\u666f\u200b\n</code></pre> <p>externalSubnet \u200b\u5b57\u200b\u6bb5\u200b\u53ef\u4e0d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff0c\u200b\u82e5\u200b\u672a\u200b\u914d\u7f6e\u200b\u5219\u200b\u4f1a\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u9ed8\u8ba4\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b external204\u3002</p> <p>\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b externalSubnet \u200b\u663e\u5f0f\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u6269\u5c55\u200b\u4f7f\u7528\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u6269\u5c55\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b extra\u3002</p>"},{"location":"advance/ovn-eip-fip-snat/#21-ovn-fip-pod-fip","title":"2.1 ovn-fip \u200b\u4e3a\u200b pod \u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b fip","text":"<pre><code># k get po -o wide -n vpc1 vpc-1-busybox01\nNAME              READY   STATUS    RESTARTS   AGE     IP            NODE\nvpc-1-busybox01   1/1     Running   0          3d15h   192.168.0.2   pc-node-2\n\n# k get ip vpc-1-busybox01.vpc1\nNAME                   V4IP          V6IP   MAC                 NODE        SUBNET\nvpc-1-busybox01.vpc1   192.168.0.2          00:00:00:0A:DD:27   pc-node-2   vpc1-subnet1\n\n---\n\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  ovnEip: eip-static\n  ipName: vpc-1-busybox01.vpc1  # \u200b\u6ce8\u610f\u200b\u8fd9\u91cc\u200b\u662f\u200b ip crd \u200b\u7684\u200b\u540d\u5b57\u200b\uff0c\u200b\u5177\u6709\u200b\u552f\u4e00\u6027\u200b\n\n--\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  ovnEip: eip-static\n  vpc: vpc1\n  v4Ip: 192.168.0.2\n</code></pre> <pre><code># k get ofip\nNAME          VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-for-vip   vpc1   10.5.204.106   192.168.0.3   true    vip      test-fip-vip\neip-static    vpc1   10.5.204.101   192.168.0.2   true             vpc-1-busybox01.vpc1\n# k get ofip eip-static\nNAME         VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-static   vpc1   10.5.204.101   192.168.0.2   true             vpc-1-busybox01.vpc1\n\n[root@pc-node-1 03-cust-vpc]# ping 10.5.204.101\nPING 10.5.204.101 (10.5.204.101) 56(84) bytes of data.\n64 bytes from 10.5.204.101: icmp_seq=2 ttl=62 time=1.21 ms\n64 bytes from 10.5.204.101: icmp_seq=3 ttl=62 time=0.624 ms\n64 bytes from 10.5.204.101: icmp_seq=4 ttl=62 time=0.368 ms\n^C\n--- 10.5.204.101 ping statistics ---\n4 packets transmitted, 3 received, 25% packet loss, time 3049ms\nrtt min/avg/max/mdev = 0.368/0.734/1.210/0.352 ms\n[root@pc-node-1 03-cust-vpc]#\n\n# \u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5728\u200b node ping \u200b\u9ed8\u8ba4\u200b vpc \u200b\u4e0b\u200b\u7684\u200b pod \u200b\u7684\u200b\u516c\u7f51\u200b ip \u200b\u662f\u200b\u80fd\u901a\u200b\u7684\u200b\n</code></pre> <pre><code># \u200b\u8be5\u200b\u516c\u7f51\u200b ip \u200b\u80fd\u901a\u200b\u7684\u200b\u5173\u952e\u200b\u8d44\u6e90\u200b\u4e3b\u8981\u200b\u5305\u62ec\u200b\u4ee5\u4e0b\u200b\u90e8\u5206\u200b\n# k ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 813523e7-c68c-408f-bd8c-cba30cb2e4f4\n        external ip: \"10.5.204.101\"\n        logical ip: \"192.168.0.2\"\n        type: \"dnat_and_snat\"\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#22-ovn-fip-vip-fip","title":"2.2 ovn-fip \u200b\u4e3a\u200b vip \u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b fip","text":"<p>\u200b\u4e3a\u4e86\u200b\u4fbf\u4e8e\u200b\u4e00\u4e9b\u200b vip \u200b\u573a\u666f\u200b\u7684\u200b\u4f7f\u7528\u200b\uff0c\u200b\u6bd4\u5982\u200b kubevirt \u200b\u865a\u62df\u673a\u200b\u5185\u90e8\u200b\u6211\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u4f7f\u7528\u200b\u4e00\u4e9b\u200b vip \u200b\u63d0\u4f9b\u200b\u7ed9\u200b keepalived\uff0ckube-vip \u200b\u7b49\u200b\u573a\u666f\u200b\u6765\u200b\u4f7f\u7528\u200b\uff0c\u200b\u540c\u65f6\u200b\u652f\u6301\u200b\u516c\u7f51\u200b\u8bbf\u95ee\u200b\u3002</p> <p>\u200b\u90a3\u4e48\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b fip \u200b\u7ed1\u5b9a\u200b vpc \u200b\u5185\u90e8\u200b\u7684\u200b vip \u200b\u7684\u200b\u65b9\u5f0f\u200b\u6765\u200b\u63d0\u4f9b\u200b vip \u200b\u7684\u200b\u516c\u7f51\u200b\u80fd\u529b\u200b\u3002</p> <pre><code># \u200b\u5148\u200b\u521b\u5efa\u200b vip\uff0ceip\uff0c\u200b\u518d\u200b\u5c06\u200b eip \u200b\u7ed1\u5b9a\u200b\u5230\u200b vip\n# cat vip.yaml\n\napiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: test-fip-vip\nspec:\n  subnet: vpc1-subnet1\n\n# cat 04-fip.yaml\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  ovnEip: eip-for-vip\n  ipType: vip         # \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b fip \u200b\u662f\u200b\u9762\u5411\u200b pod ip \u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u9700\u8981\u200b\u6807\u6ce8\u200b\u6307\u5b9a\u200b\u5bf9\u200b\u63a5\u5230\u200b vip \u200b\u8d44\u6e90\u200b\n  ipName: test-fip-vip\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  ovnEip: eip-for-vip\n  ipType: vip         # \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b fip \u200b\u662f\u200b\u9762\u5411\u200b pod ip \u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u9700\u8981\u200b\u6807\u6ce8\u200b\u6307\u5b9a\u200b\u5bf9\u200b\u63a5\u5230\u200b vip \u200b\u8d44\u6e90\u200b\n  vpc: vpc1\n  v4Ip: 192.168.0.3\n</code></pre> <pre><code># k get ofip\nNAME          VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-for-vip   vpc1   10.5.204.106   192.168.0.3   true    vip      test-fip-vip\n\n\n[root@pc-node-1 fip-vip]# ping  10.5.204.106\nPING 10.5.204.106 (10.5.204.106) 56(84) bytes of data.\n64 bytes from 10.5.204.106: icmp_seq=1 ttl=62 time=0.694 ms\n64 bytes from 10.5.204.106: icmp_seq=2 ttl=62 time=0.436 ms\n\n# \u200b\u5728\u200b node \u200b\u4e0a\u200b\u662f\u200b ping \u200b\u5f97\u901a\u200b\u7684\u200b\n\n\n# pod \u200b\u5185\u90e8\u200b\u7684\u200b ip \u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u5927\u81f4\u200b\u5c31\u662f\u200b\u5982\u4e0b\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\n\n[root@pc-node-1 fip-vip]# k -n vpc1 exec -it vpc-1-busybox03 -- bash\n[root@vpc-1-busybox03 /]#\n[root@vpc-1-busybox03 /]#\n[root@vpc-1-busybox03 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1568: eth0@if1569: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:56:40:e5 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.5/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet 192.168.0.3/24 scope global secondary eth0  # \u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b vip \u200b\u7684\u200b\u914d\u7f6e\u200b\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe56:40e5/64 scope link\n       valid_lft forever preferred_lft forever\n\n[root@vpc-1-busybox03 /]# tcpdump -i eth0 host  192.168.0.3 -netvv\ntcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes\n00:00:00:ed:8e:c7 &gt; 00:00:00:56:40:e5, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 62, id 44830, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.32.51 &gt; 192.168.0.3: ICMP echo request, id 177, seq 1, length 64\n00:00:00:56:40:e5 &gt; 00:00:00:ed:8e:c7, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 64, id 43962, offset 0, flags [none], proto ICMP (1), length 84)\n    192.168.0.3 &gt; 10.5.32.51: ICMP echo reply, id 177, seq 1, length 64\n\n# pod \u200b\u5185\u90e8\u200b\u53ef\u4ee5\u200b\u6293\u200b\u5230\u200b fip \u200b\u76f8\u5173\u200b\u7684\u200b icmp \u200b\u5305\u200b\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#3-ovn-snat","title":"3. ovn-snat","text":""},{"location":"advance/ovn-eip-fip-snat/#31-ovn-snat-subnet-cidr","title":"3.1 ovn-snat \u200b\u5bf9\u5e94\u200b\u4e00\u4e2a\u200b subnet \u200b\u7684\u200b cidr","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u548c\u200b iptables-snat \u200b\u8bbe\u8ba1\u200b\u548c\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u57fa\u672c\u4e00\u81f4\u200b</p> <pre><code># cat 03-subnet-snat.yaml\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpcSubnet: vpc1-subnet1 # eip \u200b\u5bf9\u5e94\u200b\u6574\u4e2a\u200b\u7f51\u6bb5\u200b\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b subnet cidr \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpc: vpc1\n  v4IpCidr: 192.168.0.0/24 # \u200b\u8be5\u5b57\u6bb5\u200b\u53ef\u4ee5\u200b\u662f\u200b cidr \u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u662f\u200b ip\n</code></pre> <p>\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b externalSubnet \u200b\u663e\u5f0f\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u6269\u5c55\u200b\u4f7f\u7528\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u6269\u5c55\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b extra\u3002</p>"},{"location":"advance/ovn-eip-fip-snat/#32-ovn-snat-pod-ip","title":"3.2 ovn-snat \u200b\u5bf9\u5e94\u200b\u5230\u200b\u4e00\u4e2a\u200b pod ip","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u548c\u200b iptables-snat \u200b\u8bbe\u8ba1\u200b\u548c\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u57fa\u672c\u4e00\u81f4\u200b</p> <pre><code># cat 03-pod-snat.yaml\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-pod-vpc-ip\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat01\nspec:\n  ovnEip: snat-for-pod-vpc-ip\n  ipName: vpc-1-busybox02.vpc1 # eip \u200b\u5bf9\u5e94\u200b\u5355\u4e2a\u200b pod ip\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpc: vpc1\n  v4IpCidr: 192.168.0.4\n</code></pre> <p>\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b externalSubnet \u200b\u663e\u5f0f\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u6269\u5c55\u200b\u4f7f\u7528\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u6269\u5c55\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b extra\u3002</p> <p>\u200b\u4ee5\u4e0a\u200b\u8d44\u6e90\u200b\u521b\u5efa\u200b\u540e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b snat \u200b\u516c\u7f51\u200b\u529f\u80fd\u200b\u4f9d\u8d56\u200b\u7684\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\u3002</p> <pre><code># kubectl ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 21d853b0-f7b4-40bd-9a53-31d2e2745739\n        external ip: \"10.5.204.115\"\n        logical ip: \"192.168.0.0/24\"\n        type: \"snat\"\n    nat da77a11f-c523-439c-b1d1-72c664196a0f\n        external ip: \"10.5.204.116\"\n        logical ip: \"192.168.0.4\"\n        type: \"snat\"\n</code></pre> <pre><code>[root@pc-node-1 03-cust-vpc]# k get po -A -o wide  | grep busy\nvpc1            vpc-1-busybox01                                 1/1     Running   0                3d15h   192.168.0.2   pc-node-2   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox02                                 1/1     Running   0                17h     192.168.0.4   pc-node-1   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox03                                 1/1     Running   0                17h     192.168.0.5   pc-node-1   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox04                                 1/1     Running   0                17h     192.168.0.6   pc-node-3   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox05                                 1/1     Running   0                17h     192.168.0.7   pc-node-1   &lt;none&gt;           &lt;none&gt;\n\n# k exec -it -n vpc1            vpc-1-busybox04   bash\nkubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.\n[root@vpc-1-busybox04 /]#\n[root@vpc-1-busybox04 /]#\n[root@vpc-1-busybox04 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n17095: eth0@if17096: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:76:94:55 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.6/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe76:9455/64 scope link\n       valid_lft forever preferred_lft forever\n[root@vpc-1-busybox04 /]# ping 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=1 ttl=114 time=22.2 ms\n64 bytes from 223.5.5.5: icmp_seq=2 ttl=114 time=21.8 ms\n\n[root@pc-node-1 03-cust-vpc]# k exec -it -n vpc1            vpc-1-busybox02   bash\nkubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1566: eth0@if1567: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:0b:e9:d0 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.4/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe0b:e9d0/64 scope link\n       valid_lft forever preferred_lft forever\n[root@vpc-1-busybox02 /]# ping 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=2 ttl=114 time=22.7 ms\n64 bytes from 223.5.5.5: icmp_seq=3 ttl=114 time=22.6 ms\n64 bytes from 223.5.5.5: icmp_seq=4 ttl=114 time=22.1 ms\n^C\n--- 223.5.5.5 ping statistics ---\n4 packets transmitted, 3 received, 25% packet loss, time 3064ms\nrtt min/avg/max/mdev = 22.126/22.518/22.741/0.278 ms\n\n# \u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u4e24\u4e2a\u200b pod \u200b\u53ef\u4ee5\u200b\u5206\u522b\u200b\u57fa\u4e8e\u200b\u8fd9\u200b\u4e24\u79cd\u200b snat \u200b\u8d44\u6e90\u200b\u4e0a\u200b\u5916\u7f51\u200b\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#4-ovn-dnat","title":"4. ovn-dnat","text":""},{"location":"advance/ovn-eip-fip-snat/#41-ovn-dnat-pod-dnat","title":"4.1 ovn-dnat \u200b\u4e3a\u200b pod \u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b dnat","text":"<pre><code>kind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: underlay\n\n---\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ovnEip: eip-dnat\n  ipName: vpc-1-busybox01.vpc1 # \u200b\u6ce8\u610f\u200b\u8fd9\u91cc\u200b\u662f\u200b pod ip crd \u200b\u7684\u200b\u540d\u5b57\u200b\uff0c\u200b\u5177\u6709\u200b\u552f\u4e00\u6027\u200b\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ovnEip: eip-dnat\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n  vpc: vpc1\n  v4Ip: 192.168.0.3\n</code></pre> <p>\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b externalSubnet \u200b\u663e\u5f0f\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u6269\u5c55\u200b\u4f7f\u7528\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u6269\u5c55\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b extra\u3002</p> <p>OvnDnatRule \u200b\u7684\u200b\u914d\u7f6e\u200b\u4e0e\u200b IptablesDnatRule \u200b\u7c7b\u4f3c\u200b</p> <pre><code># kubectl get oeip eip-dnat\nNAME       V4IP        V6IP   MAC                 TYPE   READY\neip-dnat   10.5.49.4          00:00:00:4D:CE:49   dnat   true\n\n# kubectl get odnat\nNAME                   EIP                    PROTOCOL   V4EIP        V4IP           INTERNALPORT   EXTERNALPORT   IPNAME                                READY\neip-dnat               eip-dnat               tcp        10.5.49.4    192.168.0.3    22             22             vpc-1-busybox01.vpc1                  true\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#42-ovn-dnat-vip-dnat","title":"4.2 ovn-dnat \u200b\u4e3a\u200b vip \u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b dnat","text":"<pre><code>kind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ipType: vip  # \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b dnat \u200b\u662f\u200b\u9762\u5411\u200b pod ip \u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u9700\u8981\u200b\u6807\u6ce8\u200b\u6307\u5b9a\u200b\u5bf9\u200b\u63a5\u5230\u200b vip \u200b\u8d44\u6e90\u200b\n  ovnEip: eip-dnat\n  ipName: test-dnat-vip\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ipType: vip  # \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b dnat \u200b\u662f\u200b\u9762\u5411\u200b pod ip \u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u9700\u8981\u200b\u6807\u6ce8\u200b\u6307\u5b9a\u200b\u5bf9\u200b\u63a5\u5230\u200b vip \u200b\u8d44\u6e90\u200b\n  ovnEip: eip-dnat\n  ipName: test-dnat-vip\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n  vpc: vpc1\n  v4Ip: 192.168.0.4\n</code></pre> <p>OvnDnatRule \u200b\u7684\u200b\u914d\u7f6e\u200b\u4e0e\u200b IptablesDnatRule \u200b\u7c7b\u4f3c\u200b</p> <pre><code># kubectl get vip test-dnat-vip\nNAME            V4IP          PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET         READY\ntest-dnat-vip   192.168.0.4           00:00:00:D0:C0:B5                         vpc1-subnet1   true\n\n# kubectl get oeip eip-dnat\nNAME       V4IP        V6IP   MAC                 TYPE   READY\neip-dnat   10.5.49.4          00:00:00:4D:CE:49   dnat   true\n\n# kubectl get odnat eip-dnat \nNAME       EIP        PROTOCOL   V4EIP       V4IP          INTERNALPORT   EXTERNALPORT   IPNAME          READY\neip-dnat   eip-dnat   tcp        10.5.49.4   192.168.0.4   22             22             test-dnat-vip   true\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/ovn-ipsec/","title":"\u4f7f\u7528\u200b IPsec \u200b\u52a0\u5bc6\u200b\u8282\u70b9\u200b\u95f4\u901a\u4fe1","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4ece\u200b v1.10.11 \u200b\u548c\u200b v1.11.4 \u200b\u540e\u200b\u5f00\u59cb\u200b\u652f\u6301\u200b\uff0ckernel \u200b\u7248\u672c\u200b\u81f3\u5c11\u200b\u662f\u200b 3.10.0 \u200b\u4ee5\u4e0a\u200b\uff0c\u200b\u540c\u65f6\u200b\u9700\u8981\u200b\u4fdd\u8bc1\u200b\u4e3b\u673a\u200b UDP 500 \u200b\u548c\u200b 4500 \u200b\u7aef\u53e3\u200b\u53ef\u7528\u200b\u3002</p>"},{"location":"advance/ovn-ipsec/#ipsec_1","title":"\u542f\u52a8\u200b IPsec","text":"<p>\u200b\u4ece\u200b Kube-OVN \u200b\u6e90\u7801\u200b\u62f7\u8d1d\u200b\u811a\u672c\u200b ipsec.sh\uff0c\u200b\u6267\u884c\u547d\u4ee4\u200b\u5982\u4e0b\u200b\uff0c\u200b\u8be5\u200b\u811a\u672c\u200b\u4f1a\u200b\u8c03\u7528\u200b ovs-pki \u200b\u751f\u6210\u200b\u548c\u200b\u5206\u914d\u200b\u52a0\u5bc6\u200b\u9700\u8981\u200b\u7684\u200b\u8bc1\u4e66\u200b\uff1a</p> <pre><code>bash ipsec.sh init\n</code></pre> <p>\u200b\u6267\u884c\u200b\u5b8c\u6bd5\u200b\u540e\u200b\uff0c\u200b\u8282\u70b9\u200b\u4e4b\u95f4\u200b\u4f1a\u200b\u534f\u5546\u200b\u4e00\u6bb5\u65f6\u95f4\u200b\u5efa\u7acb\u200b IPsec \u200b\u96a7\u9053\u200b\uff0c\u200b\u7ecf\u9a8c\u503c\u200b\u662f\u200b\u5341\u51e0\u79d2\u200b\u5230\u200b\u4e00\u5206\u949f\u200b\u4e4b\u95f4\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5982\u4e0b\u200b\u547d\u4ee4\u200b\u6765\u200b\u67e5\u770b\u200b IPsec \u200b\u72b6\u6001\u200b\uff1a</p> <pre><code># bash ipsec.sh status\n Pod {ovs-ovn-d7hdt} ipsec status...\nInterface name: ovn-a4718e-0 v1 (CONFIGURED)\n  Tunnel Type:    geneve\n  Local IP:       172.18.0.2\n  Remote IP:      172.18.0.4\n  Address Family: IPv4\n  SKB mark:       None\n  Local cert:     /etc/ipsec.d/certs/8aebd9df-46ef-47b9-85e3-73e9a765296d-cert.pem\n  Local name:     8aebd9df-46ef-47b9-85e3-73e9a765296d\n  Local key:      /etc/ipsec.d/private/8aebd9df-46ef-47b9-85e3-73e9a765296d-privkey.pem\n  Remote cert:    None\n  Remote name:    a4718e55-5b85-4f46-90e6-63527d080590\n  CA cert:        /etc/ipsec.d/cacerts/cacert.pem\n  PSK:            None\n  Custom Options: {}\n  Ofport:         2\n  CFM state:      Disabled\nKernel policies installed:\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\nKernel security associations installed:\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\nIPsec connections that are active:\n\n Pod {ovs-ovn-fvbbj} ipsec status...\nInterface name: ovn-8aebd9-0 v1 (CONFIGURED)\n  Tunnel Type:    geneve\n  Local IP:       172.18.0.4\n  Remote IP:      172.18.0.2\n  Address Family: IPv4\n  SKB mark:       None\n  Local cert:     /etc/ipsec.d/certs/a4718e55-5b85-4f46-90e6-63527d080590-cert.pem\n  Local name:     a4718e55-5b85-4f46-90e6-63527d080590\n  Local key:      /etc/ipsec.d/private/a4718e55-5b85-4f46-90e6-63527d080590-privkey.pem\n  Remote cert:    None\n  Remote name:    8aebd9df-46ef-47b9-85e3-73e9a765296d\n  CA cert:        /etc/ipsec.d/cacerts/cacert.pem\n  PSK:            None\n  Custom Options: {}\n  Ofport:         1\n  CFM state:      Disabled\nKernel policies installed:\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\nKernel security associations installed:\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\nIPsec connections that are active:\n</code></pre> <p>\u200b\u5efa\u7acb\u200b\u5b8c\u6210\u200b\u540e\u200b\u53ef\u4ee5\u200b\u6293\u5305\u200b\u89c2\u5bdf\u200b\u62a5\u6587\u200b\u5df2\u7ecf\u200b\u88ab\u200b\u52a0\u5bc6\u200b\uff1a</p> <pre><code># tcpdump -i eth0 -nel esp\n10:01:40.349896 IP kube-ovn-worker &gt; kube-ovn-control-plane.kind: ESP(spi=0xcc91322a,seq=0x13d0), length 156\n10:01:40.350015 IP kube-ovn-control-plane.kind &gt; kube-ovn-worker: ESP(spi=0xc8df4221,seq=0x1d37), length 156\n</code></pre> <p>\u200b\u5f53\u200b\u6267\u884c\u200b\u5b8c\u200b\u811a\u672c\u200b\u540e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u6267\u884c\u547d\u4ee4\u200b\u5173\u95ed\u200b IPsec\uff1a</p> <pre><code># bash ipsec.sh stop\n</code></pre> <p>\u200b\u6216\u8005\u200b\u6267\u884c\u547d\u4ee4\u200b\u518d\u6b21\u200b\u6253\u5f00\u200b\uff1a</p> <pre><code># bash ipsec.sh start\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/","title":"OVN SNAT \u200b\u57fa\u4e8e\u200b ECMP BFD \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u7684\u200b L3 HA \u200b\u652f\u6301","text":"<p>\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u57fa\u4e8e\u200b ovn snat \u200b\u540e\u200b\u57fa\u4e8e\u200b ecmp \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u54c8\u5e0c\u200b\u5230\u200b\u591a\u4e2a\u200b gw node ovnext0 \u200b\u7f51\u5361\u200b\u51fa\u200b\u516c\u7f51\u200b</p> <ul> <li>\u200b\u652f\u6301\u200b\u57fa\u4e8e\u200b bfd \u200b\u7684\u200b\u9ad8\u200b\u53ef\u7528\u200b</li> <li>\u200b\u4ec5\u200b\u652f\u6301\u200b hash \u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b</li> </ul> <pre><code>graph LR\n\npod--&gt;vpc-subnet--&gt;vpc--&gt;snat--&gt;ecmp--&gt;external-subnet--&gt;gw-node1-ovnext0--&gt; node1-external-switch\nexternal-subnet--&gt;gw-node2-ovnext0--&gt; node2-external-switch\nexternal-subnet--&gt;gw-node3-ovnext0--&gt; node3-external-switch</code></pre> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u548c\u200bovn-eip-fip-snat.md \u200b\u57fa\u672c\u4e00\u81f4\u200b\uff0c\u200b\u4e00\u81f4\u200b\u7684\u200b\u90e8\u5206\u200b\u5305\u62ec\u200b install.sh \u200b\u7684\u200b\u90e8\u7f72\u200b\u90e8\u5206\u200b\uff0cprovider-network\uff0cvlan\uff0csubnet \u200b\u7684\u200b\u51c6\u5907\u200b\u90e8\u5206\u200b\u3002</p> <p>\u200b\u81f3\u4e8e\u200b\u4e0d\u200b\u76f8\u540c\u200b\u7684\u200b\u90e8\u5206\u200b\uff0c\u200b\u4f1a\u200b\u5728\u200b\u4ee5\u4e0b\u200b\u90e8\u5206\u200b\u5177\u4f53\u200b\u9610\u8ff0\u200b\uff0c\u200b\u4e3b\u8981\u200b\u5305\u62ec\u200b lsp \u200b\u7c7b\u578b\u200b\u7684\u200b ovn-eip \u200b\u7684\u200b\u521b\u5efa\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u57fa\u4e8e\u200b vpc enable_bfd \u200b\u81ea\u52a8\u200b\u7ef4\u62a4\u200b bfd \u200b\u4ee5\u53ca\u200b ecmp \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u3002</p>"},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#1","title":"1. \u200b\u90e8\u7f72","text":""},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#11-underlay","title":"1.1 \u200b\u51c6\u5907\u200b underlay \u200b\u516c\u7f51\u200b\u7f51\u7edc","text":""},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#12-vpc-eip_snat","title":"1.2 \u200b\u9ed8\u8ba4\u200b vpc \u200b\u542f\u7528\u200b eip_snat","text":""},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#13-vpc-eip-snat-fip","title":"1.3 \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u542f\u7528\u200b eip snat fip \u200b\u529f\u80fd","text":"<p>\u200b\u4ee5\u4e0a\u200b\u90e8\u5206\u200b\u548c\u200b ovn-eip-fip-snat.md \u200b\u5b8c\u5168\u4e00\u81f4\u200b\uff0c\u200b\u8fd9\u4e9b\u200b\u529f\u80fd\u200b\u9a8c\u8bc1\u200b\u901a\u8fc7\u200b\u540e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u57fa\u4e8e\u200b\u5982\u4e0b\u200b\u65b9\u5f0f\u200b\uff0c\u200b\u5c06\u200b vpc \u200b\u5207\u6362\u200b\u5230\u200b\u57fa\u4e8e\u200b ecmp \u200b\u7684\u200b bfd \u200b\u9759\u6001\u200b\u8def\u7531\u200b\uff0c\u200b\u5f53\u7136\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u5207\u56de\u200b\u3002</p> <p>\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u4f7f\u7528\u200b\u8be5\u200b\u529f\u80fd\u200b\u4e4b\u524d\u200b\uff0c\u200b\u9700\u8981\u200b\u5148\u200b\u63d0\u4f9b\u200b\u597d\u7f51\u200b\u5173\u8282\u70b9\u200b\uff0c\u200b\u81f3\u5c11\u200b\u9700\u8981\u200b\u63d0\u4f9b\u200b 2 \u200b\u4e2a\u200b\u4ee5\u4e0a\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\uff0c\u200b\u6ce8\u610f\u200b\u5f53\u524d\u200b\u5b9e\u73b0\u200b ovn-eip \u200b\u7684\u200b\u540d\u5b57\u200b\u5fc5\u987b\u200b\u548c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u540d\u200b\u4fdd\u6301\u4e00\u81f4\u200b\uff0c\u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u505a\u200b\u8be5\u200b\u8d44\u6e90\u200b\u7684\u200b\u81ea\u52a8\u5316\u200b\u7ef4\u62a4\u200b\u3002</p> <pre><code># cat gw-node-eip.yaml\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-1\nspec:\n  externalSubnet: external204\n  type: lsp\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-2\nspec:\n  externalSubnet: external204\n  type: lsp\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-3\nspec:\n  externalSubnet: external204\n  type: lsp\n</code></pre> <p>\u200b\u7531\u4e8e\u200b\u8fd9\u4e2a\u200b\u573a\u666f\u200b\u76ee\u524d\u200b\u8bbe\u8ba1\u200b\u4e0a\u200b\u662f\u200b\u4f9b\u200b vpc ecmp \u200b\u51fa\u200b\u516c\u7f51\u200b\u4f7f\u7528\u200b\uff0c\u200b\u6240\u4ee5\u200b\u4ee5\u4e0a\u200b\u5728\u200b\u6ca1\u6709\u200b vpc \u200b\u542f\u7528\u200b bfd \u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u5373\u200b\u4e0d\u200b\u5b58\u5728\u200b\u5e26\u6709\u200b enable bfd \u200b\u6807\u7b7e\u200b\u7684\u200b lrp \u200b\u7684\u200b ovn eip \u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u4e0d\u4f1a\u200b\u89e6\u53d1\u200b\u521b\u5efa\u200b\u7f51\u5173\u200b\u7f51\u5361\u200b\uff0c\u200b\u4e5f\u200b\u65e0\u6cd5\u200b\u6210\u529f\u200b\u542f\u52a8\u200b\u5bf9\u7aef\u200b bfd \u200b\u4f1a\u8bdd\u200b\u7684\u200b\u76d1\u542c\u200b\u3002</p>"},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#2-vpc-ecmp-bfd-l3-ha","title":"2. \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u542f\u7528\u200b ecmp bfd L3 HA \u200b\u516c\u7f51\u200b\u529f\u80fd","text":"<pre><code># cat 01-vpc-ecmp-enable-external-bfd.yml\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true\n  enableBfd: true # bfd \u200b\u5f00\u5173\u200b\u53ef\u4ee5\u200b\u968f\u610f\u200b\u5207\u6362\u200b\uff0c\u200b\u5f00\u200b\u8868\u793a\u200b\u542f\u7528\u200b bfd ecmp \u200b\u8def\u7531\u200b\n  #enableBfd: false \n\n\n# cat 02-subnet.yml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vpc1-subnet1\nspec:\n  cidrBlock: 192.168.0.0/24\n  default: false\n  disableGatewayCheck: false\n  disableInterConnection: true\n  enableEcmp: true  # \u200b\u53ea\u200b\u9700\u200b\u5f00\u542f\u200b ecmp\n  gatewayNode: \"\"\n  gatewayType: distributed\n  #gatewayType: centralized\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n  provider: ovn\n  vpc: vpc1\n  namespaces:\n  - vpc1\n</code></pre> <p>\u200b\u4f7f\u7528\u200b\u4e0a\u200b\u7684\u200b\u6ce8\u610f\u200b\u70b9\u200b:</p> <ol> <li>\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u4e0b\u200b\u7684\u200b ecmp \u200b\u53ea\u7528\u200b\u9759\u6001\u200b ecmp bfd \u200b\u8def\u7531\u200b\uff0cvpc enableBfd \u200b\u548c\u200b subnet enableEcmp \u200b\u540c\u65f6\u200b\u5f00\u542f\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u624d\u200b\u4f1a\u200b\u751f\u6548\u200b\uff0c\u200b\u624d\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u7ba1\u7406\u200b\u9759\u6001\u200b ecmp bfd \u200b\u8def\u7531\u200b\u3002</li> <li>\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u5173\u95ed\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5207\u56de\u200b\u5e38\u89c4\u200b\u9ed8\u8ba4\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u3002</li> <li>\u200b\u9ed8\u8ba4\u200b vpc \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u8be5\u200b\u529f\u80fd\u200b\uff0c\u200b\u4ec5\u200b\u652f\u6301\u200b\u81ea\u5b9a\u4e49\u200b vpc\uff0c\u200b\u9ed8\u8ba4\u200b vpc \u200b\u6709\u200b\u66f4\u200b\u590d\u6742\u200b\u7684\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4ee5\u53ca\u200b snat \u200b\u8bbe\u8ba1\u200b\u3002</li> <li>\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u7684\u200b subnet \u200b\u7684\u200b enableEcmp \u200b\u4ec5\u200b\u4f7f\u7528\u200b\u9759\u6001\u200b\u8def\u7531\u200b\uff0c\u200b\u7f51\u5173\u200b\u7c7b\u578b\u200b gatewayType \u200b\u6ca1\u6709\u200b\u4f5c\u7528\u200b\u3002</li> <li>\u200b\u5f53\u200b\u5173\u95ed\u200b EnableExternal \u200b\u65f6\u200b\uff0cvpc \u200b\u5185\u200b\u65e0\u6cd5\u200b\u901a\u5916\u200b\u7f51\u200b\u3002</li> <li>\u200b\u5f53\u200b\u5f00\u542f\u200b EnableExternal \u200b\u65f6\u200b\uff0c\u200b\u5173\u95ed\u200b EnableBfd \u200b\u65f6\u200b\uff0c\u200b\u4f1a\u200b\u57fa\u4e8e\u200b\u666e\u901a\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u4e0a\u200b\u5916\u7f51\u200b\uff0c\u200b\u4e0d\u200b\u5177\u5907\u200b\u9ad8\u200b\u53ef\u7528\u200b\u3002</li> </ol> <pre><code># \u200b\u4e0a\u8ff0\u200b\u6a21\u677f\u200b\u5e94\u7528\u200b\u540e\u200b ovn \u200b\u903b\u8f91\u200b\u5c42\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\n# \u200b\u67e5\u770b\u200b vpc\n# k get vpc\nNAME          ENABLEEXTERNAL   ENABLEBFD   STANDBY   SUBNETS                                NAMESPACES\novn-cluster   true                         true      [\"external204\",\"join\",\"ovn-default\"]\nvpc1          true             true        true      [\"vpc1-subnet1\"]                       [\"vpc1\"]\n\n# \u200b\u9ed8\u8ba4\u200b vpc \u200b\u672a\u200b\u652f\u6301\u200b ENABLEBFD\n# \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u5df2\u200b\u652f\u6301\u200b\u4e14\u200b\u5df2\u200b\u542f\u7528\u200b\n\n\n# 1. \u200b\u521b\u5efa\u200b\u4e86\u200b bfd \u200b\u4f1a\u8bdd\u200b\n# k ko nbctl list bfd\n_uuid               : be7df545-2c4c-4751-878f-b3507987f050\ndetect_mult         : 3\ndst_ip              : \"10.5.204.121\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n_uuid               : 684c4489-5b59-4693-8d8c-3beab93f8093\ndetect_mult         : 3\ndst_ip              : \"10.5.204.109\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n_uuid               : f0f62077-2ae9-4e79-b4f8-a446ec6e784c\ndetect_mult         : 3\ndst_ip              : \"10.5.204.108\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n### \u200b\u6ce8\u610f\u200b\u6240\u6709\u200b status \u200b\u6b63\u5e38\u200b\u90fd\u200b\u5e94\u8be5\u200b\u662f\u200b up \u200b\u7684\u200b\n\n# 2. \u200b\u521b\u5efa\u200b\u4e86\u200b\u57fa\u4e8e\u200b bfd \u200b\u7684\u200b\u9759\u6001\u200b\u8def\u7531\u200b\n# k ko nbctl lr-route-list vpc1\nIPv4 Routes\nRoute Table &lt;main&gt;:\n           192.168.0.0/24              10.5.204.108 src-ip ecmp ecmp-symmetric-reply bfd\n           192.168.0.0/24              10.5.204.109 src-ip ecmp ecmp-symmetric-reply bfd\n           192.168.0.0/24              10.5.204.121 src-ip ecmp ecmp-symmetric-reply bfd\n\n# 3. \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u8be6\u60c5\u200b\n# k ko nbctl find Logical_Router_Static_Route  policy=src-ip options=ecmp_symmetric_reply=\"true\"\n_uuid               : 3aacb384-d5ee-4b14-aebf-59e8c11717ba\nbfd                 : 684c4489-5b59-4693-8d8c-3beab93f8093\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.109\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n\n_uuid               : 18bcc585-bc05-430b-925b-ef673c8e1aef\nbfd                 : f0f62077-2ae9-4e79-b4f8-a446ec6e784c\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.108\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n\n_uuid               : 7d0a4e6b-cde0-4110-8176-fbaf19738498\nbfd                 : be7df545-2c4c-4751-878f-b3507987f050\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.121\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n</code></pre> <pre><code># \u200b\u540c\u65f6\u200b\u5728\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u90fd\u200b\u5e94\u8be5\u200b\u5177\u5907\u200b\u4ee5\u4e0b\u200b\u8d44\u6e90\u200b\n\n[root@pc-node-1 ~]# ip netns exec ovnext bash ip a\n/usr/sbin/ip: /usr/sbin/ip: cannot execute binary file\n[root@pc-node-1 ~]#\n[root@pc-node-1 ~]# ip netns exec ovnext ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1541: ovnext0: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1400 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/ether 00:00:00:ab:bd:87 brd ff:ff:ff:ff:ff:ff\n    inet 10.5.204.108/24 brd 10.5.204.255 scope global ovnext0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:feab:bd87/64 scope link\n       valid_lft forever preferred_lft forever\n[root@pc-node-1 ~]#\n[root@pc-node-1 ~]# ip netns exec ovnext route -n\nKernel IP routing table\nDestination     Gateway         Genmask         Flags Metric Ref    Use Iface\n0.0.0.0         10.5.204.254    0.0.0.0         UG    0      0        0 ovnext0\n10.5.204.0      0.0.0.0         255.255.255.0   U     0      0        0 ovnext0\n\n## \u200b\u6ce8\u610f\u200b\u4ee5\u4e0a\u200b\u5185\u5bb9\u200b\u548c\u200b\u4e00\u4e2a\u200b internal port unerlay \u200b\u516c\u7f51\u200b pod \u200b\u5185\u90e8\u200b\u7684\u200b ns \u200b\u5927\u81f4\u200b\u662f\u200b\u4e00\u81f4\u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u53ea\u662f\u200b\u5728\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u4e0a\u200b\u5355\u72ec\u200b\u7ef4\u62a4\u200b\u4e86\u200b\u4e00\u4e2a\u200b ns\n\n[root@pc-node-1 ~]# ip netns exec ovnext bfdd-control status\nThere are 1 sessions:\nSession 1\n id=1 local=10.5.204.108 (p) remote=10.5.204.122 state=Up\n\n## \u200b\u8fd9\u91cc\u200b\u5373\u200b\u662f\u200b lrp bfd \u200b\u4f1a\u8bdd\u200b\u7684\u200b\u53e6\u4e00\u7aef\u200b\uff0c\u200b\u4e5f\u200b\u662f\u200b lrp ecmp \u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u7684\u200b\u5176\u4e2d\u200b\u4e00\u4e2a\u200b\n\n\n[root@pc-node-1 ~]# ip netns exec ovnext ping -c1 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=1 ttl=115 time=21.6 ms\n\n# \u200b\u5230\u200b\u516c\u7f51\u200b\u6ca1\u200b\u95ee\u9898\u200b\n</code></pre> <p>\u200b\u53ef\u4ee5\u200b\u5728\u200b\u67d0\u200b\u4e00\u4e2a\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u7684\u200b ovnext ns \u200b\u5185\u200b\u6293\u200b\u5230\u200b\u51fa\u53bb\u200b\u7684\u200b\u5305\u200b</p> <pre><code># tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n^C\n0 packets captured\n0 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-1 ~]# exit\n[root@pc-node-1 ~]# ssh pc-node-2\nLast login: Thu Feb 23 09:21:08 2023 from 10.5.32.51\n[root@pc-node-2 ~]# ip netns exec ovnext bash\n[root@pc-node-2 ~]# tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n^C\n0 packets captured\n0 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-2 ~]# exit\n[root@pc-node-2 ~]# logout\nConnection to pc-node-2 closed.\n[root@pc-node-1 ~]# ssh pc-node-3\nLast login: Thu Feb 23 08:32:41 2023 from 10.5.32.51\n[root@pc-node-3 ~]#  ip netns exec ovnext bash\n[root@pc-node-3 ~]# tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n00:00:00:2d:f8:ce &gt; 00:00:00:fd:b2:a4, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 63, id 57978, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.204.102 &gt; 223.5.5.5: ICMP echo request, id 22, seq 71, length 64\n00:00:00:fd:b2:a4 &gt; dc:ef:80:5a:44:1a, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 62, id 57978, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.204.102 &gt; 223.5.5.5: ICMP echo request, id 22, seq 71, length 64\n^C\n2 packets captured\n2 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-3 ~]#\n\n# \u200b\u53ef\u4ee5\u200b\u5728\u200b\u8be5\u200b\u8282\u70b9\u200b down \u200b\u6389\u200b\u51fa\u53bb\u200b\u7684\u200b\u7f51\u5361\u200b\uff0c\u200b\u7136\u540e\u200b\u770b\u200b pod \u200b\u51fa\u53bb\u200b\u7684\u200b\u5305\u200b\u5728\u200b\u7f51\u7edc\u200b\u4e2d\u65ad\u200b\u4e2d\u200b\u4f1a\u200b\u51fa\u73b0\u200b\u51e0\u4e2a\u200b\u5305\u200b\n# \u200b\u4e00\u822c\u200b\u90fd\u200b\u4f1a\u200b\u770b\u5230\u200b\u4e22\u200b 3 \u200b\u4e2a\u200b\u5305\u200b\n</code></pre>"},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#3-bfd","title":"3. \u200b\u5173\u95ed\u200b bfd \u200b\u6a21\u5f0f","text":"<p>\u200b\u5728\u200b\u67d0\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u53ef\u80fd\u200b\u60f3\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\uff08\u200b\u96c6\u4e2d\u5f0f\u200b\uff09\u200b\u5355\u4e2a\u200b\u7f51\u5173\u200b\u76f4\u63a5\u200b\u51fa\u200b\u516c\u7f51\u200b\uff0c\u200b\u8fd9\u4e2a\u200b\u65f6\u5019\u200b\u548c\u200b\u9ed8\u8ba4\u200b vpc enable_eip_snat \u200b\u7684\u200b\u4f7f\u7528\u200b\u6a21\u5f0f\u200b\u662f\u200b\u4e00\u81f4\u200b\u7684\u200b</p> <pre><code># cat 01-vpc-ecmp-enable-external-bfd.yml\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc2\nspec:\n  namespaces:\n  - vpc2\n  enableExternal: true\n  #enableBfd: true\n  enableBfd: false\n\n## \u200b\u5c06\u200b bfd \u200b\u529f\u80fd\u200b\u76f4\u63a5\u200b\u7981\u7528\u200b\u5373\u53ef\u200b\n\n# k ko nbctl lr-route-list vpc2\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0              10.5.204.254 dst-ip\n\n# \u200b\u5e94\u7528\u200b\u540e\u200b\u8def\u7531\u200b\u4f1a\u200b\u5207\u6362\u200b\u56de\u200b\u6b63\u5e38\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u9759\u6001\u200b\u8def\u7531\u200b\n# \u200b\u540c\u65f6\u200b nbctl list bfd  \u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b lrp \u200b\u5173\u8054\u200b\u7684\u200b bfd \u200b\u4f1a\u8bdd\u200b\u5df2\u7ecf\u200b\u79fb\u9664\u200b\n# \u200b\u800c\u4e14\u200b ovnext ns \u200b\u4e2d\u200b\u7684\u200b\u5bf9\u200b\u7aef\u200b bfd \u200b\u4f1a\u8bdd\u200b\u4e5f\u200b\u81ea\u52a8\u200b\u79fb\u9664\u200b\n# \u200b\u8be5\u200b\u5207\u6362\u200b\u8fc7\u7a0b\u200b\u4fdd\u6301\u200b vpc subnet \u200b\u5185\u200b\u4fdd\u6301\u200b ping \u200b\u672a\u200b\u770b\u5230\u200b(\u200b\u79d2\u7ea7\u200b)\u200b\u4e22\u5305\u200b\n# \u200b\u518d\u200b\u5207\u6362\u200b\u56de\u53bb\u200b \u200b\u4e5f\u200b\u672a\u200b\u770b\u5230\u200b(\u200b\u79d2\u7ea7\u200b)\u200b\u4e22\u5305\u200b\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/ovn-remote-port-mirroring/","title":"OVN \u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"<p>\u200b\u6b64\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u6307\u5b9a\u200b Pod\u3001\u200b\u6307\u5b9a\u200b\u65b9\u5411\u200b\u7684\u200b\u6d41\u91cf\u200b\uff0c\u200b\u901a\u8fc7\u200b GRE/ERSPAN \u200b\u5c01\u88c5\u200b\u540e\u200b\uff0c\u200b\u4f20\u8f93\u200b\u5230\u200b\u8fdc\u7aef\u200b\u3002</p> <p>\u200b\u6b64\u200b\u529f\u80fd\u200b\u8981\u6c42\u200b Kube-OVN \u200b\u7248\u672c\u200b\u4e0d\u200b\u4f4e\u4e8e\u200b v1.12\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#multus-cni","title":"\u90e8\u7f72\u200b Multus-CNI","text":"<p>\u200b\u53c2\u8003\u200b Multus-CNI \u200b\u6587\u6863\u200b \u200b\u90e8\u7f72\u200b Multus\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#_1","title":"\u521b\u5efa\u200b\u9644\u5c5e\u200b\u7f51\u7edc","text":"<p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u5185\u5bb9\u200b\u521b\u5efa\u200b\u9644\u5c5e\u200b\u7f51\u7edc\u200b\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: attachnet\n  namespace: default\nspec:\n  config: |\n    {\n      \"cniVersion\": \"0.3.1\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"attachnet.default.ovn\"\n    }\n</code></pre> <p>\u200b\u5176\u4e2d\u200b <code>provider</code> \u200b\u5b57\u200b\u6bb5\u200b\u683c\u5f0f\u200b\u4e3a\u200b <code>&lt;NAME&gt;.&lt;NAMESPACE&gt;.ovn</code>\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#underlay","title":"\u521b\u5efa\u200b Underlay \u200b\u7f51\u7edc","text":"<p>\u200b\u955c\u50cf\u200b\u6d41\u91cf\u200b\u662f\u200b\u5c01\u88c5\u200b\u540e\u200b\u8fdb\u884c\u200b\u4f20\u8f93\u200b\u7684\u200b\uff0c\u200b\u56e0\u6b64\u200b\u7528\u4e8e\u200b\u4f20\u8f93\u200b\u7684\u200b\u7f51\u7edc\u200b\uff0cMTU \u200b\u9700\u8981\u200b\u5927\u4e8e\u200b\u88ab\u200b\u955c\u50cf\u200b\u7684\u200b LSP/Pod\u3002\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b Underlay \u200b\u4f5c\u4e3a\u200b\u4f20\u8f93\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u5185\u5bb9\u200b\u521b\u5efa\u200b Underlay \u200b\u7f51\u7edc\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: net1\nspec:\n  defaultInterface: eth1\n---\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan1\nspec:\n  id: 0\n  provider: net1\n---\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 172.19.0.0/16\n  excludeIps:\n  - 172.19.0.2..172.19.0.20\n  gateway: 172.19.0.1\n  vlan: vlan1\n  provider: attachnet.default.ovn\n</code></pre> <p>\u200b\u5176\u4e2d\u200b\uff0c\u200b\u5b50\u7f51\u200b\u7684\u200b <code>provider</code> \u200b\u5fc5\u987b\u200b\u4e0e\u200b\u9644\u5c5e\u200b\u7f51\u7edc\u200b\u7684\u200b <code>provider</code> \u200b\u76f8\u540c\u200b\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#pod","title":"\u521b\u5efa\u200b\u6d41\u91cf\u200b\u63a5\u6536\u200b Pod","text":"<p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u5185\u5bb9\u200b\u521b\u5efa\u200b\u7528\u4e8e\u200b\u63a5\u6536\u200b\u955c\u50cf\u200b\u6d41\u91cf\u200b\u7684\u200b Pod\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: pod1\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\nspec:\n  containers:\n  - name: bash\n    image: docker.io/kubeovn/kube-ovn:v1.13.0\n    args:\n    - bash\n    - -c\n    - sleep infinity\n    securityContext:\n      privileged: true\n</code></pre> <p>\u200b\u521b\u5efa\u200b\u5b8c\u6210\u200b\u540e\u200b\uff0c\u200b\u67e5\u770b\u200b Pod \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff1a</p> <pre><code>$ kubectl get ips | grep pod1\npod1.default                        10.16.0.12   00:00:00:FF:34:24  kube-ovn-worker  ovn-default\npod1.default.attachnet.default.ovn  172.19.0.21  00:00:00:A0:30:68  kube-ovn-worker  subnet1\n</code></pre> <p>\u200b\u8bb0\u4f4f\u200b\u7b2c\u4e8c\u200b\u7f51\u5361\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b <code>172.19.0.21</code>\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#ovn_1","title":"\u521b\u5efa\u200b OVN \u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"<p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\u521b\u5efa\u200b OVN \u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\uff1a</p> <pre><code>kubectl ko nbctl mirror-add mirror1 gre 99 from-lport 172.19.0.21\nkubectl ko nbctl lsp-attach-mirror coredns-787d4945fb-gpnkb.kube-system mirror1\n</code></pre> <p>\u200b\u5176\u4e2d\u200b <code>coredns-787d4945fb-gpnkb.kube-system</code> \u200b\u662f\u200b OVN LSP \u200b\u7684\u200b\u540d\u79f0\u200b\uff0c\u200b\u683c\u5f0f\u200b\u901a\u5e38\u200b\u4e3a\u200b <code>&lt;POD_NAME&gt;.&lt;POD_NAMESPACE&gt;</code>\u3002</p> <p>\u200b\u76f8\u5173\u200b\u7684\u200b OVN \u200b\u547d\u4ee4\u200b\u4f7f\u7528\u200b\u65b9\u6cd5\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>ovn-nbctl mirror-add &lt;NAME&gt; &lt;TYPE&gt; &lt;INDEX&gt; &lt;FILTER&gt; &lt;IP&gt;\n\nNAME   - add a mirror with given name\nTYPE   - specify TYPE 'gre' or 'erspan'\nINDEX  - specify the tunnel INDEX value\n         (indicates key if GRE, erpsan_idx if ERSPAN)\nFILTER - specify FILTER for mirroring selection\n         ('to-lport' / 'from-lport')\nIP     - specify Sink / Destination i.e. Remote IP\n\novn-nbctl mirror-del [NAME]         remove mirrors\novn-nbctl mirror-list               print mirrors\n\novn-nbctl lsp-attach-mirror PORT MIRROR   attach source PORT to MIRROR\novn-nbctl lsp-detach-mirror PORT MIRROR   detach source PORT from MIRROR\n</code></pre>"},{"location":"advance/ovn-remote-port-mirroring/#pod_1","title":"\u914d\u7f6e\u200b\u6d41\u91cf\u200b\u63a5\u6536\u200b Pod","text":"<p>\u200b\u5728\u200b\u524d\u9762\u200b\u521b\u5efa\u200b\u7684\u200b Pod \u200b\u4e2d\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>root@pod1:/kube-ovn# ip link add mirror1 type gretap local 172.19.0.21 key 99 dev net1\nroot@pod1:/kube-ovn# ip link set mirror1 up\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u5c31\u200b\u53ef\u4ee5\u200b\u5728\u200b\u63a5\u6536\u200b\u6d41\u91cf\u200b\u7684\u200b Pod \u200b\u4e2d\u200b\u8fdb\u884c\u200b\u6293\u5305\u200b\u9a8c\u8bc1\u200b\uff1a</p> <pre><code>root@pod1:/kube-ovn# tcpdump -i mirror1 -nnve\ntcpdump: listening on mirror1, link-type EN10MB (Ethernet), snapshot length 262144 bytes\n05:13:30.328808 00:00:00:a3:f5:e2 &gt; 00:00:00:97:0f:6e, ethertype ARP (0x0806), length 42: Ethernet (len 6), IPv4 (len 4), Request who-has 10.16.0.7 tell 10.16.0.4, length 28\n05:13:30.559167 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 212: (tos 0x0, ttl 64, id 57364, offset 0, flags [DF], proto UDP (17), length 198)\n    10.16.0.4.53 &gt; 10.16.0.6.50472: 34511 NXDomain*- 0/1/1 (170)\n05:13:30.559343 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 212: (tos 0x0, ttl 64, id 57365, offset 0, flags [DF], proto UDP (17), length 198)\n    10.16.0.4.53 &gt; 10.16.0.6.45177: 1659 NXDomain*- 0/1/1 (170)\n05:13:30.560625 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 200: (tos 0x0, ttl 64, id 57367, offset 0, flags [DF], proto UDP (17), length 186)\n    10.16.0.4.53 &gt; 10.16.0.6.43848: 2636*- 0/1/1 (158)\n05:13:30.562774 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 191: (tos 0x0, ttl 64, id 57368, offset 0, flags [DF], proto UDP (17), length 177)\n    10.16.0.4.53 &gt; 10.16.0.6.37755: 48737 NXDomain*- 0/1/1 (149)\n05:13:30.563523 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 187: (tos 0x0, ttl 64, id 57369, offset 0, flags [DF], proto UDP (17), length 173)\n    10.16.0.4.53 &gt; 10.16.0.6.53887: 45519 NXDomain*- 0/1/1 (145)\n05:13:30.564940 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 201: (tos 0x0, ttl 64, id 57370, offset 0, flags [DF], proto UDP (17), length 187)\n    10.16.0.4.53 &gt; 10.16.0.6.40846: 25745 NXDomain*- 0/1/1 (159)\n05:13:30.565140 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 201: (tos 0x0, ttl 64, id 57371, offset 0, flags [DF], proto UDP (17), length 187)\n    10.16.0.4.53 &gt; 10.16.0.6.45214: 61875 NXDomain*- 0/1/1 (159)\n05:13:30.566023 00:00:00:a3:f5:e2 &gt; 00:00:00:55:e4:4e, ethertype IPv4 (0x0800), length 80: (tos 0x0, ttl 64, id 45937, offset 0, flags [DF], proto UDP (17), length 66)\n    10.16.0.4.44116 &gt; 172.18.0.1.53: 16025+ [1au] AAAA? alauda.cn. (38)\n</code></pre>"},{"location":"advance/ovn-remote-port-mirroring/#_2","title":"\u6ce8\u610f\u4e8b\u9879","text":"<ol> <li>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b ERSPAN \u200b\u4f5c\u4e3a\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\uff0cOVN \u200b\u8282\u70b9\u200b\u53ca\u200b\u8fdc\u7aef\u200b\u8bbe\u5907\u200b\u7684\u200b Linux \u200b\u5185\u6838\u200b\u7248\u672c\u200b\u4e0d\u5f97\u200b\u4f4e\u4e8e\u200b 4.14\u3002\u200b\u82e5\u200b\u4f7f\u7528\u200b ERSPAN \u200b\u4f5c\u4e3a\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\u4e14\u200b\u4f7f\u7528\u200b IPv6 \u200b\u4f5c\u4e3a\u200b\u4f20\u8f93\u200b\u7f51\u7edc\u200b\uff0cLinux \u200b\u5185\u6838\u200b\u7248\u672c\u200b\u4e0d\u5f97\u200b\u4f4e\u4e8e\u200b 4.16\u3002</li> <li>\u200b\u955c\u50cf\u200b\u6d41\u91cf\u200b\u7684\u200b\u4f20\u8f93\u200b\u662f\u200b\u5355\u5411\u200b\u7684\u200b\uff0c\u200b\u53ea\u200b\u9700\u200b\u4fdd\u8bc1\u200b OVN \u200b\u8282\u70b9\u200b\u80fd\u591f\u200b\u8bbf\u95ee\u200b\u8fdc\u7aef\u200b\u8bbe\u5907\u200b\u5373\u53ef\u200b\u3002</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/performance-tuning/","title":"\u6027\u80fd\u200b\u8c03\u4f18","text":"<p>\u200b\u4e3a\u4e86\u200b\u4fdd\u6301\u200b\u5b89\u88c5\u200b\u7684\u200b\u7b80\u5355\u200b\u548c\u200b\u529f\u80fd\u200b\u7684\u200b\u5b8c\u5907\u200b\uff0cKube-OVN \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u5e76\u200b\u6ca1\u6709\u200b\u5bf9\u200b\u6027\u80fd\u200b\u9488\u5bf9\u6027\u200b\u7684\u200b\u4f18\u5316\u200b\u3002\u200b\u5982\u679c\u200b\u5e94\u7528\u200b\u5bf9\u200b\u5ef6\u8fdf\u200b\u548c\u200b\u541e\u5410\u91cf\u200b\u654f\u611f\u200b\uff0c \u200b\u7ba1\u7406\u5458\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u672c\u200b\u6587\u6863\u200b\u5bf9\u200b\u6027\u80fd\u200b\u8fdb\u884c\u200b\u9488\u5bf9\u6027\u200b\u4f18\u5316\u200b\u3002</p> <p>\u200b\u793e\u533a\u200b\u4f1a\u200b\u4e0d\u65ad\u200b\u8fed\u4ee3\u200b\u63a7\u5236\u9762\u677f\u200b\u548c\u200b\u4f18\u5316\u200b\u9762\u200b\u7684\u200b\u6027\u80fd\u200b\uff0c\u200b\u90e8\u5206\u200b\u901a\u7528\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u5df2\u7ecf\u200b\u96c6\u6210\u200b\u5230\u200b\u6700\u65b0\u200b\u7248\u672c\u200b\uff0c\u200b\u5efa\u8bae\u200b\u4f7f\u7528\u200b\u6700\u65b0\u200b\u7248\u672c\u200b\u83b7\u5f97\u200b\u66f4\u597d\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u6027\u80fd\u200b\u3002</p> <p>\u200b\u66f4\u200b\u591a\u200b\u5173\u4e8e\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u7684\u200b\u8fc7\u7a0b\u200b\u548c\u200b\u65b9\u6cd5\u8bba\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u89c2\u770b\u200b\u89c6\u9891\u200b\u5206\u4eab\u200b\uff1aKube-OVN \u200b\u5bb9\u5668\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u4e4b\u65c5\u200b\u3002</p>"},{"location":"advance/performance-tuning/#_2","title":"\u57fa\u51c6\u200b\u6d4b\u8bd5","text":"<p>\u200b\u7531\u4e8e\u200b\u8f6f\u786c\u4ef6\u200b\u73af\u5883\u200b\u7684\u200b\u5dee\u5f02\u200b\u6781\u5927\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u63d0\u4f9b\u200b\u7684\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u6570\u636e\u200b\u53ea\u80fd\u200b\u4f5c\u4e3a\u200b\u53c2\u8003\u200b\uff0c\u200b\u5b9e\u9645\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b\u4f1a\u200b\u548c\u200b\u672c\u200b\u6587\u6863\u200b\u4e2d\u200b\u7684\u200b\u7ed3\u679c\u200b\u5b58\u5728\u200b\u8f83\u5927\u200b\u5dee\u5f02\u200b\u3002 \u200b\u5efa\u8bae\u200b\u6bd4\u8f83\u200b\u4f18\u5316\u200b\u524d\u540e\u200b\u7684\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b\uff0c\u200b\u548c\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u548c\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u200b\u6bd4\u8f83\u200b\u3002</p>"},{"location":"advance/performance-tuning/#overlay","title":"Overlay \u200b\u4f18\u5316\u200b\u524d\u540e\u200b\u6027\u80fd\u200b\u5bf9\u6bd4","text":"<p>\u200b\u73af\u5883\u200b\u4fe1\u606f\u200b\uff1a</p> <ul> <li>Kubernetes: 1.22.0</li> <li>OS: CentOS 7</li> <li>Kube-OVN: 1.8.0 Overlay \u200b\u6a21\u5f0f\u200b</li> <li>CPU: Intel(R) Xeon(R) E-2278G</li> <li>Network: 2*10Gbps, xmit_hash_policy=layer3+4</li> </ul> <p>\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b <code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1 -vu tcp_lat tcp_bw udp_lat udp_bw</code> \u200b\u6d4b\u8bd5\u200b  1 \u200b\u5b57\u8282\u200b\u5c0f\u5305\u200b\u4e0b\u200b tcp/udp \u200b\u7684\u200b\u5e26\u5bbd\u200b\u548c\u200b\u5ef6\u8fdf\u200b\uff0c\u200b\u5206\u522b\u200b\u6d4b\u8bd5\u200b\u4f18\u5316\u200b\u524d\u200b\uff0c\u200b\u4f18\u5316\u200b\u540e\u200b\u4ee5\u53ca\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u200b\uff1a</p> Type tcp_lat (us) udp_lat (us) tcp_bw (Mb/s) udp_bw(Mb/s) Kube-OVN Default 25.7 22.9 27.1 1.59 Kube-OVN Optimized 13.9 12.9 27.6 5.57 HOST Network 13.1 12.4 28.2 6.02"},{"location":"advance/performance-tuning/#overlay-underlay-calico","title":"Overlay\uff0c Underlay \u200b\u4ee5\u53ca\u200b Calico \u200b\u4e0d\u540c\u200b\u6a21\u5f0f\u200b\u6027\u80fd\u200b\u5bf9\u6bd4","text":"<p>\u200b\u4e0b\u9762\u200b\u6211\u4eec\u200b\u4f1a\u200b\u6bd4\u8f83\u200b\u4f18\u5316\u200b\u540e\u200b Kube-OVN \u200b\u5728\u200b\u4e0d\u540c\u200b\u5305\u200b\u5927\u5c0f\u200b\u4e0b\u200b\u7684\u200b Overlay \u200b\u548c\u200b Underlay \u200b\u6027\u80fd\u200b\uff0c\u200b\u5e76\u200b\u548c\u200b Calico \u200b\u7684\u200b <code>IPIP Always</code>, <code>IPIP never</code> \u200b\u4ee5\u53ca\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u505a\u200b\u6bd4\u8f83\u200b\u3002</p> <p>Environment:</p> <ul> <li>Kubernetes: 1.22.0</li> <li>OS: CentOS 7</li> <li>Kube-OVN: 1.8.0</li> <li>CPU: AMD EPYC 7402P 24-Core Processor</li> <li>Network: Intel Corporation Ethernet Controller XXV710 for 25GbE SFP28</li> </ul> <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1 -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Mb/s) udp_bw(Mb/s) Kube-OVN Overlay 15.2 14.6 23.6 2.65 Kube-OVN Underlay 14.3 13.8 24.2 3.46 Calico IPIP 21.4 20.2 23.6 1.18 Calico NoEncap 19.3 16.9 23.6 1.76 HOST Network 16.6 15.4 24.8 2.64 <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1K -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Gb/s) udp_bw(Gb/s) Kube-OVN Overlay 16.5 15.8 10.2 2.77 Kube-OVN Underlay 15.9 14.5 9.6 3.22 Calico IPIP 22.5 21.5 1.45 1.14 Calico NoEncap 19.4 18.3 3.76 1.63 HOST Network 18.1 16.6 9.32 2.66 <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:4K -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Gb/s) udp_bw(Gb/s) Kube-OVN Overlay 34.7 41.6 16.0 9.23 Kube-OVN Underlay 32.6 44 15.1 6.71 Calico IPIP 44.8 52.9 2.94 3.26 Calico NoEncap 40 49.6 6.56 4.19 HOST Network 35.9 45.9 14.6 5.59 <p>\u200b\u5728\u200b\u90e8\u5206\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u200b\u4f1a\u200b\u4f18\u4e8e\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\uff0c\u200b\u8fd9\u662f\u200b\u4f18\u4e8e\u200b\u7ecf\u8fc7\u200b\u4f18\u5316\u200b\u540e\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u8def\u5f84\u200b\u5b8c\u5168\u200b\u7ed5\u8fc7\u200b\u4e86\u200b netfilter\uff0c \u200b\u800c\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7531\u4e8e\u200b <code>kube-proxy</code> \u200b\u7684\u200b\u5b58\u5728\u200b\u6240\u6709\u200b\u6570\u636e\u5305\u200b\u5747\u200b\u9700\u200b\u7ecf\u8fc7\u200b netfilter\uff0c\u200b\u4f1a\u200b\u5bfc\u81f4\u200b\u5728\u200b\u4e00\u4e9b\u200b\u73af\u5883\u200b\u4e0b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b \u200b\u7684\u200b\u6d88\u8017\u200b\u76f8\u5bf9\u200b\u66f4\u200b\u5c0f\u200b\uff0c\u200b\u56e0\u6b64\u200b\u4f1a\u200b\u6709\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u8868\u73b0\u200b\u3002</p>"},{"location":"advance/performance-tuning/#_3","title":"\u6570\u636e\u200b\u5e73\u9762\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u65b9\u6cd5","text":"<p>\u200b\u8fd9\u91cc\u200b\u4ecb\u7ecd\u200b\u7684\u200b\u4f18\u5316\u200b\u65b9\u6cd5\u200b\u548c\u200b\u8f6f\u786c\u4ef6\u200b\u73af\u5883\u200b\u4ee5\u53ca\u200b\u6240\u200b\u9700\u8981\u200b\u7684\u200b\u529f\u80fd\u200b\u76f8\u5173\u200b\uff0c\u200b\u8bf7\u200b\u4ed4\u7ec6\u200b\u4e86\u89e3\u200b\u4f18\u5316\u200b\u7684\u200b\u524d\u63d0\u6761\u4ef6\u200b\u518d\u200b\u8fdb\u884c\u200b\u5c1d\u8bd5\u200b\u3002</p>"},{"location":"advance/performance-tuning/#cpu","title":"CPU \u200b\u6027\u80fd\u200b\u6a21\u5f0f\u200b\u8c03\u6574","text":"<p>\u200b\u90e8\u5206\u200b\u73af\u5883\u200b\u4e0b\u200b CPU \u200b\u8fd0\u884c\u200b\u5728\u200b\u8282\u80fd\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u6027\u80fd\u200b\u8868\u73b0\u200b\u5c06\u4f1a\u200b\u4e0d\u200b\u7a33\u5b9a\u200b\uff0c\u200b\u5ef6\u8fdf\u200b\u4f1a\u200b\u51fa\u73b0\u200b\u660e\u663e\u589e\u52a0\u200b\uff0c\u200b\u5efa\u8bae\u200b\u4f7f\u7528\u200b CPU \u200b\u7684\u200b\u6027\u80fd\u200b\u6a21\u5f0f\u200b\u83b7\u5f97\u200b\u66f4\u200b\u7a33\u5b9a\u200b\u7684\u200b\u6027\u80fd\u200b\u8868\u73b0\u200b\uff1a</p> <pre><code>cpupower frequency-set -g performance\n</code></pre>"},{"location":"advance/performance-tuning/#_4","title":"\u7f51\u5361\u200b\u786c\u4ef6\u200b\u961f\u5217\u200b\u8c03\u6574","text":"<p>\u200b\u5728\u200b\u6d41\u91cf\u200b\u589e\u5927\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7f13\u51b2\u200b\u961f\u5217\u200b\u8fc7\u200b\u77ed\u200b\u53ef\u80fd\u200b\u5bfc\u81f4\u200b\u8f83\u200b\u9ad8\u200b\u7684\u200b\u4e22\u200b\u5305\u7387\u200b\u5bfc\u81f4\u200b\u6027\u80fd\u200b\u663e\u8457\u200b\u4e0b\u964d\u200b\uff0c\u200b\u9700\u8981\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b</p> <p>\u200b\u68c0\u67e5\u200b\u5f53\u524d\u200b\u7f51\u5361\u200b\u961f\u5217\u200b\u957f\u5ea6\u200b\uff1a</p> <pre><code># ethtool -g eno1\n Ring parameters for eno1:\n Pre-set maximums:\n RX:             4096\n RX Mini:        0\n RX Jumbo:       0\n TX:             4096\n Current hardware settings:\n RX:             255\n RX Mini:        0\n RX Jumbo:       0\n TX:             255\n</code></pre> <p>\u200b\u589e\u52a0\u200b\u961f\u5217\u200b\u957f\u5ea6\u200b\u81f3\u200b\u6700\u5927\u503c\u200b\uff1a</p> <pre><code>ethtool -G eno1 rx 4096\nethtool -G eno1 tx 4096\n</code></pre>"},{"location":"advance/performance-tuning/#tuned","title":"\u4f7f\u7528\u200b tuned \u200b\u4f18\u5316\u200b\u7cfb\u7edf\u200b\u53c2\u6570","text":"<p>tuned \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e00\u7cfb\u5217\u200b\u9884\u7f6e\u200b\u7684\u200b profile \u200b\u6587\u4ef6\u200b\u4fdd\u5b58\u200b\u4e86\u200b\u9488\u5bf9\u200b\u7279\u5b9a\u200b\u573a\u666f\u200b\u7684\u200b\u4e00\u7cfb\u5217\u200b\u7cfb\u7edf\u4f18\u5316\u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u9488\u5bf9\u200b\u5ef6\u8fdf\u200b\u4f18\u5148\u200b\u573a\u666f\u200b\uff1a</p> <pre><code>tuned-adm profile network-latency\n</code></pre> <p>\u200b\u9488\u5bf9\u200b\u541e\u5410\u91cf\u200b\u4f18\u5148\u200b\u573a\u666f\u200b\uff1a</p> <pre><code>tuned-adm profile network-throughput\n</code></pre>"},{"location":"advance/performance-tuning/#_5","title":"\u4e2d\u65ad\u200b\u7ed1\u5b9a","text":"<p>\u200b\u6211\u4eec\u200b\u63a8\u8350\u200b\u7981\u7528\u200b <code>irqbalance</code> \u200b\u5e76\u200b\u5c06\u200b\u7f51\u5361\u200b\u4e2d\u65ad\u200b\u548c\u200b\u7279\u5b9a\u200b CPU \u200b\u8fdb\u884c\u200b\u7ed1\u5b9a\u200b\uff0c\u200b\u6765\u200b\u907f\u514d\u200b\u5728\u200b\u591a\u4e2a\u200b CPU \u200b\u4e4b\u95f4\u200b\u5207\u6362\u200b\u5bfc\u81f4\u200b\u7684\u200b\u6027\u80fd\u200b\u6ce2\u52a8\u200b\u3002</p>"},{"location":"advance/performance-tuning/#ovn-lb","title":"\u5173\u95ed\u200b OVN LB","text":"<p>OVN \u200b\u7684\u200b L2 LB \u200b\u5b9e\u73b0\u200b\u8fc7\u7a0b\u200b\u4e2d\u200b\u9700\u8981\u200b\u8c03\u7528\u200b\u5185\u6838\u200b\u7684\u200b <code>conntrack</code> \u200b\u6a21\u5757\u200b\u5e76\u200b\u8fdb\u884c\u200b recirculate \u200b\u5bfc\u81f4\u200b\u5927\u91cf\u200b\u7684\u200b CPU \u200b\u5f00\u9500\u200b\uff0c\u200b\u7ecf\u200b\u6d4b\u8bd5\u200b\u8be5\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5e26\u6765\u200b 20% \u200b\u5de6\u53f3\u200b\u7684\u200b CPU \u200b\u5f00\u9500\u200b\uff0c \u200b\u5728\u200b Overlay \u200b\u7f51\u7edc\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b <code>kube-proxy</code> \u200b\u5b8c\u6210\u200b Service \u200b\u8f6c\u53d1\u200b\u529f\u80fd\u200b\uff0c\u200b\u83b7\u5f97\u200b\u66f4\u597d\u200b\u7684\u200b Pod-to-Pod \u200b\u6027\u80fd\u200b\u3002\u200b\u53ef\u4ee5\u200b\u5728\u200b <code>kube-ovn-controller</code> \u200b\u4e2d\u200b\u5173\u95ed\u200b\u8be5\u200b\u529f\u80fd\u200b\uff1a</p> <pre><code>command:\n- /kube-ovn/start-controller.sh\nargs:\n...\n- --enable-lb=false\n...\n</code></pre> <p>Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b <code>kube-proxy</code> \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b iptables \u200b\u6216\u200b ipvs \u200b\u63a7\u5236\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u6d41\u91cf\u200b\uff0c\u200b\u5982\u9700\u200b\u5173\u95ed\u200b LB \u200b\u529f\u80fd\u200b\u9700\u8981\u200b\u786e\u8ba4\u200b\u662f\u5426\u200b\u4e0d\u200b\u9700\u8981\u200b Service \u200b\u529f\u80fd\u200b\u3002</p>"},{"location":"advance/performance-tuning/#fastpath","title":"\u5185\u6838\u200b FastPath \u200b\u6a21\u5757","text":"<p>\u200b\u7531\u4e8e\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u548c\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u5728\u200b\u4e0d\u540c\u200b\u7684\u200b network ns\uff0c\u200b\u6570\u636e\u5305\u200b\u5728\u200b\u8de8\u200b\u5bbf\u4e3b\u673a\u200b\u4f20\u8f93\u200b\u65f6\u4f1a\u200b\u591a\u6b21\u200b\u7ecf\u8fc7\u200b netfilter \u200b\u6a21\u5757\u200b\uff0c\u200b\u4f1a\u200b\u5e26\u6765\u200b\u8fd1\u200b 20% \u200b\u7684\u200b CPU \u200b\u5f00\u9500\u200b\u3002\u200b\u7531\u4e8e\u200b\u5927\u90e8\u5206\u200b\u60c5\u51b5\u200b\u4e0b\u200b \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u5185\u200b\u5e94\u7528\u200b\u65e0\u987b\u200b\u4f7f\u7528\u200b netfilter \u200b\u6a21\u5757\u200b\u7684\u200b\u529f\u80fd\u200b\uff0c<code>FastPath</code> \u200b\u6a21\u5757\u200b\u53ef\u4ee5\u200b\u7ed5\u8fc7\u200b netfilter \u200b\u964d\u4f4e\u200b CPU \u200b\u5f00\u9500\u200b\u3002</p> <p>\u200b\u5982\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u5185\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b netfilter \u200b\u63d0\u4f9b\u200b\u7684\u200b\u529f\u80fd\u200b\u5982\u200b iptables\uff0cipvs\uff0cnftables \u200b\u7b49\u200b\uff0c\u200b\u8be5\u200b\u6a21\u5757\u200b\u4f1a\u200b\u4f7f\u200b\u76f8\u5173\u200b\u529f\u80fd\u200b\u5931\u6548\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u5185\u6838\u6a21\u5757\u200b\u548c\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u76f8\u5173\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u63d0\u4f9b\u200b\u4e00\u4e2a\u200b\u5355\u4e00\u200b\u9002\u5e94\u200b\u6240\u6709\u200b\u5185\u6838\u200b\u7684\u200b\u5185\u6838\u6a21\u5757\u200b\u5236\u54c1\u200b\u3002\u200b\u6211\u4eec\u200b\u9884\u5148\u200b\u7f16\u8bd1\u200b\u4e86\u200b\u90e8\u5206\u200b\u5185\u6838\u200b\u7684\u200b <code>FastPath</code> \u200b\u6a21\u5757\u200b\uff0c \u200b\u53ef\u4ee5\u200b\u524d\u5f80\u200b tunning-package \u200b\u8fdb\u884c\u200b\u4e0b\u8f7d\u200b\u3002</p> <p>\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u624b\u52a8\u200b\u8fdb\u884c\u200b\u7f16\u8bd1\u200b\uff0c\u200b\u65b9\u6cd5\u200b\u53c2\u8003\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b FastPath \u200b\u6a21\u5757\u200b</p> <p>\u200b\u83b7\u5f97\u200b\u5185\u6838\u6a21\u5757\u200b\u540e\u200b\u53ef\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4f7f\u7528\u200b <code>insmod kube_ovn_fastpath.ko</code> \u200b\u52a0\u8f7d\u200b <code>FastPath</code> \u200b\u6a21\u5757\u200b\uff0c\u200b\u5e76\u200b\u4f7f\u7528\u200b <code>dmesg</code> \u200b\u9a8c\u8bc1\u200b\u6a21\u5757\u200b\u52a0\u8f7d\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># dmesg\n...\n[619631.323788] init_module,kube_ovn_fastpath_local_out\n[619631.323798] init_module,kube_ovn_fastpath_post_routing\n[619631.323800] init_module,kube_ovn_fastpath_pre_routing\n[619631.323801] init_module,kube_ovn_fastpath_local_in\n...\n</code></pre>"},{"location":"advance/performance-tuning/#ovs","title":"OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u4f18\u5316","text":"<p>OVS \u200b\u7684\u200b flow \u200b\u5904\u7406\u200b\u5305\u62ec\u200b\u54c8\u5e0c\u200b\u8ba1\u7b97\u200b\uff0c\u200b\u5339\u914d\u200b\u7b49\u200b\u64cd\u4f5c\u200b\u4f1a\u200b\u6d88\u8017\u200b\u5927\u7ea6\u200b 10% \u200b\u5de6\u53f3\u200b\u7684\u200b CPU \u200b\u8d44\u6e90\u200b\u3002\u200b\u73b0\u4ee3\u200b x86 CPU \u200b\u4e0a\u200b\u7684\u200b\u4e00\u4e9b\u200b\u6307\u4ee4\u96c6\u200b\u4f8b\u5982\u200b <code>popcnt</code> \u200b\u548c\u200b <code>sse4.2</code> \u200b\u53ef\u4ee5\u200b \u200b\u52a0\u901f\u200b\u76f8\u5173\u200b\u8ba1\u7b97\u200b\u8fc7\u7a0b\u200b\uff0c\u200b\u4f46\u200b\u5185\u6838\u200b\u9ed8\u8ba4\u200b\u7f16\u8bd1\u200b\u672a\u200b\u5f00\u542f\u200b\u76f8\u5173\u200b\u9009\u9879\u200b\u3002\u200b\u7ecf\u200b\u6d4b\u8bd5\u200b\u5728\u200b\u5f00\u542f\u200b\u76f8\u5e94\u200b\u6307\u4ee4\u96c6\u200b\u4f18\u5316\u200b\u540e\u200b\uff0cflow \u200b\u76f8\u5173\u200b\u64cd\u4f5c\u200b CPU \u200b\u6d88\u8017\u200b\u5c06\u4f1a\u200b\u964d\u81f3\u200b 5% \u200b\u5de6\u53f3\u200b\u3002</p> <p>\u200b\u548c\u200b <code>FastPath</code> \u200b\u6a21\u5757\u200b\u7684\u200b\u7f16\u8bd1\u200b\u7c7b\u4f3c\u200b\uff0c\u200b\u7531\u4e8e\u200b\u5185\u6838\u6a21\u5757\u200b\u548c\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u76f8\u5173\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u63d0\u4f9b\u200b\u4e00\u4e2a\u200b\u5355\u4e00\u200b\u9002\u5e94\u200b\u6240\u6709\u200b\u5185\u6838\u200b\u7684\u200b\u5185\u6838\u6a21\u5757\u200b\u5236\u54c1\u200b\u3002\u200b\u7528\u6237\u200b\u9700\u8981\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b\u6216\u8005\u200b \u200b\u524d\u5f80\u200b tunning-package \u200b\u67e5\u770b\u200b\u662f\u5426\u200b\u6709\u200b\u5df2\u200b\u7f16\u8bd1\u200b\u597d\u200b\u7684\u200b\u5236\u54c1\u200b\u8fdb\u884c\u200b\u4e0b\u8f7d\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u8be5\u200b\u5185\u6838\u6a21\u5757\u200b\u524d\u200b\u8bf7\u200b\u5148\u200b\u786e\u8ba4\u200b CPU \u200b\u662f\u5426\u200b\u652f\u6301\u200b\u76f8\u5173\u200b\u6307\u4ee4\u96c6\u200b\uff1a</p> <pre><code>cat /proc/cpuinfo  | grep popcnt\ncat /proc/cpuinfo  | grep sse4_2\n</code></pre>"},{"location":"advance/performance-tuning/#centos","title":"CentOS \u200b\u4e0b\u200b\u7f16\u8bd1\u200b\u5b89\u88c5","text":"<p>\u200b\u5b89\u88c5\u200b\u76f8\u5173\u200b\u7f16\u8bd1\u200b\u4f9d\u8d56\u200b\u548c\u200b\u5185\u6838\u200b\u5934\u6587\u4ef6\u200b\uff1a</p> <pre><code>yum install -y gcc kernel-devel-$(uname -r) python3 autoconf automake libtool rpm-build openssl-devel\n</code></pre> <p>\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u5e76\u200b\u751f\u6210\u200b\u5bf9\u5e94\u200b RPM \u200b\u6587\u4ef6\u200b:</p> <pre><code>git clone -b branch-2.17 --depth=1 https://github.com/openvswitch/ovs.git\ncd ovs\ncurl -s  https://github.com/kubeovn/ovs/commit/2d2c83c26d4217446918f39d5cd5838e9ac27b32.patch |  git apply\n./boot.sh\n./configure --with-linux=/lib/modules/$(uname -r)/build CFLAGS=\"-g -O2 -mpopcnt -msse4.2\"\nmake rpm-fedora-kmod\ncd rpm/rpmbuild/RPMS/x86_64/\n</code></pre> <p>\u200b\u590d\u5236\u200b RPM \u200b\u5230\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u5e76\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a</p> <pre><code>rpm -i openvswitch-kmod-2.15.2-1.el7.x86_64.rpm\n</code></pre> <p>\u200b\u82e5\u200b\u4e4b\u524d\u200b\u5df2\u7ecf\u200b\u542f\u52a8\u200b\u8fc7\u200b Kube-OVN\uff0c\u200b\u65e7\u7248\u672c\u200b OVS \u200b\u6a21\u5757\u200b\u5df2\u200b\u52a0\u8f7d\u200b\u81f3\u200b\u5185\u6838\u200b\uff0c\u200b\u5efa\u8bae\u200b\u91cd\u542f\u200b\u673a\u5668\u200b\u91cd\u65b0\u200b\u52a0\u8f7d\u200b\u65b0\u7248\u200b\u5185\u6838\u6a21\u5757\u200b\u3002</p>"},{"location":"advance/performance-tuning/#ubuntu","title":"Ubuntu \u200b\u4e0b\u200b\u7f16\u8bd1\u200b\u5b89\u88c5","text":"<p>\u200b\u5b89\u88c5\u200b\u76f8\u5173\u200b\u7f16\u8bd1\u200b\u4f9d\u8d56\u200b\u548c\u200b\u5185\u6838\u200b\u5934\u6587\u4ef6\u200b\uff1a</p> <pre><code>apt install -y autoconf automake libtool gcc build-essential libssl-dev\n</code></pre> <p>\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u5e76\u200b\u5b89\u88c5\u200b\uff1a</p> <pre><code>apt install -y autoconf automake libtool gcc build-essential libssl-dev\n\ngit clone -b branch-2.17 --depth=1 https://github.com/openvswitch/ovs.git\ncd ovs\ncurl -s  https://github.com/kubeovn/ovs/commit/2d2c83c26d4217446918f39d5cd5838e9ac27b32.patch |  git apply\n./boot.sh\n./configure --prefix=/usr/ --localstatedir=/var --enable-ssl --with-linux=/lib/modules/$(uname -r)/build\nmake -j `nproc`\nmake install\nmake modules_install\n\ncat &gt; /etc/depmod.d/openvswitch.conf &lt;&lt; EOF\noverride openvswitch * extra\noverride vport-* * extra\nEOF\n\ndepmod -a\ncp debian/openvswitch-switch.init /etc/init.d/openvswitch-switch\n/etc/init.d/openvswitch-switch force-reload-kmod\n</code></pre> <p>\u200b\u82e5\u200b\u4e4b\u524d\u200b\u5df2\u7ecf\u200b\u542f\u52a8\u200b\u8fc7\u200b Kube-OVN\uff0c\u200b\u65e7\u7248\u672c\u200b OVS \u200b\u6a21\u5757\u200b\u5df2\u200b\u52a0\u8f7d\u200b\u81f3\u200b\u5185\u6838\u200b\uff0c\u200b\u5efa\u8bae\u200b\u91cd\u542f\u200b\u673a\u5668\u200b\u91cd\u65b0\u200b\u52a0\u8f7d\u200b\u65b0\u7248\u200b\u5185\u6838\u6a21\u5757\u200b\u3002</p>"},{"location":"advance/performance-tuning/#stt","title":"\u4f7f\u7528\u200b STT \u200b\u7c7b\u578b\u200b\u96a7\u9053","text":"<p>\u200b\u5e38\u89c1\u200b\u7684\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\u4f8b\u5982\u200b Geneve \u200b\u548c\u200b Vxlan \u200b\u4f7f\u7528\u200b UDP \u200b\u534f\u8bae\u200b\u5bf9\u200b\u6570\u636e\u5305\u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u5728\u200b\u5185\u6838\u200b\u4e2d\u6709\u200b\u826f\u597d\u200b\u7684\u200b\u652f\u6301\u200b\u3002\u200b\u4f46\u662f\u200b\u5f53\u200b\u4f7f\u7528\u200b UDP \u200b\u5c01\u88c5\u200b TCP \u200b\u6570\u636e\u5305\u200b\u65f6\u200b\uff0c \u200b\u73b0\u4ee3\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u548c\u200b\u7f51\u5361\u200b\u9488\u5bf9\u200b TCP \u200b\u534f\u8bae\u200b\u7684\u200b\u4f18\u5316\u200b\u548c\u200b offload \u200b\u529f\u80fd\u200b\u5c06\u200b\u65e0\u6cd5\u200b\u987a\u5229\u200b\u5de5\u4f5c\u200b\uff0c\u200b\u5bfc\u81f4\u200b TCP \u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u51fa\u73b0\u200b\u663e\u8457\u200b\u4e0b\u964d\u200b\u3002\u200b\u5728\u200b\u865a\u62df\u5316\u200b\u573a\u666f\u200b\u4e0b\u200b\u7531\u4e8e\u200b CPU \u200b\u7684\u200b\u9650\u5236\u200b\uff0c TCP \u200b\u5927\u5305\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u751a\u81f3\u200b\u53ef\u80fd\u200b\u53ea\u6709\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7684\u200b\u5341\u5206\u4e4b\u4e00\u200b\u3002</p> <p>STT \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u79cd\u200b\u521b\u65b0\u200b\u5f0f\u200b\u7684\u200b\u4f7f\u7528\u200b TCP \u200b\u683c\u5f0f\u200b\u6570\u636e\u5305\u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\u7684\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\uff0c\u200b\u8be5\u200b\u5c01\u88c5\u200b\u53ea\u662f\u200b\u6a21\u62df\u200b\u4e86\u200b TCP \u200b\u534f\u8bae\u200b\u7684\u200b\u5934\u90e8\u200b\u683c\u5f0f\u200b\uff0c\u200b\u5e76\u200b\u6ca1\u6709\u200b\u771f\u6b63\u200b\u5efa\u7acb\u200b TCP \u200b\u8fde\u63a5\u200b\uff0c\u200b\u4f46\u662f\u200b\u53ef\u4ee5\u200b \u200b\u5145\u5206\u5229\u7528\u200b\u73b0\u4ee3\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u548c\u200b\u7f51\u5361\u200b\u7684\u200b TCP \u200b\u4f18\u5316\u200b\u80fd\u529b\u200b\u3002\u200b\u5728\u200b\u6211\u4eec\u200b\u7684\u200b\u6d4b\u8bd5\u200b\u4e2d\u200b TCP \u200b\u5927\u5305\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u80fd\u200b\u6709\u200b\u6570\u500d\u200b\u7684\u200b\u63d0\u5347\u200b\uff0c\u200b\u8fbe\u5230\u200b\u63a5\u8fd1\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u200b\u6c34\u5e73\u200b\u3002</p> <p>STT \u200b\u96a7\u9053\u200b\u5e76\u200b\u6ca1\u6709\u200b\u9884\u200b\u5b89\u88c5\u200b\u5728\u200b\u5185\u6838\u200b\u5185\u200b\uff0c\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u6765\u200b\u5b89\u88c5\u200b\uff0cOVS \u200b\u5185\u6838\u6a21\u5757\u200b\u7684\u200b\u7f16\u8bd1\u200b\u65b9\u6cd5\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u4e0a\u200b\u4e00\u8282\u200b\u3002</p> <p>STT \u200b\u96a7\u9053\u200b\u5f00\u542f\u200b\uff1a</p> <pre><code>kubectl set env daemonset/ovs-ovn -n kube-system TUNNEL_TYPE=stt\n\nkubectl delete pod -n kube-system -lapp=ovs\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/security-group/","title":"SecurityGroup \u200b\u4f7f\u7528","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u4e86\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u914d\u7f6e\u200b\uff0c\u200b\u914d\u7f6e\u200b\u5b89\u5168\u200b\u7ec4\u200b\u4f7f\u7528\u200b\u7684\u200b CRD \u200b\u4e3a\u200b SecurityGroup\u3002</p>"},{"location":"advance/security-group/#_1","title":"\u5b89\u5168\u200b\u7ec4\u200b\u793a\u4f8b","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: SecurityGroup\nmetadata:\n  name: sg-example\nspec:\n  allowSameGroupTraffic: true\n  egressRules:\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: all\n    remoteAddress: 10.16.0.13 # 10.16.0.0/16 \u200b\u914d\u7f6e\u200b\u7f51\u6bb5\u200b\n    remoteType: address\n  ingressRules:\n  - ipVersion: ipv4\n    policy: deny\n    priority: 1\n    protocol: icmp\n    remoteAddress: 10.16.0.14\n    remoteType: address\n</code></pre> <p>\u200b\u5b89\u5168\u200b\u7ec4\u5404\u5b57\u200b\u6bb5\u200b\u7684\u200b\u5177\u4f53\u200b\u542b\u4e49\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u63a5\u53e3\u200b\u89c4\u8303\u200b\u3002</p> <p>Pod \u200b\u901a\u8fc7\u200b\u6dfb\u52a0\u200b annotation \u200b\u6765\u200b\u7ed1\u5b9a\u200b\u5b89\u5168\u200b\u7ec4\u200b\uff0c\u200b\u4f7f\u7528\u200b\u7684\u200b annotation \u200b\u6709\u200b\u4e24\u4e2a\u200b\uff1a</p> <pre><code>    ovn.kubernetes.io/port_security: \"true\"\n    ovn.kubernetes.io/security_groups: sg-example\n</code></pre>"},{"location":"advance/security-group/#_2","title":"\u6ce8\u610f\u4e8b\u9879","text":"<ul> <li> <p>\u200b\u5b89\u5168\u200b\u7ec4\u200b\u6700\u540e\u200b\u662f\u200b\u901a\u8fc7\u200b\u8bbe\u7f6e\u200b ACL \u200b\u89c4\u5219\u200b\u6765\u200b\u9650\u5236\u200b\u8bbf\u95ee\u200b\u7684\u200b\uff0cOVN \u200b\u6587\u6863\u200b\u4e2d\u200b\u63d0\u5230\u200b\uff0c\u200b\u5982\u679c\u200b\u5339\u914d\u200b\u5230\u200b\u7684\u200b\u4e24\u4e2a\u200b ACL \u200b\u89c4\u5219\u200b\u62e5\u6709\u200b\u76f8\u540c\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u5b9e\u9645\u200b\u8d77\u200b\u4f5c\u7528\u200b\u7684\u200b\u662f\u200b\u54ea\u4e2a\u200b ACL \u200b\u662f\u200b\u4e0d\u200b\u786e\u5b9a\u200b\u7684\u200b\u3002\u200b\u56e0\u6b64\u200b\u8bbe\u7f6e\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u533a\u5206\u200b\u4f18\u5148\u7ea7\u200b\u3002</p> </li> <li> <p>\u200b\u5f53\u200b\u6dfb\u52a0\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u8981\u200b\u6e05\u695a\u200b\u7684\u200b\u77e5\u9053\u200b\u662f\u200b\u5728\u200b\u6dfb\u52a0\u200b\u4ec0\u4e48\u200b\u9650\u5236\u200b\u3002Kube-OVN \u200b\u4f5c\u4e3a\u200b CNI\uff0c\u200b\u521b\u5efa\u200b Pod \u200b\u540e\u200b\u4f1a\u200b\u8fdb\u884c\u200b Pod \u200b\u5230\u200b\u7f51\u5173\u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u5982\u679c\u200b\u8bbf\u95ee\u200b\u4e0d\u901a\u200b\u7f51\u5173\u200b\uff0c\u200b\u5c31\u200b\u4f1a\u200b\u5bfc\u81f4\u200b Pod \u200b\u4e00\u76f4\u200b\u5904\u4e8e\u200b ContainerCreating \u200b\u72b6\u6001\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u987a\u5229\u200b\u5207\u6362\u200b\u5230\u200b Running \u200b\u72b6\u6001\u200b\u3002</p> </li> </ul>"},{"location":"advance/security-group/#_3","title":"\u5b9e\u9645\u200b\u6d4b\u8bd5","text":"<p>\u200b\u5229\u7528\u200b\u4ee5\u4e0b\u200b yaml \u200b\u521b\u5efa\u200b Pod\uff0c\u200b\u5728\u200b annotation \u200b\u4e2d\u200b\u6307\u5b9a\u200b\u7ed1\u5b9a\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u7684\u200b\u5b89\u5168\u200b\u7ec4\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  labels:\n    app: static\n  annotations:\n    ovn.kubernetes.io/port_security: 'true'\n    ovn.kubernetes.io/security_groups: 'sg-example'\n  name: sg-test-pod\n  namespace: default\nspec:\n  nodeName: kube-ovn-worker\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>\u200b\u5b9e\u9645\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u663e\u793a\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># kubectl get pod -o wide\nNAME                   READY   STATUS              RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES\nsg-test-pod            0/1     ContainerCreating   0          5h32m   &lt;none&gt;       kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\ntest-99fff7f86-52h9r   1/1     Running             0          5h41m   10.16.0.14   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\ntest-99fff7f86-qcgjw   1/1     Running             0          5h43m   10.16.0.13   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>\u200b\u6267\u884c\u200b kubectl describe pod \u200b\u67e5\u770b\u200b Pod \u200b\u7684\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u62a5\u9519\u200b\u63d0\u793a\u200b\uff1a</p> <pre><code># kubectl describe pod sg-test-pod\nName:         sg-test-pod\nNamespace:    default\nPriority:     0\nNode:         kube-ovn-worker/172.18.0.2\nStart Time:   Tue, 28 Feb 2023 10:29:36 +0800\nLabels:       app=static\nAnnotations:  ovn.kubernetes.io/allocated: true\n              ovn.kubernetes.io/cidr: 10.16.0.0/16\n              ovn.kubernetes.io/gateway: 10.16.0.1\n              ovn.kubernetes.io/ip_address: 10.16.0.15\n              ovn.kubernetes.io/logical_router: ovn-cluster\n              ovn.kubernetes.io/logical_switch: ovn-default\n              ovn.kubernetes.io/mac_address: 00:00:00:FA:17:97\n              ovn.kubernetes.io/pod_nic_type: veth-pair\n              ovn.kubernetes.io/port_security: true\n              ovn.kubernetes.io/routed: true\n              ovn.kubernetes.io/security_groups: sg-allow-reject\nStatus:       Pending\nIP:\nIPs:          &lt;none&gt;\n\u00b7\n\u00b7\n\u00b7\nEvents:\n  Type     Reason                  Age                    From     Message\n  ----     ------                  ----                   ----     -------\n  Warning  FailedCreatePodSandBox  5m3s (x70 over 4h59m)  kubelet  (combined from similar events): Failed to create pod sandbox: rpc error: code = Unknown desc = failed to setup network for sandbox \"40636e0c7f1ade5500fa958486163d74f2e2300051a71522a9afd7ba0538afb6\": plugin type=\"kube-ovn\" failed (add): RPC failed; request ip return 500 configure nic failed 10.16.0.15 network not ready after 200 ping 10.16.0.1\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u89c4\u5219\u200b\uff0c\u200b\u6dfb\u52a0\u200b\u5230\u200b\u7f51\u5173\u200b\u7684\u200b\u8bbf\u95ee\u200b\u89c4\u5219\u200b\uff0c\u200b\u53c2\u8003\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SecurityGroup\nmetadata:\n  name: sg-gw-both\nspec:\n  allowSameGroupTraffic: true\n  egressRules:\n  - ipVersion: ipv4\n    policy: allow\n    priority: 2\n    protocol: all\n    remoteAddress: 10.16.0.13\n    remoteType: address\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: all\n    remoteAddress: 10.16.0.1\n    remoteType: address\n  ingressRules:\n  - ipVersion: ipv4\n    policy: deny\n    priority: 2\n    protocol: icmp\n    remoteAddress: 10.16.0.14\n    remoteType: address\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: icmp\n    remoteAddress: 10.16.0.1\n    remoteType: address\n</code></pre> <p>\u200b\u5206\u522b\u200b\u5728\u200b\u5165\u200b\u65b9\u5411\u200b\u548c\u200b\u51fa\u200b\u65b9\u5411\u200b\u89c4\u5219\u200b\u4e2d\u200b\uff0c\u200b\u6dfb\u52a0\u200b\u5141\u8bb8\u200b\u5230\u200b\u7f51\u5173\u200b\u7684\u200b\u8bbf\u95ee\u200b\u89c4\u5219\u200b\uff0c\u200b\u5e76\u4e14\u200b\u8bbe\u7f6e\u200b\u8be5\u200b\u89c4\u5219\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\u6700\u9ad8\u200b\u3002</p> <p>\u200b\u5229\u7528\u200b\u4ee5\u4e0b\u200b yaml \u200b\u7ed1\u5b9a\u200b\u5b89\u5168\u200b\u7ec4\u200b\uff0c\u200b\u90e8\u7f72\u200b Pod \u200b\u540e\u200b\uff0c\u200b\u786e\u8ba4\u200b Pod \u200b\u53ef\u4ee5\u200b\u6b63\u5e38\u200b\u8fd0\u884c\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  labels:\n    app: static\n  annotations:\n    ovn.kubernetes.io/port_security: 'true'\n    ovn.kubernetes.io/security_groups: 'sg-gw-both'\n  name: sg-gw-both\n  namespace: default\nspec:\n  nodeName: kube-ovn-worker\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>\u200b\u90e8\u7f72\u200b\u540e\u200b\u67e5\u770b\u200b Pod \u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get pod -o wide\nNAME                   READY   STATUS              RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES\nsg-test-pod            0/1     ContainerCreating   0          5h41m   &lt;none&gt;       kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\nsg-gw-both             1/1     Running             0          5h37m   10.16.0.19   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>\u200b\u56e0\u6b64\u200b\u5bf9\u4e8e\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u4f7f\u7528\u200b\uff0c\u200b\u8981\u200b\u7279\u522b\u200b\u660e\u786e\u200b\u6dfb\u52a0\u200b\u7684\u200b\u9650\u5236\u200b\u89c4\u5219\u200b\u7684\u200b\u4f5c\u7528\u200b\u3002\u200b\u5982\u679c\u200b\u5355\u7eaf\u200b\u662f\u200b\u9650\u5236\u200b\u6d41\u91cf\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u8003\u8651\u200b\u4f7f\u7528\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u5b9e\u73b0\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/vip/","title":"VIP \u200b\u9884\u7559\u200b IP","text":"<p>VIP \u200b\u5373\u200b\u865a\u62df\u200b IP\uff0c \u200b\u7528\u4e8e\u200b\u9884\u7559\u200b IP \u200b\u8d44\u6e90\u200b\u3002\u200b\u4e4b\u6240\u4ee5\u200b\u8bbe\u8ba1\u200b VIP \u200b\u662f\u56e0\u4e3a\u200b kube-ovn \u200b\u7684\u200b IP \u200b\u548c\u200b POD \u200b\u5728\u200b\u547d\u540d\u200b\u4e0a\u200b\u76f4\u63a5\u200b\u5173\u8054\u200b\uff0c\u200b\u6240\u4ee5\u200b\u65e0\u6cd5\u200b\u57fa\u4e8e\u200b IP \u200b\u5b9e\u73b0\u200b\u76f4\u63a5\u200b\u5b9e\u73b0\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u529f\u80fd\u200b\u3002 VIP \u200b\u8bbe\u8ba1\u200b\u4e4b\u521d\u200b\u53c2\u8003\u200b\u4e86\u200b Openstack neutron Allowed-Address-Pairs\uff08AAP\uff09 \u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u7528\u4e8e\u200b Openstack octavia \u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u9879\u76ee\u200b\u3002 \u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u7528\u4e8e\u200b\u63d0\u4f9b\u200b\u865a\u62df\u673a\u200b\u5185\u90e8\u200b\u7684\u200b\u5e94\u7528\u200b\uff08POD\uff09IP\uff0c\u200b\u8fd9\u70b9\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b aliyun terway \u200b\u9879\u76ee\u200b\u3002 \u200b\u53e6\u5916\u200b\uff0c\u200b\u7531\u4e8e\u200b neutron \u200b\u6709\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u6240\u4ee5\u200b\u5bf9\u200b VIP \u200b\u8fdb\u884c\u200b\u4e86\u200b\u4e00\u5b9a\u200b\u6269\u5c55\u200b\uff0c\u200b\u4f7f\u5f97\u200b VIP \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u7528\u4e8e\u200b\u4e3a\u200b POD \u200b\u9884\u7559\u200b IP\uff0c\u200b\u4f46\u200b\u7531\u4e8e\u200b\u8fd9\u79cd\u200b\u8bbe\u8ba1\u200b\u4f1a\u200b\u5bfc\u81f4\u200b VIP \u200b\u548c\u200b IP \u200b\u7684\u200b\u529f\u80fd\u200b\u53d8\u5f97\u200b\u6a21\u7cca\u200b\uff0c\u200b\u5728\u200b\u5b9e\u73b0\u200b\u4e0a\u200b\u5e76\u200b\u4e0d\u662f\u200b\u4e00\u4e2a\u200b\u4f18\u96c5\u200b\u7684\u200b\u65b9\u5f0f\u200b\uff0c\u200b\u6240\u4ee5\u200b\u4e0d\u200b\u63a8\u8350\u200b\u5728\u200b\u751f\u4ea7\u200b\u4f7f\u7528\u200b\u3002 \u200b\u800c\u4e14\u200b\uff0c \u200b\u7531\u4e8e\u200b OVN \u200b\u7684\u200b Switch LB \u200b\u53ef\u4ee5\u200b\u63d0\u4f9b\u200b\u4e00\u79cd\u200b\u4ee5\u200b\u5b50\u7f51\u200b\u5185\u90e8\u200b IP \u200b\u4e3a\u200b LB \u200b\u524d\u7aef\u200b VIP \u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u6240\u4ee5\u200b\u53c8\u200b\u5bf9\u200b VIP \u200b\u5728\u200b\u5b50\u7f51\u200b\u5185\u200b\u4f7f\u7528\u200b OVN Switch LB Rule \u200b\u573a\u666f\u200b\u8fdb\u884c\u200b\u4e86\u200b\u6269\u5c55\u200b\u3002 \u200b\u603b\u4e4b\u200b\uff0c\u200b\u76ee\u524d\u200b VIP \u200b\u5728\u200b\u8bbe\u8ba1\u200b\u4e0a\u200b\u53ea\u6709\u200b\u4e09\u79cd\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\uff1a</p> <ul> <li>Allowed-Address-Pairs VIP</li> <li>Switch LB rule VIP</li> <li>Pod \u200b\u4f7f\u7528\u200b VIP \u200b\u6765\u200b\u56fa\u5b9a\u200b IP</li> </ul>"},{"location":"advance/vip/#1-allowed-address-pairs-vip","title":"1. Allowed-Address-Pairs VIP","text":"<p>\u200b\u5728\u200b\u8be5\u200b\u573a\u666f\u200b\u4e0b\u200b\u6211\u4eec\u200b\u5e0c\u671b\u200b\u52a8\u6001\u200b\u7684\u200b\u9884\u7559\u200b\u4e00\u90e8\u5206\u200b IP \u200b\u4f46\u662f\u200b\u5e76\u200b\u4e0d\u200b\u5206\u914d\u200b\u7ed9\u200b Pod \u200b\u800c\u662f\u200b\u5206\u914d\u200b\u7ed9\u200b\u5176\u4ed6\u200b\u7684\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u542f\u7528\u200b\uff0c\u200b\u4f8b\u5982\u200b\uff1a</p> <ul> <li>Kubernetes \u200b\u5d4c\u5957\u200b Kubernetes \u200b\u7684\u200b\u573a\u666f\u200b\u4e2d\u4e0a\u5c42\u200b Kubernetes \u200b\u4f7f\u7528\u200b Underlay \u200b\u7f51\u7edc\u200b\u4f1a\u200b\u5360\u7528\u200b\u5e95\u5c42\u200b Subnet \u200b\u53ef\u7528\u200b\u5730\u5740\u200b\u3002</li> <li>LB \u200b\u6216\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u4e00\u4e2a\u200b Subnet \u200b\u5185\u200b\u7684\u200b IP\uff0c\u200b\u4f46\u200b\u4e0d\u4f1a\u200b\u5355\u72ec\u200b\u8d77\u200b Pod\u3002</li> </ul> <p>\u200b\u6b64\u5916\u200b\uff0cVIP \u200b\u8fd8\u200b\u53ef\u4ee5\u200b\u4e3a\u200b Allowed-Address-Pairs \u200b\u9884\u7559\u200b IP \u200b\u7528\u6765\u200b\u652f\u6301\u200b\u5355\u4e2a\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b\u591a\u4e2a\u200b IP \u200b\u7684\u200b\u573a\u666f\u200b\uff0c\u200b\u4f8b\u5982\u200b\uff1a</p> <ul> <li>Keepalived \u200b\u901a\u8fc7\u200b\u914d\u7f6e\u200b\u989d\u5916\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u5bf9\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u5b9e\u73b0\u200b\u5feb\u901f\u200b\u6545\u969c\u200b\u5207\u6362\u200b\u548c\u200b\u7075\u6d3b\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u67b6\u6784\u200b</li> </ul>"},{"location":"advance/vip/#11-vip","title":"1.1 \u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u5730\u5740\u200b VIP","text":"<p>\u200b\u5982\u679c\u200b\u53ea\u662f\u200b\u4e3a\u4e86\u200b\u9884\u7559\u200b\u82e5\u5e72\u200b IP \u200b\u800c\u200b\u5bf9\u200b IP \u200b\u5730\u5740\u200b\u672c\u8eab\u200b\u6ca1\u6709\u200b\u8981\u6c42\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u521b\u5efa\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: vip-dynamic-01\nspec:\n  subnet: ovn-default\n  type: \"\"\n</code></pre> <ul> <li><code>subnet</code>: \u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b Subnet \u200b\u4e2d\u200b\u9884\u7559\u200b IP\u3002</li> <li><code>type</code>: \u200b\u76ee\u524d\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u7c7b\u578b\u200b\uff0c\u200b\u4e3a\u7a7a\u200b\u8868\u793a\u200b\u4ec5\u200b\u7528\u4e8e\u200b ipam ip \u200b\u5360\u4f4d\u200b\uff0c<code>switch_lb_vip</code> \u200b\u8868\u793a\u200b\u8be5\u200b vip \u200b\u4ec5\u200b\u7528\u4e8e\u200b switch lb \u200b\u524d\u7aef\u200b vip \u200b\u548c\u200b\u540e\u200b\u7aef\u200b ip \u200b\u9700\u200b\u5904\u4e8e\u200b\u540c\u4e00\u200b\u5b50\u7f51\u200b\u3002</li> </ul> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b VIP\uff1a</p> <pre><code># kubectl get vip\nNAME             V4IP         PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET        READY\nvip-dynamic-01   10.16.0.12           00:00:00:F0:DB:25                         ovn-default   true\n</code></pre> <p>\u200b\u53ef\u89c1\u200b\u8be5\u200b VIP \u200b\u88ab\u200b\u5206\u914d\u200b\u4e86\u200b <code>10.16.0.12</code> \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u53ef\u4ee5\u200b\u4e4b\u540e\u200b\u4f9b\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u4f7f\u7528\u200b\u3002</p>"},{"location":"advance/vip/#12-vip","title":"1.2 \u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b VIP","text":"<p>\u200b\u5982\u5bf9\u200b\u9884\u7559\u200b\u7684\u200b VIP \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u6709\u200b\u9700\u6c42\u200b\u53ef\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u56fa\u5b9a\u200b\u5206\u914d\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: static-vip01\nspec:\n  subnet: ovn-default \n  v4ip: \"10.16.0.121\"\n</code></pre> <ul> <li><code>subnet</code>: \u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b Subnet \u200b\u4e2d\u200b\u9884\u7559\u200b IP\u3002</li> <li><code>v4ip</code>: \u200b\u56fa\u5b9a\u200b\u5206\u914d\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u9700\u5728\u200b <code>subnet</code> \u200b\u7684\u200b CIDR \u200b\u8303\u56f4\u200b\u5185\u200b\u3002</li> </ul> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b VIP\uff1a</p> <pre><code># kubectl get vip\nNAME             V4IP         PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET        READY\nstatic-vip01   10.16.0.121           00:00:00:F0:DB:26                         ovn-default   true\n</code></pre> <p>\u200b\u53ef\u89c1\u200b\u8be5\u200b VIP \u200b\u88ab\u200b\u5206\u914d\u200b\u4e86\u200b\u6240\u200b\u9884\u671f\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</p>"},{"location":"advance/vip/#13-pod-vip-aap","title":"1.3 Pod \u200b\u4f7f\u7528\u200b VIP \u200b\u5f00\u542f\u200b AAP","text":"<p>Pod \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b annotation \u200b\u6307\u5b9a\u200b VIP \u200b\u5f00\u542f\u200b AAP \u200b\u529f\u80fd\u200b\uff0clabels \u200b\u9700\u8981\u200b\u6ee1\u8db3\u200b VIP \u200b\u4e2d\u200b\u8282\u70b9\u200b\u9009\u62e9\u5668\u200b\u7684\u200b\u6761\u4ef6\u200b\u3002</p> <p>Pod annotation \u200b\u652f\u6301\u200b\u6307\u5b9a\u200b\u591a\u4e2a\u200b VIP\uff0c\u200b\u914d\u7f6e\u200b\u683c\u5f0f\u200b\u4e3a\u200b\uff1aovn.kubernetes.io/aaps: vip-aap,vip-aap2,vip-aap3</p> <p>AAP \u200b\u529f\u80fd\u200b\u652f\u6301\u200b\u591a\u200b\u7f51\u5361\u200b\u573a\u666f\u200b\uff0c\u200b\u82e5\u200b Pod \u200b\u914d\u7f6e\u200b\u4e86\u200b\u591a\u200b\u7f51\u5361\u200b\uff0cAAP \u200b\u4f1a\u200b\u5bf9\u200b Pod \u200b\u4e2d\u200b\u548c\u200b VIP \u200b\u540c\u4e00\u200b subnet \u200b\u7684\u200b\u5bf9\u5e94\u200b Port \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b</p>"},{"location":"advance/vip/#131-vip-aap","title":"1.3.1 \u200b\u521b\u5efa\u200b VIP \u200b\u652f\u6301\u200b AAP","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: vip-aap\nspec:\n  subnet: ovn-default\n  namespace: default\n  selector:\n    - \"app: aap1\"\n</code></pre> <p>VIP \u200b\u540c\u6837\u200b\u652f\u6301\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u548c\u200b\u968f\u673a\u200b\u5730\u5740\u200b\u7684\u200b\u5206\u914d\u200b\uff0c\u200b\u5206\u914d\u200b\u65b9\u5f0f\u200b\u5982\u4e0a\u200b\u6587\u200b\u6240\u8ff0\u200b\u3002</p> <ul> <li><code>namespace</code>: AAP \u200b\u573a\u666f\u200b\u4e0b\u200b\uff0cVIP \u200b\u9700\u663e\u5f0f\u200b\u5730\u200b\u6307\u5b9a\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\uff0cVIP \u200b\u4ec5\u200b\u5141\u8bb8\u200b\u76f8\u540c\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u7684\u200b\u8d44\u6e90\u200b\u5f00\u542f\u200b AAP \u200b\u529f\u80fd\u200b\u3002</li> <li><code>selector</code>: AAP \u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u7528\u4e8e\u200b\u9009\u62e9\u200b VIP \u200b\u6240\u200b\u9644\u5c5e\u200b\u7684\u200b Pod \u200b\u7684\u200b\u8282\u70b9\u200b\u9009\u62e9\u5668\u200b\uff0c\u200b\u683c\u5f0f\u200b\u548c\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b NodeSelector \u200b\u683c\u5f0f\u200b\u76f8\u540c\u200b\u3002</li> </ul> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b VIP \u200b\u5bf9\u5e94\u200b\u7684\u200b Port\uff1a</p> <pre><code># kubectl ko nbctl show ovn-default\nswitch e32e1d3b-c539-45f4-ab19-be4e33a061f6 (ovn-default)\n    port aap-vip\n        type: virtual\n</code></pre> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: busybox\n  annotations:\n    ovn.kubernetes.io/aaps: vip-aap\n  labels:\n    app: aap1\nspec:\n  containers:\n    - name: busybox\n      image: busybox\n      command: [\"sleep\", \"3600\"]\n      securityContext: \n        capabilities:\n          add:\n            - NET_ADMIN\n</code></pre> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b AAP \u200b\u5bf9\u5e94\u200b\u7684\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code># kubectl ko nbctl list logical_switch_port aap-vip\n_uuid               : cd930750-0533-4f06-a6c0-217ddac73272\naddresses           : []\ndhcpv4_options      : []\ndhcpv6_options      : []\ndynamic_addresses   : []\nenabled             : []\nexternal_ids        : {ls=ovn-default, vendor=kube-ovn}\nha_chassis_group    : []\nmirror_rules        : []\nname                : aap-vip\noptions             : {virtual-ip=\"10.16.0.100\", virtual-parents=\"busybox.default\"}\nparent_name         : []\nport_security       : []\ntag                 : []\ntag_request         : []\ntype                : virtual\nup                  : false\n</code></pre> <p>virtual-ip \u200b\u88ab\u200b\u914d\u7f6e\u200b\u4e3a\u200b VIP \u200b\u9884\u7559\u200b\u7684\u200b IP\uff0cvirtual-parents \u200b\u914d\u7f6e\u200b\u4e3a\u200b\u5f00\u542f\u200b AAP \u200b\u529f\u80fd\u200b\u7684\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b Port\u3002</p> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code># kubectl exec -it busybox -- ip addr add 10.16.0.100/16 dev eth0\n# kubectl exec -it busybox01 -- ip addr show eth0\n35: eth0@if36: &lt;BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN&gt; mtu 1400 qdisc noqueue \n    link/ether 00:00:00:e2:ab:0c brd ff:ff:ff:ff:ff:ff\n    inet 10.16.0.7/16 brd 10.16.255.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet 10.16.0.100/16 scope global secondary eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fee2:ab0c/64 scope link \n       valid_lft forever preferred_lft forever\n</code></pre> <p>\u200b\u9664\u200b Pod \u200b\u521b\u5efa\u200b\u65f6\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u7684\u200b IP\uff0cVIP \u200b\u7684\u200b IP \u200b\u4e5f\u200b\u88ab\u200b\u6210\u529f\u200b\u7ed1\u5b9a\u200b\uff0c\u200b\u5e76\u4e14\u200b\u5f53\u524d\u200b subnet \u200b\u5185\u200b\u7684\u200b\u5176\u5b83\u200b Pod \u200b\u80fd\u200b\u548c\u200b\u8fd9\u200b\u4e24\u4e2a\u200b IP \u200b\u8fdb\u884c\u200b\u901a\u4fe1\u200b\u3002</p>"},{"location":"advance/vip/#2-switch-lb-rule-vip","title":"2. Switch LB rule vip","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: slr-01\nspec:\n  subnet: ovn-default\n  type: switch_lb_vip\n</code></pre> <ul> <li><code>subnet</code>: \u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b Subnet \u200b\u4e2d\u200b\u9884\u7559\u200b IP\u3002</li> <li><code>type</code>: \u200b\u76ee\u524d\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u7c7b\u578b\u200b\uff0c\u200b\u4e3a\u7a7a\u200b\u8868\u793a\u200b\u4ec5\u200b\u7528\u4e8e\u200b ipam ip \u200b\u5360\u4f4d\u200b\uff0c<code>switch_lb_vip</code> \u200b\u8868\u793a\u200b\u8be5\u200b vip \u200b\u4ec5\u200b\u7528\u4e8e\u200b switch lb \u200b\u524d\u7aef\u200b vip \u200b\u548c\u200b\u540e\u200b\u7aef\u200b ip \u200b\u9700\u200b\u5904\u4e8e\u200b\u540c\u4e00\u200b\u5b50\u7f51\u200b\u3002</li> </ul>"},{"location":"advance/vip/#3-pod-vip-ip","title":"3. Pod \u200b\u4f7f\u7528\u200b VIP \u200b\u6765\u200b\u56fa\u5b9a\u200b IP","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4ece\u200b v1.12 \u200b\u5f00\u59cb\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u8be5\u200b\u529f\u80fd\u200b\u548c\u200b IP \u200b\u529f\u80fd\u200b\u754c\u9650\u200b\u4e0d\u200b\u6e05\u6670\u200b\uff0c\u200b\u4e0d\u200b\u63a8\u8350\u200b\u5728\u200b\u751f\u4ea7\u200b\u4f7f\u7528\u200b</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: pod-use-vip\nspec:\n  subnet: ovn-default\n  type: \"\"\n</code></pre> <p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b annotation \u200b\u5c06\u200b\u67d0\u4e2a\u200b VIP \u200b\u5206\u914d\u200b\u7ed9\u200b\u4e00\u4e2a\u200b Pod\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: static-ip\n  annotations:\n    ovn.kubernetes.io/vip: pod-use-vip # \u200b\u6307\u5b9a\u200b vip\n  namespace: default\nspec:\n  containers:\n    - name: static-ip\n      image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"advance/vip/#31-statefulset-kubevirt-vm-vip","title":"3.1 StatefulSet \u200b\u548c\u200b Kubevirt VM \u200b\u4fdd\u7559\u200b VIP","text":"<p>\u200b\u9488\u5bf9\u200b <code>StatefulSet</code> \u200b\u548c\u200b <code>VM</code> \u200b\u7684\u200b\u7279\u6b8a\u6027\u200b\uff0c\u200b\u5728\u200b\u4ed6\u4eec\u200b\u7684\u200b Pod \u200b\u9500\u6bc1\u200b\u518d\u62c9\u8d77\u200b\u8d77\u540e\u200b\u4f1a\u200b\u91cd\u65b0\u200b\u4f7f\u7528\u200b\u4e4b\u524d\u200b\u8bbe\u7f6e\u200b\u7684\u200b VIP\u3002</p> <p>VM \u200b\u4fdd\u7559\u200b VIP \u200b\u9700\u8981\u200b\u786e\u4fdd\u200b <code>kube-ovn-controller</code> \u200b\u7684\u200b <code>keep-vm-ip</code> \u200b\u53c2\u6570\u200b\u4e3a\u200b <code>true</code>\u3002\u200b\u8bf7\u200b\u53c2\u8003\u200b Kubevirt VM \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u5f00\u542f\u200b\u8bbe\u7f6e\u200b</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/vpc-internal-dns/","title":"\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b DNS","text":"<p>\u200b\u7531\u4e8e\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u548c\u200b \u200b\u9ed8\u8ba4\u200b VPC \u200b\u7f51\u7edc\u200b\u76f8\u4e92\u200b\u9694\u79bb\u200b\uff0c\u200b\u81ea\u200b\u5b9a\u200b VPC \u200b\u5185\u200b\u65e0\u6cd5\u8bbf\u95ee\u200b\u5230\u200b\u90e8\u7f72\u200b\u5728\u200b\u9ed8\u8ba4\u200b VPC \u200b\u5185\u200b\u7684\u200b coredns\u3002 \u200b\u5982\u679c\u200b\u7528\u6237\u200b\u5e0c\u671b\u200b\u5728\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u4f7f\u7528\u200b Kubernetes \u200b\u63d0\u4f9b\u200b\u7684\u200b\u96c6\u7fa4\u200b\u5185\u200b\u57df\u540d\u89e3\u6790\u200b\u80fd\u529b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u672c\u200b\u6587\u6863\u200b\uff0c\u200b\u5229\u7528\u200b <code>vpc-dns</code> CRD \u200b\u6765\u200b\u5b9e\u73b0\u200b\u3002</p> <p>\u200b\u8be5\u200b CRD \u200b\u6700\u7ec8\u200b\u4f1a\u200b\u90e8\u7f72\u200b\u4e00\u4e2a\u200b coredns\uff0c\u200b\u8be5\u200b Pod \u200b\u6709\u200b\u4e24\u4e2a\u200b\u7f51\u5361\u200b\uff0c\u200b\u4e00\u4e2a\u200b\u7f51\u5361\u200b\u5728\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC\uff0c\u200b\u53e6\u200b\u4e00\u4e2a\u200b\u7f51\u5361\u200b\u5728\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4ece\u800c\u200b\u5b9e\u73b0\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\uff0c\u200b\u540c\u65f6\u200b\u901a\u8fc7\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u63d0\u4f9b\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u3002</p>"},{"location":"advance/vpc-internal-dns/#vpc-dns_1","title":"\u90e8\u7f72\u200b vpc-dns \u200b\u6240\u200b\u4f9d\u8d56\u200b\u7684\u200b\u8d44\u6e90","text":"<pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: system:vpc-dns\nrules:\n  - apiGroups:\n    - \"\"\n    resources:\n    - endpoints\n    - services\n    - pods\n    - namespaces\n    verbs:\n    - list\n    - watch\n  - apiGroups:\n    - discovery.k8s.io\n    resources:\n    - endpointslices\n    verbs:\n    - list\n    - watch\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  annotations:\n    rbac.authorization.kubernetes.io/autoupdate: \"true\"\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: vpc-dns\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: system:vpc-dns\nsubjects:\n- kind: ServiceAccount\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-corefile\n  namespace: kube-system\ndata:\n  Corefile: |\n    .:53 {\n        errors\n        health {\n          lameduck 5s\n        }\n        ready\n        kubernetes cluster.local in-addr.arpa ip6.arpa {\n          pods insecure\n          fallthrough in-addr.arpa ip6.arpa\n        }\n        prometheus :9153\n        forward . /etc/resolv.conf {\n          prefer_udp\n        }\n        cache 30\n        loop\n        reload\n        loadbalance\n    }\n</code></pre> <p>\u200b\u9664\u4e86\u200b\u4ee5\u4e0a\u200b\u8d44\u6e90\u200b\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u8fd8\u200b\u4f9d\u8d56\u200b nat-gw-pod \u200b\u955c\u50cf\u200b\u8fdb\u884c\u200b\u8def\u7531\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"advance/vpc-internal-dns/#_1","title":"\u914d\u7f6e\u200b\u9644\u52a0\u200b\u7f51\u5361","text":"<pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-nad\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"ovn-nad.default.ovn\"\n    }'\n</code></pre>"},{"location":"advance/vpc-internal-dns/#vpc-dns-configmap","title":"\u914d\u7f6e\u200b vpc-dns \u200b\u7684\u200b Configmap","text":"<p>\u200b\u5728\u200b kube-system \u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u4e0b\u200b\u521b\u5efa\u200b configmap\uff0c\u200b\u914d\u7f6e\u200b vpc-dns \u200b\u4f7f\u7528\u200b\u53c2\u6570\u200b\uff0c\u200b\u7528\u4e8e\u200b\u540e\u9762\u200b\u542f\u52a8\u200b vpc-dns \u200b\u529f\u80fd\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-config\n  namespace: kube-system\ndata:\n  coredns-vip: 10.96.0.3\n  enable-vpc-dns: \"true\"\n  nad-name: ovn-nad\n  nad-provider: ovn-nad.default.ovn\n</code></pre> <ul> <li><code>enable-vpc-dns</code>\uff1a\u200b\u662f\u5426\u200b\u542f\u7528\u200b\u529f\u80fd\u200b\uff0c\u200b\u9ed8\u8ba4\u200b <code>true</code>\u3002</li> <li><code>coredns-image</code>\uff1adns \u200b\u90e8\u7f72\u200b\u955c\u50cf\u200b\u3002\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b coredns \u200b\u90e8\u7f72\u200b\u7248\u672c\u200b\u3002</li> <li><code>coredns-vip</code>\uff1a\u200b\u4e3a\u200b coredns \u200b\u63d0\u4f9b\u200b lb \u200b\u670d\u52a1\u200b\u7684\u200b vip\u3002</li> <li><code>coredns-template</code>\uff1acoredns \u200b\u90e8\u7f72\u200b\u6a21\u677f\u200b\u6240\u5728\u200b\u7684\u200b URL\u3002\u200b\u9ed8\u8ba4\u200b\u83b7\u53d6\u200b\u5f53\u524d\u200b\u7248\u672c\u200b ovn \u200b\u76ee\u5f55\u200b\u4e0b\u200b <code>coredns-template.yaml</code> \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>https://raw.githubusercontent.com/kubeovn/kube-ovn/\u200b\u5f53\u524d\u200b\u7248\u672c\u200b/yamls/coredns-template.yaml</code> \u3002</li> <li><code>nad-name</code>\uff1a\u200b\u914d\u7f6e\u200b\u7684\u200b <code>network-attachment-definitions</code> \u200b\u8d44\u6e90\u200b\u540d\u79f0\u200b\u3002</li> <li><code>nad-provider</code>\uff1a\u200b\u4f7f\u7528\u200b\u7684\u200b provider \u200b\u540d\u79f0\u200b\u3002</li> <li><code>k8s-service-host</code>\uff1a\u200b\u7528\u4e8e\u200b coredns \u200b\u8bbf\u95ee\u200b k8s apiserver \u200b\u670d\u52a1\u200b\u7684\u200b ip\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u5185\u200b apiserver \u200b\u5730\u5740\u200b\u3002</li> <li><code>k8s-service-port</code>\uff1a\u200b\u7528\u4e8e\u200b coredns \u200b\u8bbf\u95ee\u200b k8s apiserver \u200b\u670d\u52a1\u200b\u7684\u200b port\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u5185\u200b apiserver \u200b\u7aef\u53e3\u200b\u3002</li> </ul>"},{"location":"advance/vpc-internal-dns/#vpc-dns_2","title":"\u90e8\u7f72\u200b vpc-dns","text":"<p>\u200b\u914d\u7f6e\u200b vpc-dns yaml\uff1a</p> <pre><code>kind: VpcDns\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-cjh1\nspec:\n  vpc: cjh-vpc-1\n  subnet: cjh-subnet-1\n  replicas: 2\n</code></pre> <ul> <li><code>vpc</code> \uff1a \u200b\u7528\u4e8e\u200b\u90e8\u7f72\u200b dns \u200b\u7ec4\u4ef6\u200b\u7684\u200b vpc \u200b\u540d\u79f0\u200b\u3002</li> <li><code>subnet</code>\uff1a\u200b\u7528\u4e8e\u200b\u90e8\u7f72\u200b dns \u200b\u7ec4\u4ef6\u200b\u7684\u200b\u5b50\u200b\u540d\u79f0\u200b\u3002</li> <li><code>replicas</code>: vpc dns deployment replicas</li> </ul> <p>\u200b\u67e5\u770b\u200b\u90e8\u7f72\u200b\u8d44\u6e90\u200b\u7684\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get vpc-dns\nNAME        ACTIVE   VPC         SUBNET   \ntest-cjh1   false    cjh-vpc-1   cjh-subnet-1   \ntest-cjh2   true     cjh-vpc-1   cjh-subnet-2 \n</code></pre> <p><code>ACTIVE</code> : <code>true</code> \u200b\u90e8\u7f72\u200b\u4e86\u200b\u81ea\u5b9a\u4e49\u200b dns \u200b\u7ec4\u4ef6\u200b\uff0c<code>false</code> \u200b\u65e0\u200b\u90e8\u7f72\u200b\u3002</p> <p>\u200b\u9650\u5236\u200b\uff1a\u200b\u4e00\u4e2a\u200b VPC \u200b\u4e0b\u200b\u53ea\u4f1a\u200b\u90e8\u7f72\u200b\u4e00\u4e2a\u200b\u81ea\u5b9a\u4e49\u200b dns \u200b\u7ec4\u4ef6\u200b;</p> <ul> <li>\u200b\u5f53\u200b\u4e00\u4e2a\u200b VPC \u200b\u4e0b\u200b\u914d\u7f6e\u200b\u591a\u4e2a\u200b vpc-dns \u200b\u8d44\u6e90\u200b\uff08\u200b\u5373\u200b\u540c\u4e00\u4e2a\u200b VPC \u200b\u4e0d\u540c\u200b\u7684\u200b subnet\uff09\uff0c\u200b\u53ea\u6709\u200b\u4e00\u4e2a\u200b vpc-dns \u200b\u8d44\u6e90\u200b\u72b6\u6001\u200b <code>true</code>\uff0c\u200b\u5176\u4ed6\u200b\u4e3a\u200b <code>fasle</code>;</li> <li>\u200b\u5f53\u200b <code>true</code> \u200b\u7684\u200b vpc-dns \u200b\u88ab\u200b\u5220\u9664\u200b\u6389\u200b\uff0c\u200b\u4f1a\u200b\u83b7\u53d6\u200b\u5176\u4ed6\u200b <code>false</code> \u200b\u7684\u200b vpc-dns \u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\u3002</li> </ul>"},{"location":"advance/vpc-internal-dns/#_2","title":"\u9a8c\u8bc1\u200b\u90e8\u7f72\u200b\u7ed3\u679c","text":"<p>\u200b\u67e5\u770b\u200b vpc-dns Pod \u200b\u72b6\u6001\u200b\uff0c\u200b\u4f7f\u7528\u200b label <code>app=vpc-dns</code>\uff0c\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b\u6240\u6709\u200b vpc-dns pod \u200b\u72b6\u6001\u200b\uff1a</p> <pre><code># kubectl -n kube-system get pods -l app=vpc-dns\nNAME                                 READY   STATUS    RESTARTS   AGE\nvpc-dns-test-cjh1-7b878d96b4-g5979   1/1     Running   0          28s\nvpc-dns-test-cjh1-7b878d96b4-ltmf9   1/1     Running   0          28s\n</code></pre> <p>\u200b\u67e5\u770b\u200b slr \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl -n kube-system get slr\nNAME                VIP         PORT(S)                  SERVICE                             AGE\nvpc-dns-test-cjh1   10.96.0.3   53/UDP,53/TCP,9153/TCP   kube-system/slr-vpc-dns-test-cjh1   113s\n</code></pre> <p>\u200b\u8fdb\u5165\u200b\u8be5\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Pod\uff0c\u200b\u6d4b\u8bd5\u200b dns \u200b\u89e3\u6790\u200b:</p> <pre><code>nslookup kubernetes.default.svc.cluster.local 10.96.0.3\n</code></pre> <p>\u200b\u8be5\u200b VPC \u200b\u4e0b\u200b\u7684\u200b switch lb rule \u200b\u6240\u5728\u200b\u7684\u200b\u5b50\u7f51\u200b\u4ee5\u53ca\u200b\u540c\u4e00\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u5176\u4ed6\u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b pod \u200b\u90fd\u200b\u53ef\u4ee5\u200b\u89e3\u6790\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/vpc-internal-lb/","title":"\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861","text":"<p>Kubernetes \u200b\u63d0\u4f9b\u200b\u7684\u200b Service \u200b\u53ef\u4ee5\u200b\u7528\u4f5c\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\uff0c \u200b\u4f46\u662f\u200b\u5728\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c \u200b\u4f7f\u7528\u200b Service \u200b\u4f5c\u4e3a\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u5b58\u5728\u200b\u5982\u4e0b\u200b\u51e0\u4e2a\u200b\u95ee\u9898\u200b\uff1a</p> <ol> <li>Service IP \u200b\u8303\u56f4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u8d44\u6e90\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5171\u4eab\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u91cd\u53e0\u200b\u3002</li> <li>\u200b\u7528\u6237\u200b\u65e0\u6cd5\u200b\u6309\u7167\u200b\u81ea\u5df1\u200b\u610f\u613f\u200b\u8bbe\u7f6e\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</li> </ol> <p>\u200b\u4e3a\u4e86\u200b\u89e3\u51b3\u200b\u4e0a\u8ff0\u200b\u95ee\u9898\u200b\uff0cKube-OVN \u200b\u5728\u200b 1.11 \u200b\u5f15\u5165\u200b <code>SwitchLBRule</code> CRD\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u8bbe\u7f6e\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u7684\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\u3002</p> <p><code>SwitchLBRule</code> \u200b\u652f\u6301\u200b\u4ee5\u4e0b\u200b\u4e24\u79cd\u200b\u65b9\u5f0f\u200b\u8bbe\u7f6e\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u7684\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\u3002</p>"},{"location":"advance/vpc-internal-lb/#selector","title":"<code>Selector</code> \u200b\u81ea\u52a8\u200b\u751f\u6210\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219","text":"<p>\u200b\u901a\u8fc7\u200b <code>selector</code> \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b <code>label</code> \u200b\u81ea\u52a8\u200b\u5173\u8054\u200b <code>pod</code> \u200b\u914d\u7f6e\u200b\u751f\u6210\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\u3002</p> <p><code>SwitchLBRule</code> \u200b\u6837\u200b\u4f8b\u5982\u200b\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  cjh-slr-nginx\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  selector:\n    - app:nginx\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\n</code></pre> <ul> <li> <p><code>selector</code>, <code>sessionAffinity</code> \u200b\u548c\u200b <code>port</code> \u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u540c\u200b Kubernetes Service\u3002</p> </li> <li> <p><code>vip</code>\uff1a\u200b\u81ea\u5b9a\u4e49\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</p> </li> <li> <p><code>namespace</code>\uff1a<code>selector</code> \u200b\u6240\u200b\u9009\u62e9\u200b Pod \u200b\u6240\u5728\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u3002</p> </li> </ul> <p>Kube-OVN \u200b\u4f1a\u200b\u6839\u636e\u200b <code>SwitchLBRule</code> \u200b\u5b9a\u4e49\u200b\u9009\u62e9\u200b\u7684\u200b Pod \u200b\u5f97\u51fa\u200b Pod \u200b\u6240\u5728\u200b VPC \u200b\u5e76\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b L2 LB\u3002</p>"},{"location":"advance/vpc-internal-lb/#endpoints","title":"<code>Endpoints</code> \u200b\u81ea\u5b9a\u4e49\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219","text":"<p>\u200b\u901a\u8fc7\u200b <code>endpoints</code> \u200b\u53ef\u4ee5\u200b\u81ea\u5b9a\u4e49\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\uff0c\u200b\u7528\u4ee5\u200b\u652f\u6301\u200b\u65e0\u6cd5\u200b\u901a\u8fc7\u200b <code>selector</code> \u200b\u81ea\u52a8\u200b\u751f\u6210\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\u7684\u200b\u573a\u666f\u200b\uff0c\u200b\u6bd4\u5982\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u540e\u7aef\u200b\u662f\u200b <code>kubevirt</code> \u200b\u521b\u5efa\u200b\u7684\u200b <code>vm</code> \u3002</p> <p><code>SwitchLBRule</code> \u200b\u6837\u200b\u4f8b\u5982\u200b\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  cjh-slr-nginx\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  endpoints:\n    - 192.168.0.101\n    - 192.168.0.102\n    - 192.168.0.103\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\n</code></pre> <ul> <li><code>sessionAffinity</code> \u200b\u548c\u200b <code>port</code> \u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u540c\u200b Kubernetes Service\u3002</li> <li><code>vip</code>\uff1a\u200b\u81ea\u5b9a\u4e49\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</li> <li><code>namespace</code>\uff1a<code>selector</code> \u200b\u6240\u200b\u9009\u62e9\u200b Pod \u200b\u6240\u5728\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u3002</li> <li><code>endpoints</code>\uff1a\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u540e\u200b\u7aef\u200b IP \u200b\u5217\u8868\u200b\u3002</li> </ul> <p>\u200b\u5982\u679c\u200b\u540c\u65f6\u200b\u914d\u7f6e\u200b\u4e86\u200b <code>selector</code> \u200b\u548c\u200b <code>endpoints</code>, \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5ffd\u7565\u200b <code>selector</code> \u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"advance/vpc-internal-lb/#_1","title":"\u5065\u5eb7\u68c0\u67e5","text":"<p><code>OVN</code> \u200b\u652f\u6301\u200b <code>IPv4</code> \u200b\u7684\u200b\u8d1f\u8f7d\u5e73\u8861\u200b\u5668\u200b\u670d\u52a1\u200b\u7ec8\u7aef\u200b\u7684\u200b\u8fd0\u884c\u72b6\u51b5\u200b\u68c0\u67e5\u200b\u3002 \u200b\u542f\u7528\u200b\u8fd0\u884c\u72b6\u51b5\u200b\u68c0\u67e5\u200b\u540e\u200b\uff0c\u200b\u8d1f\u8f7d\u5e73\u8861\u200b\u5668\u4f1a\u200b\u5bf9\u200b\u670d\u52a1\u200b\u7ec8\u7aef\u200b\u7684\u200b\u72b6\u6001\u200b\u8fdb\u884c\u200b\u68c0\u6d4b\u200b\u7ef4\u62a4\u200b\uff0c\u200b\u5e76\u200b\u4ec5\u200b\u4f7f\u7528\u200b\u8fd0\u884c\u72b6\u51b5\u200b\u826f\u597d\u200b\u7684\u200b\u670d\u52a1\u200b\u7ec8\u7aef\u200b\u3002</p> <p>[Health Checks](https://www.ovn.org/support/dist-docs/ovn-nb.5.html)</p> <p>\u200b\u6839\u636e\u200b <code>ovn</code> \u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u7684\u200b\u8fd0\u884c\u72b6\u51b5\u200b\u68c0\u67e5\u200b\uff0c\u200b\u5bf9\u200b <code>SwitchLBRule</code> \u200b\u6dfb\u52a0\u200b\u5065\u5eb7\u68c0\u67e5\u200b\u3002\u200b\u5728\u200b\u521b\u5efa\u200b <code>SwitchLBRule</code> \u200b\u7684\u200b\u540c\u65f6\u200b\uff0c\u200b\u4ece\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>VPC</code> \u200b\u548c\u200b <code>subnet</code> \u200b\u4e2d\u200b\u83b7\u53d6\u200b\u4e00\u4e2a\u200b\u53ef\u200b\u590d\u7528\u200b\u7684\u200b <code>vip</code> \u200b\u4f5c\u4e3a\u200b\u68c0\u6d4b\u200b\u7aef\u70b9\u200b\uff0c\u200b\u5e76\u200b\u6dfb\u52a0\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>ip_port_mappings</code> \u200b\u548c\u200b <code>load_balancer_health_check</code> \u200b\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u4e0a\u200b\u3002</p> <ul> <li>\u200b\u68c0\u6d4b\u200b\u7aef\u70b9\u200b <code>vip</code> \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5728\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>subnet</code> \u200b\u4e2d\u200b\u5224\u65ad\u200b\u662f\u5426\u200b\u5b58\u5728\u200b\uff0c\u200b\u5e76\u4e14\u200b\u4e0e\u200b <code>subnet</code> \u200b\u540c\u540d\u200b\uff0c\u200b\u5982\u679c\u200b\u4e0d\u200b\u5b58\u5728\u200b\u5219\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u521b\u5efa\u200b\uff0c\u200b\u5e76\u4e14\u200b\u5728\u200b\u6240\u6709\u200b\u5173\u8054\u200b\u7684\u200b <code>SwitchLBRule</code> \u200b\u88ab\u200b\u5220\u9664\u200b\u540e\u200b\u81ea\u52a8\u200b\u88ab\u200b\u5220\u9664\u200b\u3002</li> <li>\u200b\u6682\u65f6\u200b\u53ea\u200b\u652f\u6301\u200b\u901a\u8fc7\u200b <code>Selector</code> \u200b\u81ea\u52a8\u200b\u751f\u6210\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b</li> </ul>"},{"location":"advance/vpc-internal-lb/#_2","title":"\u521b\u5efa\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219","text":"<pre><code>root@server:~# kubectl get po -o wide -n vulpecula\nNAME                     READY   STATUS    RESTARTS   AGE     IP          NODE     NOMINATED NODE   READINESS GATES\nnginx-78d9578975-f4qn4   1/1     Running   3          4d16h   10.16.0.4   worker   &lt;none&gt;           &lt;none&gt;\nnginx-78d9578975-t8tm5   1/1     Running   3          4d16h   10.16.0.6   worker   &lt;none&gt;           &lt;none&gt;\n\n# \u200b\u521b\u5efa\u200b slr\nroot@server:~# cat &lt;&lt; END &gt; slr.yaml\napiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  nginx\n  namespace:  vulpecula\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  selector:\n    - app:nginx\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\nEND\nroot@server:~# kubectl apply -f slr.yaml\nroot@server:~# kubectl get slr\nNAME              VIP       PORT(S)    SERVICE                       AGE\nvulpecula-nginx   1.1.1.1   8888/TCP   default/slr-vulpecula-nginx   3d21h\n</code></pre> <p>\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u4e0e\u200b <code>subnet</code> \u200b\u540c\u540d\u200b\u7684\u200b <code>vip</code> \u200b\u5df2\u7ecf\u200b\u88ab\u200b\u521b\u5efa\u200b\u3002</p> <pre><code># \u200b\u67e5\u770b\u200b\u68c0\u6d4b\u200b\u7aef\u70b9\u200b vip\n\nroot@server:~# kubectl get vip\nNAME          NS    V4IP        MAC                 V6IP    PMAC   SUBNET        READY   TYPE\nvulpecula-subnet    10.16.0.2   00:00:00:39:95:C1   &lt;nil&gt;          vulpecula-subnet   true   \n</code></pre> <p>\u200b\u901a\u8fc7\u200b\u547d\u4ee4\u200b\u53ef\u4ee5\u200b\u67e5\u8be2\u200b\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>Load_Balancer_Health_Check</code> \u200b\u548c\u200b <code>Service_Monitor</code>\u3002</p> <pre><code>root@server:~# kubectl ko nbctl list Load_Balancer\n_uuid               : 3cbb6d43-44aa-4028-962f-30d2dba9f0b8\nexternal_ids        : {}\nhealth_check        : [5bee3f12-6b54-411c-9cc8-c9def8f67356]\nip_port_mappings    : {\"10.16.0.4\"=\"nginx-78d9578975-f4qn4.default:10.16.0.2\", \"10.16.0.6\"=\"nginx-78d9578975-t8tm5.default:10.16.0.2\"}\nname                : cluster-tcp-session-loadbalancer\noptions             : {affinity_timeout=\"10800\"}\nprotocol            : tcp\nselection_fields    : [ip_src]\nvips                : {\"1.1.1.1:8888\"=\"10.16.0.4:80,10.16.0.6:80\"}\n\nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\n_uuid               : 5bee3f12-6b54-411c-9cc8-c9def8f67356\nexternal_ids        : {switch_lb_subnet=vulpecula-subnet}\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nvip                 : \"1.1.1.1:8888\"\n\nroot@server:~# kubectl ko sbctl list Service_Monitor\n_uuid               : 1bddc541-cc49-44ea-9935-a4208f627a91\nexternal_ids        : {}\nip                  : \"10.16.0.4\"\nlogical_port        : nginx-78d9578975-f4qn4.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n\n_uuid               : 84dd24c5-e1b4-4e97-9daa-13687ed59785\nexternal_ids        : {}\nip                  : \"10.16.0.6\"\nlogical_port        : nginx-78d9578975-t8tm5.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n</code></pre> <p>\u200b\u6b64\u65f6\u200b\u901a\u8fc7\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b <code>vip</code> \u200b\u53ef\u4ee5\u200b\u6210\u529f\u200b\u5f97\u5230\u200b\u670d\u52a1\u200b\u54cd\u5e94\u200b\u3002</p> <pre><code>root@server:~# kubectl exec -it -n vulpecula nginx-78d9578975-t8tm5 -- curl 1.1.1.1:8888\n&lt;!DOCTYPE html&gt;\n&lt;html&gt;\n&lt;head&gt;\n&lt;title&gt;Welcome to nginx!&lt;/title&gt;\n&lt;p&gt;&lt;em&gt;Thank you for using nginx.&lt;/em&gt;&lt;/p&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre>"},{"location":"advance/vpc-internal-lb/#_3","title":"\u66f4\u65b0\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u670d\u52a1\u200b\u7ec8\u7aef","text":"<p>\u200b\u901a\u8fc7\u200b\u5220\u9664\u200b <code>pod</code> \u200b\u66f4\u65b0\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u7684\u200b\u670d\u52a1\u200b\u7ec8\u7aef\u200b\u3002</p> <pre><code>kubectl delete po nginx-78d9578975-f4qn4\nkubectl get po -o wide -n vulpecula\nNAME                     READY   STATUS    RESTARTS   AGE     IP          NODE     NOMINATED NODE   READINESS GATES\nnginx-78d9578975-lxmvh   1/1     Running   0          31s     10.16.0.8   worker   &lt;none&gt;           &lt;none&gt;\nnginx-78d9578975-t8tm5   1/1     Running   3          4d16h   10.16.0.6   worker   &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>\u200b\u901a\u8fc7\u200b\u547d\u4ee4\u200b\u53ef\u4ee5\u200b\u67e5\u8be2\u200b\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>Load_Balancer_Health_Check</code> \u200b\u548c\u200b <code>Service_Monitor</code> \u200b\u5df2\u7ecf\u200b\u53d1\u751f\u200b\u4e86\u200b\u54cd\u5e94\u200b\u7684\u200b\u53d8\u5316\u200b\u3002</p> <pre><code>root@server:~# kubectl ko nbctl list Load_Balancer\n_uuid               : 3cbb6d43-44aa-4028-962f-30d2dba9f0b8\nexternal_ids        : {}\nhealth_check        : [5bee3f12-6b54-411c-9cc8-c9def8f67356]\nip_port_mappings    : {\"10.16.0.4\"=\"nginx-78d9578975-f4qn4.default:10.16.0.2\", \"10.16.0.6\"=\"nginx-78d9578975-t8tm5.default:10.16.0.2\", \"10.16.0.8\"=\"nginx-78d9578975-lxmvh.default:10.16.0.2\"}\nname                : cluster-tcp-session-loadbalancer\noptions             : {affinity_timeout=\"10800\"}\nprotocol            : tcp\nselection_fields    : [ip_src]\nvips                : {\"1.1.1.1:8888\"=\"10.16.0.6:80,10.16.0.8:80\"}\n\nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\n_uuid               : 5bee3f12-6b54-411c-9cc8-c9def8f67356\nexternal_ids        : {switch_lb_subnet=vulpecula-subnet}\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nvip                 : \"1.1.1.1:8888\"\n\nroot@server:~# kubectl ko sbctl list Service_Monitor\n_uuid               : 84dd24c5-e1b4-4e97-9daa-13687ed59785\nexternal_ids        : {}\nip                  : \"10.16.0.6\"\nlogical_port        : nginx-78d9578975-t8tm5.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n\n_uuid               : 5917b7b7-a999-49f2-a42d-da81f1eeb28f\nexternal_ids        : {}\nip                  : \"10.16.0.8\"\nlogical_port        : nginx-78d9578975-lxmvh.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n</code></pre> <p>\u200b\u5220\u9664\u200b <code>SwitchLBRule</code>\uff0c\u200b\u5e76\u200b\u786e\u8ba4\u200b\u8d44\u6e90\u200b\u72b6\u6001\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b <code>Load_Balancer_Health_Check</code> \u200b\u548c\u200b <code>Service_Monitor</code> \u200b\u90fd\u200b\u5df2\u7ecf\u200b\u88ab\u200b\u5220\u9664\u200b\uff0c\u200b\u5e76\u4e14\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>vip</code> \u200b\u4e5f\u200b\u88ab\u200b\u5220\u9664\u200b\u3002</p> <pre><code>root@server:~# kubectl delete -f slr.yaml \nswitchlbrule.kubeovn.io \"vulpecula-nginx\" deleted\nroot@server:~# kubectl get vip\nNo resources found\nroot@server:~# kubectl ko sbctl list Service_Monitor\nroot@server:~# \nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\nroot@server:~# \n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/vpc-peering/","title":"VPC \u200b\u4e92\u8054","text":"<p>VPC \u200b\u4e92\u8054\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u79cd\u200b\u5c06\u200b\u4e24\u4e2a\u200b VPC \u200b\u7f51\u7edc\u200b\u901a\u8fc7\u200b\u903b\u8f91\u200b\u8def\u7531\u200b\u6253\u901a\u200b\u7684\u200b\u673a\u5236\u200b\uff0c\u200b\u4ece\u800c\u200b\u4f7f\u200b\u4e24\u4e2a\u200b VPC \u200b\u5185\u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u53ef\u4ee5\u200b\u50cf\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u79c1\u6709\u200b\u7f51\u7edc\u200b\u4e00\u6837\u200b\uff0c \u200b\u901a\u8fc7\u200b\u79c1\u6709\u200b\u5730\u5740\u200b\u76f8\u4e92\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u65e0\u9700\u200b\u901a\u8fc7\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u8fdb\u884c\u200b NAT \u200b\u8f6c\u53d1\u200b\u3002</p>"},{"location":"advance/vpc-peering/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ol> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ea\u200b\u9002\u7528\u200b\u4e8e\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC\u3002</li> <li>\u200b\u4e3a\u4e86\u200b\u907f\u514d\u200b\u8def\u7531\u200b\u91cd\u53e0\u200b\u4e24\u4e2a\u200b VPC \u200b\u5185\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u80fd\u200b\u91cd\u53e0\u200b\u3002</li> <li>\u200b\u76ee\u524d\u200b\u53ea\u200b\u652f\u6301\u200b\u4e24\u4e2a\u200b VPC \u200b\u7684\u200b\u4e92\u8054\u200b\uff0c\u200b\u66f4\u200b\u591a\u7ec4\u200b VPC \u200b\u4e4b\u95f4\u200b\u7684\u200b\u4e92\u8054\u200b\u6682\u200b\u4e0d\u200b\u652f\u6301\u200b\u3002</li> </ol>"},{"location":"advance/vpc-peering/#_2","title":"\u4f7f\u7528\u200b\u65b9\u5f0f","text":"<p>\u200b\u9996\u5148\u200b\u521b\u5efa\u200b\u4e24\u4e2a\u200b\u4e0d\u200b\u4e92\u8054\u200b\u7684\u200b VPC\uff0c\u200b\u6bcf\u4e2a\u200b VPC \u200b\u4e0b\u200b\u5404\u6709\u200b\u4e00\u4e2a\u200b Subnet\uff0cSubnet \u200b\u7684\u200b CIDR \u200b\u4e92\u4e0d\u200b\u91cd\u53e0\u200b\u3002</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-1\nspec: {}\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net1\nspec:\n  vpc: vpc-1\n  cidrBlock: 10.0.0.0/16\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-2\nspec: {}\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: vpc-2\n  cidrBlock: 172.31.0.0/16\n</code></pre> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b VPC \u200b\u5185\u200b\u5206\u522b\u200b\u589e\u52a0\u200b <code>vpcPeerings</code> \u200b\u548c\u200b\u5bf9\u5e94\u200b\u7684\u200b\u9759\u6001\u200b\u8def\u7531\u200b\uff1a</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-1\nspec: \n  vpcPeerings:\n    - remoteVpc: vpc-2\n      localConnectIP: 169.254.0.1/30\n  staticRoutes:\n    - cidr: 172.31.0.0/16\n      nextHopIP: 169.254.0.2\n      policy: policyDst\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-2\nspec:\n  vpcPeerings:\n    - remoteVpc: vpc-1\n      localConnectIP: 169.254.0.2/30\n  staticRoutes:\n    - cidr: 10.0.0.0/16\n      nextHopIP: 169.254.0.1\n      policy: policyDst\n</code></pre> <ul> <li><code>remoteVpc</code>: \u200b\u4e92\u8054\u200b\u7684\u200b\u53e6\u200b\u4e00\u4e2a\u200b VPC \u200b\u7684\u200b\u540d\u5b57\u200b\u3002</li> <li><code>localConnectIP</code>: \u200b\u4f5c\u4e3a\u200b\u4e92\u8054\u200b\u7aef\u70b9\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u548c\u200b CIDR\uff0c\u200b\u6ce8\u610f\u200b\u4e24\u7aef\u200b IP \u200b\u5e94\u200b\u5c5e\u4e8e\u200b\u540c\u4e00\u200b CIDR\uff0c\u200b\u4e14\u200b\u4e0d\u80fd\u200b\u548c\u200b\u5df2\u6709\u200b\u5b50\u7f51\u200b\u51b2\u7a81\u200b\u3002</li> <li><code>cidr</code>\uff1a\u200b\u53e6\u4e00\u7aef\u200b Subnet \u200b\u7684\u200b CIDR\u3002</li> <li><code>nextHopIP</code>\uff1a\u200b\u4e92\u8054\u200b VPC \u200b\u53e6\u4e00\u7aef\u200b\u7684\u200b <code>localConnectIP</code>\u3002</li> </ul> <p>\u200b\u5206\u522b\u200b\u5728\u200b\u4e24\u4e2a\u200b Subnet \u200b\u4e0b\u200b\u521b\u5efa\u200b Pod</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net1\n  name: vpc-1-pod\nspec:\n  containers:\n    - name: vpc-1-pod\n      image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net2\n  name: vpc-2-pod\nspec:\n  containers:\n    - name: vpc-2-pod\n      image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u6d4b\u8bd5\u200b\u7f51\u7edc\u200b\u8fde\u901a\u6027\u200b</p> <pre><code># kubectl exec -it vpc-1-pod -- ping $(kubectl get pod vpc-2-pod -o jsonpath='{.status.podIP}')\nPING 172.31.0.2 (172.31.0.2): 56 data bytes\n64 bytes from 172.31.0.2: seq=0 ttl=62 time=0.655 ms\n64 bytes from 172.31.0.2: seq=1 ttl=62 time=0.086 ms\n64 bytes from 172.31.0.2: seq=2 ttl=62 time=0.098 ms\n^C\n--- 172.31.0.2 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.086/0.279/0.655 ms\n# kubectl exec -it vpc-2-pod -- ping $(kubectl get pod vpc-1-pod -o jsonpath='{.status.podIP}')\nPING 10.0.0.2 (10.0.0.2): 56 data bytes\n64 bytes from 10.0.0.2: seq=0 ttl=62 time=0.594 ms\n64 bytes from 10.0.0.2: seq=1 ttl=62 time=0.093 ms\n64 bytes from 10.0.0.2: seq=2 ttl=62 time=0.088 ms\n^C\n--- 10.0.0.2 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.088/0.258/0.594 ms\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/windows/","title":"Windows \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u5305\u542b\u200b Windows \u200b\u7cfb\u7edf\u200b\u8282\u70b9\u200b\u7684\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5c06\u200b Windows \u200b\u5bb9\u5668\u200b\u7684\u200b\u7f51\u7edc\u200b\u7edf\u4e00\u200b\u63a5\u5165\u200b\u8fdb\u884c\u200b\u7ba1\u7406\u200b\u3002</p>"},{"location":"advance/windows/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ul> <li>\u200b\u53c2\u8003\u200b Adding Windows nodes \u200b\u589e\u52a0\u200b Windows \u200b\u8282\u70b9\u200b\u3002</li> <li>Windows \u200b\u8282\u70b9\u200b\u5fc5\u987b\u200b\u5b89\u88c5\u200b KB4489899 \u200b\u8865\u4e01\u200b\u4ee5\u200b\u4f7f\u200b Overlay/VXLAN \u200b\u7f51\u7edc\u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\uff0c\u200b\u5efa\u8bae\u200b\u66f4\u65b0\u200b\u7cfb\u7edf\u200b\u81f3\u200b\u6700\u65b0\u200b\u7248\u672c\u200b\u3002</li> <li>Windows \u200b\u8282\u70b9\u200b\u5fc5\u987b\u200b\u5b89\u88c5\u200b Hyper-V \u200b\u53ca\u200b\u7ba1\u7406\u5de5\u5177\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b Windows \u200b\u9650\u5236\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u53ea\u80fd\u200b\u4f7f\u7528\u200b Vxlan \u200b\u6a21\u5f0f\u200b\u3002</li> <li>\u200b\u6682\u200b\u4e0d\u200b\u652f\u6301\u200b SSL\uff0cIPv6\uff0c\u200b\u53cc\u6808\u200b\uff0cQoS \u200b\u529f\u80fd\u200b\u3002</li> <li>\u200b\u6682\u200b\u4e0d\u200b\u652f\u6301\u200b\u52a8\u6001\u200b\u5b50\u7f51\u200b\uff0c\u200b\u52a8\u6001\u200b\u96a7\u9053\u200b\u63a5\u53e3\u200b\u529f\u80fd\u200b\uff0c\u200b\u9700\u5728\u200b\u5b89\u88c5\u200b Windows \u200b\u8282\u70b9\u200b\u524d\u200b\u5b8c\u6210\u200b\u5b50\u7f51\u200b\u521b\u5efa\u200b\uff0c\u200b\u5e76\u200b\u56fa\u5b9a\u200b\u7f51\u7edc\u63a5\u53e3\u200b\u3002</li> <li>\u200b\u4e0d\u200b\u652f\u6301\u200b\u591a\u4e2a\u200b <code>ProviderNetwork</code>\uff0c\u200b\u4e14\u200b\u65e0\u6cd5\u200b\u52a8\u6001\u200b\u8c03\u6574\u200b\u6865\u63a5\u200b\u63a5\u53e3\u200b\u914d\u7f6e\u200b\u3002</li> </ul>"},{"location":"advance/windows/#ovs","title":"\u5b89\u88c5\u200b OVS","text":"<p>\u200b\u7531\u4e8e\u200b\u4e0a\u6e38\u200b OVN \u200b\u548c\u200b OVS \u200b\u5bf9\u200b Windows \u200b\u5bb9\u5668\u200b\u652f\u6301\u200b\u5b58\u5728\u200b\u4e00\u4e9b\u200b\u95ee\u9898\u200b\uff0c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u63d0\u4f9b\u200b\u7684\u200b\u7ecf\u8fc7\u200b\u4fee\u6539\u200b\u7684\u200b\u5b89\u88c5\u5305\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\u6253\u5f00\u200b Windows \u200b\u8282\u70b9\u200b\u7684\u200b <code>TESTSIGNING</code> \u200b\u542f\u52a8\u9879\u200b\uff0c\u200b\u6267\u884c\u200b\u6210\u529f\u200b\u540e\u200b\u9700\u8981\u200b\u91cd\u542f\u200b\u7cfb\u7edf\u200b\u751f\u6548\u200b\uff1a</p> <pre><code>bcdedit /set LOADOPTIONS DISABLE_INTEGRITY_CHECKS\nbcdedit /set TESTSIGNING ON\nbcdedit /set nointegritychecks ON\n</code></pre> <p>\u200b\u5728\u200b Windows \u200b\u8282\u70b9\u200b\u4e0b\u8f7d\u200b Windows \u200b\u5b89\u88c5\u5305\u200b\u5e76\u200b\u89e3\u538b\u200b\u5b89\u88c5\u200b\u3002</p> <p>\u200b\u5b89\u88c5\u200b\u5b8c\u6210\u200b\u540e\u200b\u786e\u8ba4\u200b\u670d\u52a1\u200b\u6b63\u5e38\u200b\u8fd0\u884c\u200b\uff1a</p> <pre><code>PS &gt; Get-Service | findstr ovs\nRunning  ovsdb-server  Open vSwitch DB Service\nRunning  ovs-vswitchd  Open vSwitch Service\n</code></pre>"},{"location":"advance/windows/#kube-ovn","title":"\u5b89\u88c5\u200b Kube-OVN","text":"<p>\u200b\u5728\u200b Windows \u200b\u8282\u70b9\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b install.ps1\u3002</p> <p>\u200b\u8865\u5145\u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\u5e76\u200b\u6267\u884c\u200b\uff1a</p> <pre><code>.\\install.ps1 -KubeConfig C:\\k\\admin.conf -ApiServer https://192.168.140.180:6443 -ServiceCIDR 10.96.0.0/12\n</code></pre> <p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b, Kube-OVN \u200b\u4f7f\u7528\u200b\u8282\u70b9\u200b IP \u200b\u6240\u5728\u200b\u7684\u200b\u7f51\u5361\u200b\u4f5c\u4e3a\u200b\u96a7\u9053\u200b\u63a5\u53e3\u200b\u3002 \u200b\u5982\u679c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u5176\u5b83\u200b\u7f51\u5361\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u524d\u200b\u7ed9\u200b\u8282\u70b9\u200b\u6dfb\u52a0\u200b\u6307\u5b9a\u200b\u7684\u200b Annotation\uff0c\u200b\u5982\u200b <code>ovn.kubernetes.io/tunnel_interface=Ethernet1</code>\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-bgp/","title":"BGP \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u5c06\u200b Pod \u200b\u6216\u200b Subnet \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u901a\u8fc7\u200b BGP \u200b\u534f\u8bae\u200b\u5411\u200b\u5916\u90e8\u200b\u8fdb\u884c\u200b\u8def\u7531\u200b\u5e7f\u64ad\u200b\uff0c\u200b\u4ece\u800c\u200b\u4f7f\u5f97\u200b Pod IP \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b\u3002 \u200b\u5982\u679c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u8be5\u200b\u529f\u80fd\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u7279\u5b9a\u200b\u8282\u70b9\u200b\u5b89\u88c5\u200b <code>kube-ovn-speaker</code> \u200b\u5e76\u200b\u5bf9\u200b\u9700\u8981\u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b\u7684\u200b Pod \u200b\u6216\u200b Subnet \u200b\u589e\u52a0\u200b\u5bf9\u5e94\u200b\u7684\u200b annotation\u3002</p>"},{"location":"advance/with-bgp/#kube-ovn-speaker","title":"\u5b89\u88c5\u200b kube-ovn-speaker","text":"<p><code>kube-ovn-speaker</code> \u200b\u5185\u200b\u4f7f\u7528\u200b GoBGP \u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u8def\u7531\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u8bbf\u95ee\u200b\u66b4\u9732\u200b\u5730\u5740\u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u8def\u7531\u200b\u6307\u5411\u200b\u81ea\u8eab\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u90e8\u7f72\u200b <code>kube-ovn-speaker</code> \u200b\u7684\u200b\u8282\u70b9\u200b\u9700\u8981\u200b\u627f\u62c5\u200b\u56de\u7a0b\u200b\u6d41\u91cf\u200b\uff0c\u200b\u56e0\u6b64\u200b\u9700\u8981\u200b\u9009\u62e9\u200b\u7279\u5b9a\u200b\u8282\u70b9\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>kubectl label nodes speaker-node-1 ovn.kubernetes.io/bgp=true\nkubectl label nodes speaker-node-2 ovn.kubernetes.io/bgp=true\n</code></pre> <p>\u200b\u5f53\u200b\u5b58\u5728\u200b\u591a\u4e2a\u200b kube-ovn-speaker \u200b\u5b9e\u4f8b\u200b\u65f6\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u5b9e\u4f8b\u200b\u90fd\u200b\u4f1a\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u8def\u7531\u200b\uff0c\u200b\u4e0a\u6e38\u200b\u8def\u7531\u5668\u200b\u9700\u8981\u200b\u652f\u6301\u200b\u591a\u8def\u5f84\u200b ECMP\u3002</p> <p>\u200b\u4e0b\u8f7d\u200b\u5bf9\u5e94\u200b yaml:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/yamls/speaker.yaml\n</code></pre> <p>\u200b\u4fee\u6539\u200b yaml \u200b\u5185\u200b\u76f8\u5e94\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>--neighbor-address=10.32.32.1\n--neighbor-as=65030\n--cluster-as=65000\n</code></pre> <ul> <li><code>neighbor-address</code>: BGP Peer \u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u901a\u5e38\u200b\u4e3a\u200b\u8def\u7531\u5668\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\u3002</li> <li><code>neighbor-as</code>: BGP Peer \u200b\u7684\u200b AS \u200b\u53f7\u200b\u3002</li> <li><code>cluster-as</code>: \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b AS \u200b\u53f7\u200b\u3002</li> </ul> <p>\u200b\u90e8\u7f72\u200b yaml:</p> <pre><code>kubectl apply -f speaker.yaml\n</code></pre>"},{"location":"advance/with-bgp/#podsubnet","title":"\u53d1\u5e03\u200b Pod/Subnet \u200b\u8def\u7531","text":"<p>\u200b\u5982\u9700\u200b\u4f7f\u7528\u200b BGP \u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u8def\u7531\u200b\uff0c\u200b\u9996\u5148\u200b\u9700\u8981\u200b\u5c06\u200b\u5bf9\u5e94\u200b Subnet \u200b\u7684\u200b <code>natOutgoing</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code>\uff0c\u200b\u4f7f\u5f97\u200b Pod IP \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u589e\u52a0\u200b annotation \u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\uff1a</p> <pre><code>kubectl annotate pod sample ovn.kubernetes.io/bgp=true\nkubectl annotate subnet ovn-default ovn.kubernetes.io/bgp=true\n</code></pre> <p>\u200b\u5220\u9664\u200b annotation \u200b\u53d6\u6d88\u200b\u53d1\u5e03\u200b\uff1a</p> <pre><code>kubectl annotate pod perf-ovn-xzvd4 ovn.kubernetes.io/bgp-\nkubectl annotate subnet ovn-default ovn.kubernetes.io/bgp-\n</code></pre>"},{"location":"advance/with-bgp/#bgp_1","title":"BGP \u200b\u9ad8\u7ea7\u200b\u9009\u9879","text":"<p><code>kube-ovn-speaker</code> \u200b\u652f\u6301\u200b\u66f4\u200b\u591a\u200b BGP \u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u9ad8\u7ea7\u200b\u914d\u7f6e\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u200b\u6839\u636e\u200b\u81ea\u5df1\u200b\u7f51\u7edc\u200b\u73af\u5883\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <ul> <li><code>announce-cluster-ip</code>: \u200b\u662f\u5426\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b Service \u200b\u8def\u7531\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>false</code>\u3002</li> <li><code>auth-password</code>: BGP peer \u200b\u7684\u200b\u8bbf\u95ee\u200b\u5bc6\u7801\u200b\u3002</li> <li><code>holdtime</code>: BGP \u200b\u90bb\u5c45\u200b\u95f4\u200b\u7684\u200b\u5fc3\u8df3\u200b\u63a2\u6d4b\u200b\u65f6\u95f4\u200b\uff0c\u200b\u8d85\u8fc7\u200b\u6539\u200b\u65f6\u95f4\u200b\u6ca1\u6709\u200b\u6d88\u606f\u200b\u7684\u200b\u90bb\u5c45\u200b\u5c06\u4f1a\u200b\u88ab\u200b\u79fb\u9664\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 90 \u200b\u79d2\u200b\u3002</li> <li><code>graceful-restart</code>: \u200b\u662f\u5426\u200b\u542f\u7528\u200b BGP Graceful Restart\u3002</li> <li><code>graceful-restart-time</code>: BGP Graceful restart time \u200b\u53ef\u200b\u53c2\u8003\u200b RFC4724 3\u3002</li> <li><code>graceful-restart-deferral-time</code>: BGP Graceful restart deferral time \u200b\u53ef\u200b\u53c2\u8003\u200b RFC4724 4.1\u3002</li> <li><code>passivemode</code>: Speaker \u200b\u8fd0\u884c\u200b\u5728\u200b passive \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u4e0d\u200b\u4e3b\u52a8\u200b\u8fde\u63a5\u200b peer\u3002</li> <li><code>ebgp-multihop</code>: ebgp ttl \u200b\u9ed8\u8ba4\u503c\u200b\u4e3a\u200b 1\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-cilium/","title":"Cilium \u200b\u96c6\u6210","text":"<p>Cilium \u200b\u662f\u200b\u4e00\u6b3e\u200b\u57fa\u4e8e\u200b eBPF \u200b\u7684\u200b\u7f51\u7edc\u200b\u548c\u200b\u5b89\u5168\u200b\u7ec4\u4ef6\u200b\uff0cKube-OVN \u200b\u5229\u7528\u200b\u5176\u4e2d\u200b\u7684\u200b CNI Chaining \u200b\u6a21\u5f0f\u200b\u6765\u200b\u5bf9\u200b\u5df2\u6709\u200b\u529f\u80fd\u200b\u8fdb\u884c\u200b\u589e\u5f3a\u200b\u3002 \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u540c\u65f6\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u4e30\u5bcc\u200b\u7684\u200b\u7f51\u7edc\u200b\u62bd\u8c61\u200b\u80fd\u529b\u200b\u548c\u200b eBPF \u200b\u5e26\u6765\u200b\u7684\u200b\u76d1\u63a7\u200b\u548c\u200b\u5b89\u5168\u200b\u80fd\u529b\u200b\u3002</p> <p>\u200b\u901a\u8fc7\u200b\u96c6\u6210\u200b Cilium\uff0cKube-OVN \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u83b7\u5f97\u200b\u5982\u4e0b\u200b\u589e\u76ca\u200b\uff1a</p> <ul> <li>\u200b\u66f4\u200b\u4e30\u5bcc\u200b\u9ad8\u6548\u200b\u7684\u200b\u5b89\u5168\u7b56\u7565\u200b\u3002</li> <li>\u200b\u57fa\u4e8e\u200b Hubble \u200b\u7684\u200b\u76d1\u63a7\u200b\u89c6\u56fe\u200b\u3002</li> </ul> <p></p>"},{"location":"advance/with-cilium/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ol> <li>Linux \u200b\u5185\u6838\u200b\u7248\u672c\u200b\u9ad8\u4e8e\u200b 4.19 \u200b\u6216\u200b\u5176\u4ed6\u200b\u517c\u5bb9\u200b\u5185\u6838\u200b\u4ee5\u200b\u83b7\u5f97\u200b\u5b8c\u6574\u200b eBPF \u200b\u80fd\u529b\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u63d0\u524d\u200b\u90e8\u7f72\u200b Helm \u200b\u4e3a\u200b\u5b89\u88c5\u200b Cilium \u200b\u505a\u200b\u51c6\u5907\u200b\uff0c\u200b\u90e8\u7f72\u200b Helm \u200b\u8bf7\u200b\u53c2\u8003\u200b Installing Helm\u3002</li> </ol>"},{"location":"advance/with-cilium/#kube-ovn","title":"\u914d\u7f6e\u200b Kube-OVN","text":"<p>\u200b\u4e3a\u4e86\u200b\u5145\u5206\u200b\u4f7f\u7528\u200b Cilium \u200b\u7684\u200b\u5b89\u5168\u200b\u80fd\u529b\u200b\uff0c\u200b\u9700\u8981\u200b\u5173\u95ed\u200b Kube-OVN \u200b\u5185\u200b\u7684\u200b <code>networkpolicy</code> \u200b\u529f\u80fd\u200b\uff0c\u200b\u5e76\u200b\u8c03\u6574\u200b CNI \u200b\u914d\u7f6e\u200b\u4f18\u5148\u7ea7\u200b\u3002</p> <p>\u200b\u5728\u200b <code>install.sh</code> \u200b\u811a\u672c\u200b\u91cc\u200b\u4fee\u6539\u200b\u4e0b\u5217\u200b\u53d8\u91cf\u200b\uff1a</p> <pre><code>ENABLE_NP=false\nCNI_CONFIG_PRIORITY=10\n</code></pre> <p>\u200b\u82e5\u200b\u5df2\u200b\u90e8\u7f72\u200b\u5b8c\u6210\u200b\uff0c\u200b\u53ef\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> \u200b\u7684\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b <code>networkpolicy</code>\uff1a</p> <pre><code>args:\n- --enable-np=false\n</code></pre> <p>\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> \u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u8c03\u6574\u200b CNI \u200b\u914d\u7f6e\u200b\u4f18\u5148\u7ea7\u200b\uff1a</p> <pre><code>args:\n- --cni-conf-name=10-kube-ovn.conflist\n</code></pre> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u8c03\u6574\u200b Kube-OVN \u200b\u914d\u7f6e\u6587\u4ef6\u200b\u540d\u79f0\u200b\uff0c\u200b\u4ee5\u4fbf\u200b\u4f18\u5148\u200b\u4f7f\u7528\u200b Cilium \u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff1a</p> <pre><code>mv /etc/cni/net.d/01-kube-ovn.conflist /etc/cni/net.d/10-kube-ovn.conflist\n</code></pre>"},{"location":"advance/with-cilium/#cilium_1","title":"\u90e8\u7f72\u200b Cilium","text":"<p>\u200b\u521b\u5efa\u200b <code>chaining.yaml</code> \u200b\u914d\u7f6e\u6587\u4ef6\u200b\uff0c\u200b\u4f7f\u7528\u200b Cilium \u200b\u7684\u200b generic-veth \u200b\u6a21\u5f0f\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: cni-configuration\n  namespace: kube-system\ndata:\n  cni-config: |-\n    {\n      \"name\": \"generic-veth\",\n      \"cniVersion\": \"0.3.1\",\n      \"plugins\": [\n        {\n          \"type\": \"kube-ovn\",\n          \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n          \"ipam\": {\n              \"type\": \"kube-ovn\",\n              \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\"\n          }\n        },\n        {\n          \"type\": \"portmap\",\n          \"snat\": true,\n          \"capabilities\": {\"portMappings\": true}\n        },\n        {\n          \"type\": \"cilium-cni\"\n        }\n      ]\n    }\n</code></pre> <p>\u200b\u5b89\u88c5\u200b\u914d\u7f6e\u6587\u4ef6\u200b\uff1a</p> <pre><code>kubectl apply -f chaining.yaml\n</code></pre> <p>\u200b\u4f7f\u7528\u200b Helm \u200b\u90e8\u7f72\u200b Cilium\uff1a</p> <pre><code>helm repo add cilium https://helm.cilium.io/\nhelm install cilium cilium/cilium --version 1.11.6 \\\n    --namespace kube-system \\\n    --set cni.chainingMode=generic-veth \\\n    --set cni.customConf=true \\\n    --set cni.configMap=cni-configuration \\\n    --set tunnel=disabled \\\n    --set enableIPv4Masquerade=false \\\n    --set enableIdentityMark=false \n</code></pre> <p>\u200b\u786e\u8ba4\u200b Cilium \u200b\u5b89\u88c5\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># cilium  status\n    /\u00af\u00af\\\n /\u00af\u00af\\__/\u00af\u00af\\    Cilium:         OK\n \\__/\u00af\u00af\\__/    Operator:       OK\n /\u00af\u00af\\__/\u00af\u00af\\    Hubble:         disabled\n \\__/\u00af\u00af\\__/    ClusterMesh:    disabled\n    \\__/\n\nDaemonSet         cilium             Desired: 2, Ready: 2/2, Available: 2/2\nDeployment        cilium-operator    Desired: 2, Ready: 2/2, Available: 2/2\nContainers:       cilium             Running: 2\n                  cilium-operator    Running: 2\nCluster Pods:     8/11 managed by Cilium\nImage versions    cilium             quay.io/cilium/cilium:v1.10.5@sha256:0612218e28288db360c63677c09fafa2d17edda4f13867bcabf87056046b33bb: 2\n                  cilium-operator    quay.io/cilium/operator-generic:v1.10.5@sha256:2d2f730f219d489ff0702923bf24c0002cd93eb4b47ba344375566202f56d972: 2\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-openstack/","title":"OpenStack \u200b\u96c6\u6210","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7528\u6237\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b OpenStack \u200b\u8fd0\u884c\u200b\u865a\u62df\u673a\u200b\uff0c\u200b\u4f7f\u7528\u200b Kubernetes \u200b\u8fd0\u884c\u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u9700\u8981\u200b\u5bb9\u5668\u200b\u548c\u200b\u865a\u673a\u200b\u4e4b\u95f4\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\u5e76\u200b\u5904\u4e8e\u200b\u7edf\u4e00\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u4e0b\u200b\u3002\u200b\u5982\u679c\u200b OpenStack Neutron \u200b\u4fa7\u200b\u540c\u6837\u200b\u4f7f\u7528\u200b OVN \u200b\u4f5c\u4e3a\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u200b\u63a7\u5236\u200b\uff0c\u200b\u90a3\u4e48\u200b Kube-OVN \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u548c\u200b\u5171\u4eab\u200b\u5e95\u5c42\u200b OVN \u200b\u4e24\u79cd\u200b\u65b9\u5f0f\u200b\u6253\u901a\u200b OpenStack \u200b\u548c\u200b Kubernetes \u200b\u7684\u200b\u7f51\u7edc\u200b\u3002</p>"},{"location":"advance/with-openstack/#_1","title":"\u96c6\u7fa4\u200b\u4e92\u8054","text":"<p>\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u548c\u200b\u4f7f\u7528\u200b OVN-IC \u200b\u8fdb\u884c\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u6253\u901a\u200b\u4e24\u4e2a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u65b9\u5f0f\u200b\u7c7b\u4f3c\u200b\uff0c\u200b\u53ea\u4e0d\u8fc7\u200b\u5c06\u200b\u96c6\u7fa4\u200b\u4e24\u7aef\u200b\u6362\u6210\u200b OpenStack \u200b\u548c\u200b Kubernetes\u3002</p>"},{"location":"advance/with-openstack/#_2","title":"\u524d\u63d0\u6761\u4ef6","text":"<ol> <li>\u200b\u81ea\u52a8\u200b\u4e92\u8054\u200b\u6a21\u5f0f\u200b\u4e0b\u200b OpenStack \u200b\u548c\u200b Kubernetes \u200b\u5185\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u80fd\u200b\u76f8\u4e92\u200b\u91cd\u53e0\u200b\u3002</li> <li>\u200b\u9700\u8981\u200b\u5b58\u5728\u200b\u4e00\u7ec4\u200b\u673a\u5668\u200b\u53ef\u4ee5\u200b\u88ab\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u901a\u8fc7\u200b\u7f51\u7edc\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u7528\u6765\u200b\u90e8\u7f72\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u7684\u200b\u63a7\u5236\u5668\u200b\u3002</li> <li>\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u9700\u8981\u200b\u6709\u200b\u4e00\u7ec4\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b IP \u200b\u8fdb\u884c\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8bbf\u200b\u7684\u200b\u673a\u5668\u200b\u4f5c\u4e3a\u200b\u4e4b\u540e\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u3002</li> <li>\u200b\u8be5\u200b\u65b9\u6848\u200b\u53ea\u200b\u6253\u901a\u200b Kubernetes \u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u548c\u200b OpenStack \u200b\u7684\u200b\u9009\u5b9a\u200b VPC\u3002</li> </ol>"},{"location":"advance/with-openstack/#ovn-ic","title":"\u90e8\u7f72\u200b OVN-IC \u200b\u6570\u636e\u5e93","text":"<p>\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u542f\u52a8\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\uff1a</p> <pre><code>docker run --name=ovn-ic-db -d --network=host -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre>"},{"location":"advance/with-openstack/#kubernetes","title":"Kubernetes \u200b\u4fa7\u200b\u64cd\u4f5c","text":"<p>\u200b\u5728\u200b <code>kube-system</code> Namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b <code>ovn-ic-config</code> ConfigMap\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre> <ul> <li><code>enable-ic</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u3002</li> <li><code>az-name</code>: \u200b\u533a\u5206\u200b\u4e0d\u540c\u200b\u96c6\u7fa4\u200b\u7684\u200b\u96c6\u7fa4\u200b\u540d\u79f0\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u4e92\u8054\u200b\u96c6\u7fa4\u200b\u9700\u200b\u4e0d\u540c\u200b\u3002</li> <li><code>ic-db-host</code>: \u200b\u90e8\u7f72\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</li> <li><code>ic-nb-port</code>: <code>OVN-IC</code> \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 6645\u3002</li> <li><code>ic-sb-port</code>: <code>OVN-IC</code> \u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 6646\u3002</li> <li><code>gw-nodes</code>: \u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u4e2d\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u5de5\u4f5c\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u200b\uff0c\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u3002</li> <li><code>auto-route</code>: \u200b\u662f\u5426\u200b\u81ea\u52a8\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u548c\u200b\u5b66\u4e60\u200b\u8def\u7531\u200b\u3002</li> </ul>"},{"location":"advance/with-openstack/#openstack_1","title":"OpenStack \u200b\u4fa7\u200b\u64cd\u4f5c","text":"<p>\u200b\u521b\u5efa\u200b\u548c\u200b Kubernetes \u200b\u4e92\u8054\u200b\u7684\u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\uff1a</p> <pre><code># openstack router create router0\n# openstack router list\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| ID                                   | Name    | Status | State | Project                          |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| d5b38655-249a-4192-8046-71aa4d2b4af1 | router0 | ACTIVE | UP    | 98a29ab7388347e7b5ff8bdd181ba4f9 |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n</code></pre> <p>\u200b\u5728\u200b OpenStack \u200b\u5185\u200b\u7684\u200b OVN \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u4e2d\u200b\u8bbe\u7f6e\u200b\u53ef\u7528\u200b\u533a\u200b\u540d\u5b57\u200b\uff0c\u200b\u8be5\u200b\u540d\u79f0\u200b\u9700\u200b\u548c\u200b\u5176\u4ed6\u200b\u4e92\u8054\u200b\u96c6\u7fa4\u200b\u4e0d\u540c\u200b\uff1a</p> <pre><code>ovn-nbctl set NB_Global . name=op-az\n</code></pre> <p>\u200b\u5728\u200b\u53ef\u200b\u8bbf\u95ee\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u8282\u70b9\u200b\u542f\u52a8\u200b <code>OVN-IC</code> \u200b\u63a7\u5236\u5668\u200b\uff1a</p> <pre><code>/usr/share/ovn/scripts/ovn-ctl --ovn-ic-nb-db=tcp:192.168.65.3:6645 \\\n  --ovn-ic-sb-db=tcp:192.168.65.3:6646 \\\n  --ovn-northd-nb-db=unix:/run/ovn/ovnnb_db.sock \\\n  --ovn-northd-sb-db=unix:/run/ovn/ovnsb_db.sock \\\n  start_ic\n</code></pre> <ul> <li><code>ovn-ic-nb-db</code>\uff0c<code>ovn-ic-sb-db</code>: OVN-IC \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u548c\u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b\u5730\u5740\u200b\u3002</li> <li><code>ovn-northd-nb-db</code>\uff0c <code>ovn-northd-sb-db</code>: \u200b\u5f53\u524d\u200b\u96c6\u7fa4\u200b OVN \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u548c\u200b\u5357\u5411\u200b\u6570\u636e\u200b\u5730\u5740\u200b\u3002</li> </ul> <p>\u200b\u914d\u7f6e\u200b\u4e92\u8054\u7f51\u200b\u5173\u8282\u70b9\u200b\uff1a</p> <pre><code>ovs-vsctl set open_vswitch . external_ids:ovn-is-interconn=true\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u9700\u8981\u200b\u5728\u200b OpenStack \u200b\u7684\u200b OVN \u200b\u5185\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\u521b\u5efa\u200b\u903b\u8f91\u200b\u62d3\u6251\u200b\u3002</p> <p>\u200b\u8fde\u63a5\u200b <code>ts</code> \u200b\u4e92\u8054\u200b\u4ea4\u6362\u673a\u200b\u548c\u200b <code>router0</code> \u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\uff0c\u200b\u5e76\u200b\u8bbe\u7f6e\u200b\u76f8\u5173\u200b\u89c4\u5219\u200b\uff1a</p> <pre><code>ovn-nbctl lrp-add router0 lrp-router0-ts 00:02:ef:11:39:4f 169.254.100.73/24\novn-nbctl lsp-add ts lsp-ts-router0 -- lsp-set-addresses lsp-ts-router0 router \\\n  -- lsp-set-type lsp-ts-router0 router \\\n  -- lsp-set-options lsp-ts-router0  router-port=lrp-router0-ts\novn-nbctl lrp-set-gateway-chassis lrp-router0-ts {gateway chassis} 1000\novn-nbctl set NB_Global . options:ic-route-adv=true options:ic-route-learn=true\n</code></pre> <p>\u200b\u9a8c\u8bc1\u200b\u5df2\u200b\u5b66\u4e60\u200b\u5230\u200b Kubernetes \u200b\u8def\u7531\u200b\u89c4\u5219\u200b\uff1a</p> <pre><code># ovn-nbctl lr-route-list router0\nIPv4 Routes\n                10.0.0.22            169.254.100.34 dst-ip (learned)\n             10.16.0.0/16            169.254.100.34 dst-ip (learned)\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u5728\u200b <code>router0</code> \u200b\u7f51\u7edc\u200b\u4e0b\u200b\u521b\u5efa\u200b\u865a\u673a\u200b\u9a8c\u8bc1\u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u548c\u200b Kubernetes \u200b\u4e0b\u200b Pod \u200b\u4e92\u901a\u200b\u3002</p>"},{"location":"advance/with-openstack/#ovn","title":"\u5171\u4eab\u200b\u5e95\u5c42\u200b OVN","text":"<p>\u200b\u5728\u200b\u8be5\u200b\u65b9\u6848\u200b\u4e0b\u200b\uff0cOpenStack \u200b\u548c\u200b Kubernetes \u200b\u5171\u4eab\u200b\u4f7f\u7528\u200b\u540c\u4e00\u4e2a\u200b OVN\uff0c\u200b\u56e0\u6b64\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u4e24\u8005\u200b\u7684\u200b VPC \u200b\u548c\u200b Subnet \u200b\u7b49\u200b\u6982\u5ff5\u200b\u62c9\u9f50\u200b\uff0c\u200b\u5b9e\u73b0\u200b\u66f4\u597d\u200b\u7684\u200b\u63a7\u5236\u200b\u548c\u200b\u4e92\u8054\u200b\u3002</p> <p>\u200b\u5728\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u6211\u4eec\u200b\u6b63\u5e38\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u90e8\u7f72\u200b OVN\uff0cOpenStack \u200b\u4fee\u6539\u200b Neutron \u200b\u914d\u7f6e\u200b\u5b9e\u73b0\u200b\u8fde\u63a5\u200b\u540c\u4e00\u4e2a\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u3002OpenStack \u200b\u9700\u200b\u4f7f\u7528\u200b networking-ovn \u200b\u4f5c\u4e3a\u200b Neutron \u200b\u540e\u200b\u7aef\u200b\u5b9e\u73b0\u200b\u3002</p>"},{"location":"advance/with-openstack/#neutron","title":"Neutron \u200b\u914d\u7f6e\u200b\u4fee\u6539","text":"<p>\u200b\u4fee\u6539\u200b Neutron \u200b\u914d\u7f6e\u6587\u4ef6\u200b <code>/etc/neutron/plugins/ml2/ml2_conf.ini</code>\uff1a</p> <pre><code>[ovn]\n...\novn_nb_connection = tcp:[192.168.137.176]:6641,tcp:[192.168.137.177]:6641,tcp:[192.168.137.178]:6641\novn_sb_connection = tcp:[192.168.137.176]:6642,tcp:[192.168.137.177]:6642,tcp:[192.168.137.178]:6642\novn_l3_scheduler = OVN_L3_SCHEDULER\n</code></pre> <ul> <li><code>ovn_nb_connection</code>\uff0c <code>ovn_sb_connection</code>: \u200b\u5730\u5740\u200b\u9700\u200b\u4fee\u6539\u200b\u4e3a\u200b Kube-OVN \u200b\u90e8\u7f72\u200b <code>ovn-central</code> \u200b\u8282\u70b9\u200b\u7684\u200b\u5730\u5740\u200b\u3002</li> </ul> <p>\u200b\u4fee\u6539\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u7684\u200b OVS \u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ovs-vsctl set open . external-ids:ovn-remote=tcp:[192.168.137.176]:6642,tcp:[192.168.137.177]:6642,tcp:[192.168.137.178]:6642\novs-vsctl set open . external-ids:ovn-encap-type=geneve\novs-vsctl set open . external-ids:ovn-encap-ip=192.168.137.200\n</code></pre> <ul> <li><code>external-ids:ovn-remote</code>: \u200b\u5730\u5740\u200b\u9700\u200b\u4fee\u6539\u200b\u4e3a\u200b Kube-OVN \u200b\u90e8\u7f72\u200b <code>ovn-central</code> \u200b\u8282\u70b9\u200b\u7684\u200b\u5730\u5740\u200b\u3002</li> <li><code>ovn-encap-ip</code>: \u200b\u4fee\u6539\u200b\u4e3a\u200b\u5f53\u524d\u200b\u8282\u70b9\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</li> </ul>"},{"location":"advance/with-openstack/#kubernetes-openstack","title":"\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u4f7f\u7528\u200b OpenStack \u200b\u5185\u200b\u8d44\u6e90","text":"<p>\u200b\u63a5\u4e0b\u6765\u200b\u4ecb\u7ecd\u200b\u5982\u4f55\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u67e5\u8be2\u200b OpenStack \u200b\u7684\u200b\u7f51\u7edc\u8d44\u6e90\u200b\u5e76\u200b\u5728\u200b OpenStack \u200b\u7684\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u521b\u5efa\u200b Pod\u3002</p> <p>\u200b\u67e5\u8be2\u200b OpenStack \u200b\u4e2d\u200b\u5df2\u6709\u200b\u7684\u200b\u7f51\u7edc\u8d44\u6e90\u200b\uff0c\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\u5df2\u7ecf\u200b\u9884\u5148\u200b\u521b\u5efa\u200b\u5b8c\u6210\u200b\uff1a</p> <pre><code># openstack router list\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| ID                                   | Name    | Status | State | Project                          |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| 22040ed5-0598-4f77-bffd-e7fd4db47e93 | router0 | ACTIVE | UP    | 62381a21d569404aa236a5dd8712449c |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n# openstack network list\n+--------------------------------------+----------+--------------------------------------+\n| ID                                   | Name     | Subnets                              |\n+--------------------------------------+----------+--------------------------------------+\n| cd59e36a-37db-4c27-b709-d35379a7920f | provider | 01d73d9f-fdaa-426c-9b60-aa34abbfacae |\n+--------------------------------------+----------+--------------------------------------+\n# openstack subnet list\n+--------------------------------------+-------------+--------------------------------------+----------------+\n| ID                                   | Name        | Network                              | Subnet         |\n+--------------------------------------+-------------+--------------------------------------+----------------+\n| 01d73d9f-fdaa-426c-9b60-aa34abbfacae | provider-v4 | cd59e36a-37db-4c27-b709-d35379a7920f | 192.168.1.0/24 |\n+--------------------------------------+-------------+--------------------------------------+----------------+\n# openstack server list\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n| ID                                   | Name              | Status | Networks              | Image  | Flavor |\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n| 8433d622-a8d6-41a7-8b31-49abfd64f639 | provider-instance | ACTIVE | provider=192.168.1.61 | ubuntu | m1     |\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n</code></pre> <p>\u200b\u5728\u200b Kubernetes \u200b\u4fa7\u200b\uff0c\u200b\u67e5\u8be2\u200b VPC \u200b\u8d44\u6e90\u200b\uff1a</p> <pre><code># kubectl get vpc\nNAME                                           STANDBY   SUBNETS\nneutron-22040ed5-0598-4f77-bffd-e7fd4db47e93   true      [\"neutron-cd59e36a-37db-4c27-b709-d35379a7920f\"]\novn-cluster                                    true      [\"join\",\"ovn-default\"]\n</code></pre> <p><code>neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93</code> \u200b\u4e3a\u200b\u4ece\u200b OpenStack \u200b\u540c\u6b65\u200b\u8fc7\u6765\u200b\u7684\u200b VPC \u200b\u8d44\u6e90\u200b\u3002</p> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u6309\u7167\u200b Kube-OVN \u200b\u539f\u751f\u200b\u7684\u200b VPC \u200b\u548c\u200b Subnet \u200b\u64cd\u4f5c\u200b\u521b\u5efa\u200b Pod \u200b\u5e76\u200b\u8fd0\u884c\u200b\u3002</p> <p>VPC, Subnet \u200b\u7ed1\u5b9a\u200b Namespace <code>net2</code>\uff0c\u200b\u5e76\u200b\u521b\u5efa\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Namespace\nmetadata:\n  name: net2\n---\napiVersion: kubeovn.io/v1\nkind: Vpc\nmetadata:\n  creationTimestamp: \"2021-06-20T13:34:11Z\"\n  generation: 2\n  labels:\n    ovn.kubernetes.io/vpc_external: \"true\"\n  name: neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93\n  resourceVersion: \"583728\"\n  uid: 18d4c654-f511-4def-a3a0-a6434d237c1e\nspec:\n  namespaces:\n  - net2\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93\n  namespaces:\n    - net2\n  cidrBlock: 12.0.1.0/24\n  natOutgoing: false\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: ubuntu\n  namespace: net2\nspec:\n  containers:\n    - image: docker.io/kubeovn/kube-ovn:v1.8.0\n      command:\n        - \"sleep\"\n        - \"604800\"\n      imagePullPolicy: IfNotPresent\n      name: ubuntu\n  restartPolicy: Always\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-ovn-ic/","title":"\u4f7f\u7528\u200b OVN-IC \u200b\u8fdb\u884c\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u901a\u8fc7\u200b OVN-IC \u200b\u5c06\u200b\u4e24\u4e2a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b Pod \u200b\u7f51\u7edc\u200b\u6253\u901a\u200b\uff0c\u200b\u6253\u901a\u200b\u540e\u200b\u7684\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b Pod \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Pod IP \u200b\u8fdb\u884c\u200b\u76f4\u63a5\u200b\u901a\u4fe1\u200b\u3002 Kube-OVN \u200b\u4f7f\u7528\u200b\u96a7\u9053\u200b\u5bf9\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u4e4b\u95f4\u200b\u53ea\u8981\u200b\u5b58\u5728\u200b\u4e00\u7ec4\u200b IP \u200b\u53ef\u8fbe\u200b\u7684\u200b\u673a\u5668\u200b\u5373\u53ef\u200b\u5b8c\u6210\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u4e92\u901a\u200b\u3002</p> <p>\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u7684\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u4e3a\u200b Overlay \u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\uff0cUnderlay \u200b\u7f51\u7edc\u200b\u5982\u679c\u200b\u60f3\u8981\u200b\u5b9e\u73b0\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u9700\u8981\u200b\u5e95\u5c42\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u505a\u200b\u7f51\u7edc\u200b\u6253\u901a\u200b\u3002</p> <p></p>"},{"location":"advance/with-ovn-ic/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ol> <li> <p>1.11.16 \u200b\u4e4b\u540e\u200b\u7248\u672c\u200b\u90e8\u7f72\u200b\u7684\u200b\u96c6\u7fa4\u200b\u9ed8\u8ba4\u200b\u5173\u95ed\u200b\u4e86\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u7684\u200b\u5f00\u5173\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u90e8\u7f72\u200b\u811a\u672c\u200b <code>install.sh</code> \u200b\u91cc\u200b\u4fee\u6539\u200b\u4e0b\u5217\u200b\u53d8\u91cf\u200b\uff1a</p> <pre><code>ENABLE_IC=true\n</code></pre> <p>\u200b\u6253\u5f00\u200b\u5f00\u5173\u200b\u540e\u200b\u90e8\u7f72\u200b\u96c6\u7fa4\u200b\uff0c\u200b\u4f1a\u200b\u51fa\u73b0\u200b\u7ec4\u4ef6\u200b deployment ovn-ic-controller\u3002 2. \u200b\u81ea\u52a8\u200b\u4e92\u8054\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u4e0d\u540c\u200b\u96c6\u7fa4\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u80fd\u200b\u76f8\u4e92\u200b\u91cd\u53e0\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u9700\u5728\u200b\u5b89\u88c5\u200b\u65f6\u200b\u914d\u7f6e\u200b\u4e3a\u200b\u4e0d\u200b\u91cd\u53e0\u200b\u7684\u200b\u7f51\u6bb5\u200b\u3002\u200b\u82e5\u200b\u5b58\u5728\u200b\u91cd\u53e0\u200b\u9700\u200b\u53c2\u8003\u200b\u540e\u7eed\u200b\u624b\u52a8\u200b\u4e92\u8054\u200b\u8fc7\u7a0b\u200b\uff0c\u200b\u53ea\u80fd\u200b\u5c06\u200b\u4e0d\u200b\u91cd\u53e0\u200b\u7f51\u6bb5\u200b\u6253\u901a\u200b\u3002 3. \u200b\u9700\u8981\u200b\u5b58\u5728\u200b\u4e00\u7ec4\u200b\u673a\u5668\u200b\u53ef\u4ee5\u200b\u88ab\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u7684\u200b <code>kube-ovn-controller</code> \u200b\u901a\u8fc7\u200b IP \u200b\u8bbf\u95ee\u200b\uff0c\u200b\u7528\u6765\u200b\u90e8\u7f72\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u7684\u200b\u63a7\u5236\u5668\u200b\u3002 4. \u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u9700\u8981\u200b\u6709\u200b\u4e00\u7ec4\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b IP \u200b\u8fdb\u884c\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8bbf\u200b\u7684\u200b\u673a\u5668\u200b\u4f5c\u4e3a\u200b\u4e4b\u540e\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u3002 5. \u200b\u8be5\u200b\u529f\u80fd\u200b\u53ea\u200b\u5bf9\u200b\u9ed8\u8ba4\u200b VPC \u200b\u751f\u6548\u200b\uff0c\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u4e92\u8054\u200b\u529f\u80fd\u200b\u3002</p> </li> </ol>"},{"location":"advance/with-ovn-ic/#ovn-ic_1","title":"\u90e8\u7f72\u200b\u5355\u200b\u8282\u70b9\u200b OVN-IC \u200b\u6570\u636e\u5e93","text":""},{"location":"advance/with-ovn-ic/#1","title":"\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 1","text":"<p>\u200b\u4f18\u5148\u200b\u63a8\u8350\u200b\u65b9\u6848\u200b 1\uff0cKube-OVN v1.11.16 \u200b\u4e4b\u540e\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u8be5\u200b\u65b9\u6cd5\u200b\u4e0d\u200b\u533a\u522b\u200b \"\u200b\u5355\u200b\u8282\u70b9\u200b\" \u200b\u6216\u8005\u200b \"\u200b\u591a\u200b\u8282\u70b9\u200b\u9ad8\u200b\u53ef\u7528\u200b\" \u200b\u90e8\u7f72\u200b\uff0c\u200b\u63a7\u5236\u5668\u200b\u4f1a\u4ee5\u200b Deployment \u200b\u7684\u200b\u5f62\u5f0f\u200b\u90e8\u7f72\u200b\u5728\u200b master \u200b\u8282\u70b9\u200b\u4e0a\u200b\uff0c\u200b\u96c6\u7fa4\u200b master \u200b\u8282\u70b9\u200b\u4e3a\u200b 1\uff0c\u200b\u5373\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\uff0cmaster \u200b\u8282\u70b9\u200b\u4e3a\u200b\u591a\u4e2a\u200b\uff0c\u200b\u5373\u200b\u591a\u200b\u8282\u70b9\u200b\u9ad8\u200b\u53ef\u7528\u200b\u90e8\u7f72\u200b\u3002</p> <p>\u200b\u5148\u200b\u83b7\u53d6\u200b\u811a\u672c\u200b <code>install-ovn-ic.sh</code>\uff0c\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install-ic-server.sh\n</code></pre> <p>\u200b\u6267\u884c\u547d\u4ee4\u200b\u5b89\u88c5\u200b\uff0c\u200b\u5176\u4e2d\u200b <code>TS_NUM</code> \u200b\u8868\u793a\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u7684\u200b ECMP Path \u200b\u6570\u91cf\u200b\uff1a</p> <pre><code>sed 's/VERSION=.*/VERSION=v1.13.0/' dist/images/install-ic-server.sh | TS_NUM=3 bash\n</code></pre> <p>\u200b\u6267\u884c\u200b\u6210\u529f\u200b\u8f93\u51fa\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>deployment.apps/ovn-ic-server created\nWaiting for deployment spec update to be observed...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 0 out of 3 new replicas have been updated...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 0 of 3 updated replicas are available...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"ovn-ic-server\" successfully rolled out\nOVN IC Server installed Successfully\n</code></pre> <p>\u200b\u901a\u8fc7\u200b <code>kubectl ko icsbctl show</code> \u200b\u547d\u4ee4\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b\u5f53\u524d\u200b\u4e92\u8054\u200b\u63a7\u5236\u5668\u200b\u7684\u200b\u72b6\u6001\u200b\uff0c\u200b\u547d\u4ee4\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kubectl ko icsbctl show\navailability-zone az0\n    gateway 059b5c54-c540-4d77-b009-02d65f181a02\n        hostname: kube-ovn-worker\n        type: geneve\n            ip: 172.18.0.3\n        port ts-az0\n            transit switch: ts\n            address: [\"00:00:00:B4:8E:BE 169.254.100.97/24\"]\n    gateway 74ee4b9a-ba48-4a07-861e-1a8e4b9f905f\n        hostname: kube-ovn-worker2\n        type: geneve\n            ip: 172.18.0.2\n        port ts1-az0\n            transit switch: ts1\n            address: [\"00:00:00:19:2E:F7 169.254.101.90/24\"]\n    gateway 7e2428b6-344c-4dd5-a0d5-972c1ccec581\n        hostname: kube-ovn-control-plane\n        type: geneve\n            ip: 172.18.0.4\n        port ts2-az0\n            transit switch: ts2\n            address: [\"00:00:00:EA:32:BA 169.254.102.103/24\"]\navailability-zone az1\n    gateway 034da7cb-3826-4318-81ce-6a877a9bf285\n        hostname: kube-ovn1-worker\n        type: geneve\n            ip: 172.18.0.6\n        port ts-az1\n            transit switch: ts\n            address: [\"00:00:00:25:3A:B9 169.254.100.51/24\"]\n    gateway 2531a683-283e-4fb8-a619-bdbcb33539b8\n        hostname: kube-ovn1-worker2\n        type: geneve\n            ip: 172.18.0.5\n        port ts1-az1\n            transit switch: ts1\n            address: [\"00:00:00:52:87:F4 169.254.101.118/24\"]\n    gateway b0efb0be-e5a7-4323-ad4b-317637a757c4\n        hostname: kube-ovn1-control-plane\n        type: geneve\n            ip: 172.18.0.8\n        port ts2-az1\n            transit switch: ts2\n            address: [\"00:00:00:F6:93:1A 169.254.102.17/24\"]\n</code></pre>"},{"location":"advance/with-ovn-ic/#2","title":"\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 2","text":"<p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b <code>kube-ovn-controller</code> \u200b\u53ef\u200b\u901a\u8fc7\u200b IP \u200b\u8bbf\u95ee\u200b\u7684\u200b\u673a\u5668\u200b\u4e0a\u200b\u90e8\u7f72\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\uff0c\u200b\u8be5\u200b\u8282\u70b9\u200b\u5c06\u200b\u4fdd\u5b58\u200b\u5404\u4e2a\u200b\u96c6\u7fa4\u200b\u540c\u6b65\u200b\u4e0a\u6765\u200b\u7684\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u3002</p> <p>\u200b\u90e8\u7f72\u200b <code>docker</code> \u200b\u7684\u200b\u73af\u5883\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u542f\u52a8\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\uff1a</p> <pre><code>docker run --name=ovn-ic-db -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --network=host --privileged  -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>\u200b\u5bf9\u4e8e\u200b\u90e8\u7f72\u200b <code>containerd</code> \u200b\u53d6\u4ee3\u200b <code>docker</code> \u200b\u7684\u200b\u73af\u5883\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>ctr -n k8s.io run -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre>"},{"location":"advance/with-ovn-ic/#_2","title":"\u81ea\u52a8\u200b\u8def\u7531\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5728\u200b\u81ea\u52a8\u200b\u8def\u7531\u200b\u8bbe\u7f6e\u200b\u4e0b\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u4f1a\u200b\u5c06\u200b\u81ea\u5df1\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b Subnet \u200b\u7684\u200b CIDR \u200b\u4fe1\u606f\u200b\u540c\u6b65\u200b\u7ed9\u200b <code>OVN-IC</code>\uff0c\u200b\u56e0\u6b64\u200b\u8981\u200b\u786e\u4fdd\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u7684\u200b Subnet CIDR \u200b\u4e0d\u200b\u5b58\u5728\u200b\u91cd\u53e0\u200b\u3002</p> <p>\u200b\u5728\u200b <code>kube-system</code> Namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b <code>ovn-ic-config</code> ConfigMap\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre> <ul> <li><code>enable-ic</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u3002</li> <li><code>az-name</code>: \u200b\u533a\u5206\u200b\u4e0d\u540c\u200b\u96c6\u7fa4\u200b\u7684\u200b\u96c6\u7fa4\u200b\u540d\u79f0\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u4e92\u8054\u200b\u96c6\u7fa4\u200b\u9700\u200b\u4e0d\u540c\u200b\u3002</li> <li><code>ic-db-host</code>: \u200b\u90e8\u7f72\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</li> <li><code>ic-nb-port</code>: <code>OVN-IC</code> \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 6645\u3002</li> <li><code>ic-sb-port</code>: <code>OVN-IC</code> \u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 6646\u3002</li> <li><code>gw-nodes</code>: \u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u4e2d\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u5de5\u4f5c\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u200b\uff0c\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u3002</li> <li><code>auto-route</code>: \u200b\u662f\u5426\u200b\u81ea\u52a8\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u548c\u200b\u5b66\u4e60\u200b\u8def\u7531\u200b\u3002</li> </ul> <p>\u200b\u6ce8\u610f\u200b\uff1a \u200b\u4e3a\u4e86\u200b\u4fdd\u8bc1\u200b\u64cd\u4f5c\u200b\u7684\u200b\u6b63\u786e\u6027\u200b\uff0c<code>ovn-ic-config</code> \u200b\u8fd9\u4e2a\u200b ConfigMap \u200b\u4e0d\u200b\u5141\u8bb8\u200b\u4fee\u6539\u200b\u3002\u200b\u5982\u200b\u6709\u200b\u53c2\u6570\u200b\u9700\u8981\u200b\u53d8\u66f4\u200b\uff0c\u200b\u8bf7\u200b\u5220\u9664\u200b\u8be5\u200b ConfigMap\uff0c\u200b\u4fee\u6539\u200b\u540e\u200b\u518d\u200b\u5e94\u7528\u200b\u6b64\u200b ConfigMap\u3002</p> <p>\u200b\u5728\u200b <code>ovn-ic</code> \u200b\u5bb9\u5668\u200b\u5185\u200b\u901a\u8fc7\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u67e5\u770b\u200b\u662f\u5426\u200b\u5df2\u200b\u5efa\u7acb\u200b\u4e92\u8054\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b <code>ts</code>\uff1a</p> <pre><code># ovn-ic-sbctl show\navailability-zone az1\n    gateway deee03e0-af16-4f45-91e9-b50c3960f809\n        hostname: az1-gw\n        type: geneve\n            ip: 192.168.42.145\n        port ts-az1\n            transit switch: ts\n            address: [\"00:00:00:50:AC:8C 169.254.100.45/24\"]\navailability-zone az2\n    gateway e94cc831-8143-40e3-a478-90352773327b\n        hostname: az2-gw\n        type: geneve\n            ip: 192.168.42.149\n        port ts-az2\n            transit switch: ts\n            address: [\"00:00:00:07:4A:59 169.254.100.63/24\"]\n</code></pre> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u89c2\u5bdf\u200b\u903b\u8f91\u200b\u8def\u7531\u200b\u662f\u5426\u200b\u6709\u200b\u5b66\u4e60\u200b\u5230\u200b\u7684\u200b\u5bf9\u200b\u7aef\u200b\u8def\u7531\u200b\uff1a</p> <pre><code># kubectl ko nbctl lr-route-list ovn-cluster\nIPv4 Routes\n                10.42.1.1            169.254.100.45 dst-ip (learned)\n                10.42.1.3                100.64.0.2 dst-ip\n                10.16.0.2                100.64.0.2 src-ip\n                10.16.0.3                100.64.0.2 src-ip\n                10.16.0.4                100.64.0.2 src-ip\n                10.16.0.6                100.64.0.2 src-ip\n             10.17.0.0/16            169.254.100.45 dst-ip (learned)\n            100.65.0.0/16            169.254.100.45 dst-ip (learned)\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u5c1d\u8bd5\u200b\u5728\u200b\u96c6\u7fa4\u200b 1 \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b Pod \u200b\u5185\u200b\u76f4\u63a5\u200b <code>ping</code> \u200b\u96c6\u7fa4\u200b 2 \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b Pod IP \u200b\u89c2\u5bdf\u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u8054\u901a\u200b\u3002</p> <p>\u200b\u5bf9\u4e8e\u200b\u67d0\u4e2a\u200b\u4e0d\u60f3\u200b\u5bf9\u5916\u200b\u81ea\u52a8\u200b\u53d1\u5e03\u200b\u8def\u7531\u200b\u7684\u200b\u5b50\u7f51\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b Subnet \u200b\u91cc\u200b\u7684\u200b <code>disableInterConnection</code> \u200b\u6765\u200b\u7981\u6b62\u200b\u8def\u7531\u200b\u5e7f\u64ad\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: no-advertise\nspec:\n  cidrBlock: 10.199.0.0/16\n  disableInterConnection: true\n</code></pre>"},{"location":"advance/with-ovn-ic/#_3","title":"\u624b\u52a8\u200b\u8def\u7531\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5bf9\u4e8e\u200b\u96c6\u7fa4\u200b\u95f4\u200b\u5b58\u5728\u200b\u91cd\u53e0\u200b CIDR \u200b\u53ea\u200b\u5e0c\u671b\u200b\u505a\u200b\u90e8\u5206\u200b\u5b50\u7f51\u200b\u6253\u901a\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u624b\u52a8\u200b\u53d1\u5e03\u200b\u5b50\u200b\u7f51\u8def\u200b\u7531\u200b\u3002</p> <p>\u200b\u5728\u200b <code>kube-system</code> Namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b <code>ovn-ic-config</code> ConfigMap\uff0c\u200b\u5e76\u200b\u5c06\u200b <code>auto-route</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"false\"\n</code></pre> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u5206\u522b\u200b\u67e5\u770b\u200b\u8fdc\u7aef\u200b\u903b\u8f91\u200b\u7aef\u53e3\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u7528\u4e8e\u200b\u4e4b\u540e\u200b\u624b\u52a8\u200b\u914d\u7f6e\u200b\u8def\u7531\u200b\uff1a</p> <pre><code>[root@az1 ~]# kubectl ko nbctl show\nswitch a391d3a1-14a0-4841-9836-4bd930c447fb (ts)\n    port ts-az1\n        type: router\n        router-port: az1-ts\n    port ts-az2\n        type: remote\n        addresses: [\"00:00:00:4B:E2:9F 169.254.100.31/24\"]\n\n[root@az2 ~]# kubectl ko nbctl show\nswitch da6138b8-de81-4908-abf9-b2224ec4edf3 (ts)\n    port ts-az2\n        type: router\n        router-port: az2-ts\n    port ts-az1\n        type: remote\n        addresses: [\"00:00:00:FB:2A:F7 169.254.100.79/24\"]        \n</code></pre> <p>\u200b\u7531\u200b\u4e0a\u200b\u8f93\u51fa\u200b\u53ef\u77e5\u200b\uff0c\u200b\u96c6\u7fa4\u200b <code>az1</code> \u200b\u5230\u200b \u200b\u96c6\u7fa4\u200b <code>az2</code> \u200b\u7684\u200b\u8fdc\u7aef\u200b\u5730\u5740\u200b\u4e3a\u200b <code>169.254.100.31</code>\uff0c<code>az2</code> \u200b\u5230\u200b <code>az1</code> \u200b\u7684\u200b\u8fdc\u7aef\u200b\u5730\u5740\u200b\u4e3a\u200b <code>169.254.100.79</code>\u3002</p> <p>\u200b\u4e0b\u9762\u200b\u624b\u52a8\u200b\u8bbe\u7f6e\u200b\u8def\u7531\u200b\uff0c\u200b\u5728\u200b\u8be5\u200b\u4f8b\u5b50\u200b\u4e2d\u200b\uff0c\u200b\u96c6\u7fa4\u200b <code>az1</code> \u200b\u5185\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>10.16.0.0/24</code>\uff0c\u200b\u96c6\u7fa4\u200b <code>az2</code> \u200b\u5185\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>10.17.0.0/24</code>\u3002</p> <p>\u200b\u5728\u200b\u96c6\u7fa4\u200b <code>az1</code> \u200b\u8bbe\u7f6e\u200b\u5230\u200b\u96c6\u7fa4\u200b <code>az2</code> \u200b\u7684\u200b\u8def\u7531\u200b:</p> <pre><code>kubectl ko nbctl lr-route-add ovn-cluster 10.17.0.0/24 169.254.100.31\n</code></pre> <p>\u200b\u5728\u200b\u96c6\u7fa4\u200b <code>az2</code> \u200b\u8bbe\u7f6e\u200b\u5230\u200b\u96c6\u7fa4\u200b <code>az1</code> \u200b\u7684\u200b\u8def\u7531\u200b:</p> <pre><code>kubectl ko nbctl lr-route-add ovn-cluster 10.16.0.0/24 169.254.100.79\n</code></pre>"},{"location":"advance/with-ovn-ic/#ovn-ic_2","title":"\u9ad8\u200b\u53ef\u7528\u200b OVN-IC \u200b\u6570\u636e\u5e93\u200b\u90e8\u7f72","text":""},{"location":"advance/with-ovn-ic/#1_1","title":"\u9ad8\u200b\u53ef\u7528\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 1","text":"<p>\u200b\u4f18\u5148\u200b\u63a8\u8350\u200b\u65b9\u6848\u200b 1\uff0cKube-OVN v1.11.16 \u200b\u4e4b\u540e\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u65b9\u6cd5\u200b\u540c\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 1</p>"},{"location":"advance/with-ovn-ic/#2_1","title":"\u9ad8\u200b\u53ef\u7528\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 2","text":"<p><code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u4e4b\u95f4\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Raft \u200b\u534f\u8bae\u200b\u7ec4\u6210\u200b\u4e00\u4e2a\u200b\u9ad8\u200b\u53ef\u7528\u200b\u96c6\u7fa4\u200b\uff0c\u200b\u8be5\u200b\u90e8\u7f72\u200b\u6a21\u5f0f\u200b\u9700\u8981\u200b\u81f3\u5c11\u200b 3 \u200b\u4e2a\u200b\u8282\u70b9\u200b\u3002</p> <p>\u200b\u9996\u5148\u200b\u5728\u200b\u7b2c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u542f\u52a8\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b leader\u3002</p> <p>\u200b\u90e8\u7f72\u200b <code>docker</code> \u200b\u73af\u5883\u200b\u7684\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>docker run --name=ovn-ic-db -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --network=host --privileged -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn -e LOCAL_IP=\"192.168.65.3\"  -e NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"   kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>\u200b\u5982\u679c\u200b\u662f\u200b\u90e8\u7f72\u200b <code>containerd</code> \u200b\u7684\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>ctr -n k8s.io run -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\"  --env=\"NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"\" --env=\"LOCAL_IP=\"192.168.65.3\"\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre> <ul> <li><code>LOCAL_IP</code>\uff1a \u200b\u5f53\u524d\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740\u200b\u3002</li> <li><code>NODE_IPS</code>\uff1a \u200b\u8fd0\u884c\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u4e09\u4e2a\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u4f7f\u7528\u200b\u9017\u53f7\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b\u3002</li> </ul> <p>\u200b\u63a5\u4e0b\u6765\u200b\uff0c\u200b\u5728\u200b\u53e6\u5916\u200b\u4e24\u4e2a\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b follower\u3002</p> <p>\u200b\u90e8\u7f72\u200b <code>docker</code> \u200b\u73af\u5883\u200b\u7684\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>docker run --name=ovn-ic-db -d --network=host --privileged -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn -e LOCAL_IP=\"192.168.65.2\"  -e NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\" -e LEADER_IP=\"192.168.65.3\"  kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>\u200b\u5982\u679c\u200b\u662f\u200b\u90e8\u7f72\u200b <code>containerd</code> \u200b\u7684\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>ctr -n k8s.io run -d --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\"  --env=\"NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"\" --env=\"LOCAL_IP=\"192.168.65.2\"\" --env=\"LEADER_IP=\"192.168.65.3\"\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre> <ul> <li><code>LOCAL_IP</code>\uff1a \u200b\u5f53\u524d\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740\u200b\u3002</li> <li><code>NODE_IPS</code>\uff1a \u200b\u8fd0\u884c\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u4e09\u4e2a\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u4f7f\u7528\u200b\u9017\u53f7\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b\u3002</li> <li><code>LEADER_IP</code>: \u200b\u8fd0\u884c\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b leader \u200b\u8282\u70b9\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</li> </ul> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u521b\u5efa\u200b <code>ovn-ic-config</code> \u200b\u65f6\u200b\u6307\u5b9a\u200b\u591a\u4e2a\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3,192.168.65.2,192.168.65.1\"\n  ic-nb-port: \"6645\"\n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre>"},{"location":"advance/with-ovn-ic/#ecmp","title":"\u652f\u6301\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b ECMP","text":"<p>\u200b\u524d\u63d0\u200b\u63a7\u5236\u5668\u200b\u662f\u200b\u6309\u7167\u200b\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 1\u200b\u90e8\u7f72\u200b</p> <p>\u200b\u8be5\u200b\u65b9\u6848\u200b\u9ed8\u8ba4\u200b\u652f\u6301\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b ECMP\uff0cECMP path \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 3\uff0c\u200b\u540c\u65f6\u200b\u4e5f\u200b\u652f\u6301\u200b\u4fee\u6539\u200b ECMP path \u200b\u6761\u6570\u200b\uff0c\u200b\u4f7f\u7528\u200b\u547d\u4ee4\u200b:</p> <pre><code>kubectl edit deployment ovn-ic-server -n kube-system\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u73af\u5883\u53d8\u91cf\u200b 'TS_NUM' \u200b\u6570\u503c\u200b\u5373\u53ef\u200b\uff0c<code>TS_NUM</code> \u200b\u8868\u793a\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u4e4b\u95f4\u200b\u8bbf\u95ee\u200b\u7684\u200b ECMP Path \u200b\u6761\u6570\u200b\u3002</p>"},{"location":"advance/with-ovn-ic/#_4","title":"\u624b\u52a8\u200b\u91cd\u7f6e","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7531\u4e8e\u200b\u914d\u7f6e\u200b\u9519\u8bef\u200b\u9700\u8981\u200b\u5bf9\u200b\u6574\u4e2a\u200b\u4e92\u8054\u200b\u914d\u7f6e\u200b\u8fdb\u884c\u200b\u6e05\u7406\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u6e05\u7406\u200b\u73af\u5883\u200b\u3002</p> <p>\u200b\u5220\u9664\u200b\u5f53\u524d\u200b\u7684\u200b <code>ovn-ic-config</code> Configmap\uff1a</p> <pre><code>kubectl -n kube-system delete cm ovn-ic-config\n</code></pre> <p>\u200b\u5220\u9664\u200b <code>ts</code> \u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\uff1a</p> <pre><code>kubectl ko nbctl ls-del ts\n</code></pre> <p>\u200b\u5728\u200b\u5bf9\u200b\u7aef\u200b\u96c6\u7fa4\u200b\u91cd\u590d\u200b\u540c\u6837\u200b\u7684\u200b\u6b65\u9aa4\u200b\u3002</p>"},{"location":"advance/with-ovn-ic/#az-name","title":"\u4fee\u6539\u200b az-name","text":"<p>\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b <code>kubectl edit</code> \u200b\u7684\u200b\u65b9\u5f0f\u200b\u5bf9\u200b <code>ovn-ic-config</code> \u200b\u8fd9\u4e2a\u200b configmap \u200b\u4e2d\u200b\u7684\u200b <code>az-name</code> \u200b\u5b57\u200b\u6bb5\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002 \u200b\u4f46\u662f\u200b\u9700\u8981\u200b\u5728\u200b\u6bcf\u4e2a\u200b ovn-cni pod \u200b\u4e0a\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff0c\u200b\u5426\u5219\u200b\u53ef\u80fd\u200b\u51fa\u73b0\u200b\u6700\u957f\u200b 10 \u200b\u5206\u949f\u200b\u7684\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u4e2d\u65ad\u200b\u3002</p> <pre><code>ovn-appctl -t ovn-controller inc-engine/recompute\n</code></pre>"},{"location":"advance/with-ovn-ic/#_5","title":"\u6e05\u7406\u200b\u96c6\u7fa4\u200b\u4e92\u8054","text":"<p>\u200b\u5220\u9664\u200b\u6240\u6709\u200b\u96c6\u7fa4\u200b\u7684\u200b <code>ovn-ic-config</code> Configmap\uff1a</p> <pre><code>kubectl -n kube-system delete cm ovn-ic-config\n</code></pre> <p>\u200b\u5220\u9664\u200b\u6240\u6709\u200b\u96c6\u7fa4\u200b\u7684\u200b <code>ts</code> \u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\uff1a</p> <pre><code>kubectl ko nbctl ls-del ts\n</code></pre> <p>\u200b\u5220\u9664\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u63a7\u5236\u5668\u200b\uff0c\u200b\u5982\u679c\u200b\u662f\u200b\u9ad8\u200b\u53ef\u7528\u200b OVN-IC \u200b\u6570\u636e\u5e93\u200b\u90e8\u7f72\u200b\uff0c\u200b\u9700\u8981\u200b\u90fd\u200b\u6e05\u7406\u200b\u6389\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u63a7\u5236\u5668\u200b\u662f\u200b <code>docker</code> \u200b\u90e8\u7f72\u200b\u6267\u884c\u547d\u4ee4\u200b\uff1a</p> <pre><code>docker stop ovn-ic-db \ndocker rm ovn-ic-db\n</code></pre> <p>\u200b\u5982\u679c\u200b\u63a7\u5236\u5668\u200b\u662f\u200b <code>containerd</code> \u200b\u90e8\u7f72\u200b\u6267\u884c\u547d\u4ee4\u200b\uff1a</p> <pre><code>ctr -n k8s.io task kill ovn-ic-db\nctr -n k8s.io containers rm ovn-ic-db\n</code></pre> <p>\u200b\u5982\u679c\u200b\u63a7\u5236\u5668\u200b\u662f\u200b\u4f7f\u7528\u200b deployment <code>ovn-ic-server</code> \u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>kubectl delete deployment ovn-ic-server -n kube-system\n</code></pre> <p>\u200b\u7136\u540e\u200b\u5728\u200b\u6bcf\u4e2a\u200b master \u200b\u8282\u70b9\u200b\u4e0a\u200b\u6e05\u7406\u200b\u4e92\u8054\u200b\u76f8\u5173\u200b\u7684\u200b DB\uff0c\u200b\u547d\u4ee4\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>rm -f /etc/origin/ovn/ovn_ic_nb_db.db\nrm -f /etc/origin/ovn/ovn_ic_sb_db.db\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-submariner/","title":"\u4f7f\u7528\u200b Submariner \u200b\u8fdb\u884c\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054","text":"<p>Submariner \u200b\u4f5c\u4e3a\u200b\u53ef\u4ee5\u200b\u6253\u901a\u200b\u591a\u4e2a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b Pod \u200b\u548c\u200b Service \u200b\u7f51\u7edc\u200b\u7684\u200b\u5f00\u6e90\u200b\u7f51\u7edc\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u80fd\u591f\u200b\u5e2e\u52a9\u200b  Kube-OVN \u200b\u5b9e\u73b0\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u3002</p> <p>\u200b\u76f8\u6bd4\u200b\u901a\u8fc7\u200b OVN-IC \u200b\u6253\u901a\u200b\u591a\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u7684\u200b\u65b9\u5f0f\u200b\uff0cSubmariner \u200b\u53ef\u4ee5\u200b\u6253\u901a\u200b Kube-OVN \u200b\u548c\u200b\u975e\u200b Kube-OVN \u200b\u7684\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e76\u200b \u200b\u80fd\u200b\u63d0\u4f9b\u200b Service \u200b\u7684\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u80fd\u529b\u200b\u3002\u200b\u4f46\u662f\u200b Submariner \u200b\u76ee\u524d\u200b\u53ea\u80fd\u200b\u5b9e\u73b0\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u7684\u200b\u6253\u901a\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u5b9e\u73b0\u200b\u591a\u5b50\u200b\u7f51\u200b\u9009\u62e9\u6027\u200b\u6253\u901a\u200b\u3002</p>"},{"location":"advance/with-submariner/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ul> <li>\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u7684\u200b Service CIDR \u200b\u548c\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u4e0d\u80fd\u200b\u91cd\u53e0\u200b\u3002</li> </ul>"},{"location":"advance/with-submariner/#submariner_1","title":"\u90e8\u7f72\u200b Submariner","text":"<p>\u200b\u4e0b\u8f7d\u200b <code>subctl</code> \u200b\u4e8c\u8fdb\u5236\u200b\u6587\u4ef6\u200b\uff0c\u200b\u5e76\u200b\u90e8\u7f72\u200b\u5230\u200b\u76f8\u5e94\u200b\u8def\u5f84\u200b\uff1a</p> <pre><code>curl -Ls https://get.submariner.io | bash\nexport PATH=$PATH:~/.local/bin\necho export PATH=\\$PATH:~/.local/bin &gt;&gt; ~/.profile\n</code></pre> <p>\u200b\u5207\u6362\u200b <code>kubeconfig</code> \u200b\u81f3\u200b\u5e0c\u671b\u200b\u90e8\u7f72\u200b <code>submariner-broker</code> \u200b\u7684\u200b\u96c6\u7fa4\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>subctl deploy-broker\n</code></pre> <p>\u200b\u5728\u200b\u672c\u200b\u6587\u6863\u200b\u4e2d\u200b <code>cluster0</code> \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>10.16.0.0/16</code>\uff0cjoin \u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>100.64.0.0/16</code>\uff0c<code>cluster1</code> \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>11.16.0.0/16</code>\uff0cjoin \u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b '100.68.0.0/16'\u3002</p> <p>\u200b\u5207\u6362\u200b <code>kubeconfig</code> \u200b\u81f3\u200b <code>cluster0</code> \u200b\u6ce8\u518c\u200b\u96c6\u7fa4\u200b\u81f3\u200b broker\uff0c\u200b\u5e76\u200b\u6ce8\u518c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b:</p> <pre><code>subctl  join broker-info.subm --clusterid  cluster0 --clustercidr 100.64.0.0/16,10.16.0.0/16  --natt=false --cable-driver vxlan --health-check=false\nkubectl label nodes cluster0 submariner.io/gateway=true\n</code></pre> <p>\u200b\u5207\u6362\u200b <code>kubeconfig</code> \u200b\u81f3\u200b <code>cluster1</code> \u200b\u6ce8\u518c\u200b\u96c6\u7fa4\u200b\u81f3\u200b broker\uff0c\u200b\u5e76\u200b\u6ce8\u518c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b:</p> <pre><code>subctl  join broker-info.subm --clusterid  cluster1 --clustercidr 100.68.0.0/16,11.16.0.0/16  --natt=false --cable-driver vxlan --health-check=false\nkubectl label nodes cluster1 submariner.io/gateway=true\n</code></pre> <p>\u200b\u5982\u679c\u200b\u6267\u884c\u200b <code>join</code> \u200b\u547d\u4ee4\u200b\u4e4b\u540e\u200b\u6ca1\u6709\u200b\u65b0\u200b\u7684\u200b <code>gateway, routeagent</code>pod \u200b\u51fa\u73b0\u200b\u7684\u8bdd\u200b, \u200b\u8bf7\u200b\u4e3a\u200b <code>submariner-operator</code> \u200b\u8fd9\u4e2a\u200b <code>clusterrole</code> \u200b\u589e\u52a0\u200b\u4ee5\u4e0b\u200b\u6743\u9650\u200b:</p> <pre><code>- apiGroups:\n  - \"apps\"\n  resources:\n  - daemonsets\n  verbs:\n  - create\n  - get\n  - list\n  - watch\n  - update\n</code></pre> <p>\u200b\u5bf9\u4e8e\u200b\u591a\u200b\u8282\u70b9\u200b\u7684\u200b\u96c6\u7fa4\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b\u9ed8\u8ba4\u200b\u7684\u200b <code>subnet</code> <code>ovn-default</code> \u200b\u7684\u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b\u6539\u4e3a\u200b <code>centralized</code>\u3002\u200b\u4e3a\u200b submariner \u200b\u914d\u7f6e\u200b\u7684\u200b <code>gateway</code> \u200b\u8282\u70b9\u200b\u9700\u8981\u200b\u548c\u200b <code>subnet</code> \u200b\u8282\u70b9\u200b\u5b8c\u5168\u76f8\u540c\u200b\u3002</p> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u5728\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u5185\u200b\u5206\u522b\u200b\u542f\u52a8\u200b Pod \u200b\u5e76\u200b\u5c1d\u8bd5\u200b\u4f7f\u7528\u200b IP \u200b\u8fdb\u884c\u200b\u76f8\u4e92\u200b\u8bbf\u95ee\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u51fa\u73b0\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\u95ee\u9898\u200b\u53ef\u200b\u901a\u8fc7\u200b <code>subctl</code> \u200b\u547d\u4ee4\u200b\u8fdb\u884c\u200b\u8bca\u65ad\u200b\uff1a</p> <pre><code>subctl show all\nsubctl diagnose all\n</code></pre> <p>\u200b\u66f4\u200b\u591a\u200b Submariner \u200b\u76f8\u5173\u200b\u64cd\u4f5c\u200b\u8bf7\u200b\u67e5\u770b\u200b Submariner \u200b\u7528\u6237\u624b\u518c\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/custom-routes/","title":"\u81ea\u5b9a\u4e49\u200b\u8def\u7531","text":"<p>\u200b\u53ef\u4ee5\u200b\u5728\u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\u901a\u8fc7\u200b Annotations \u200b\u6765\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b\u7684\u200b\u8def\u7531\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: custom-routes\n  annotations:\n    ovn.kubernetes.io/routes: |\n      [{\n        \"dst\": \"192.168.0.101/24\",\n        \"gw\": \"10.16.0.254\"\n      }, {\n        \"gw\": \"10.16.0.254\"\n      }]\nspec:\n  containers:\n  - name: nginx\n    image: docker.io/library/nginx:alpine\n</code></pre> <p><code>dst</code> \u200b\u5b57\u6bb5\u200b\u4e3a\u200b\u7a7a\u200b\u8868\u793a\u200b\u4fee\u6539\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u4e3a\u200b Deployment\u3001DaemonSet \u200b\u6216\u200b StatefulSet\uff0c\u200b\u5bf9\u5e94\u200b\u7684\u200b Annotation \u200b\u9700\u8981\u200b\u914d\u7f6e\u200b\u5728\u200b\u8d44\u6e90\u200b\u7684\u200b <code>.spec.template.metadata.annotations</code> \u200b\u4e2d\u200b\uff0c\u200b\u793a\u4f8b\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: custom-routes\n  labels:\n    app: nginx\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: nginx\n  template:\n    metadata:\n      labels:\n        app: nginx\n      annotations:\n        ovn.kubernetes.io/routes: |\n          [{\n            \"dst\": \"192.168.0.101/24\",\n            \"gw\": \"10.16.0.254\"\n          }, {\n            \"gw\": \"10.16.0.254\"\n          }]\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/library/nginx:alpine\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/dual-stack/","title":"\u53cc\u6808\u200b\u4f7f\u7528","text":"<p>Kube-OVN \u200b\u4e2d\u200b\u4e0d\u540c\u200b\u7684\u200b\u5b50\u7f51\u200b\u53ef\u4ee5\u200b\u652f\u6301\u200b\u4e0d\u540c\u200b\u7684\u200b\u534f\u8bae\u200b\uff0c\u200b\u4e00\u4e2a\u200b\u96c6\u7fa4\u200b\u5185\u200b\u53ef\u4ee5\u200b\u540c\u65f6\u200b\u5b58\u5728\u200b IPv4\uff0cIPv6 \u200b\u548c\u200b\u53cc\u6808\u200b\u7c7b\u578b\u200b\u7684\u200b\u5b50\u7f51\u200b\u3002 \u200b\u6211\u4eec\u200b\u63a8\u8350\u200b\u4e00\u4e2a\u200b\u96c6\u7fa4\u200b\u5185\u200b\u4f7f\u7528\u200b\u7edf\u4e00\u200b\u7684\u200b\u534f\u8bae\u200b\u7c7b\u578b\u200b\u4ee5\u200b\u7b80\u5316\u200b\u4f7f\u7528\u200b\u548c\u200b\u7ef4\u62a4\u200b\u3002</p> <p>\u200b\u4e3a\u4e86\u200b\u652f\u6301\u200b\u53cc\u6808\u200b\uff0c\u200b\u9700\u8981\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u6ee1\u8db3\u200b\u53cc\u6808\u200b\u8981\u6c42\u200b\uff0c\u200b\u540c\u65f6\u200b\u9700\u8981\u200b\u5bf9\u200b Kubernetes \u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\u505a\u200b\u8c03\u6574\u200b\uff0c \u200b\u8bf7\u200b\u53c2\u8003\u200b Kubernetes \u200b\u7684\u200b\u53cc\u6808\u200b\u5b98\u65b9\u200b\u6307\u5bfc\u200b\u3002</p>"},{"location":"guide/dual-stack/#_2","title":"\u521b\u5efa\u200b\u53cc\u6808\u200b\u5b50\u7f51","text":"<p>\u200b\u5728\u200b\u914d\u7f6e\u200b\u53cc\u6808\u200b\u65f6\u200b\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u5b50\u7f51\u200b CIDR \u200b\u683c\u5f0f\u200b\u4e3a\u200b <code>cidr=&lt;IPv4 CIDR&gt;,&lt;IPv6 CIDR&gt;</code> \u200b\u5373\u53ef\u200b\u3002 CIDR \u200b\u987a\u5e8f\u200b\u8981\u6c42\u200b IPv4 \u200b\u5728\u200b\u524d\u200b\uff0cIPv6 \u200b\u5728\u200b\u540e\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata: \n  name: ovn-test\nspec:\n  cidrBlock: 10.16.0.0/16,fd00:10:16::/64\n  excludeIps:\n  - 10.16.0.1\n  - fd00:10:16::1\n  gateway: 10.16.0.1,fd00:10:16::1\n</code></pre> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u65f6\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b\u53cc\u6808\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u4fee\u6539\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>POD_CIDR=\"10.16.0.0/16,fd00:10:16::/64\"\nJOIN_CIDR=\"100.64.0.0/16,fd00:100:64::/64\"\n</code></pre>"},{"location":"guide/dual-stack/#pod","title":"\u67e5\u770b\u200b Pod \u200b\u5730\u5740","text":"<p>\u200b\u914d\u7f6e\u200b\u53cc\u6808\u200b\u7f51\u7edc\u200b\u7684\u200b Pod \u200b\u5c06\u4f1a\u200b\u4ece\u200b\u8be5\u200b\u5b50\u7f51\u200b\u540c\u65f6\u200b\u5206\u914d\u200b IPv4 \u200b\u548c\u200b IPv6 \u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u5206\u914d\u200b\u7ed3\u679c\u200b\u4f1a\u200b\u663e\u793a\u200b\u5728\u200b Pod \u200b\u7684\u200b annotation \u200b\u4e2d\u200b:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/allocated: \"true\"\n    ovn.kubernetes.io/cidr: 10.16.0.0/16,fd00:10:16::/64\n    ovn.kubernetes.io/gateway: 10.16.0.1,fd00:10:16::1\n    ovn.kubernetes.io/ip_address: 10.16.0.9,fd00:10:16::9\n    ovn.kubernetes.io/logical_switch: ovn-default\n    ovn.kubernetes.io/mac_address: 00:00:00:14:88:09\n    ovn.kubernetes.io/network_types: geneve\n    ovn.kubernetes.io/routed: \"true\"\n...\npodIP: 10.16.0.9\n  podIPs:\n  - ip: 10.16.0.9\n  - ip: fd00:10:16::9\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/eip-snat/","title":"EIP \u200b\u548c\u200b SNAT \u200b\u914d\u7f6e","text":"<p>\u200b\u8be5\u200b\u914d\u7f6e\u200b\u9488\u5bf9\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u8bf7\u200b\u53c2\u8003\u200b VPC \u200b\u7f51\u5173\u200b</p> <p>Kube-OVN \u200b\u652f\u6301\u200b\u5229\u7528\u200b OVN \u200b\u4e2d\u200b\u7684\u200b L3 Gateway \u200b\u529f\u80fd\u200b\u6765\u200b\u5b9e\u73b0\u200b Pod \u200b\u7ea7\u522b\u200b\u7684\u200b SNAT \u200b\u548c\u200b EIP \u200b\u529f\u80fd\u200b\u3002 \u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b SNAT\uff0c\u200b\u4e00\u7ec4\u200b Pod \u200b\u53ef\u4ee5\u200b\u5171\u4eab\u200b\u4e00\u4e2a\u200b IP \u200b\u5730\u5740\u200b\u5bf9\u5916\u200b\u8fdb\u884c\u200b\u8bbf\u95ee\u200b\u3002 \u200b\u901a\u8fc7\u200b EIP \u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u4e00\u4e2a\u200b Pod \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u548c\u200b\u4e00\u4e2a\u200b\u5916\u90e8\u200b IP \u200b\u5173\u8054\u200b\uff0c \u200b\u5916\u90e8\u200b\u670d\u52a1\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b EIP \u200b\u76f4\u63a5\u200b\u8bbf\u95ee\u200b Pod\uff0cPod \u200b\u4e5f\u200b\u5c06\u200b\u901a\u8fc7\u200b\u8fd9\u4e2a\u200b EIP \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u670d\u52a1\u200b\u3002</p> <p></p>"},{"location":"guide/eip-snat/#_1","title":"\u51c6\u5907\u200b\u5de5\u4f5c","text":"<ul> <li>\u200b\u4e3a\u4e86\u200b\u4f7f\u7528\u200b OVN \u200b\u7684\u200b L3 Gateway \u200b\u80fd\u529b\u200b\uff0c\u200b\u5fc5\u987b\u200b\u5c06\u200b\u4e00\u4e2a\u200b\u5355\u72ec\u200b\u7684\u200b\u7f51\u5361\u200b\u63a5\u5165\u200b OVS \u200b\u7f51\u6865\u200b\u4e2d\u200b\u8fdb\u884c\u200b Overlay \u200b\u548c\u200b Underlay \u200b\u7f51\u7edc\u200b\u7684\u200b\u6253\u901a\u200b\uff0c \u200b\u4e3b\u673a\u200b\u5fc5\u987b\u200b\u6709\u200b\u5176\u4ed6\u200b\u7684\u200b\u7f51\u5361\u200b\u7528\u4e8e\u200b\u8fd0\u7ef4\u200b\u7ba1\u7406\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u7ecf\u8fc7\u200b NAT \u200b\u540e\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u4f1a\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b Underlay \u200b\u7f51\u7edc\u200b\uff0c\u200b\u5fc5\u987b\u200b\u786e\u8ba4\u200b\u5f53\u524d\u200b\u7684\u200b\u7f51\u7edc\u200b\u67b6\u6784\u200b\u4e0b\u200b\u6b64\u7c7b\u200b\u6570\u636e\u5305\u200b\u53ef\u4ee5\u200b\u5b89\u5168\u200b\u901a\u8fc7\u200b\u3002</li> <li>\u200b\u76ee\u524d\u200b EIP \u200b\u548c\u200b SNAT \u200b\u5730\u5740\u200b\u6ca1\u6709\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\uff0c\u200b\u9700\u8981\u200b\u7ba1\u7406\u5458\u200b\u624b\u52a8\u200b\u5206\u914d\u200b\u907f\u514d\u200b\u5730\u5740\u200b\u51b2\u7a81\u200b\u3002</li> </ul>"},{"location":"guide/eip-snat/#_2","title":"\u521b\u5efa\u200b\u914d\u7f6e\u6587\u4ef6","text":"<p>\u200b\u5728\u200b <code>kube-system</code> \u200b\u4e0b\u200b\u521b\u5efa\u200b ConfigMap <code>ovn-external-gw-config</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-external-gw-config\n  namespace: kube-system\ndata:\n  enable-external-gw: \"true\"\n  external-gw-nodes: \"kube-ovn-worker\"\n  external-gw-nic: \"eth1\"\n  external-gw-addr: \"172.56.0.1/16\"\n  nic-ip: \"172.56.0.254/16\"\n  nic-mac: \"16:52:f3:13:6a:25\"\n</code></pre> <ul> <li><code>enable-external-gw</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b SNAT \u200b\u548c\u200b EIP \u200b\u529f\u80fd\u200b\u3002</li> <li><code>type</code>: <code>centrailized</code> \u200b\u6216\u200b <code>distributed</code>\uff0c \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>centralized</code> \u200b\u5982\u679c\u200b\u4f7f\u7528\u200b <code>distributed</code>\uff0c\u200b\u5219\u200b\u96c6\u7fa4\u200b\u6240\u6709\u200b\u8282\u70b9\u200b\u90fd\u200b\u9700\u8981\u200b\u6709\u200b\u540c\u540d\u200b\u7f51\u5361\u200b\u6765\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u529f\u80fd\u200b\u3002</li> <li><code>external-gw-nodes</code>: <code>centralized</code> \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u4f5c\u7528\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u200b\uff0c\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u3002</li> <li><code>external-gw-nic</code>: \u200b\u8282\u70b9\u200b\u4e0a\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u4f5c\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\u540d\u200b\u3002</li> <li><code>external-gw-addr</code>: \u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u7f51\u5173\u200b\u7684\u200b IP \u200b\u548c\u200b\u63a9\u7801\u200b\u3002</li> <li><code>nic-ip</code>,<code>nic-mac</code>: \u200b\u5206\u914d\u200b\u7ed9\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\u7aef\u53e3\u200b\u7684\u200b IP \u200b\u548c\u200b Mac\uff0c\u200b\u9700\u4e3a\u200b\u7269\u7406\u200b\u6bb5\u200b\u672a\u200b\u88ab\u200b\u5360\u7528\u200b\u7684\u200b IP \u200b\u548c\u200b Mac\u3002</li> </ul>"},{"location":"guide/eip-snat/#ovn-ovs","title":"\u89c2\u5bdf\u200b OVN \u200b\u548c\u200b OVS \u200b\u72b6\u6001\u200b\u786e\u8ba4\u200b\u914d\u7f6e\u200b\u751f\u6548","text":"<p>\u200b\u68c0\u67e5\u200b OVN-NB \u200b\u72b6\u6001\u200b, \u200b\u786e\u8ba4\u200b <code>ovn-external</code> \u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u5b58\u5728\u200b\uff0c\u200b\u5e76\u4e14\u200b <code>ovn-cluster-ovn-external</code> \u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\u7aef\u53e3\u200b\u4e0a\u200b \u200b\u7ed1\u5b9a\u200b\u4e86\u200b\u6b63\u786e\u200b\u7684\u200b\u5730\u5740\u200b\u548c\u200b chassis\u3002</p> <pre><code># kubectl ko nbctl show\nswitch 3de4cea7-1a71-43f3-8b62-435a57ef16a6 (ovn-external)\n    port ln-ovn-external\n        type: localnet\n        addresses: [\"unknown\"]\n    port ovn-external-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-external\nrouter e1eb83ad-34be-4ed5-9a02-fcc8b1d357c4 (ovn-cluster)\n    port ovn-cluster-ovn-external\n        mac: \"ac:1f:6b:2d:33:f1\"\n        networks: [\"172.56.0.100/16\"]\n        gateway chassis: [a5682814-2e2c-46dd-9c1c-6803ef0dab66]\n</code></pre> <p>\u200b\u68c0\u67e5\u200b OVS \u200b\u72b6\u6001\u200b\uff0c\u200b\u786e\u8ba4\u200b\u76f8\u5e94\u200b\u7684\u200b\u7f51\u5361\u200b\u5df2\u7ecf\u200b\u6865\u63a5\u200b\u8fdb\u200b <code>br-external</code> \u200b\u7f51\u6865\u200b\uff1a</p> <pre><code># kubectl ko vsctl ${gateway node name} show\ne7d81150-7743-4d6e-9e6f-5c688232e130\n    Bridge br-external\n        Port br-external\n            Interface br-external\n                type: internal\n        Port eno2\n            Interface eno2\n        Port patch-ln-ovn-external-to-br-int\n            Interface patch-ln-ovn-external-to-br-int\n                type: patch\n                options: {peer=patch-br-int-to-ln-ovn-external}\n</code></pre>"},{"location":"guide/eip-snat/#pod-eip-snat","title":"Pod \u200b\u914d\u7f6e\u200b EIP \u200b\u548c\u200b SNAT","text":"<p>\u200b\u53ef\u200b\u901a\u8fc7\u200b\u5728\u200b Pod \u200b\u4e0a\u200b\u589e\u52a0\u200b <code>ovn.kubernetes.io/snat</code> \u200b\u6216\u200b <code>ovn.kubernetes.io/eip</code> annotation \u200b\u6765\u200b\u5206\u522b\u200b\u914d\u7f6e\u200b SNAT \u200b\u548c\u200b EIP\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: pod-gw\n  annotations:\n    ovn.kubernetes.io/snat: 172.56.0.200\nspec:\n  containers:\n  - name: snat-pod\n    image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: pod-gw\n  annotations:\n    ovn.kubernetes.io/eip: 172.56.0.233\nspec:\n  containers:\n  - name: eip-pod\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u53ef\u200b\u901a\u8fc7\u200b kubectl \u200b\u6216\u200b\u5176\u4ed6\u200b\u5de5\u5177\u200b\u52a8\u6001\u200b\u8c03\u6574\u200b Pod \u200b\u6240\u200b\u914d\u7f6e\u200b\u7684\u200b EIP \u200b\u6216\u200b SNAT \u200b\u89c4\u5219\u200b\uff0c\u200b\u66f4\u6539\u200b\u65f6\u8bf7\u200b\u6ce8\u610f\u200b\u8981\u200b\u540c\u65f6\u200b\u5220\u9664\u200b <code>ovn.kubernetes.io/routed</code> annotation \u200b\u89e6\u53d1\u200b\u8def\u7531\u200b\u7684\u200b\u53d8\u66f4\u200b\uff1a</p> <pre><code>kubectl annotate pod pod-gw ovn.kubernetes.io/eip=172.56.0.221 --overwrite\nkubectl annotate pod pod-gw ovn.kubernetes.io/routed-\n</code></pre> <p>\u200b\u5f53\u200b EIP \u200b\u6216\u200b SNAT \u200b\u89c4\u5219\u200b\u751f\u6548\u200b\u540e\u200b\uff0c<code>ovn.kubernetes.io/routed</code> annotation \u200b\u4f1a\u200b\u88ab\u200b\u91cd\u65b0\u200b\u6dfb\u52a0\u200b\u3002</p>"},{"location":"guide/eip-snat/#_3","title":"\u9ad8\u7ea7\u200b\u914d\u7f6e","text":"<p><code>kube-ovn-controller</code> \u200b\u7684\u200b\u90e8\u5206\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u53ef\u200b\u5bf9\u200b SNAT \u200b\u548c\u200b EIP \u200b\u529f\u80fd\u200b\u8fdb\u884c\u200b\u9ad8\u9636\u200b\u914d\u7f6e\u200b\uff1a</p> <ul> <li><code>--external-gateway-config-ns</code>: Configmap <code>ovn-external-gw-config</code> \u200b\u6240\u5c5e\u200b Namespace\uff0c \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>kube-system</code>\u3002</li> <li><code>--external-gateway-net</code>: \u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u6240\u200b\u6865\u63a5\u200b\u7684\u200b\u7f51\u6865\u200b\u540d\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>external</code>\u3002</li> <li><code>--external-gateway-vlanid</code>: \u200b\u7269\u7406\u200b\u7f51\u7edc\u200b Vlan Tag \u200b\u53f7\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 0\uff0c \u200b\u5373\u200b\u4e0d\u200b\u4f7f\u7528\u200b Vlan\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/ip/","title":"\u6307\u5b9a\u200b\u8d44\u6e90\u200b\u9884\u7559\u200b IP","text":"<p>IP \u200b\u7528\u4e8e\u200b\u7ef4\u62a4\u200b Pod \u200b\u6216\u8005\u200b VirtualMachine(VM) \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002IP \u200b\u7684\u200b\u751f\u547d\u5468\u671f\u200b\u7ef4\u62a4\u200b\u5305\u62ec\u200b\u4ee5\u4e0b\u200b\u4e1a\u52a1\u200b\u573a\u666f\u200b\uff1a</p> <ul> <li> <ol> <li>IP \u200b\u968f\u200b Pod \u200b\u521b\u5efa\u200b\uff0c\u200b\u4e5f\u200b\u968f\u200b Pod \u200b\u5220\u9664\u200b\u3002</li> </ol> </li> <li> <ol> <li>VM IP \u200b\u901a\u8fc7\u200b\u914d\u7f6e\u200b ENABLE_KEEP_VM_IP \u200b\u6765\u200b\u4fdd\u7559\u200b VM IP \u200b\u8d44\u6e90\u200b\uff0c\u200b\u8fd9\u79cd\u200b IP \u200b\u968f\u200b VM Pod \u200b\u521b\u5efa\u200b\uff0c\u200b\u4f46\u662f\u200b\u4e0d\u968f\u200b VM Pod \u200b\u5220\u9664\u200b\u3002</li> </ol> </li> <li> <ol> <li>Statefulset Pod IP \u200b\u4f1a\u200b\u6839\u636e\u200b Statefulset \u200b\u7684\u200b\u5bb9\u91cf\u200b\u4ee5\u53ca\u200b Pod \u200b\u5e8f\u5217\u53f7\u200b\u81ea\u52a8\u200b\u9009\u62e9\u200b\u662f\u5426\u200b\u4fdd\u7559\u200b Pod IP\u3002</li> </ol> </li> </ul> <p>\u200b\u5b9e\u9645\u4e0a\u200b\u5728\u200b\u4e1a\u52a1\u200b\u4f7f\u7528\u200b\u4e2d\u200b\uff0c\u200b\u5f80\u5f80\u200b\u9700\u8981\u200b\u63d0\u524d\u200b\u9884\u7559\u200b IP \u200b\u8d44\u6e90\u200b\uff0c \u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u4e1a\u52a1\u200b\u573a\u666f\u200b\u5305\u62ec\u200b\u5982\u4e0b\u200b\u4e24\u79cd\u200b\uff1a</p> <ul> <li> <ol> <li>Pod \u200b\u6216\u8005\u200b VM \u200b\u5df2\u7ecf\u200b\u521b\u5efa\u200b\uff0c\u200b\u9700\u8981\u200b\u9884\u7559\u200b IP</li> </ol> </li> <li> <ol> <li>Pod \u200b\u6216\u8005\u200b VM \u200b\u5c1a\u672a\u200b\u521b\u5efa\u200b\uff0c\u200b\u9700\u8981\u200b\u9884\u7559\u200b IP</li> </ol> </li> </ul> <p>\u200b\u4ee5\u4e0a\u200b\u8fd9\u200b\u51e0\u79cd\u200b\u573a\u666f\u200b\uff0cIP \u200b\u548c\u200b Pod \u200b\u5728\u200b\u547d\u540d\u200b\u4e0a\u200b\u7684\u200b\u5bf9\u5e94\u200b\u5173\u7cfb\u200b\u4fdd\u6301\u4e00\u81f4\u200b:</p> <ul> <li>Pod IP \u200b\u7684\u200b\u547d\u540d\u200b\u683c\u5f0f\u200b: Pod-name.Pod-namespace(.subnet-provider)</li> <li>VM Pod IP \u200b\u7684\u200b\u547d\u540d\u200b\u683c\u5f0f\u200b: vm-name.Pod-namespace.(subnet-provider)</li> </ul> <p>\u200b\u5982\u679c\u200b\u4e0d\u200b\u786e\u5b9a\u200b\u8fd9\u4e9b\u200b\u53c2\u6570\u200b\uff0c\u200b\u53ea\u662f\u200b\u60f3\u200b\u7b80\u5355\u200b\u9884\u7559\u200b IP\uff0c\u200b\u8bf7\u200b\u4f7f\u7528\u200b IP Pool\u3002</p> <p>\u200b\u5177\u4f53\u6765\u8bf4\u200b\uff0c\u200b\u8fd9\u4e2a\u200b\u529f\u80fd\u200b\u662f\u200b\u6307\u5b9a\u200b Pod \u200b\u6216\u8005\u200b VM \u200b\u9884\u7559\u200b IP\uff0c \u200b\u5728\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u521b\u5efa\u200b\u6d41\u7a0b\u200b\u4e2d\u200b\uff0c\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b\u8d44\u6e90\u200b\u540d\u200b\uff0c\u200b\u8d44\u6e90\u7c7b\u578b\u200b\uff0c\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\uff0c\u200b\u5b50\u7f51\u200b\u7b49\u200b\u5fc5\u8981\u200b\u53c2\u6570\u200b\u3002\u200b\u56fa\u5b9a\u200b IP \u200b\u9884\u7559\u200b\uff0c\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b ip \u200b\u5730\u5740\u200b\uff0cMAC \u200b\u5730\u5740\u200b\uff08\u200b\u5982\u200b\u6709\u200b\u9700\u8981\u200b\uff09\u3002</p> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u4e4b\u524d\u200b\u5b9e\u73b0\u200b\u7684\u200b Pod \u200b\u4f7f\u7528\u200b vip \u200b\u5360\u7528\u200b IP \u200b\u7684\u200b\u65b9\u5f0f\u200b\u5f03\u7528\u200b\u3002\uff08\u200b\u8fd9\u200b\u4e24\u79cd\u200b\u529f\u80fd\u200b\u91cd\u53e0\u200b\uff09</p>"},{"location":"guide/ip/#ip_1","title":"\u4e00\u200b\u3001\u200b\u521b\u5efa\u200b\u9884\u7559\u200b IP","text":"<ul> <li>Pod \u200b\u6216\u8005\u200b VM \u200b\u5df2\u7ecf\u200b\u521b\u5efa\u200b\uff0c\u200b\u9700\u8981\u200b\u9884\u7559\u200b IP</li> <li>Pod \u200b\u6216\u8005\u200b VM \u200b\u5c1a\u672a\u200b\u521b\u5efa\u200b\uff0c\u200b\u9700\u8981\u200b\u9884\u7559\u200b IP</li> </ul> <p>\u200b\u9884\u7559\u200b IP \u200b\u53ea\u662f\u200b\u4e00\u4e2a\u200b\u6269\u5c55\u200b\u529f\u80fd\u200b\uff0c\u200b\u652f\u6301\u200b Pod \u200b\u4f7f\u7528\u200b\u9884\u7559\u200b\u7684\u200b IP\uff0c\u200b\u4f46\u662f\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\uff0c\u200b\u547d\u540d\u200b\u89c4\u5219\u200b\u548c\u200b IP \u200b\u968f\u200b Pod \u200b\u800c\u200b\u521b\u5efa\u200b\u7684\u200b\u4e1a\u52a1\u200b\u903b\u8f91\u200b\u4e00\u81f4\u200b\u3002 \u200b\u6240\u4ee5\u200b\u9884\u7559\u200b IP \u200b\u521b\u5efa\u200b\u65f6\u200b\u9700\u8981\u200b\u660e\u786e\u200b\u8be5\u200b IP \u200b\u540e\u7eed\u200b\u88ab\u200b\u4ec0\u4e48\u200b\u8d44\u6e90\u200b\u4f7f\u7528\u200b\uff0c\u200b\u5fc5\u987b\u200b\u51c6\u786e\u200b\u586b\u5199\u200b\u7c7b\u578b\u200b\uff0cPod \u200b\u540d\u200b\u6216\u8005\u200b VM \u200b\u540d\u200b\uff0cnamespace\uff0c\u200b\u5b50\u7f51\u200b\u7b49\u200b\u4fe1\u606f\u200b\u3002 \u200b\u5f53\u200b\u4f7f\u7528\u200b\u8fd9\u4e2a\u200b IP \u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u4e1a\u52a1\u200b\u9700\u8981\u200b\u6821\u9a8c\u200b IP \u200b\u7ed1\u5b9a\u200b\u5230\u200b\u7684\u200b Pod \u200b\u548c\u200b VM \u200b\u662f\u5426\u200b\u548c\u200b IP \u200b\u672c\u8eab\u200b\u7684\u200b\u5c5e\u6027\u200b\u4e00\u81f4\u200b\uff0c\u200b\u5426\u5219\u200b Pod \u200b\u6216\u8005\u200b VM \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u8be5\u200b IP\u3002</p> <p>IP CR \u200b\u63a7\u5236\u5668\u200b\u7684\u200b\u521b\u5efa\u200b\u8fc7\u7a0b\u200b\u4ec5\u200b\u5904\u7406\u200b\u9884\u7559\u200b IP \u200b\u4e1a\u52a1\u200b\u573a\u666f\u200b\uff0c\u200b\u4e0d\u200b\u5904\u7406\u200b\u968f\u200b Pod \u200b\u521b\u5efa\u200b\u7684\u200b IP \u200b\u8d44\u6e90\u200b\u3002 \u200b\u968f\u200b Pod \u200b\u521b\u5efa\u200b\u7684\u200b IP \u200b\u8d44\u6e90\u200b\u6d41\u7a0b\u200b\u4e2d\u200b\uff0cLSP \u200b\u7684\u200b\u521b\u5efa\u200b\u5728\u200b IP CR \u200b\u7684\u200b\u521b\u5efa\u200b\u4e4b\u524d\u200b\uff0c\u200b\u6240\u4ee5\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b LSP \u200b\u6709\u65e0\u200b\u6765\u200b\u5224\u65ad\u200b\uff0c\u200b\u5728\u200b IP CR \u200b\u63a7\u5236\u5668\u200b\u7684\u200b\u5904\u7406\u8fc7\u7a0b\u200b\u4e2d\u200b\uff0c\u200b\u4f1a\u5148\u200b\u5224\u65ad\u200b\u662f\u5426\u200b\u5b58\u5728\u200b LSP\uff0c\u200b\u5982\u679c\u200b\u5b58\u5728\u200b\u5219\u200b\u4e0d\u200b\u5904\u7406\u200b\u8be5\u200b\u4e1a\u52a1\u200b\u903b\u8f91\u200b\uff1aIP \u200b\u968f\u200b Pod \u200b\u521b\u5efa\u200b\u7684\u200b\u4e1a\u52a1\u200b\u903b\u8f91\u200b\u3002 \u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u521b\u5efa\u200b\u652f\u6301\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b IP \u200b\u4ee5\u53ca\u200b\u624b\u52a8\u200b\u6307\u5b9a\u200b IP\uff0cIP \u200b\u7684\u200b\u521b\u5efa\u200b\u8fc7\u7a0b\u200b\u4e2d\u200b\u53ea\u4f1a\u200b\u5b9e\u73b0\u200b IP \u200b\u5360\u4f4d\u200b\uff0c\u200b\u800c\u200b\u4e0d\u4f1a\u200b\u521b\u5efa\u200b LSP\u3002 LSP \u200b\u7684\u200b\u521b\u5efa\u200b\u8fd8\u662f\u200b\u7ef4\u62a4\u200b\u5728\u200b Pod \u200b\u521b\u5efa\u200b\u6d41\u7a0b\u200b\u4e2d\u200b\u3002 IP CR \u200b\u7684\u200b\u521b\u5efa\u200b\u8fc7\u7a0b\u200b\u4e5f\u200b\u5c31\u662f\u200b\u4ec5\u200b\u5b9e\u73b0\u200b IP \u200b\u7684\u200b\u9884\u7559\u200b\uff0c\u200b\u8fd9\u79cd\u200b IP \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u6dfb\u52a0\u200b\u4e00\u4e2a\u200b keep-ip \u200b\u7684\u200b label\uff0c\u200b\u8868\u660e\u200b\u6c38\u4e45\u200b\u9884\u7559\u200b\u4e0d\u4f1a\u200b\u968f\u200b Pod \u200b\u5220\u9664\u200b\u800c\u200b\u6e05\u7406\u200b\u3002\u200b\u9700\u8981\u200b\u4e1a\u52a1\u200b\u6216\u8005\u200b\u7ba1\u7406\u5458\u200b\u6765\u200b\u7ba1\u7406\u200b\u8fd9\u79cd\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u6e05\u7406\u200b\uff0cGC \u200b\u4e0d\u4f1a\u200b\u81ea\u52a8\u200b\u5904\u7406\u200b\u8be5\u200b IP\u3002</p>"},{"location":"guide/ip/#11-ip","title":"1.1 \u200b\u9884\u7559\u200b IP \u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u5730\u5740","text":"<p>\u200b\u5982\u679c\u200b\u53ea\u662f\u200b\u4e3a\u4e86\u200b\u9884\u7559\u200b\u82e5\u5e72\u200b IP \u200b\u800c\u200b\u5bf9\u200b IP \u200b\u5730\u5740\u200b\u672c\u8eab\u200b\u6ca1\u6709\u200b\u8981\u6c42\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u521b\u5efa\u200b\uff1a</p> <pre><code># cat 01-dynamic.yaml\n\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  name: vm-dynamic-01.default\nspec:\n  subnet: ovn-default\n  podType: \"VirtualMachine\"\n  namespace: default\n  podName: vm-dynamic-01\n</code></pre> <ul> <li><code>subnet</code>: \u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b Subnet \u200b\u4e2d\u200b\u9884\u7559\u200b IP\u3002</li> <li><code>podType</code>: \u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b Pod \u200b\u7684\u200b Owner \u200b\u7c7b\u578b\u200b: \"StatefulSet\", \"VirtualMachine\"\u3002</li> <li><code>podName</code>: IP \u200b\u5c5e\u6027\u200b\u4e2d\u200b\u7684\u200b podName \u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b\u4f7f\u7528\u200b\u8be5\u200b IP \u200b\u8d44\u6e90\u200b\u7684\u200b\u540d\u5b57\u200b\uff0cPod \u200b\u6216\u8005\u200b VirtualMachine \u200b\u7684\u200b\u540d\u5b57\u200b\u3002</li> <li><code>namespace</code>: \u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b\u4f7f\u7528\u200b\u8be5\u200b IP \u200b\u8d44\u6e90\u200b\u6240\u5728\u200b\u7684\u200b namespace\uff0cPod \u200b\u6216\u8005\u200b VirtualMachine namespace\u3002</li> </ul> <p>\u200b\u6ce8\u610f\u200b\uff1a \u200b\u8fd9\u4e9b\u200b IP \u200b\u5c5e\u6027\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u53d8\u66f4\u200b</p> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b IP\uff1a</p> <pre><code># kubectl get subnet ovn-default\nNAME          PROVIDER   VPC           PROTOCOL   CIDR           PRIVATE   NAT    DEFAULT   GATEWAYTYPE   V4USED   V4AVAILABLE   V6USED   V6AVAILABLE   EXCLUDEIPS      U2OINTERCONNECTIONIP\novn-default   ovn        ovn-cluster   IPv4       10.16.0.0/16   false     true   true      distributed   7        65526         0        0             [\"10.16.0.1\"]\n\n# kubectl get ip vm-dynamic-01.default -o yaml\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  annotations:\n    kubectl.kubernetes.io/last-applied-configuration: |\n      {\"apiVersion\":\"kubeovn.io/v1\",\"kind\":\"IP\",\"metadata\":{\"annotations\":{},\"name\":\"vm-dynamic-01.default\"},\"spec\":{\"namespace\":\"default\",\"podName\":\"vm-dynamic-01\",\"podType\":\"VirtualMachine\",\"subnet\":\"ovn-default\"}}\n  creationTimestamp: \"2024-01-29T03:05:40Z\"\n  finalizers:\n  - kube-ovn-controller\n  generation: 2\n  labels:\n    ovn.kubernetes.io/ip_reserved: \"true\" # \u200b\u9884\u7559\u200b IP \u200b\u6807\u8bc6\u200b\n    ovn.kubernetes.io/node-name: \"\"\n    ovn.kubernetes.io/subnet: ovn-default\n  name: vm-dynamic-01.default\n  resourceVersion: \"1571\"\n  uid: 89d05a26-294a-450b-ab63-1eaa957984d7\nspec:\n  attachIps: []\n  attachMacs: []\n  attachSubnets: []\n  containerID: \"\"\n  ipAddress: 10.16.0.13\n  macAddress: 00:00:00:86:C6:36\n  namespace: default\n  nodeName: \"\"\n  podName: vm-dynamic-01\n  podType: VirtualMachine\n  subnet: ovn-default\n  v4IpAddress: 10.16.0.13\n  v6IpAddress: \"\"\n\n# kubectl ko nbctl show ovn-default | grep vm-dynamic-01.default\n# \u200b\u9884\u7559\u200b IP\uff0c\u200b\u4ec5\u200b\u5728\u200b IPAM \u200b\u4e2d\u200b\u5206\u914d\u200b\u5730\u5740\u200b\uff0c\u200b\u4e0d\u200b\u521b\u5efa\u200b LSP\uff0c\u200b\u6240\u4ee5\u200b\u67e5\u770b\u200b\u4e0d\u5230\u200b\n</code></pre>"},{"location":"guide/ip/#12-ip","title":"1.2 \u200b\u6307\u5b9a\u200b\u5730\u5740\u200b\u9884\u7559\u200b IP","text":"<p>\u200b\u5982\u5bf9\u200b\u9884\u7559\u200b\u7684\u200b IP \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u6709\u200b\u9700\u6c42\u200b\u53ef\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u56fa\u5b9a\u200b\u5206\u914d\u200b\uff1a</p> <pre><code># cat  02-static.yaml\n\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  name: pod-static-01.default\nspec:\n  subnet: ovn-default\n  podType: \"\"\n  namespace: default\n  podName: pod-static-01\n  v4IpAddress: 10.16.0.3\n  v6IpAddress:\n\n# kubectl get ip pod-static-01.default -o yaml\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  annotations:\n    kubectl.kubernetes.io/last-applied-configuration: |\n      {\"apiVersion\":\"kubeovn.io/v1\",\"kind\":\"IP\",\"metadata\":{\"annotations\":{},\"name\":\"pod-static-01.default\"},\"spec\":{\"namespace\":\"default\",\"podName\":\"pod-static-01\",\"podType\":\"\",\"subnet\":\"ovn-default\",\"v4IpAddress\":\"10.16.0.3\",\"v6IpAddress\":null}}\n  creationTimestamp: \"2024-01-29T03:08:28Z\"\n  finalizers:\n  - kube-ovn-controller\n  generation: 2\n  labels:\n    ovn.kubernetes.io/ip_reserved: \"true\"\n    ovn.kubernetes.io/node-name: \"\"\n    ovn.kubernetes.io/subnet: ovn-default\n  name: pod-static-01.default\n  resourceVersion: \"1864\"\n  uid: 11fc767d-f57d-4520-89f9-448f9b272bca\nspec:\n  attachIps: []\n  attachMacs: []\n  attachSubnets: []\n  containerID: \"\"\n  ipAddress: 10.16.0.3\n  macAddress: 00:00:00:4D:B4:36\n  namespace: default\n  nodeName: \"\"\n  podName: pod-static-01\n  podType: \"\"\n  subnet: ovn-default\n  v4IpAddress: 10.16.0.3\n  v6IpAddress: \"\"\n</code></pre> <ul> <li><code>v4IpAddress</code>: \u200b\u6307\u5b9a\u200b IPv4 \u200b\u5730\u5740\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u9700\u5728\u200b <code>subnet</code> \u200b\u7684\u200b CIDR \u200b\u8303\u56f4\u200b\u5185\u200b\u3002</li> <li><code>v6IpAddress</code>: \u200b\u6307\u5b9a\u200b IPv6 \u200b\u5730\u5740\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u9700\u5728\u200b <code>subnet</code> \u200b\u7684\u200b CIDR \u200b\u8303\u56f4\u200b\u5185\u200b\u3002</li> </ul>"},{"location":"guide/ip/#pod-ip","title":"Pod \u200b\u4f7f\u7528\u200b\u9884\u7559\u200b IP","text":"<p>\u200b\u6ce8\u610f\u200b: Pod \u200b\u7684\u200b\u540d\u5b57\u200b\u4ee5\u53ca\u200b namespace \u200b\u5fc5\u987b\u200b\u548c\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u5c5e\u6027\u200b\u4e00\u81f4\u200b\uff0c\u200b\u5426\u5219\u200b Pod \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u8be5\u200b IP\u3002VM \u200b\u4e5f\u200b\u662f\u200b\u5982\u6b64\u200b\u3002</p> <p>\u200b\u5220\u9664\u200b Pod \u200b\u6216\u8005\u200b VM \u200b\u540e\u200b\uff0c \u200b\u8be5\u200b IP CR \u200b\u4f9d\u7136\u200b\u4fdd\u7559\u200b\u3002</p> <pre><code>root@base:~/test/ip# kubectl get po -n default -o wide\nNAME            READY   STATUS    RESTARTS   AGE   IP          NODE              NOMINATED NODE   READINESS GATES\npod-static-01   1/1     Running   0          30s   10.16.0.3   kube-ovn-worker   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"guide/ip/#_1","title":"\u4e8c\u200b\u3001\u200b\u5220\u9664","text":"<p>kube-ovn-controller GC \u200b\u6d41\u7a0b\u200b\u4e0d\u4f1a\u200b\u6e05\u7406\u200b\u72ec\u7acb\u200b\u7684\u200b IP \u200b\u8d44\u6e90\u200b\u3002\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u6e05\u7406\u200b IP \u200b\u4ee5\u53ca\u200b\u5b83\u200b\u7684\u200b LSP\uff0c\u200b\u8bf7\u200b\u76f4\u63a5\u200b\u5220\u9664\u200b IP CR \u200b\u8d44\u6e90\u200b\u3002</p> <p>IP \u200b\u7684\u200b\u5220\u9664\u200b\u6d41\u7a0b\u200b\u4f1a\u200b\u57fa\u4e8e\u200b IP \u200b\u5c5e\u6027\u200b\u4e2d\u200b\u7684\u200b podName \u200b\u548c\u200b namespace \u200b\u4ee5\u53ca\u200b subnet provider \u200b\u683c\u5f0f\u5316\u200b\u51fa\u200b ipam key\uff0cLSP \u200b\u540d\u200b\uff0c\u200b\u91ca\u653e\u200b IPAM \u200b\u5360\u4f4d\u200b\uff0c\u200b\u5220\u9664\u200b LSP\uff0c\u200b\u4ee5\u53ca\u200b\u6e05\u7406\u200b IP \u200b\u672c\u8eab\u200b\u7684\u200b Finalizer\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/ippool/","title":"IP \u200b\u6c60\u200b\u4f7f\u7528","text":"<p>IP \u200b\u6c60\u200b\uff08IPPool\uff09\u200b\u662f\u200b\u6bd4\u200b\u5b50\u7f51\u200b\uff08Subnet\uff09\u200b\u66f4\u7ec6\u200b\u529b\u5ea6\u200b\u7684\u200b IPAM \u200b\u7ba1\u7406\u200b\u5355\u5143\u200b\u3002\u200b\u4f60\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b IP \u200b\u6c60\u5c06\u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b\u7ec6\u5206\u200b\u4e3a\u200b\u591a\u4e2a\u200b\u5355\u5143\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u5355\u5143\u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b\u6216\u200b\u591a\u4e2a\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\uff08Namespace\uff09\u3002</p>"},{"location":"guide/ippool/#_1","title":"\u4f7f\u7528\u200b\u65b9\u6cd5","text":"<p>\u200b\u4f7f\u7528\u200b\u793a\u4f8b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: IPPool\nmetadata:\n  name: pool-1\nspec:\n  subnet: ovn-default\n  ips:\n  - \"10.16.0.201\"\n  - \"10.16.0.210/30\"\n  - \"10.16.0.220..10.16.0.230\"\n  namespaces:\n  - ns-1\n</code></pre> <p>\u200b\u5b57\u200b\u6bb5\u200b\u8bf4\u660e\u200b\uff1a</p> \u200b\u540d\u79f0\u200b \u200b\u7528\u9014\u200b \u200b\u5907\u6ce8\u200b subnet \u200b\u6307\u5b9a\u200b\u6240\u5c5e\u200b\u5b50\u7f51\u200b \u200b\u5fc5\u586b\u200b ips \u200b\u6307\u5b9a\u200b\u5305\u542b\u200b\u7684\u200b IP \u200b\u8303\u56f4\u200b \u200b\u652f\u6301\u200b \u3001 \u200b\u4ee5\u53ca\u200b .. \u200b\u4e09\u79cd\u200b\u683c\u5f0f\u200b\uff0c\u200b\u652f\u6301\u200b IPv6\u3002 namespaces \u200b\u7ed1\u5b9a\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b \u200b\u53ef\u200b\u9009"},{"location":"guide/ippool/#_2","title":"\u6ce8\u610f\u4e8b\u9879","text":"<ol> <li>\u200b\u4e3a\u200b\u4fdd\u8bc1\u200b\u4e0e\u200b Workload \u200b\u901a\u7528\u200b IP Pool \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b \u200b\u7684\u200b\u517c\u5bb9\u6027\u200b\uff0cIP \u200b\u6c60\u200b\u7684\u200b\u540d\u79f0\u200b\u4e0d\u80fd\u200b\u662f\u200b\u4e00\u4e2a\u200b IP \u200b\u5730\u5740\u200b\uff1b</li> <li>IP \u200b\u6c60\u200b\u7684\u200b <code>.spec.ips</code> \u200b\u53ef\u200b\u6307\u5b9a\u200b\u8d85\u51fa\u200b\u5b50\u7f51\u200b\u8303\u56f4\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u4f46\u200b\u5b9e\u9645\u200b\u6709\u6548\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u662f\u200b <code>.spec.ips</code> \u200b\u4e0e\u200b\u5b50\u7f51\u200b CIDR \u200b\u7684\u200b\u4ea4\u96c6\u200b\uff1b</li> <li>\u200b\u540c\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b\u4e0d\u540c\u200b IP \u200b\u6c60\u200b\uff0c\u200b\u4e0d\u80fd\u200b\u5305\u542b\u200b\u76f8\u540c\u200b\u7684\u200b\uff08\u200b\u6709\u6548\u200b\uff09IP \u200b\u5730\u5740\u200b\uff1b</li> <li>IP \u200b\u6c60\u200b\u7684\u200b <code>.spec.ips</code> \u200b\u53ef\u200b\u52a8\u6001\u200b\u4fee\u6539\u200b\uff1b</li> <li>IP \u200b\u6c60\u4f1a\u200b\u7ee7\u627f\u200b\u5b50\u7f51\u200b\u7684\u200b\u4fdd\u7559\u200b IP\uff0c\u200b\u4ece\u200b IP \u200b\u6c60\u200b\u968f\u673a\u200b\u5206\u914d\u200b IP \u200b\u5730\u5740\u200b\u65f6\u200b\uff0c\u200b\u4f1a\u200b\u8df3\u200b\u8fc7\u200b\u5305\u542b\u200b\u5728\u200b IP \u200b\u6c60\u4e2d\u200b\u7684\u200b\u4fdd\u7559\u200b IP\uff1b</li> <li>\u200b\u4ece\u200b\u5b50\u7f51\u200b\u968f\u673a\u200b\u5206\u914d\u200b IP \u200b\u5730\u5740\u200b\u65f6\u200b\uff0c\u200b\u53ea\u4f1a\u200b\u4ece\u200b\u5b50\u7f51\u200b\u6240\u6709\u200b IP \u200b\u6c60\u200b\u4ee5\u5916\u200b\u7684\u200b\u8303\u56f4\u200b\u5206\u914d\u200b\u3002</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/loadbalancer-service/","title":"LoadBalancer \u200b\u7c7b\u578b\u200b Service","text":"<p>Kube-OVN \u200b\u5df2\u7ecf\u200b\u652f\u6301\u200b\u4e86\u200b VPC \u200b\u548c\u200b VPC \u200b\u7f51\u5173\u200b\u7684\u200b\u5b9e\u73b0\u200b\uff0c\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b VPC \u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b VPC \u200b\u7f51\u5173\u200b\u7684\u200b\u4f7f\u7528\u200b\u6bd4\u8f83\u590d\u6742\u200b\uff0c\u200b\u57fa\u4e8e\u200b VPC \u200b\u7f51\u5173\u200b\u7684\u200b\u5b9e\u73b0\u200b\u505a\u200b\u4e86\u200b\u7b80\u5316\u200b\uff0c\u200b\u652f\u6301\u200b\u5728\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u521b\u5efa\u200b <code>LoadBalancer</code> \u200b\u7c7b\u578b\u200b\u7684\u200b Service\uff0c\u200b\u5b9e\u73b0\u200b\u901a\u8fc7\u200b LoadBalancerIP \u200b\u6765\u200b\u8bbf\u95ee\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Service\u3002</p> <p>\u200b\u9996\u5148\u200b\u786e\u8ba4\u200b\u73af\u5883\u200b\u4e0a\u200b\u6ee1\u8db3\u200b\u4ee5\u4e0b\u200b\u6761\u4ef6\u200b\uff1a</p> <ol> <li>\u200b\u5b89\u88c5\u200b\u4e86\u200b <code>multus-cni</code> \u200b\u548c\u200b <code>macvlan cni</code>\u3002</li> <li>LoadBalancer Service \u200b\u7684\u200b\u652f\u6301\u200b\uff0c\u200b\u662f\u200b\u5bf9\u200b VPC \u200b\u7f51\u5173\u200b\u4ee3\u7801\u200b\u8fdb\u884c\u200b\u7b80\u5316\u200b\u5b9e\u73b0\u200b\u7684\u200b\uff0c\u200b\u4ecd\u7136\u200b\u4f7f\u7528\u200b <code>vpc-nat-gw</code> \u200b\u7684\u200b\u955c\u50cf\u200b\uff0c\u200b\u4f9d\u8d56\u200b macvlan \u200b\u63d0\u4f9b\u200b\u591a\u200b\u7f51\u5361\u200b\u529f\u80fd\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u76ee\u524d\u200b\u53ea\u200b\u652f\u6301\u200b\u5728\u200b<code>\u200b\u9ed8\u8ba4\u200b VPC</code> \u200b\u914d\u7f6e\u200b\uff0c\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e0b\u200b\u7684\u200b LoadBalancer \u200b\u652f\u6301\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b VPC \u200b\u7684\u200b\u6587\u6863\u200b VPC \u200b\u914d\u7f6e\u200b\u3002</li> </ol>"},{"location":"guide/loadbalancer-service/#vpc-loadbalancer-service","title":"\u9ed8\u8ba4\u200b VPC LoadBalancer Service \u200b\u914d\u7f6e\u200b\u6b65\u9aa4","text":""},{"location":"guide/loadbalancer-service/#_1","title":"\u5f00\u542f\u200b\u7279\u6027\u200b\u5f00\u5173","text":"<p>\u200b\u4fee\u6539\u200b kube-system namespace \u200b\u4e0b\u200b\u7684\u200b deployment <code>kube-ovn-controller</code>\uff0c\u200b\u5728\u200b <code>args</code> \u200b\u4e2d\u200b\u589e\u52a0\u200b\u53c2\u6570\u200b  <code>--enable-lb-svc=true</code>\uff0c\u200b\u5f00\u542f\u200b\u529f\u80fd\u200b\u5f00\u5173\u200b\uff0c\u200b\u8be5\u200b\u53c2\u6570\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b false\u3002</p> <pre><code>containers:\n- args:\n  - /kube-ovn/start-controller.sh\n  - --default-cidr=10.16.0.0/16\n  - --default-gateway=10.16.0.1\n  - --default-gateway-check=true\n  - --enable-lb-svc=true                  // \u200b\u53c2\u6570\u8bbe\u7f6e\u200b\u4e3a\u200b true\n</code></pre>"},{"location":"guide/loadbalancer-service/#networkattachmentdefinition-crd","title":"\u521b\u5efa\u200b NetworkAttachmentDefinition CRD \u200b\u8d44\u6e90","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b <code>net-attach-def</code> \u200b\u8d44\u6e90\u200b:</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: lb-svc-attachment\n  namespace: kube-system\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth0\",                         //\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\uff0c\u200b\u6839\u636e\u200b\u5b9e\u9645\u200b\u60c5\u51b5\u200b\u914d\u7f6e\u200b\n      \"mode\": \"bridge\"\n    }'\n</code></pre> <p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u901a\u8fc7\u200b\u7269\u7406\u200b\u7f51\u5361\u200b <code>eth0</code> \u200b\u6765\u200b\u5b9e\u73b0\u200b\u591a\u200b\u7f51\u5361\u200b\u529f\u80fd\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u5176\u4ed6\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>master</code> \u200b\u53d6\u503c\u200b\uff0c\u200b\u6307\u5b9a\u200b\u4f7f\u7528\u200b\u7684\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u540d\u79f0\u200b\u3002</p>"},{"location":"guide/loadbalancer-service/#subnet","title":"\u521b\u5efa\u200b Subnet","text":"<p>\u200b\u521b\u5efa\u200b\u7684\u200b Subnet\uff0c\u200b\u7528\u4e8e\u200b\u7ed9\u200b LoadBalancer Service \u200b\u5206\u914d\u200b LoadBalancerIP\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u6b63\u5e38\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5916\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u8bbf\u95ee\u200b\u5230\u200b\u3002\u200b\u53ef\u4ee5\u200b\u914d\u7f6e\u200b Underlay Subnet \u200b\u7528\u4e8e\u200b\u5730\u5740\u200b\u5206\u914d\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b\u65b0\u200b\u5b50\u7f51\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attach-subnet\nspec:\n  protocol: IPv4\n  provider: lb-svc-attachment.kube-system    # provider \u200b\u683c\u5f0f\u200b\u56fa\u5b9a\u200b\uff0c\u200b\u7531\u200b\u4e0a\u200b\u4e00\u6b65\u200b\u521b\u5efa\u200b\u7684\u200b net-attach-def \u200b\u8d44\u6e90\u200b\u7684\u200b Name.Namespace \u200b\u7ec4\u6210\u200b\n  cidrBlock: 172.18.0.0/16\n  gateway: 172.18.0.1\n  excludeIps:\n  - 172.18.0.0..172.18.0.10\n</code></pre> <p>Subnet \u200b\u4e2d\u200b <code>provider</code> \u200b\u53c2\u6570\u200b\u4ee5\u200b <code>ovn</code> \u200b\u6216\u8005\u200b\u4ee5\u200b <code>.ovn</code> \u200b\u4e3a\u200b\u540e\u7f00\u200b\u7ed3\u675f\u200b\uff0c\u200b\u8868\u793a\u200b\u8be5\u200b\u5b50\u7f51\u200b\u662f\u200b\u7531\u200b Kube-OVN \u200b\u7ba1\u7406\u200b\u4f7f\u7528\u200b\uff0c\u200b\u9700\u8981\u200b\u5bf9\u5e94\u200b\u521b\u5efa\u200b <code>logical switch</code> \u200b\u8bb0\u5f55\u200b\u3002</p> <p><code>provider</code> \u200b\u975e\u200b <code>ovn</code> \u200b\u6216\u8005\u200b\u975e\u200b <code>.ovn</code> \u200b\u4e3a\u200b\u540e\u7f00\u200b\u7ed3\u675f\u200b\uff0c\u200b\u5219\u200b Kube-OVN \u200b\u53ea\u200b\u63d0\u4f9b\u200b IPAM \u200b\u529f\u80fd\u200b\uff0c\u200b\u8bb0\u5f55\u200b IP \u200b\u5730\u5740\u200b\u5206\u914d\u60c5\u51b5\u200b\uff0c\u200b\u4e0d\u200b\u5bf9\u200b\u5b50\u7f51\u200b\u505a\u200b\u4e1a\u52a1\u200b\u903b\u8f91\u200b\u5904\u7406\u200b\u3002</p>"},{"location":"guide/loadbalancer-service/#loadbalancer-service_1","title":"\u521b\u5efa\u200b LoadBalancer Service","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b LoadBalancer Service\uff1a</p> <pre><code>apiVersion: v1\nkind: Service\nmetadata:\n  annotations:\n    lb-svc-attachment.kube-system.kubernetes.io/logical_switch: attach-subnet   #\u200b\u53ef\u200b\u9009\u200b\n    ovn.kubernetes.io/attachmentprovider: lb-svc-attachment.kube-system          #\u200b\u5fc5\u987b\u200b\n  labels:\n    app: dynamic\n  name: test-service\n  namespace: default\nspec:\n  loadBalancerIP: 172.18.0.18                                                   #\u200b\u53ef\u200b\u9009\u200b\n  ports:\n    - name: test\n      protocol: TCP\n      port: 80\n      targetPort: 80\n  selector:\n    app: dynamic\n  sessionAffinity: None\n  type: LoadBalancer\n</code></pre> <p>\u200b\u5728\u200b yaml \u200b\u4e2d\u200b\uff0cannotation <code>ovn.kubernetes.io/attachmentprovider</code>  \u200b\u4e3a\u200b\u5fc5\u586b\u200b\u9879\u200b\uff0c\u200b\u53d6\u503c\u200b\u7531\u200b\u7b2c\u4e00\u6b65\u200b\u521b\u5efa\u200b\u7684\u200b <code>net-attach-def</code> \u200b\u8d44\u6e90\u200b\u7684\u200b Name.Namespace \u200b\u7ec4\u6210\u200b\u3002\u200b\u8be5\u200b annotation \u200b\u7528\u4e8e\u200b\u5728\u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\uff0c\u200b\u67e5\u627e\u200b <code>net-attach-def</code> \u200b\u8d44\u6e90\u200b\u3002</p> <p>\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b annotation \u200b\u6307\u5b9a\u200b\u591a\u200b\u7f51\u5361\u200b\u5730\u5740\u200b\u5206\u914d\u200b\u4f7f\u7528\u200b\u7684\u200b\u5b50\u7f51\u200b\u3002annotation key \u200b\u683c\u5f0f\u200b\u4e3a\u200b net-attach-def \u200b\u8d44\u6e90\u200b\u7684\u200b <code>Name.Namespace.kubernetes.io/logical_switch</code>\u3002\u200b\u8be5\u200b\u914d\u7f6e\u200b\u4e3a\u200b<code>\u200b\u53ef\u200b\u9009\u200b</code>\u200b\u9009\u9879\u200b\uff0c\u200b\u5728\u200b\u6ca1\u6709\u200b\u6307\u5b9a\u200b LoadBalancerIP \u200b\u5730\u5740\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b\u5b50\u7f51\u200b\u52a8\u6001\u5206\u914d\u200b\u5730\u5740\u200b\uff0c\u200b\u586b\u5145\u200b\u5230\u200b LoadBalancerIP \u200b\u5b57\u200b\u6bb5\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u9759\u6001\u200b\u914d\u7f6e\u200b LoadBalancerIP \u200b\u5730\u5740\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u914d\u7f6e\u200b <code>spec.loadBalancerIP</code> \u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u9700\u8981\u200b\u5728\u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\u5185\u200b\u3002</p> <p>\u200b\u5728\u200b\u6267\u884c\u200b yaml \u200b\u521b\u5efa\u200b Service \u200b\u540e\u200b\uff0c\u200b\u5728\u200b Service \u200b\u540c\u200b Namespace \u200b\u4e0b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b Pod \u200b\u542f\u52a8\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get pod\nNAME                                      READY   STATUS    RESTARTS   AGE\nlb-svc-test-service-6869d98dd8-cjvll      1/1     Running   0          107m\n# kubectl get svc\nNAME              TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE\ntest-service      LoadBalancer   10.109.201.193   172.18.0.18   80:30056/TCP   107m\n</code></pre> <p>\u200b\u6307\u5b9a\u200b <code>service.spec.loadBalancerIP</code> \u200b\u53c2\u6570\u200b\u65f6\u200b\uff0c\u200b\u6700\u7ec8\u200b\u5c06\u200b\u8be5\u200b\u53c2\u6570\u200b\u8d4b\u503c\u200b\u7ed9\u200b service external-ip \u200b\u5b57\u200b\u6bb5\u200b\u3002\u200b\u4e0d\u200b\u6307\u5b9a\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u8be5\u200b\u53c2\u6570\u200b\u4e3a\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u503c\u200b\u3002</p> <p>\u200b\u67e5\u770b\u200b\u6d4b\u8bd5\u200b Pod \u200b\u7684\u200b yaml \u200b\u8f93\u51fa\u200b\uff0c\u200b\u5b58\u5728\u200b\u591a\u200b\u7f51\u5361\u200b\u5206\u914d\u200b\u7684\u200b\u5730\u5740\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get pod -o yaml lb-svc-test-service-6869d98dd8-cjvll\napiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    k8s.v1.cni.cncf.io/network-status: |-\n      [{\n          \"name\": \"kube-ovn\",\n          \"ips\": [\n              \"10.16.0.2\"\n          ],\n          \"default\": true,\n          \"dns\": {}\n      },{\n          \"name\": \"default/test-service\",\n          \"interface\": \"net1\",\n          \"mac\": \"ba:85:f7:02:9f:42\",\n          \"dns\": {}\n      }]\n    k8s.v1.cni.cncf.io/networks: default/test-service\n    k8s.v1.cni.cncf.io/networks-status: |-\n      [{\n          \"name\": \"kube-ovn\",\n          \"ips\": [\n              \"10.16.0.2\"\n          ],\n          \"default\": true,\n          \"dns\": {}\n      },{\n          \"name\": \"default/test-service\",\n          \"interface\": \"net1\",\n          \"mac\": \"ba:85:f7:02:9f:42\",\n          \"dns\": {}\n      }]\n    ovn.kubernetes.io/allocated: \"true\"\n    ovn.kubernetes.io/cidr: 10.16.0.0/16\n    ovn.kubernetes.io/gateway: 10.16.0.1\n    ovn.kubernetes.io/ip_address: 10.16.0.2\n    ovn.kubernetes.io/logical_router: ovn-cluster\n    ovn.kubernetes.io/logical_switch: ovn-default\n    ovn.kubernetes.io/mac_address: 00:00:00:45:F4:29\n    ovn.kubernetes.io/pod_nic_type: veth-pair\n    ovn.kubernetes.io/routed: \"true\"\n    test-service.default.kubernetes.io/allocated: \"true\"\n    test-service.default.kubernetes.io/cidr: 172.18.0.0/16\n    test-service.default.kubernetes.io/gateway: 172.18.0.1\n    test-service.default.kubernetes.io/ip_address: 172.18.0.18\n    test-service.default.kubernetes.io/logical_switch: attach-subnet\n    test-service.default.kubernetes.io/mac_address: 00:00:00:AF:AA:BF\n    test-service.default.kubernetes.io/pod_nic_type: veth-pair\n</code></pre> <p>\u200b\u67e5\u770b\u200b Service \u200b\u7684\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get svc -o yaml test-service\napiVersion: v1\nkind: Service\nmetadata:\n  annotations:\n    kubectl.kubernetes.io/last-applied-configuration: |\n      {\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{\"test-service.default.kubernetes.io/logical_switch\":\"attach-subnet\"},\"labels\":{\"app\":\"dynamic\"},\"name\":\"test-service\",\"namespace\":\"default\"},\"spec\":{\"ports\":[{\"name\":\"test\",\"port\":80,\"protocol\":\"TCP\",\"targetPort\":80}],\"selector\":{\"app\":\"dynamic\"},\"sessionAffinity\":\"None\",\"type\":\"LoadBalancer\"}}\n    ovn.kubernetes.io/vpc: ovn-cluster\n    test-service.default.kubernetes.io/logical_switch: attach-subnet\n  creationTimestamp: \"2022-06-15T09:01:58Z\"\n  labels:\n    app: dynamic\n  name: test-service\n  namespace: default\n  resourceVersion: \"38485\"\n  uid: 161edee1-7f6e-40f5-9e09-5a52c44267d0\nspec:\n  allocateLoadBalancerNodePorts: true\n  clusterIP: 10.109.201.193\n  clusterIPs:\n  - 10.109.201.193\n  externalTrafficPolicy: Cluster\n  internalTrafficPolicy: Cluster\n  ipFamilies:\n  - IPv4\n  ipFamilyPolicy: SingleStack\n  ports:\n  - name: test\n    nodePort: 30056\n    port: 80\n    protocol: TCP\n    targetPort: 80\n  selector:\n    app: dynamic\n  sessionAffinity: None\n  type: LoadBalancer\nstatus:\n  loadBalancer:\n    ingress:\n    - ip: 172.18.0.18\n</code></pre>"},{"location":"guide/loadbalancer-service/#loadbalancerip","title":"\u6d4b\u8bd5\u200b LoadBalancerIP \u200b\u8bbf\u95ee","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml, \u200b\u521b\u5efa\u200b\u6d4b\u8bd5\u200b Pod\uff0c\u200b\u4f5c\u4e3a\u200b Service \u200b\u7684\u200b Endpoints \u200b\u63d0\u4f9b\u200b\u670d\u52a1\u200b:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: dynamic\n  name: dynamic\n  namespace: default\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: dynamic\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      creationTimestamp: null\n      labels:\n        app: dynamic\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n      dnsPolicy: ClusterFirst\n      restartPolicy: Always\n</code></pre> <p>\u200b\u6b63\u5e38\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u63d0\u4f9b\u200b\u7684\u200b\u5b50\u7f51\u200b\u5730\u5740\u200b\uff0c\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5916\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u8bbf\u95ee\u200b\u5230\u200b\u3002\u200b\u4e3a\u4e86\u200b\u7b80\u5355\u200b\u9a8c\u8bc1\u200b\uff0c\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\u8bbf\u95ee\u200b Service \u200b\u7684\u200b <code>LoadBalancerIP:Port</code>\uff0c\u200b\u67e5\u770b\u200b\u662f\u5426\u200b\u6b63\u5e38\u200b\u8bbf\u95ee\u200b\u6210\u529f\u200b\u3002</p> <pre><code># curl 172.18.0.11:80\n&lt;html&gt;\n&lt;head&gt;\n        &lt;title&gt;Hello World!&lt;/title&gt;\n        &lt;link href='//fonts.googleapis.com/css?family=Open+Sans:400,700' rel='stylesheet' type='text/css'&gt;\n        &lt;style&gt;\n        body {\n                background-color: white;\n                text-align: center;\n                padding: 50px;\n                font-family: \"Open Sans\",\"Helvetica Neue\",Helvetica,Arial,sans-serif;\n        }\n        #logo {\n                margin-bottom: 40px;\n        }\n        &lt;/style&gt;\n&lt;/head&gt;\n&lt;body&gt;\n                &lt;h1&gt;Hello World!&lt;/h1&gt;\n                                &lt;h3&gt;Links found&lt;/h3&gt;\n        &lt;h3&gt;I am on  dynamic-7d8d7874f5-hsgc4&lt;/h3&gt;\n        &lt;h3&gt;Cookie                  =&lt;/h3&gt;\n                                        &lt;b&gt;KUBERNETES&lt;/b&gt; listening in 443 available at tcp://10.96.0.1:443&lt;br /&gt;\n                                                &lt;h3&gt;my name is hanhouchao!&lt;/h3&gt;\n                        &lt;h3&gt; RequestURI='/'&lt;/h3&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre> <p>\u200b\u8fdb\u5165\u200b Service \u200b\u521b\u5efa\u200b\u7684\u200b Pod\uff0c\u200b\u67e5\u770b\u200b\u7f51\u7edc\u200b\u7684\u200b\u4fe1\u606f\u200b</p> <pre><code># ip a\n4: net1@if62: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether ba:85:f7:02:9f:42 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 172.18.0.18/16 scope global net1\n       valid_lft forever preferred_lft forever\n    inet6 fe80::b885:f7ff:fe02:9f42/64 scope link\n       valid_lft forever preferred_lft forever\n36: eth0@if37: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1400 qdisc noqueue state UP group default\n    link/ether 00:00:00:45:f4:29 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 10.16.0.2/16 brd 10.16.255.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe45:f429/64 scope link\n       valid_lft forever preferred_lft forever\n\n# ip rule\n0: from all lookup local\n32764: from all iif eth0 lookup 100\n32765: from all iif net1 lookup 100\n32766: from all lookup main\n32767: from all lookup default\n\n# ip route show table 100\ndefault via 172.18.0.1 dev net1\n10.109.201.193 via 10.16.0.1 dev eth0\n172.18.0.0/16 dev net1 scope link\n\n# iptables -t nat -L -n -v\nChain PREROUTING (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            172.18.0.18          tcp dpt:80 to:10.109.201.193:80\n\nChain INPUT (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n\nChain OUTPUT (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n\nChain POSTROUTING (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n    0     0 MASQUERADE  all  --  *      *       0.0.0.0/0            10.109.201.193\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/mirror/","title":"\u6d41\u91cf\u200b\u955c\u50cf","text":"<p>\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u8fdb\u51fa\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u8fdb\u884c\u200b\u590d\u5236\u5230\u200b\u4e3b\u673a\u200b\u7684\u200b\u7279\u5b9a\u200b\u7f51\u5361\u200b\u3002\u200b\u7ba1\u7406\u5458\u200b\u6216\u200b\u5f00\u53d1\u8005\u200b \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u76d1\u542c\u200b\u8fd9\u5757\u200b\u7f51\u5361\u200b\u83b7\u5f97\u200b\u5b8c\u6574\u200b\u7684\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u6765\u200b\u8fdb\u4e00\u6b65\u200b\u8fdb\u884c\u200b\u5206\u6790\u200b\uff0c\u200b\u76d1\u63a7\u200b\uff0c\u200b\u5b89\u5168\u200b\u5ba1\u8ba1\u200b\u7b49\u200b\u64cd\u4f5c\u200b\u3002 \u200b\u4e5f\u200b\u53ef\u200b\u548c\u200b\u4f20\u7edf\u200b\u7684\u200b NPM \u200b\u5bf9\u63a5\u200b\u83b7\u53d6\u200b\u66f4\u200b\u7ec6\u7c92\u5ea6\u200b\u7684\u200b\u6d41\u91cf\u200b\u76d1\u63a7\u200b\u3002</p> <p>\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5e26\u6765\u200b\u4e00\u5b9a\u200b\u7684\u200b\u6027\u80fd\u200b\u635f\u5931\u200b\uff0c\u200b\u6839\u636e\u200b CPU \u200b\u6027\u80fd\u200b\u4ee5\u53ca\u200b\u6d41\u91cf\u200b\u7684\u200b\u7279\u5f81\u200b\uff0c\u200b\u4f1a\u200b\u6709\u200b 5%~10% \u200b\u7684\u200b \u200b\u989d\u5916\u200b CPU \u200b\u6d88\u8017\u200b\u3002</p> <p></p>"},{"location":"guide/mirror/#_2","title":"\u5168\u5c40\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u914d\u7f6e","text":"<p>\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u529f\u80fd\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u5173\u95ed\u200b\u72b6\u6001\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u5f00\u542f\u200b\u8bf7\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\uff1a</p> <ul> <li><code>--enable-mirror=true</code>\uff1a \u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u3002</li> <li><code>--mirror-iface=mirror0</code>: \u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u6240\u200b\u590d\u5236\u5230\u200b\u7684\u200b\u7f51\u5361\u200b\u540d\u200b\u3002\u200b\u8be5\u200b\u7f51\u5361\u200b\u53ef\u200b\u4e3a\u4e3b\u200b\u673a\u4e0a\u200b\u5df2\u200b\u5b58\u5728\u200b\u7684\u200b\u4e00\u5757\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\uff0c \u200b\u6b64\u65f6\u200b\u8be5\u200b\u7f51\u5361\u200b\u4f1a\u200b\u88ab\u200b\u6865\u63a5\u200b\u8fdb\u200b br-int \u200b\u7f51\u6865\u200b\uff0c\u200b\u955c\u50cf\u200b\u6d41\u91cf\u200b\u4f1a\u200b\u76f4\u63a5\u200b\u63a5\u5165\u200b\u5e95\u5c42\u200b\u4ea4\u6362\u673a\u200b\u3002\u200b\u82e5\u200b\u7f51\u5361\u200b\u540d\u200b\u4e0d\u200b\u5b58\u5728\u200b\uff0cKube-OVN \u200b\u4f1a\u200b\u81ea\u52a8\u200b \u200b\u521b\u5efa\u200b\u4e00\u5757\u200b\u540c\u540d\u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u5361\u200b\uff0c\u200b\u7ba1\u7406\u5458\u200b\u6216\u200b\u5f00\u53d1\u8005\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5bbf\u4e3b\u673a\u200b\u4e0a\u200b\u901a\u8fc7\u200b\u8be5\u200b\u7f51\u5361\u200b\u83b7\u53d6\u200b\u5f53\u524d\u200b\u8282\u70b9\u200b\u6240\u6709\u200b\u6d41\u91cf\u200b\u3002\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>mirror0</code>\u3002</li> </ul> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u7528\u200b tcpdump \u200b\u6216\u200b\u5176\u4ed6\u200b\u6d41\u91cf\u200b\u5206\u6790\u200b\u5de5\u5177\u200b\u76d1\u542c\u200b <code>mirror0</code> \u200b\u4e0a\u200b\u7684\u200b\u6d41\u91cf\u200b\uff1a</p> <pre><code>tcpdump -ni mirror0\n</code></pre>"},{"location":"guide/mirror/#pod","title":"Pod \u200b\u7ea7\u522b\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u914d\u7f6e","text":"<p>\u200b\u5982\u679c\u200b\u53ea\u200b\u9700\u200b\u5bf9\u200b\u90e8\u5206\u200b Pod \u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b\u955c\u50cf\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u5173\u95ed\u200b\u5168\u5c40\u200b\u7684\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u529f\u80fd\u200b\uff0c\u200b\u7136\u540e\u200b\u5728\u200b\u7279\u5b9a\u200b Pod \u200b\u4e0a\u200b\u589e\u52a0\u200b <code>ovn.kubernetes.io/mirror</code> annotation \u200b\u6765\u200b\u5f00\u542f\u200b Pod \u200b\u7ea7\u522b\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u3002</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: mirror-pod\n  namespace: ls1\n  annotations:\n    ovn.kubernetes.io/mirror: \"true\"\nspec:\n  containers:\n  - name: mirror-pod\n    image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"guide/mirror/#_3","title":"\u6027\u80fd\u200b\u6d4b\u8bd5","text":"<p>\u200b\u5728\u200b\u76f8\u540c\u200b\u73af\u5883\u200b\u4e0a\u200b\uff0c\u200b\u5206\u522b\u200b\u5f00\u542f\u200b\u548c\u200b\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u5f00\u5173\u200b\uff0c\u200b\u8fdb\u884c\u200b\u6d4b\u8bd5\u200b</p>"},{"location":"guide/mirror/#1-pod-to-pod-in-the-same-nodes","title":"1. Pod to Pod in the same Nodes","text":""},{"location":"guide/mirror/#_4","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 12.7 us 289 Mbits/sec 12.6 us (1.8%) 77.9 Mbits/sec 128 15.5 us 517 Mbits/sec 12.7 us (0%) 155 Mbits/sec 512 12.2 us 1.64 Gbits/sec 12.4 us (0%) 624 Mbits/sec 1k 13 us 2.96 Gbits/sec 11.4 us (0.53%) 1.22 Gbits/sec 4k 18 us 7.67 Gbits/sec 25.7 us (0.41%) 1.50 Gbits/sec"},{"location":"guide/mirror/#_5","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 11.9 us 324 Mbits/sec 12.2 us (0.22%) 102 Mbits/sec 128 10.5 us 582 Mbits/sec 9.5 us (0.21%) 198 Mbits/sec 512 11.6 us 1.84 Gbits/sec 9.32 us (0.091%) 827 Mbits/sec 1k 10.5 us 3.44 Gbits/sec 10 us (1.2%) 1.52 Gbits/sec 4k 16.7 us 8.52 Gbits/sec 18.2 us (1.3%) 2.42 Gbits/sec"},{"location":"guide/mirror/#2-pod-to-pod-in-the-different-nodes","title":"2. Pod to Pod in the different Nodes","text":""},{"location":"guide/mirror/#_6","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 258 us 143 Mbits/sec 237 us (61%) 28.5 Mbits/sec 128 240 us 252 Mbits/sec 231 us (64%) 54.9 Mbits/sec 512 236 us 763 Mbits/sec 256 us (68%) 194 Mbits/sec 1k 242 us 969 Mbits/sec 225 us (62%) 449 Mbits/sec 4k 352 us 1.12 Gbits/sec 382 us (0.71%) 21.4 Mbits/sec"},{"location":"guide/mirror/#_7","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 278 us 140 Mbits/sec 227 us (24%) 59.6 Mbits/sec 128 249 us 265 Mbits/sec 265 us (23%) 114 Mbits/sec 512 233 us 914 Mbits/sec 235 us (21%) 468 Mbits/sec 1k 238 us 1.14 Gbits/sec 240 us (15%) 891 Mbits/sec 4k 370 us 1.25 Gbits/sec 361 us (0.43%) 7.54 Mbits/sec"},{"location":"guide/mirror/#3-node-to-node","title":"3. Node to Node","text":""},{"location":"guide/mirror/#_8","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 205 us 162 Mbits/sec 183 us (11%) 74.2 Mbits/sec 128 222 us 280 Mbits/sec 206 us (6.3%) 155 Mbits/sec 512 220 us 1.04 Gbits/sec 177 us (20%) 503 Mbits/sec 1k 213 us 2.06 Gbits/sec 201 us (8.6%) 1.14 Gbits/sec 4k 280 us 5.01 Gbits/sec 315 us (37%) 1.20 Gbits/sec"},{"location":"guide/mirror/#_9","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 204 us 157 Mbits/sec 204 us (8.8%) 81.9 Mbits/sec 128 213 us 262 Mbits/sec 225 us (19%) 136 Mbits/sec 512 220 us 1.02 Gbits/sec 227 us (21%) 486 Mbits/sec 1k 217 us 1.79 Gbits/sec 218 us (29%) 845 Mbits/sec 4k 275 us 5.27 Gbits/sec 336 us (34%) 1.21 Gbits/sec"},{"location":"guide/mirror/#4-pod-to-the-node-where-the-pod-is-located","title":"4. Pod to the Node where the Pod is located","text":""},{"location":"guide/mirror/#_10","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 12.2 us 295 Mbits/sec 12.7 us (0.27%) 74.1 Mbits/sec 128 14.1 us 549 Mbits/sec 10.6 us (0.41%) 153 Mbits/sec 512 13.5 us 1.83 Gbits/sec 12.7 us (0.23%) 586 Mbits/sec 1k 12 us 2.69 Gbits/sec 13 us (1%) 1.16 Gbits/sec 4k 18.9 us 4.51 Gbits/sec 21.8 us (0.42%) 1.81 Gbits/sec"},{"location":"guide/mirror/#_11","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 10.4 us 335 Mbits/sec 12.2 us (0.75%) 95.4 Mbits/sec 128 12.1 us 561 Mbits/sec 11.3 us (0.25%) 194 Mbits/sec 512 11.6 us 1.87 Gbits/sec 10.7 us (0.66%) 745 Mbits/sec 1k 12.7 us 3.12 Gbits/sec 10.9 us (1.2%) 1.46 Gbits/sec 4k 16.5 us 8.23 Gbits/sec 17.9 us (1.5%) 2.51 Gbits/sec"},{"location":"guide/mirror/#5-pod-to-the-node-where-the-pod-is-not-located","title":"5. Pod to the Node where the Pod is not located","text":""},{"location":"guide/mirror/#_12","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 234 us 153 Mbits/sec 232 us (63%) 29.4 Mbits/sec 128 237 us 261 Mbits/sec 238 us (49%) 76.1 Mbits/sec 512 231 us 701 Mbits/sec 238 us (57%) 279 Mbits/sec 1k 256 us 1.05 Gbits/sec 228 us (56%) 524 Mbits/sec 4k 330 us 1.08 Gbits/sec 359 us (1.5%) 35.7 Mbits/sec"},{"location":"guide/mirror/#_13","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 283 us 141 Mbits/sec 230 us (26%) 55.8 Mbits/sec 128 234 us 255 Mbits/sec 234 us (25%) 113 Mbits/sec 512 246 us 760 Mbits/sec 234 us (22%) 458 Mbits/sec 1k 268 us 1.23 Gbits/sec 242 us (20%) 879 Mbits/sec 4k 326 us 1.20 Gbits/sec 369 us (0.5%) 7.87 Mbits/sec"},{"location":"guide/mirror/#6-pod-to-the-cluster-ip-service","title":"6. Pod to the cluster ip service","text":""},{"location":"guide/mirror/#_14","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 237 us 133 Mbits/sec 213 us (65%) 25.5 Mbits/sec 128 232 us 271 Mbits/sec 222 us (62%) 54.8 Mbits/sec 512 266 us 800 Mbits/sec 234 us (60%) 232 Mbits/sec 1k 248 us 986 Mbits/sec 239 us (50%) 511 Mbits/sec 4k 314 us 1.03 Gbits/sec 367 us (0.6%) 13.2 Mbits/sec TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14305.17 0.87ms 1.48ms 24.46ms 100 29082.07 3.87ms 4.35ms 102.85ms"},{"location":"guide/mirror/#_15","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 241 us 145 Mbits/sec 225 us (19%) 60.2 Mbits/sec 128 245 us 261 Mbits/sec 212 us (15%) 123 Mbits/sec 512 252 us 821 Mbits/sec 219 us (14%) 499 Mbits/sec 1k 253 us 1.08 Gbits/sec 242 us (16%) 852 Mbits/sec 4k 320 us 1.32 Gbits/sec 360 us (0.47%) 6.70 Mbits/sec TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 13634.07 0.96ms 1.72ms 30.07ms 100 30215.23 3.59ms 3.20ms 77.56ms"},{"location":"guide/mirror/#7-host-to-the-node-port-service-where-the-pod-is-not-located-on-the-target-node","title":"7. Host to the Node port service where the Pod is not located on the target Node","text":""},{"location":"guide/mirror/#_16","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14802.73 0.88ms 1.66ms 31.49ms 100 29809.58 3.78ms 4.12ms 105.34ms"},{"location":"guide/mirror/#_17","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14273.33 0.90ms 1.60ms 37.16ms 100 30757.81 3.62ms 3.41ms 59.78ms"},{"location":"guide/mirror/#8-host-to-the-node-port-service-where-the-pod-is-located-on-the-target-node","title":"8. Host to the Node port service where the Pod is located on the target Node","text":""},{"location":"guide/mirror/#_18","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 15402.39 802.50us 1.42ms 30.91ms 100 29424.66 4.05ms 4.31ms 90.60ms"},{"location":"guide/mirror/#_19","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14649.21 0.91ms 1.72ms 43.92ms 100 32143.61 3.66ms 3.76ms 67.02ms <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/networkpolicy-log/","title":"NetworkPolicy \u200b\u65e5\u5fd7","text":"<p>NetworkPolicy \u200b\u4e3a\u200b Kubernetes \u200b\u63d0\u4f9b\u200b\u7684\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u63a5\u53e3\u200b\uff0cKube-OVN \u200b\u901a\u8fc7\u200b OVN \u200b\u7684\u200b ACL \u200b\u8fdb\u884c\u200b\u4e86\u200b\u5b9e\u73b0\u200b\u3002 \u200b\u4f7f\u7528\u200b\u4e86\u200b NetworkPolicy \u200b\u540e\u200b\u5982\u679c\u200b\u51fa\u73b0\u200b\u7f51\u7edc\u200b\u4e0d\u901a\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0c\u200b\u96be\u4ee5\u200b\u5224\u65ad\u200b\u662f\u200b\u7f51\u7edc\u6545\u969c\u200b\u95ee\u9898\u200b\u8fd8\u662f\u200b NetworkPolicy \u200b\u89c4\u5219\u200b\u8bbe\u7f6e\u200b\u95ee\u9898\u200b\u5bfc\u81f4\u200b\u7684\u200b\u7f51\u7edc\u200b\u4e2d\u65ad\u200b\u3002 Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b NetworkPolicy \u200b\u65e5\u5fd7\u200b\u529f\u80fd\u200b\uff0c\u200b\u5e2e\u52a9\u200b\u7ba1\u7406\u5458\u200b\u5feb\u901f\u200b\u5b9a\u4f4d\u200b NetworkPolicy Drop \u200b\u89c4\u5219\u200b\u662f\u5426\u200b\u547d\u4e2d\u200b\uff0c\u200b\u5e76\u200b\u8bb0\u5f55\u200b\u6709\u200b\u54ea\u4e9b\u200b\u975e\u6cd5\u200b\u8bbf\u95ee\u200b\u3002</p> <p>NetworkPolicy \u200b\u65e5\u5fd7\u200b\u529f\u80fd\u200b\u4e00\u65e6\u200b\u5f00\u542f\u200b\uff0c\u200b\u5bf9\u200b\u6bcf\u4e2a\u200b\u547d\u4e2d\u200b Drop \u200b\u89c4\u5219\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u90fd\u200b\u9700\u8981\u200b\u6253\u5370\u200b\u65e5\u5fd7\u200b\uff0c\u200b\u4f1a\u200b\u5e26\u6765\u200b\u989d\u5916\u200b\u6027\u80fd\u200b\u5f00\u9500\u200b\u3002 \u200b\u5728\u200b\u6076\u610f\u200b\u653b\u51fb\u200b\u4e0b\u200b\uff0c\u200b\u77ed\u65f6\u95f4\u200b\u5927\u91cf\u200b\u65e5\u5fd7\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u8017\u5c3d\u200b CPU\u3002\u200b\u6211\u4eec\u200b\u5efa\u8bae\u200b\u5728\u200b\u751f\u4ea7\u200b\u73af\u5883\u200b\u9ed8\u8ba4\u200b\u5173\u95ed\u200b\u65e5\u5fd7\u200b\u529f\u80fd\u200b\uff0c\u200b\u5728\u200b\u9700\u8981\u200b\u6392\u67e5\u200b\u95ee\u9898\u200b\u65f6\u200b\uff0c\u200b\u52a8\u6001\u200b\u5f00\u542f\u200b\u65e5\u5fd7\u200b\u3002</p>"},{"location":"guide/networkpolicy-log/#networkpolicy_1","title":"\u5f00\u542f\u200b NetworkPolicy \u200b\u65e5\u5fd7","text":"<p>\u200b\u5728\u200b\u9700\u8981\u200b\u5f00\u542f\u200b\u65e5\u5fd7\u200b\u8bb0\u5f55\u200b\u7684\u200b NetworkPolicy \u200b\u4e2d\u200b\u589e\u52a0\u200b annotation <code>ovn.kubernetes.io/enable_log</code>\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: networking.k8s.io/v1\nkind: NetworkPolicy\nmetadata:\n  name: default-deny-ingress\n  namespace: kube-system\n  annotations:\n    ovn.kubernetes.io/enable_log: \"true\"\nspec:\n  podSelector: {}\n  policyTypes:\n  - Ingress\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5bf9\u5e94\u200b Pod \u200b\u6240\u5728\u200b\u4e3b\u673a\u200b\u7684\u200b <code>/var/log/ovn/ovn-controller.log</code> \u200b\u4e2d\u200b\u89c2\u5bdf\u200b\u5230\u200b\u88ab\u200b\u4e22\u5f03\u200b\u6570\u636e\u5305\u200b\u7684\u200b\u65e5\u5fd7\u200b\uff1a</p> <pre><code># tail -f /var/log/ovn/ovn-controller.log\n2022-07-20T05:55:03.229Z|00394|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=54343,tp_dst=53\n2022-07-20T05:55:06.229Z|00395|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=44187,tp_dst=53\n2022-07-20T05:55:08.230Z|00396|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=54274,tp_dst=53\n2022-07-20T05:55:11.231Z|00397|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=32778,tp_dst=53\n2022-07-20T05:55:11.231Z|00398|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=34188,tp_dst=53\n2022-07-20T05:55:13.231Z|00399|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=43290,tp_dst=53\n2022-07-20T05:55:22.096Z|00400|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n2022-07-20T05:55:22.097Z|00401|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n2022-07-20T05:55:22.098Z|00402|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n</code></pre>"},{"location":"guide/networkpolicy-log/#networkpolicy_2","title":"\u5173\u95ed\u200b NetworkPolicy \u200b\u65e5\u5fd7","text":"<p>\u200b\u5c06\u200b\u5bf9\u5e94\u200b NetworkPolicy \u200b\u4e2d\u200b\u7684\u200b annotation <code>ovn.kubernetes.io/enable_log</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code> \u200b\u5373\u53ef\u200b\u5173\u95ed\u200b NetworkPolicy \u200b\u65e5\u5fd7\u200b\uff1a</p> <pre><code>kubectl annotate networkpolicy -n kube-system default-deny-ingress ovn.kubernetes.io/enable_log=false --overwrite\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/prometheus-grafana/","title":"\u914d\u7f6e\u200b\u76d1\u63a7\u200b\u548c\u200b\u9762\u677f","text":"<p>Kube-OVN \u200b\u53ef\u4ee5\u200b\u5c06\u200b\u7f51\u7edc\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u4fe1\u606f\u200b\u4ee5\u53ca\u200b\u7f51\u7edc\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u8d28\u91cf\u200b\u4fe1\u606f\u200b\u6307\u6807\u200b\u4ee5\u200b Prometheus \u200b\u6240\u200b\u652f\u6301\u200b\u7684\u200b\u683c\u5f0f\u200b\u5bf9\u5916\u200b\u8f93\u51fa\u200b\u3002</p> <p>\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b kube-prometheus \u200b\u6240\u200b\u63d0\u4f9b\u200b\u7684\u200b CRD \u200b\u6765\u200b\u5b9a\u4e49\u200b\u76f8\u5e94\u200b\u7684\u200b Prometheus \u200b\u76d1\u63a7\u200b\u89c4\u5219\u200b\u3002 \u200b\u7528\u6237\u200b\u9700\u8981\u200b\u9884\u5148\u200b\u5b89\u88c5\u200b kube-prometheus \u200b\u6765\u200b\u542f\u7528\u200b\u76f8\u5173\u200b\u7684\u200b CRD\u3002Kube-OVN \u200b\u6240\u200b\u652f\u6301\u200b\u7684\u200b\u5168\u90e8\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u8bf7\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b\u539f\u751f\u200b Prometheus \u200b\u8bf7\u200b\u53c2\u8003\u200b\u914d\u7f6e\u200b\u539f\u751f\u200b Prometheus \u200b\u83b7\u53d6\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"guide/prometheus-grafana/#prometheus-monitor","title":"\u5b89\u88c5\u200b Prometheus Monitor","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b Prometheus Monitor CRD \u200b\u6765\u200b\u7ba1\u7406\u200b\u76d1\u63a7\u200b\u8f93\u51fa\u200b\uff1a</p> <pre><code># \u200b\u7f51\u54af\u200b\u8d28\u91cf\u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/pinger-monitor.yaml\n# kube-ovn-controller \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/controller-monitor.yaml\n# kube-ovn-cni \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/cni-monitor.yaml\n# ovn \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovn-monitor.yaml\n</code></pre> <p>Prometheus \u200b\u62c9\u53d6\u200b\u76d1\u63a7\u200b\u65f6\u95f4\u200b\u95f4\u9694\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 15s\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u8c03\u6574\u200b\u9700\u8981\u200b\u4fee\u6539\u200b yaml \u200b\u4e2d\u200b\u7684\u200b <code>interval</code> \u200b\u5b57\u200b\u6bb5\u200b\u3002</p>"},{"location":"guide/prometheus-grafana/#grafana","title":"\u52a0\u8f7d\u200b Grafana \u200b\u9762\u677f","text":"<p>Kube-OVN \u200b\u8fd8\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u9884\u5148\u200b\u5b9a\u4e49\u200b\u597d\u200b\u7684\u200b Grafana Dashboard \u200b\u5c55\u793a\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u548c\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u76f8\u5173\u200b\u4fe1\u606f\u200b\u3002</p> <p>\u200b\u4e0b\u8f7d\u200b\u5bf9\u5e94\u200b Dashboard \u200b\u6a21\u677f\u200b\uff1a</p> <pre><code># \u200b\u7f51\u7edc\u200b\u8d28\u91cf\u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/pinger-grafana.json\n# kube-ovn-controller \u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/controller-grafana.json\n# kube-ovn-cni \u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/cni-grafana.json\n# ovn \u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovn-grafana.json\n# ovs \u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovs-grafana.json\n</code></pre> <p>\u200b\u5728\u200b Grafana \u200b\u4e2d\u200b\u5bfc\u5165\u200b\u6a21\u677f\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u6570\u636e\u6e90\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b Prometheus \u200b\u5373\u53ef\u200b\u770b\u5230\u200b\u5982\u4e0b\u200b Dashboard\uff1a</p> <p><code>kube-ovn-controller</code> \u200b\u8fd0\u884c\u72b6\u51b5\u200b\u76f8\u5173\u200b\u9762\u677f\u200b\uff1a</p> <p></p> <p><code>kube-ovn-pinger</code> \u200b\u7f51\u7edc\u200b\u8d28\u91cf\u200b\u76f8\u5173\u200b\u9762\u677f\u200b\uff1a</p> <p></p> <p><code>kube-ovn-cni</code> \u200b\u8fd0\u884c\u72b6\u51b5\u200b\u76f8\u5173\u200b\u9762\u677f\u200b\uff1a</p> <p></p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/prometheus/","title":"\u914d\u7f6e\u200b\u539f\u751f\u200b Prometheus \u200b\u83b7\u53d6\u200b\u76d1\u63a7\u200b\u6570\u636e","text":"<p>Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e30\u5bcc\u200b\u7684\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\uff0c\u200b\u7528\u4e8e\u200b OVN/OVS \u200b\u5065\u5eb7\u200b\u72b6\u6001\u200b\u68c0\u67e5\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u548c\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u68c0\u67e5\u200b\u3002Kube-OVN \u200b\u914d\u7f6e\u200b\u4e86\u200b ServiceMonitor\uff0c\u200b\u53ef\u4ee5\u200b\u7528\u4e8e\u200b Prometheus \u200b\u52a8\u6001\u200b\u83b7\u53d6\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p> <p>\u200b\u5728\u200b\u67d0\u4e9b\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u53ea\u200b\u5b89\u88c5\u200b\u4e86\u200b Prometheus Server\uff0c\u200b\u6ca1\u6709\u200b\u5b89\u88c5\u200b\u5176\u4ed6\u200b\u7684\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b Prometheus \u200b\u7684\u200b\u914d\u7f6e\u200b\uff0c\u200b\u52a8\u6001\u200b\u83b7\u53d6\u200b\u96c6\u7fa4\u200b\u73af\u5883\u200b\u7684\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\u3002</p>"},{"location":"guide/prometheus/#prometheus_1","title":"Prometheus \u200b\u914d\u7f6e","text":"<p>\u200b\u4ee5\u4e0b\u200b\u7684\u200b\u914d\u7f6e\u200b\u6587\u6863\u200b\uff0c\u200b\u53c2\u8003\u200b\u81ea\u200b Prometheus \u200b\u670d\u52a1\u200b\u53d1\u73b0\u200b\u3002</p>"},{"location":"guide/prometheus/#_1","title":"\u6743\u9650\u200b\u914d\u7f6e","text":"<p>Prometheus \u200b\u90e8\u7f72\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\uff0c\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b k8s apiserver \u200b\u6765\u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b\u8d44\u6e90\u200b\uff0c\u200b\u4ece\u800c\u200b\u5b9e\u73b0\u200b\u67e5\u8be2\u200b\u4e1a\u52a1\u200b\u7684\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u914d\u7f6e\u200b Prometheus \u200b\u9700\u8981\u200b\u7684\u200b\u6743\u9650\u200b\uff1a</p> <pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  name: prometheus\nrules:\n- apiGroups: [\"\"]\n  resources:\n  - nodes\n  - nodes/proxy\n  - services\n  - endpoints\n  - pods\n  verbs: [\"get\", \"list\", \"watch\"]\n- apiGroups:\n  - extensions\n  resources:\n  - ingresses\n  verbs: [\"get\", \"list\", \"watch\"]\n- nonResourceURLs: [\"/metrics\"]\n  verbs: [\"get\"]\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: prometheus\n  namespace: default\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  name: prometheus\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: prometheus\nsubjects:\n- kind: ServiceAccount\n  name: prometheus\n  namespace: default\n</code></pre>"},{"location":"guide/prometheus/#prometheus_2","title":"Prometheus \u200b\u914d\u7f6e\u6587\u4ef6","text":"<p>Prometheus \u200b\u7684\u200b\u542f\u52a8\u200b\uff0c\u200b\u4f9d\u8d56\u4e8e\u200b\u914d\u7f6e\u6587\u4ef6\u200b prometheus.yml\uff0c\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u8be5\u200b\u6587\u4ef6\u200b\u5185\u5bb9\u200b\u914d\u7f6e\u200b\u5728\u200b ConfigMap \u200b\u5185\u200b\uff0c\u200b\u52a8\u6001\u200b\u6302\u8f7d\u200b\u5230\u200b Pod \u200b\u4e2d\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b Prometheus \u200b\u4f7f\u7528\u200b\u7684\u200b ConfigMap \u200b\u6587\u4ef6\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: prometheus-config\ndata:\n  prometheus.yml: |-\n    global:\n      scrape_interval:     15s \n      evaluation_interval: 15s\n    scrape_configs:\n    - job_name: 'prometheus'\n      static_configs:\n      - targets: ['localhost:9090']\n\n    - job_name: 'kubernetes-nodes'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: node\n\n    - job_name: 'kubernetes-service'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: service\n\n    - job_name: 'kubernetes-endpoints'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: endpoints\n\n    - job_name: 'kubernetes-ingress'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: ingress\n\n    - job_name: 'kubernetes-pods'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: pod\n</code></pre> <p>Prometheus \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u57fa\u4e8e\u200b\u89d2\u8272\u200b\u67e5\u8be2\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u76d1\u63a7\u200b\u7684\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b kubernetes_sd_config\u3002</p> <p>\u200b\u5728\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u4e2d\u200b\uff0cPrometheus \u200b\u652f\u6301\u200b\u67e5\u8be2\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u7684\u200b\u89d2\u8272\u200b\u5305\u542b\u200b node\u3001service\u3001pod\u3001endpoints \u200b\u548c\u200b ingress\u3002\u200b\u5728\u200b ConfigMap \u200b\u914d\u7f6e\u6587\u4ef6\u200b\u4e2d\u200b\u7ed9\u51fa\u200b\u4e86\u200b\u4ee5\u4e0a\u200b\u5168\u90e8\u200b\u8d44\u6e90\u200b\u7684\u200b\u76d1\u63a7\u200b\u67e5\u8be2\u200b\u914d\u7f6e\u200b\u793a\u4f8b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u6839\u636e\u200b\u9700\u8981\u200b\u9009\u62e9\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"guide/prometheus/#prometheus_3","title":"Prometheus \u200b\u90e8\u7f72","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml \u200b\u6587\u4ef6\u200b\uff0c\u200b\u90e8\u7f72\u200b Prometheus Server\uff1a</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: prometheus\n  name: prometheus\n  namespace: default\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: prometheus\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      labels:\n        app: prometheus\n    spec:\n      serviceAccountName: prometheus\n      serviceAccount: prometheus\n      containers:\n      - image: docker.io/prom/prometheus:latest\n        imagePullPolicy: IfNotPresent\n        name: prometheus\n        command:\n        - \"/bin/prometheus\"\n        args:\n        - \"--config.file=/etc/prometheus/prometheus.yml\"\n        ports:\n        - containerPort: 9090\n          protocol: TCP\n        volumeMounts:\n        - mountPath: \"/etc/prometheus\"\n          name: prometheus-config\n      volumes:\n      - name: prometheus-config\n        configMap:\n          name: prometheus-config\n</code></pre> <p>\u200b\u5728\u200b\u90e8\u7f72\u200b\u5b8c\u200b Prometheus \u200b\u4e4b\u540e\u200b\uff0c\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml \u200b\u6587\u4ef6\u200b\uff0c\u200b\u90e8\u7f72\u200b Prometheus Service\uff1a</p> <pre><code>kind: Service\napiVersion: v1\nmetadata:\n  name: prometheus\n  namespace: default\n  labels:\n    name: prometheus\nspec:\n  ports:\n    - name: test\n      protocol: TCP\n      port: 9090\n      targetPort: 9090\n  type: NodePort\n  selector:\n    app: prometheus\n  sessionAffinity: None\n</code></pre> <p>\u200b\u5c06\u200b Prometheus \u200b\u901a\u8fc7\u200b NodePort \u200b\u66b4\u9732\u200b\u540e\u200b\uff0c\u200b\u5373\u53ef\u200b\u901a\u8fc7\u200b\u8282\u70b9\u200b\u6765\u200b\u8bbf\u95ee\u200b Prometheus\u3002</p>"},{"location":"guide/prometheus/#prometheus_4","title":"Prometheus \u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\u9a8c\u8bc1","text":"<p>\u200b\u67e5\u770b\u200b\u73af\u5883\u200b\u4e0a\u200b Prometheus \u200b\u76f8\u5173\u200b\u7684\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get svc \nNAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE\nkubernetes   ClusterIP   10.4.0.1       &lt;none&gt;        443/TCP          8d\nprometheus   NodePort    10.4.102.222   &lt;none&gt;        9090:32611/TCP   8d\n# kubectl get pod -o wide\nNAME                          READY   STATUS    RESTARTS   AGE    IP          NODE              NOMINATED NODE   READINESS GATES\nprometheus-7544b6b84d-v9m8s   1/1     Running   0          3d5h   10.3.0.7    192.168.137.219   &lt;none&gt;           &lt;none&gt;\n# kubectl get endpoints -o wide\nNAME         ENDPOINTS                                                        AGE\nkubernetes   192.168.136.228:6443,192.168.136.232:6443,192.168.137.219:6443   8d\nprometheus   10.3.0.7:9090                                                    8d\n</code></pre> <p>\u200b\u901a\u8fc7\u200b NodePort \u200b\u8bbf\u95ee\u200b Prometheus\uff0c\u200b\u67e5\u770b\u200b Status/Service Discovery \u200b\u52a8\u6001\u200b\u67e5\u8be2\u200b\u5230\u200b\u7684\u200b\u6570\u636e\u200b\uff1a</p> <p></p> <p>\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5f53\u524d\u200b\u53ef\u4ee5\u200b\u67e5\u8be2\u200b\u5230\u200b\u96c6\u7fa4\u200b\u4e0a\u200b\u5168\u90e8\u200b\u7684\u200b Service \u200b\u6570\u636e\u200b\u4fe1\u606f\u200b\u3002</p>"},{"location":"guide/prometheus/#_2","title":"\u914d\u7f6e\u200b\u67e5\u8be2\u200b\u6307\u5b9a\u200b\u7684\u200b\u8d44\u6e90","text":"<p>\u200b\u4ee5\u4e0a\u200b\u7684\u200b ConfigMap \u200b\u914d\u7f6e\u200b\u4e2d\u200b\uff0c\u200b\u6ca1\u6709\u200b\u6dfb\u52a0\u200b\u8fc7\u6ee4\u200b\u6761\u4ef6\u200b\uff0c\u200b\u67e5\u8be2\u200b\u4e86\u200b\u6240\u6709\u200b\u7684\u200b\u8d44\u6e90\u200b\u6570\u636e\u200b\u3002\u200b\u5982\u679c\u200b\u53ea\u200b\u9700\u8981\u200b\u67d0\u4e2a\u200b\u89d2\u8272\u200b\u7684\u200b\u8d44\u6e90\u200b\u6570\u636e\u200b\uff0c\u200b\u5219\u200b\u53ef\u4ee5\u200b\u6dfb\u52a0\u200b\u8fc7\u6ee4\u200b\u6761\u4ef6\u200b\u3002</p> <p>\u200b\u4ee5\u200b Service \u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u4fee\u6539\u200b ConfigMap \u200b\u5185\u5bb9\u200b\uff0c\u200b\u53ea\u200b\u67e5\u8be2\u200b\u5173\u5fc3\u200b\u7684\u200b Service \u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\u3002</p> <pre><code>    - job_name: 'kubernetes-service'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: service\n      relabel_configs:\n      - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape]\n        action: \"keep\"\n        regex: \"true\"\n      - action: labelmap\n        regex: __meta_kubernetes_service_label_(.+)\n      - source_labels: [__meta_kubernetes_namespace]\n        target_label: kubernetes_namespace\n      - source_labels: [__meta_kubernetes_service_name]\n        target_label: kubernetes_service_name\n      - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_path]\n        action: replace\n        target_label: __metrics_path__\n        regex: \"(.+)\"\n</code></pre> <p>Service \u200b\u9ed8\u8ba4\u200b\u76d1\u63a7\u200b\u8def\u5f84\u200b\u4e3a\u200b /metrics\u3002\u200b\u5982\u679c\u200b Service \u200b\u63d0\u4f9b\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u662f\u200b\u5176\u4ed6\u200b\u7684\u200b\u8def\u5f84\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u7ed9\u200b Service \u200b\u6dfb\u52a0\u200b annotation <code>prometheus.io/path</code> \u200b\u6765\u200b\u6307\u5b9a\u200b\u91c7\u96c6\u200b\u8def\u5f84\u200b\u3002</p> <p>\u200b\u5e94\u7528\u200b\u4ee5\u4e0a\u200b yaml\uff0c\u200b\u66f4\u65b0\u200b ConfigMap \u200b\u4fe1\u606f\u200b\uff0c\u200b\u91cd\u5efa\u200b Prometheus Pod\uff0c\u200b\u4f7f\u200b\u914d\u7f6e\u200b\u751f\u6548\u200b\u3002</p> <p>\u200b\u67e5\u770b\u200b kube-system Namespace \u200b\u4e0b\u200b\u7684\u200b Service \u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get svc -n kube-system\nNAME                  TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)                  AGE\nkube-dns              ClusterIP   10.4.0.10      &lt;none&gt;        53/UDP,53/TCP,9153/TCP   13d\nkube-ovn-cni          ClusterIP   10.4.228.60    &lt;none&gt;        10665/TCP                13d\nkube-ovn-controller   ClusterIP   10.4.172.213   &lt;none&gt;        10660/TCP                13d\nkube-ovn-monitor      ClusterIP   10.4.242.9     &lt;none&gt;        10661/TCP                13d\nkube-ovn-pinger       ClusterIP   10.4.122.52    &lt;none&gt;        8080/TCP                 13d\novn-nb                ClusterIP   10.4.80.213    &lt;none&gt;        6641/TCP                 13d\novn-northd            ClusterIP   10.4.126.234   &lt;none&gt;        6643/TCP                 13d\novn-sb                ClusterIP   10.4.216.249   &lt;none&gt;        6642/TCP                 13d\n</code></pre> <p>\u200b\u7ed9\u200b Service \u200b\u6dfb\u52a0\u200b annotation <code>prometheus.io/scrape=\"true\"</code>\uff1a</p> <pre><code># kubectl annotate svc -n kube-system kube-ovn-cni  prometheus.io/scrape=true\nservice/kube-ovn-cni annotated\n# kubectl annotate svc -n kube-system kube-ovn-controller  prometheus.io/scrape=true\nservice/kube-ovn-controller annotated\n# kubectl annotate svc -n kube-system kube-ovn-monitor  prometheus.io/scrape=true\nservice/kube-ovn-monitor annotated\n# kubectl annotate svc -n kube-system kube-ovn-pinger  prometheus.io/scrape=true\nservice/kube-ovn-pinger annotated\n</code></pre> <p>\u200b\u67e5\u770b\u200b\u914d\u7f6e\u200b\u540e\u200b\u7684\u200b Service \u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get svc -o yaml -n kube-system kube-ovn-controller\napiVersion: v1\nkind: Service\nmetadata:\n  annotations:\n    helm.sh/chart-version: v3.10.0-alpha.55\n    helm.sh/original-name: kube-ovn-controller\n    ovn.kubernetes.io/vpc: ovn-cluster\n    prometheus.io/scrape: \"true\"                        // \u200b\u6dfb\u52a0\u200b\u7684\u200b annotation\n  labels:\n    app: kube-ovn-controller\n  name: kube-ovn-controller\n  namespace: kube-system\nspec:\n  clusterIP: 10.4.172.213\n  clusterIPs:\n  - 10.4.172.213\n  internalTrafficPolicy: Cluster\n  ipFamilies:\n  - IPv4\n  ipFamilyPolicy: SingleStack\n  ports:\n  - name: metrics\n    port: 10660\n    protocol: TCP\n    targetPort: 10660\n  selector:\n    app: kube-ovn-controller\n  sessionAffinity: None\n  type: ClusterIP\nstatus:\n  loadBalancer: {}\n</code></pre> <p>\u200b\u67e5\u770b\u200b Prometheus Status Targets \u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u53ea\u6709\u200b\u6dfb\u52a0\u200b\u4e86\u200b annotation \u200b\u7684\u200b Service \u200b\u88ab\u200b\u8fc7\u6ee4\u51fa\u6765\u200b\uff1a </p> <p>\u200b\u66f4\u200b\u591a\u200b\u5173\u4e8e\u200b relabel \u200b\u6dfb\u52a0\u200b\u8fc7\u6ee4\u200b\u53c2\u6570\u200b\u7684\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Prometheus-Relabel\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/qos/","title":"\u5bb9\u5668\u200b\u7f51\u7edc\u200b QoS \u200b\u914d\u7f6e","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u57fa\u4e8e\u200b\u5355\u4e2a\u200b Pod \u200b\u7684\u200b\u4e24\u79cd\u200b\u4e0d\u540c\u200b\u7c7b\u578b\u200b\u7684\u200b QoS\uff1a</p> <ul> <li>\u200b\u6700\u5927\u200b\u5e26\u5bbd\u200b\u9650\u5236\u200b QoS\u3002</li> <li><code>linux-netem</code>\uff0c\u200b\u6a21\u62df\u200b\u8bbe\u5907\u200b\u5e72\u6270\u200b\u4e22\u5305\u200b\u7b49\u200b\u7684\u200b QoS\uff0c\u200b\u53ef\u200b\u7528\u4e8e\u200b\u6a21\u62df\u200b\u6d4b\u8bd5\u200b\u3002</li> </ul> <p>\u200b\u76ee\u524d\u200b\u53ea\u200b\u652f\u6301\u200b Pod \u200b\u7ea7\u522b\u200b QoS \u200b\u4e0d\u200b\u652f\u6301\u200b Namespace \u200b\u6216\u200b Subnet \u200b\u7ea7\u522b\u200b\u7684\u200b QoS \u200b\u9650\u5236\u200b\u3002</p>"},{"location":"guide/qos/#qos_1","title":"\u57fa\u4e8e\u200b\u6700\u5927\u200b\u5e26\u5bbd\u200b\u9650\u5236\u200b\u7684\u200b QoS","text":"<p>\u200b\u8be5\u200b\u7c7b\u578b\u200b\u7684\u200b QoS \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Pod annotation \u200b\u52a8\u6001\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u4e0d\u200b\u4e2d\u65ad\u200b Pod \u200b\u8fd0\u884c\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\u3002 \u200b\u5e26\u5bbd\u200b\u9650\u901f\u200b\u7684\u200b\u5355\u4f4d\u200b\u4e3a\u200b <code>Mbit/s</code>\u3002</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: qos\n  namespace: ls1\n  annotations:\n    ovn.kubernetes.io/ingress_rate: \"3\"\n    ovn.kubernetes.io/egress_rate: \"1\"\nspec:\n  containers:\n  - name: qos\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u4f7f\u7528\u200b annotation \u200b\u52a8\u6001\u200b\u8c03\u6574\u200b QoS\uff1a</p> <pre><code>kubectl annotate --overwrite  pod nginx-74d5899f46-d7qkn ovn.kubernetes.io/ingress_rate=3\n</code></pre>"},{"location":"guide/qos/#qos_2","title":"\u6d4b\u8bd5\u200b QoS \u200b\u8c03\u6574","text":"<p>\u200b\u90e8\u7f72\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b\u9700\u8981\u200b\u7684\u200b\u5bb9\u5668\u200b\uff1a</p> <pre><code>kind: DaemonSet\napiVersion: apps/v1\nmetadata:\n  name: perf\n  namespace: ls1\n  labels:\n    app: perf\nspec:\n  selector:\n    matchLabels:\n      app: perf\n  template:\n    metadata:\n      labels:\n        app: perf\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/kubeovn/perf\n</code></pre> <p>\u200b\u8fdb\u5165\u200b\u5176\u4e2d\u200b\u4e00\u4e2a\u200b Pod \u200b\u5e76\u200b\u5f00\u542f\u200b iperf3 server\uff1a</p> <pre><code># kubectl exec -it perf-4n4gt -n ls1 sh\n# iperf3 -s\n-----------------------------------------------------------\nServer listening on 5201\n-----------------------------------------------------------\n</code></pre> <p>\u200b\u8fdb\u5165\u200b\u53e6\u200b\u4e00\u4e2a\u200b Pod \u200b\u8bf7\u6c42\u200b\u4e4b\u524d\u200b\u7684\u200b Pod\uff1a</p> <pre><code># kubectl exec -it perf-d4mqc -n ls1 sh\n# iperf3 -c 10.66.0.12\nConnecting to host 10.66.0.12, port 5201\n[  4] local 10.66.0.14 port 51544 connected to 10.66.0.12 port 5201\n[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd\n[  4]   0.00-1.00   sec  86.4 MBytes   725 Mbits/sec    3    350 KBytes\n[  4]   1.00-2.00   sec  89.9 MBytes   754 Mbits/sec  118    473 KBytes\n[  4]   2.00-3.00   sec   101 MBytes   848 Mbits/sec  184    586 KBytes\n[  4]   3.00-4.00   sec   104 MBytes   875 Mbits/sec  217    671 KBytes\n[  4]   4.00-5.00   sec   111 MBytes   935 Mbits/sec  175    772 KBytes\n[  4]   5.00-6.00   sec   100 MBytes   840 Mbits/sec  658    598 KBytes\n[  4]   6.00-7.00   sec   106 MBytes   890 Mbits/sec  742    668 KBytes\n[  4]   7.00-8.00   sec   102 MBytes   857 Mbits/sec  764    724 KBytes\n[  4]   8.00-9.00   sec  97.4 MBytes   817 Mbits/sec  1175    764 KBytes\n[  4]   9.00-10.00  sec   111 MBytes   934 Mbits/sec  1083    838 KBytes\n- - - - - - - - - - - - - - - - - - - - - - - - -\n[ ID] Interval           Transfer     Bandwidth       Retr\n[  4]   0.00-10.00  sec  1010 MBytes   848 Mbits/sec  5119             sender\n[  4]   0.00-10.00  sec  1008 MBytes   846 Mbits/sec                  receiver\n\niperf Done.\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u7b2c\u4e00\u4e2a\u200b Pod \u200b\u7684\u200b\u5165\u53e3\u200b\u5e26\u5bbd\u200b QoS\uff1a</p> <pre><code>kubectl annotate --overwrite  pod perf-4n4gt -n ls1 ovn.kubernetes.io/ingress_rate=30\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u4ece\u200b\u7b2c\u4e8c\u4e2a\u200b Pod \u200b\u6d4b\u8bd5\u200b\u7b2c\u4e00\u4e2a\u200b Pod \u200b\u5e26\u5bbd\u200b\uff1a</p> <pre><code># iperf3 -c 10.66.0.12\nConnecting to host 10.66.0.12, port 5201\n[  4] local 10.66.0.14 port 52372 connected to 10.66.0.12 port 5201\n[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd\n[  4]   0.00-1.00   sec  3.66 MBytes  30.7 Mbits/sec    2   76.1 KBytes\n[  4]   1.00-2.00   sec  3.43 MBytes  28.8 Mbits/sec    0    104 KBytes\n[  4]   2.00-3.00   sec  3.50 MBytes  29.4 Mbits/sec    0    126 KBytes\n[  4]   3.00-4.00   sec  3.50 MBytes  29.3 Mbits/sec    0    144 KBytes\n[  4]   4.00-5.00   sec  3.43 MBytes  28.8 Mbits/sec    0    160 KBytes\n[  4]   5.00-6.00   sec  3.43 MBytes  28.8 Mbits/sec    0    175 KBytes\n[  4]   6.00-7.00   sec  3.50 MBytes  29.3 Mbits/sec    0    212 KBytes\n[  4]   7.00-8.00   sec  3.68 MBytes  30.9 Mbits/sec    0    294 KBytes\n[  4]   8.00-9.00   sec  3.74 MBytes  31.4 Mbits/sec    0    398 KBytes\n[  4]   9.00-10.00  sec  3.80 MBytes  31.9 Mbits/sec    0    526 KBytes\n- - - - - - - - - - - - - - - - - - - - - - - - -\n[ ID] Interval           Transfer     Bandwidth       Retr\n[  4]   0.00-10.00  sec  35.7 MBytes  29.9 Mbits/sec    2             sender\n[  4]   0.00-10.00  sec  34.5 MBytes  29.0 Mbits/sec                  receiver\n\niperf Done.\n</code></pre>"},{"location":"guide/qos/#linux-netem-qos","title":"linux-netem QoS","text":"<p>RHEL \u200b\u7cfb\u5217\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u9700\u8981\u200b\u5b89\u88c5\u200b netem \u200b\u76f8\u5173\u200b\u6a21\u5757\u200b\uff1a yum install -y kernel-modules-extra &amp;&amp; modprobe sch_netem</p> <p>Pod \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b annotation \u200b\u914d\u7f6e\u200b <code>linux-netem</code> \u200b\u7c7b\u578b\u200b QoS\uff1a <code>ovn.kubernetes.io/latency</code>\u3001<code>ovn.kubernetes.io/limit</code> \u200b\u548c\u200b <code>ovn.kubernetes.io/loss</code>\u3002</p> <ul> <li><code>ovn.kubernetes.io/latency</code>\uff1a\u200b\u8bbe\u7f6e\u200b Pod \u200b\u6d41\u91cf\u200b\u5ef6\u8fdf\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b\u6574\u6570\u200b\uff0c\u200b\u5355\u4f4d\u200b\u4e3a\u200b ms\u3002</li> <li><code>ovn.kubernetes.io/limit</code>\uff1a \u200b\u4e3a\u200b <code>qdisc</code> \u200b\u961f\u5217\u200b\u53ef\u200b\u5bb9\u7eb3\u200b\u7684\u200b\u6700\u5927\u200b\u6570\u636e\u5305\u200b\u6570\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b\u6574\u5f62\u200b\u6570\u503c\u200b\uff0c\u200b\u4f8b\u5982\u200b 1000\u3002</li> <li><code>ovn.kubernetes.io/loss</code>\uff1a \u200b\u4e3a\u200b\u8bbe\u7f6e\u200b\u7684\u200b\u62a5\u6587\u200b\u4e22\u5305\u200b\u6982\u7387\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b float \u200b\u7c7b\u578b\u200b\uff0c\u200b\u4f8b\u5982\u200b\u53d6\u503c\u200b\u4e3a\u200b 20\uff0c\u200b\u5219\u200b\u4e3a\u200b\u8bbe\u7f6e\u200b 20% \u200b\u7684\u200b\u4e22\u200b\u5305\u200b\u6982\u7387\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/setup-options/","title":"\u5b89\u88c5\u200b\u548c\u200b\u914d\u7f6e\u200b\u9009\u9879","text":"<p>\u200b\u5728\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u4e2d\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u914d\u7f6e\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff0cKube-OVN \u200b\u8fd8\u200b\u652f\u6301\u200b\u66f4\u200b\u591a\u200b \u200b\u81ea\u5b9a\u4e49\u200b\u914d\u7f6e\u200b\uff0c\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff0c\u200b\u6216\u8005\u200b\u4e4b\u540e\u200b\u66f4\u6539\u200b\u5404\u4e2a\u200b\u7ec4\u4ef6\u200b\u7684\u200b\u53c2\u6570\u200b\u6765\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u4f1a\u200b\u4ecb\u7ecd\u200b\u8fd9\u4e9b\u200b\u81ea\u5b9a\u4e49\u200b\u9009\u9879\u200b \u200b\u7684\u200b\u4f5c\u7528\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5982\u4f55\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"guide/setup-options/#_2","title":"\u5185\u7f6e\u200b\u7f51\u7edc\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u5728\u200b\u5b89\u88c5\u200b\u65f6\u4f1a\u200b\u914d\u7f6e\u200b\u4e24\u4e2a\u200b\u5185\u7f6e\u200b\u5b50\u7f51\u200b\uff1a</p> <ol> <li><code>default</code> \u200b\u5b50\u7f51\u200b\uff0c\u200b\u4f5c\u4e3a\u200b Pod \u200b\u5206\u914d\u200b IP \u200b\u4f7f\u7528\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u9ed8\u8ba4\u200b CIDR \u200b\u4e3a\u200b <code>10.16.0.0/16</code>\uff0c\u200b\u7f51\u5173\u200b\u4e3a\u200b <code>10.16.0.1</code>\u3002</li> <li><code>join</code> \u200b\u5b50\u7f51\u200b\uff0c\u200b\u4f5c\u4e3a\u200b Node \u200b\u548c\u200b Pod \u200b\u4e4b\u95f4\u200b\u8fdb\u884c\u200b\u7f51\u7edc\u901a\u4fe1\u200b\u7684\u200b\u7279\u6b8a\u200b\u5b50\u7f51\u200b, \u200b\u9ed8\u8ba4\u200b CIDR \u200b\u4e3a\u200b <code>100.64.0.0/16</code>\uff0c\u200b\u7f51\u5173\u200b\u4e3a\u200b <code>100.64.0.1</code>\u3002</li> </ol> <p>\u200b\u5728\u200b\u5b89\u88c5\u200b\u65f6\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u5185\u200b\u7684\u200b\u914d\u7f6e\u200b\u8fdb\u884c\u200b\u66f4\u6539\u200b\uff1a</p> <pre><code>POD_CIDR=\"10.16.0.0/16\"\nPOD_GATEWAY=\"10.16.0.1\"\nJOIN_CIDR=\"100.64.0.0/16\"\nEXCLUDE_IPS=\"\"\n</code></pre> <p><code>EXCLUDE_IP</code> \u200b\u53ef\u200b\u8bbe\u7f6e\u200b <code>POD_CIDR</code> \u200b\u4e0d\u200b\u8fdb\u884c\u200b\u5206\u914d\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\uff0c\u200b\u683c\u5f0f\u200b\u4e3a\u200b\uff1a<code>192.168.10.20..192.168.10.30</code>\u3002</p> <p>\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b Overlay \u200b\u60c5\u51b5\u200b\u4e0b\u200b\u8fd9\u200b\u4e24\u4e2a\u200b\u7f51\u7edc\u200b\u4e0d\u80fd\u200b\u548c\u200b\u5df2\u6709\u200b\u7684\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u548c\u200b Service CIDR \u200b\u51b2\u7a81\u200b\u3002</p> <p>\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u53ef\u4ee5\u200b\u5bf9\u200b\u8fd9\u200b\u4e24\u4e2a\u200b\u7f51\u7edc\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u8bf7\u200b\u53c2\u8003\u200b\u4fee\u6539\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u548c\u200b\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b\u3002</p>"},{"location":"guide/setup-options/#service","title":"Service \u200b\u7f51\u6bb5\u200b\u914d\u7f6e","text":"<p>\u200b\u7531\u4e8e\u200b\u90e8\u5206\u200b <code>kube-proxy</code> \u200b\u8bbe\u7f6e\u200b\u7684\u200b iptables \u200b\u548c\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u4f1a\u200b\u548c\u200b Kube-OVN \u200b\u8bbe\u7f6e\u200b\u7684\u200b\u89c4\u5219\u200b\u4ea7\u751f\u200b\u4ea4\u96c6\u200b\uff0c\u200b\u56e0\u6b64\u200b Kube-OVN \u200b\u9700\u8981\u200b\u77e5\u9053\u200b Service \u200b\u7684\u200b CIDR \u200b\u6765\u200b\u6b63\u786e\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b\u89c4\u5219\u200b\u3002</p> <p>\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b\uff1a</p> <pre><code>SVC_CIDR=\"10.96.0.0/12\"  \n</code></pre> <p>\u200b\u6765\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --service-cluster-ip-range=10.96.0.0/12\n</code></pre> <p>\u200b\u6765\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002</p>"},{"location":"guide/setup-options/#overlay","title":"Overlay \u200b\u7f51\u5361\u200b\u9009\u62e9","text":"<p>\u200b\u5728\u200b\u8282\u70b9\u200b\u5b58\u5728\u200b\u591a\u5757\u200b\u7f51\u5361\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0cKube-OVN \u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u9009\u62e9\u200b Kubernetes Node IP \u200b\u5bf9\u5e94\u200b\u7684\u200b\u7f51\u5361\u200b\u4f5c\u4e3a\u200b\u5bb9\u5668\u200b\u95f4\u200b\u8de8\u200b\u8282\u70b9\u200b\u901a\u4fe1\u200b\u7684\u200b\u7f51\u5361\u200b\u5e76\u200b\u5efa\u7acb\u200b\u5bf9\u5e94\u200b\u7684\u200b\u96a7\u9053\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u9009\u62e9\u200b\u5176\u4ed6\u200b\u7684\u200b\u7f51\u5361\u200b\u5efa\u7acb\u200b\u5bb9\u5668\u200b\u96a7\u9053\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u4fee\u6539\u200b\uff1a</p> <pre><code>IFACE=eth1\n</code></pre> <p>\u200b\u8be5\u200b\u9009\u9879\u200b\u652f\u6301\u200b\u4ee5\u200b\u9017\u53f7\u200b\u6240\u200b\u5206\u9694\u200b\u6b63\u5219\u8868\u8fbe\u5f0f\u200b,\u200b\u4f8b\u5982\u200b <code>ens[a-z0-9]*,eth[a-z0-9]*</code>\u3002</p> <p>\u200b\u5b89\u88c5\u200b\u540e\u200b\u4e5f\u200b\u53ef\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <pre><code>args:\n- --iface=eth1\n</code></pre> <p>\u200b\u5982\u679c\u200b\u6bcf\u53f0\u200b\u673a\u5668\u200b\u7684\u200b\u7f51\u5361\u200b\u540d\u5747\u200b\u4e0d\u540c\u200b\uff0c\u200b\u4e14\u200b\u6ca1\u6709\u200b\u56fa\u5b9a\u200b\u89c4\u5f8b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u8282\u70b9\u200b annotation <code>ovn.kubernetes.io/tunnel_interface</code> \u200b\u8fdb\u884c\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u7684\u200b\u9010\u4e00\u200b\u914d\u7f6e\u200b\uff0c\u200b\u62e5\u6709\u200b\u8be5\u200b annotation \u200b\u8282\u70b9\u200b\u4f1a\u200b\u8986\u76d6\u200b <code>iface</code> \u200b\u7684\u200b\u914d\u7f6e\u200b\uff0c\u200b\u4f18\u5148\u200b\u4f7f\u7528\u200b annotation\u3002</p> <pre><code>kubectl annotate node no1 ovn.kubernetes.io/tunnel_interface=ethx\n</code></pre>"},{"location":"guide/setup-options/#mtu","title":"MTU \u200b\u8bbe\u7f6e","text":"<p>\u200b\u7531\u4e8e\u200b Overlay \u200b\u5c01\u88c5\u200b\u9700\u8981\u200b\u5360\u636e\u200b\u989d\u5916\u200b\u7684\u200b\u7a7a\u95f4\u200b\uff0cKube-OVN \u200b\u5728\u200b\u521b\u5efa\u200b\u5bb9\u5668\u200b\u7f51\u5361\u200b\u65f6\u4f1a\u200b\u6839\u636e\u200b\u9009\u62e9\u200b\u7f51\u5361\u200b\u7684\u200b MTU \u200b\u8fdb\u884c\u200b\u5bb9\u5668\u200b\u7f51\u5361\u200b\u7684\u200b MTU \u200b\u8c03\u6574\u200b\uff0c \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Overlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b Pod \u200b\u7f51\u5361\u200b MTU \u200b\u4e3a\u200b\u4e3b\u673a\u200b\u7f51\u5361\u200b MTU - 100\uff0cUnderlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\uff0cPod \u200b\u7f51\u5361\u200b\u548c\u200b\u4e3b\u673a\u200b\u7f51\u5361\u200b\u6709\u200b\u76f8\u540c\u200b MTU\u3002</p> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u8c03\u6574\u200b Overlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b MTU \u200b\u7684\u200b\u5927\u5c0f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --mtu=1333\n</code></pre>"},{"location":"guide/setup-options/#_3","title":"\u5168\u5c40\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5728\u200b\u5f00\u542f\u200b\u5168\u5c40\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0cKube-OVN \u200b\u4f1a\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u521b\u5efa\u200b\u4e00\u5757\u200b <code>mirror0</code> \u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u5361\u200b\uff0c\u200b\u590d\u5236\u200b\u5f53\u524d\u200b\u673a\u5668\u200b\u6240\u6709\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u5230\u200b\u8be5\u200b\u7f51\u5361\u200b\u4e0a\u200b\uff0c \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b tcpdump \u200b\u53ca\u5176\u200b\u4ed6\u200b\u5de5\u5177\u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u5206\u6790\u200b\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u901a\u8fc7\u200b\u4e0b\u9762\u200b\u7684\u200b\u914d\u7f6e\u200b\u5f00\u542f\u200b\uff1a</p> <pre><code>ENABLE_MIRROR=true\n</code></pre> <p>\u200b\u4e5f\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b\u53c2\u6570\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b:</p> <pre><code>args:\n- --enable-mirror=true\n</code></pre> <p>\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u7684\u200b\u80fd\u529b\u200b\u5728\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e2d\u4e3a\u200b\u5173\u95ed\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u7ec6\u7c92\u5ea6\u200b\u7684\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u6216\u200b\u9700\u8981\u200b\u5c06\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u5230\u200b\u989d\u5916\u200b\u7684\u200b\u7f51\u5361\u200b\u8bf7\u200b\u53c2\u8003\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u955c\u50cf\u200b\u3002</p>"},{"location":"guide/setup-options/#lb","title":"LB \u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b OVN \u200b\u4e2d\u200b\u7684\u200b L2 LB \u200b\u6765\u200b\u5b9e\u73b0\u200b Service \u200b\u8f6c\u53d1\u200b\uff0c\u200b\u5728\u200b Overlay \u200b\u573a\u666f\u200b\u4e2d\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b\u4f7f\u7528\u200b <code>kube-proxy</code> \u200b\u6765\u200b\u5b8c\u6210\u200b Service \u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b, \u200b\u5728\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u5173\u95ed\u200b Kube-OVN \u200b\u7684\u200b LB \u200b\u529f\u80fd\u200b\u4ee5\u200b\u8fbe\u5230\u200b\u63a7\u5236\u200b\u9762\u200b\u548c\u200b\u6570\u636e\u200b\u9762\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ENABLE_LB=false\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>args:\n- --enable-lb=false\n</code></pre> <p>LB \u200b\u7684\u200b\u529f\u80fd\u200b\u5728\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e2d\u4e3a\u200b\u5f00\u542f\u200b\u3002</p> <p>\u200b\u4ece\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c\u200b\u5728\u200b subnet crd \u200b\u5b9a\u4e49\u200b\u4e2d\u200b\u589e\u52a0\u200b\u4e86\u200b spec \u200b\u5b57\u200b\u6bb5\u200b <code>enableLb</code>\uff0c\u200b\u5c06\u200b Kube-OVN \u200b\u7684\u200b LB \u200b\u529f\u80fd\u200b\u8fc1\u79fb\u200b\u5230\u200b\u5b50\u7f51\u200b\u5c42\u7ea7\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b\u4e0d\u540c\u200b\u7684\u200b\u5b50\u7f51\u200b\u5206\u522b\u200b\u8bbe\u7f6e\u200b\u662f\u5426\u200b\u5f00\u542f\u200b LB \u200b\u529f\u80fd\u200b\u3002<code>kube-ovn-controller</code> Deployment \u200b\u4e2d\u200b\u7684\u200b <code>enable-lb</code> \u200b\u53c2\u6570\u200b\u4f5c\u4e3a\u200b\u5168\u5c40\u200b\u53c2\u6570\u200b\uff0c\u200b\u63a7\u5236\u200b\u662f\u5426\u200b\u521b\u5efa\u200b load-balancer \u200b\u8bb0\u5f55\u200b\uff0c\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u65b0\u589e\u200b\u7684\u200b <code>enableLb</code> \u200b\u53c2\u6570\u200b\u7528\u4e8e\u200b\u63a7\u5236\u200b\u5b50\u7f51\u200b\u662f\u5426\u200b\u5173\u8054\u200b load-balancer \u200b\u8bb0\u5f55\u200b\u3002\u200b\u4e4b\u524d\u200b\u7248\u672c\u5347\u7ea7\u200b\u5230\u200b v1.12.0 \u200b\u4e4b\u540e\u200b\uff0c\u200b\u5b50\u7f51\u200b <code>enableLb</code> \u200b\u53c2\u6570\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u7ee7\u627f\u200b\u539f\u6709\u200b\u7684\u200b\u5168\u5c40\u200b\u5f00\u5173\u200b\u53c2\u6570\u200b\u53d6\u503c\u200b\u3002</p>"},{"location":"guide/setup-options/#networkpolicy","title":"NetworkPolicy \u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b OVN \u200b\u4e2d\u200b\u7684\u200b ACL \u200b\u6765\u200b\u5b9e\u73b0\u200b NetworkPolicy\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b\u5173\u95ed\u200b NetworkPolicy \u200b\u529f\u80fd\u200b \u200b\u6216\u8005\u200b\u4f7f\u7528\u200b Cilium Chain \u200b\u7684\u200b\u65b9\u5f0f\u200b\u5229\u7528\u200b eBPF \u200b\u5b9e\u73b0\u200b NetworkPolicy\uff0c \u200b\u5728\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u5173\u95ed\u200b Kube-OVN \u200b\u7684\u200b NetworkPolicy \u200b\u529f\u80fd\u200b\u4ee5\u200b\u8fbe\u5230\u200b\u63a7\u5236\u200b\u9762\u200b\u548c\u200b\u6570\u636e\u200b\u9762\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ENABLE_NP=false\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>args:\n- --enable-np=false\n</code></pre> <p>NetworkPolicy \u200b\u7684\u200b\u80fd\u529b\u200b\u5728\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e2d\u4e3a\u200b\u5f00\u542f\u200b\u3002</p>"},{"location":"guide/setup-options/#eip-snat","title":"EIP \u200b\u548c\u200b SNAT \u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u9ed8\u8ba4\u200b\u7f51\u7edc\u200b\u4e0b\u200b\u5982\u679c\u200b\u65e0\u9700\u200b\u4f7f\u7528\u200b EIP \u200b\u548c\u200b SNAT \u200b\u7684\u200b\u80fd\u529b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b\u5173\u95ed\u200b\u76f8\u5173\u200b\u529f\u80fd\u200b\uff0c\u200b\u4ee5\u200b\u51cf\u5c11\u200b <code>kube-ovn-controller</code> \u200b\u5728\u200b\u521b\u5efa\u200b\u548c\u200b\u66f4\u65b0\u200b \u200b\u7f51\u7edc\u200b\u65f6\u200b\u7684\u200b\u68c0\u67e5\u200b\u6d88\u8017\u200b\uff0c\u200b\u5728\u200b\u5927\u89c4\u6a21\u200b\u96c6\u7fa4\u200b\u73af\u5883\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u63d0\u5347\u200b\u5904\u7406\u901f\u5ea6\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ENABLE_EIP_SNAT=false\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>args:\n- --enable-eip-snat=false\n</code></pre> <p>EIP \u200b\u548c\u200b SNAT \u200b\u7684\u200b\u80fd\u529b\u200b\u5728\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e2d\u4e3a\u200b\u5f00\u542f\u200b\u3002\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u76f8\u5173\u200b\u4f7f\u7528\u200b\u548c\u200b\u5176\u4ed6\u200b\u53ef\u200b\u914d\u200b\u53c2\u6570\u200b\u8bf7\u200b\u53c2\u8003\u200b EIP \u200b\u548c\u200b SNAT \u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"guide/setup-options/#load-balancer-service","title":"Load Balancer \u200b\u7c7b\u578b\u200b Service \u200b\u652f\u6301\u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u53ef\u200b\u901a\u8fc7\u200b\u5f00\u542f\u200b\u8be5\u200b\u9009\u9879\u200b\u6765\u200b\u652f\u6301\u200b Load Balancer \u200b\u7c7b\u578b\u200b Service\u3002\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u76f8\u5173\u200b\u4f7f\u7528\u200b\u548c\u200b\u5176\u4ed6\u200b\u53ef\u200b\u914d\u200b\u53c2\u6570\u200b\u8bf7\u200b\u53c2\u8003\u200b LoadBalancer \u200b\u7c7b\u578b\u200b Service\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u9ed8\u8ba4\u200b\u5173\u95ed\u200b\uff0c\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ENABLE_LB_SVC=true\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>args:\n- --enable-lb-svc=true\n</code></pre>"},{"location":"guide/setup-options/#ecmp","title":"\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b ECMP \u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u652f\u6301\u200b\u4e3b\u5907\u200b\u548c\u200b ECMP \u200b\u4e24\u79cd\u200b\u9ad8\u200b\u53ef\u7528\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u542f\u7528\u200b ECMP \u200b\u6a21\u5f0f\u200b\uff0c \u200b\u9700\u8981\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b:</p> <pre><code>args:\n- --enable-ecmp=true \n</code></pre> <p>\u200b\u4ece\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c\u200b\u5728\u200b subnet crd \u200b\u5b9a\u4e49\u200b\u4e2d\u200b\u589e\u52a0\u200b\u4e86\u200b spec \u200b\u5b57\u200b\u6bb5\u200b <code>enableEcmp</code>\uff0c\u200b\u5c06\u200b\u96c6\u4e2d\u5f0f\u200b\u5b50\u7f51\u200b ECMP \u200b\u5f00\u5173\u200b\u63a7\u5236\u200b\u8fc1\u79fb\u200b\u5230\u200b\u5b50\u7f51\u200b\u5c42\u7ea7\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b\u4e0d\u540c\u200b\u7684\u200b\u5b50\u7f51\u200b\u5206\u522b\u200b\u8bbe\u7f6e\u200b\u662f\u5426\u200b\u5f00\u542f\u200b ECMP \u200b\u6a21\u5f0f\u200b\u3002\u200b\u539f\u6709\u200b\u7684\u200b <code>kube-ovn-controller</code> Deployment \u200b\u4e2d\u200b\u7684\u200b <code>enable-ecmp</code> \u200b\u53c2\u6570\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\u3002\u200b\u4e4b\u524d\u200b\u7248\u672c\u5347\u7ea7\u200b\u5230\u200b v1.12.0 \u200b\u4e4b\u540e\u200b\uff0c\u200b\u5b50\u7f51\u200b\u5f00\u5173\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u7ee7\u627f\u200b\u539f\u6709\u200b\u7684\u200b\u5168\u5c40\u200b\u5f00\u5173\u200b\u53c2\u6570\u200b\u53d6\u503c\u200b\u3002</p> <p>\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e0b\u200b\u4e3a\u4e3b\u200b\u5907\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u7f51\u5173\u200b\u76f8\u5173\u200b\u5185\u5bb9\u200b\u8bf7\u200b\u53c2\u8003\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b\u3002</p>"},{"location":"guide/setup-options/#kubevirt-vm","title":"Kubevirt VM \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u9488\u5bf9\u200b Kubevirt \u200b\u521b\u5efa\u200b\u7684\u200b VM \u200b\u5b9e\u4f8b\u200b\uff0c<code>kube-ovn-controller</code> \u200b\u53ef\u4ee5\u200b\u6309\u7167\u200b\u7c7b\u4f3c\u200b StatefulSet Pod \u200b\u7684\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b IP \u200b\u5730\u5740\u200b\u5206\u914d\u200b\u548c\u200b\u7ba1\u7406\u200b\u3002 \u200b\u4ee5\u200b\u8fbe\u5230\u200b VM \u200b\u5b9e\u4f8b\u200b\u5728\u200b\u751f\u547d\u5468\u671f\u200b\u5185\u542f\u505c\u200b\uff0c\u200b\u5347\u7ea7\u200b\uff0c\u200b\u8fc1\u79fb\u200b\u7b49\u200b\u64cd\u4f5c\u8fc7\u7a0b\u200b\u4e2d\u200b\u5730\u5740\u200b\u56fa\u5b9a\u200b\u4e0d\u53d8\u200b\uff0c\u200b\u66f4\u7b26\u200b\u865a\u62df\u5316\u200b\u5408\u200b\u7528\u6237\u200b\u7684\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u4f53\u9a8c\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u5728\u200b 1.10.6 \u200b\u540e\u200b\u9ed8\u8ba4\u200b\u5f00\u542f\u200b\uff0c\u200b\u82e5\u200b\u8981\u200b\u5173\u95ed\u200b\u6b64\u200b\u529f\u80fd\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u542f\u52a8\u200b\u547d\u4ee4\u200b\u4e2d\u200b\u8bbe\u7f6e\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --keep-vm-ip=false\n</code></pre>"},{"location":"guide/setup-options/#cni","title":"CNI \u200b\u914d\u7f6e\u200b\u76f8\u5173\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u5728\u200b <code>/opt/cni/bin</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\u5b89\u88c5\u200b CNI \u200b\u6267\u884c\u200b\u6587\u4ef6\u200b\uff0c\u200b\u5728\u200b <code>/etc/cni/net.d</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\u5b89\u88c5\u200b CNI \u200b\u914d\u7f6e\u6587\u4ef6\u200b <code>01-kube-ovn.conflist</code>\u3002 \u200b\u5982\u679c\u200b\u9700\u8981\u200b\u66f4\u6539\u200b\u5b89\u88c5\u200b\u4f4d\u7f6e\u200b\u548c\u200b CNI \u200b\u914d\u7f6e\u6587\u4ef6\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u7684\u200b\u4e0b\u5217\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <pre><code>CNI_CONF_DIR=\"/etc/cni/net.d\"\nCNI_BIN_DIR=\"/opt/cni/bin\"\nCNI_CONFIG_PRIORITY=\"01\"\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u66f4\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b Volume \u200b\u6302\u8f7d\u200b\u548c\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>volumes:\n- name: cni-conf\n  hostPath:\n    path: \"/etc/cni/net.d\"\n- name: cni-bin\n  hostPath:\n    path:\"/opt/cni/bin\"\n...\nargs:\n- --cni-conf-name=01-kube-ovn.conflist\n</code></pre>"},{"location":"guide/setup-options/#_4","title":"\u96a7\u9053\u200b\u7c7b\u578b\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u9ed8\u8ba4\u200b Overlay \u200b\u7684\u200b\u5c01\u88c5\u200b\u6a21\u5f0f\u200b\u4e3a\u200b Geneve\uff0c\u200b\u5982\u679c\u200b\u60f3\u200b\u66f4\u6362\u200b\u4e3a\u200b Vxlan \u200b\u6216\u200b STT\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u7684\u200b\u4e0b\u5217\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <pre><code>TUNNEL_TYPE=\"vxlan\"\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u66f4\u6539\u200b <code>ovs-ovn</code> DaemonSet \u200b\u7684\u200b\u73af\u5883\u53d8\u91cf\u200b\uff1a</p> <pre><code>env:\n- name: TUNNEL_TYPE\n  value: \"vxlan\"\n</code></pre> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b STT \u200b\u96a7\u9053\u200b\u9700\u8981\u200b\u989d\u5916\u200b\u7f16\u8bd1\u200b ovs \u200b\u7684\u200b\u5185\u6838\u6a21\u5757\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b\u6027\u80fd\u200b\u8c03\u4f18\u200b\u3002</p> <p>\u200b\u4e0d\u540c\u200b\u534f\u8bae\u200b\u5728\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u4e2d\u200b\u7684\u200b\u533a\u522b\u200b\u8bf7\u200b\u53c2\u8003\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\u8bf4\u660e\u200b\u3002</p>"},{"location":"guide/setup-options/#ssl","title":"SSL \u200b\u8bbe\u7f6e","text":"<p>OVN DB \u200b\u7684\u200b API \u200b\u63a5\u53e3\u200b\u652f\u6301\u200b SSL \u200b\u52a0\u5bc6\u200b\u6765\u200b\u4fdd\u8bc1\u200b\u8fde\u63a5\u200b\u5b89\u5168\u200b\uff0c\u200b\u5982\u200b\u8981\u200b\u5f00\u542f\u200b\u53ef\u200b\u8c03\u6574\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u7684\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b:</p> <pre><code>ENABLE_SSL=true\n</code></pre> <p>SSL \u200b\u529f\u80fd\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e0b\u200b\u4e3a\u200b\u5173\u95ed\u200b\u6a21\u5f0f\u200b\u3002</p>"},{"location":"guide/setup-options/#ip","title":"\u7ed1\u5b9a\u200b\u672c\u5730\u200b ip","text":"<p>kube-ovn-controller/kube-ovn-cni/kube-ovn-monitor \u200b\u8fd9\u4e9b\u200b\u670d\u52a1\u200b\u652f\u6301\u200b\u7ed1\u5b9a\u200b\u672c\u5730\u200b ip\uff0c\u200b\u8be5\u200b\u529f\u80fd\u8bbe\u8ba1\u200b\u539f\u56e0\u200b\u4e3b\u8981\u200b\u662f\u56e0\u4e3a\u200b\u67d0\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\u51fa\u4e8e\u200b\u5b89\u5168\u200b\u8003\u8651\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u670d\u52a1\u200b\u7ed1\u5b9a\u200b 0.0.0.0 \uff08\u200b\u6bd4\u5982\u200b\u8be5\u200b\u670d\u52a1\u200b\u90e8\u7f72\u200b\u5728\u200b\u67d0\u4e2a\u200b\u5bf9\u5916\u200b\u7f51\u5173\u200b\u4e0a\u200b\uff0c\u200b\u5916\u90e8\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b\u516c\u7f51\u200b ip \u200b\u5e76\u200b\u6307\u5b9a\u200b\u7aef\u53e3\u200b\u53bb\u200b\u8bbf\u95ee\u200b\u5230\u200b\u8be5\u200b\u670d\u52a1\u200b\uff09\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u9ed8\u8ba4\u200b\u662f\u200b\u6253\u5f00\u200b\u7684\u200b\uff0c\u200b\u7531\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b\u63a7\u5236\u200b\uff1a</p> <pre><code>ENABLE_BIND_LOCAL_IP=true\n</code></pre> <p>\u200b\u4ee5\u200b kube-ovn-monitor \u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u5f00\u542f\u200b\u529f\u80fd\u200b\u540e\u4f1a\u200b\u628a\u200b\u670d\u52a1\u200b\u7ed1\u5b9a\u200b\u672c\u5730\u200b\u7684\u200b pod ip \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># netstat -tunlp |grep kube-ovn\ntcp        0      0 172.18.0.5:10661        0.0.0.0:*               LISTEN      2612/./kube-ovn-mon\n</code></pre> <p>\u200b\u5b89\u88c5\u200b\u540e\u200b\u4e5f\u200b\u53ef\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b\u670d\u52a1\u200b\u7684\u200b deployment \u200b\u6216\u8005\u200b daemonSet \u200b\u7684\u200b\u73af\u5883\u53d8\u91cf\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <pre><code>env:\n- name: ENABLE_BIND_LOCAL_IP\n  value: \"false\"\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/static-ip-mac/","title":"\u56fa\u5b9a\u200b\u5730\u5740","text":"<p>Kube-OVN \u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u6839\u636e\u200b Pod \u200b\u6240\u5728\u200b Namespace \u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u968f\u673a\u200b\u5206\u914d\u200b IP \u200b\u548c\u200b Mac\u3002 \u200b\u9488\u5bf9\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u9700\u8981\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0cKube-OVN \u200b\u6839\u636e\u200b\u4e0d\u540c\u200b\u7684\u200b\u573a\u666f\u200b\uff0c\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u591a\u79cd\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u7684\u200b\u65b9\u6cd5\u200b\uff1a</p> <ul> <li>\u200b\u5355\u4e2a\u200b Pod \u200b\u56fa\u5b9a\u200b IP/Mac\u3002</li> <li>Workload \u200b\u901a\u7528\u200b IP Pool \u200b\u65b9\u5f0f\u200b\u6307\u5b9a\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\u3002</li> <li>StatefulSet \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u3002</li> <li>KubeVirt VM \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u3002</li> </ul>"},{"location":"guide/static-ip-mac/#pod-ip-mac","title":"\u5355\u4e2a\u200b Pod \u200b\u56fa\u5b9a\u200b IP \u200b\u548c\u200b Mac","text":"<p>\u200b\u53ef\u4ee5\u200b\u5728\u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\u901a\u8fc7\u200b annotation \u200b\u6765\u200b\u6307\u5b9a\u200b Pod \u200b\u8fd0\u884c\u200b\u65f6\u200b\u6240\u200b\u9700\u200b\u7684\u200b IP/Mac, <code>kube-ovn-controller</code> \u200b\u8fd0\u884c\u200b\u65f6\u200b\u5c06\u200b\u4f1a\u200b\u8df3\u200b\u8fc7\u200b\u5730\u5740\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u9636\u6bb5\u200b\uff0c\u200b\u7ecf\u8fc7\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\u540e\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\u6307\u5b9a\u200b\u5730\u5740\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: static-ip\n  annotations:\n    ovn.kubernetes.io/ip_address: 10.16.0.15   // \u200b\u53cc\u6808\u200b\u5730\u5740\u200b\u4f7f\u7528\u200b\u9017\u53f7\u200b\u5206\u9694\u200b 10.16.0.15,fd00:10:16::15\n    ovn.kubernetes.io/mac_address: 00:00:00:53:6B:B6\nspec:\n  containers:\n  - name: static-ip\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u5728\u200b\u4f7f\u7528\u200b annotation \u200b\u5b9a\u4e49\u200b\u5355\u4e2a\u200b Pod IP/Mac \u200b\u65f6\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u4ee5\u4e0b\u51e0\u70b9\u200b\uff1a</p> <ol> <li>\u200b\u6240\u200b\u4f7f\u7528\u200b\u7684\u200b IP/Mac \u200b\u4e0d\u80fd\u200b\u548c\u200b\u5df2\u6709\u200b\u7684\u200b IP/Mac \u200b\u51b2\u7a81\u200b\u3002</li> <li>IP \u200b\u5fc5\u987b\u200b\u5728\u200b\u6240\u5c5e\u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u5185\u200b\u3002</li> <li>\u200b\u53ef\u4ee5\u200b\u53ea\u200b\u6307\u5b9a\u200b IP \u200b\u6216\u200b Mac\uff0c\u200b\u53ea\u200b\u6307\u5b9a\u200b\u4e00\u4e2a\u200b\u65f6\u200b\uff0c\u200b\u53e6\u200b\u4e00\u4e2a\u200b\u4f1a\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u3002</li> </ol>"},{"location":"guide/static-ip-mac/#workload-ip-pool","title":"Workload \u200b\u901a\u7528\u200b IP Pool \u200b\u56fa\u5b9a\u200b\u5730\u5740","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u901a\u8fc7\u200b annotation <code>ovn.kubernetes.io/ip_pool</code> \u200b\u7ed9\u200b Workload\uff08Deployment/StatefulSet/DaemonSet/Job/CronJob\uff09\u200b\u8bbe\u7f6e\u200b\u56fa\u5b9a\u200b IP\u3002 <code>kube-ovn-controller</code> \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u9009\u62e9\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u6307\u5b9a\u200b\u7684\u200b IP \u200b\u5e76\u200b\u8fdb\u884c\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\u3002</p> <p>IP Pool \u200b\u7684\u200b Annotation \u200b\u9700\u8981\u200b\u52a0\u200b\u5728\u200b <code>template</code> \u200b\u5185\u200b\u7684\u200b <code>annotation</code> \u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u9664\u4e86\u200b Kubernetes \u200b\u5185\u7f6e\u200b\u7684\u200b Workload \u200b\u7c7b\u578b\u200b\uff0c \u200b\u5176\u4ed6\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b\u7684\u200b Workload \u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u540c\u6837\u200b\u7684\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u5206\u914d\u200b\u3002</p>"},{"location":"guide/static-ip-mac/#deployment-ip","title":"Deployment \u200b\u56fa\u5b9a\u200b IP \u200b\u793a\u4f8b","text":"<pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: ippool\n  labels:\n    app: ippool\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: ippool\n  template:\n    metadata:\n      labels:\n        app: ippool\n      annotations:\n        ovn.kubernetes.io/ip_pool: 10.16.0.15,10.16.0.16,10.16.0.17 // \u200b\u53cc\u6808\u200b\u5730\u5740\u200b\u4f7f\u7528\u200b\u5206\u200b\u53f7\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b 10.16.0.15,fd00:10:16::000E;10.16.0.16,fd00:10:16::000F;10.16.0.17,fd00:10:16::0010\n    spec:\n      containers:\n      - name: ippool\n        image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u5bf9\u200b Workload \u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b IP \u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u4ee5\u4e0b\u51e0\u70b9\u200b\uff1a</p> <ol> <li><code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b IP \u200b\u5e94\u8be5\u200b\u5c5e\u4e8e\u200b\u6240\u5728\u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u5185\u200b\u3002</li> <li><code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b IP \u200b\u4e0d\u80fd\u200b\u548c\u200b\u5df2\u200b\u4f7f\u7528\u200b\u7684\u200b IP \u200b\u51b2\u7a81\u200b\u3002</li> <li>\u200b\u5f53\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b IP \u200b\u6570\u91cf\u200b\u5c0f\u4e8e\u200b replicas \u200b\u6570\u91cf\u200b\u65f6\u200b\uff0c\u200b\u591a\u51fa\u200b\u7684\u200b Pod \u200b\u5c06\u200b\u65e0\u6cd5\u200b\u521b\u5efa\u200b\u3002\u200b\u4f60\u200b\u9700\u8981\u200b\u6839\u636e\u200b Workload \u200b\u7684\u200b\u66f4\u65b0\u200b\u7b56\u7565\u200b\u4ee5\u53ca\u200b\u6269\u5bb9\u200b\u89c4\u5212\u200b\u8c03\u6574\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b IP \u200b\u7684\u200b\u6570\u91cf\u200b\u3002</li> </ol>"},{"location":"guide/static-ip-mac/#statefulset","title":"StatefulSet \u200b\u56fa\u5b9a\u200b\u5730\u5740","text":"<p>StatefulSet \u200b\u9ed8\u8ba4\u200b\u652f\u6301\u200b\u56fa\u5b9a\u200b IP\uff0c\u200b\u800c\u4e14\u200b\u548c\u200b\u5176\u4ed6\u200b Workload \u200b\u76f8\u540c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u6765\u200b\u6307\u5b9a\u200b Pod \u200b\u4f7f\u7528\u200b\u7684\u200b IP \u200b\u8303\u56f4\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b StatefulSet \u200b\u591a\u200b\u7528\u4e8e\u200b\u6709\u200b\u72b6\u6001\u200b\u670d\u52a1\u200b\uff0c\u200b\u5bf9\u200b\u7f51\u7edc\u200b\u6807\u793a\u200b\u7684\u200b\u56fa\u5b9a\u200b\u6709\u200b\u66f4\u200b\u9ad8\u200b\u7684\u200b\u8981\u6c42\u200b\uff0cKube-OVN \u200b\u505a\u200b\u4e86\u200b\u7279\u6b8a\u200b\u7684\u200b\u5f3a\u5316\u200b\uff1a</p> <ol> <li>Pod \u200b\u4f1a\u200b\u6309\u200b\u987a\u5e8f\u200b\u5206\u914d\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b IP\u3002\u200b\u4f8b\u5982\u200b StatefulSet \u200b\u7684\u200b\u540d\u5b57\u200b\u4e3a\u200b web\uff0c\u200b\u5219\u200b web-0 \u200b\u4f1a\u200b\u4f7f\u7528\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b\u7b2c\u4e00\u4e2a\u200b IP\uff0c web-1 \u200b\u4f1a\u200b\u4f7f\u7528\u200b\u7b2c\u4e8c\u4e2a\u200b IP\uff0c\u200b\u4ee5\u6b64\u7c7b\u63a8\u200b\u3002</li> <li>StatefulSet Pod \u200b\u5728\u200b\u66f4\u65b0\u200b\u6216\u200b\u5220\u9664\u200b\u7684\u200b\u8fc7\u7a0b\u200b\u4e2d\u200b OVN \u200b\u4e2d\u200b\u7684\u200b logical_switch_port \u200b\u4e0d\u4f1a\u200b\u5220\u9664\u200b\uff0c\u200b\u65b0\u200b\u751f\u6210\u200b\u7684\u200b Pod \u200b\u76f4\u63a5\u200b\u590d\u7528\u200b\u65e7\u200b\u7684\u200b interface \u200b\u4fe1\u606f\u200b\u3002\u200b\u56e0\u6b64\u200b Pod \u200b\u53ef\u4ee5\u200b\u590d\u7528\u200b IP/Mac \u200b\u53ca\u5176\u200b\u4ed6\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\uff0c\u200b\u8fbe\u5230\u200b\u548c\u200b StatefulSet Volume \u200b\u7c7b\u4f3c\u200b\u7684\u200b\u72b6\u6001\u200b\u4fdd\u7559\u200b\u529f\u80fd\u200b\u3002</li> <li>\u200b\u57fa\u4e8e\u200b 2 \u200b\u7684\u200b\u80fd\u529b\u200b\uff0c\u200b\u5bf9\u4e8e\u200b\u6ca1\u6709\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u6ce8\u89e3\u200b\u7684\u200b StatefulSet\uff0cPod \u200b\u7b2c\u4e00\u6b21\u200b\u751f\u6210\u200b\u65f6\u4f1a\u200b\u968f\u673a\u200b\u5206\u914d\u200b IP/Mac\uff0c\u200b\u4e4b\u540e\u200b\u5728\u200b\u6574\u4e2a\u200b StatefulSet \u200b\u7684\u200b\u751f\u547d\u5468\u671f\u200b\u5185\u200b\uff0c\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\u90fd\u200b\u4f1a\u200b\u4fdd\u6301\u200b\u56fa\u5b9a\u200b\u3002</li> </ol>"},{"location":"guide/static-ip-mac/#statefulset_1","title":"StatefulSet \u200b\u793a\u4f8b","text":"<pre><code>apiVersion: apps/v1\nkind: StatefulSet\nmetadata:\n  name: web\nspec:\n  serviceName: \"nginx\"\n  replicas: 2\n  selector:\n    matchLabels:\n      app: nginx\n  template:\n    metadata:\n      labels:\n        app: nginx\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/library/nginx:alpine\n        ports:\n        - containerPort: 80\n          name: web\n</code></pre> <p>\u200b\u53ef\u4ee5\u200b\u5c1d\u8bd5\u200b\u5220\u9664\u200b StatefulSet \u200b\u4e0b\u200b Pod \u200b\u89c2\u5bdf\u200b Pod IP \u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\u3002</p>"},{"location":"guide/static-ip-mac/#kubevirt-vm","title":"KubeVirt VM \u200b\u56fa\u5b9a\u200b\u5730\u5740","text":"<p>\u200b\u9488\u5bf9\u200b KubeVirt \u200b\u521b\u5efa\u200b\u7684\u200b VM \u200b\u5b9e\u4f8b\u200b\uff0c<code>kube-ovn-controller</code> \u200b\u53ef\u4ee5\u200b\u6309\u7167\u200b\u7c7b\u4f3c\u200b StatefulSet Pod \u200b\u7684\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b IP \u200b\u5730\u5740\u200b\u5206\u914d\u200b\u548c\u200b\u7ba1\u7406\u200b\u3002 \u200b\u4ee5\u200b\u8fbe\u5230\u200b VM \u200b\u5b9e\u4f8b\u200b\u5728\u200b\u751f\u547d\u5468\u671f\u200b\u5185\u542f\u505c\u200b\uff0c\u200b\u5347\u7ea7\u200b\uff0c\u200b\u8fc1\u79fb\u200b\u7b49\u200b\u64cd\u4f5c\u8fc7\u7a0b\u200b\u4e2d\u200b\u5730\u5740\u200b\u56fa\u5b9a\u200b\u4e0d\u53d8\u200b\uff0c\u200b\u66f4\u7b26\u200b\u865a\u62df\u5316\u200b\u5408\u200b\u7528\u6237\u200b\u7684\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u4f53\u9a8c\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/subnet/","title":"\u5b50\u7f51\u200b\u4f7f\u7528","text":"<p>\u200b\u5b50\u7f51\u200b\u662f\u200b Kube-OVN \u200b\u4e2d\u200b\u7684\u200b\u4e00\u4e2a\u200b\u6838\u5fc3\u200b\u6982\u5ff5\u200b\u548c\u200b\u57fa\u672c\u200b\u4f7f\u7528\u200b\u5355\u5143\u200b\uff0cKube-OVN \u200b\u4f1a\u4ee5\u200b\u5b50\u7f51\u200b\u6765\u200b\u7ec4\u7ec7\u200b IP \u200b\u548c\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff0c\u200b\u6bcf\u4e2a\u200b Namespace \u200b\u53ef\u4ee5\u200b\u5f52\u5c5e\u4e8e\u200b\u7279\u5b9a\u200b\u7684\u200b\u5b50\u7f51\u200b\uff0c Namespace \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u4ece\u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u83b7\u53d6\u200b IP \u200b\u5e76\u200b\u5171\u4eab\u200b\u5b50\u7f51\u200b\u7684\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff08CIDR\uff0c\u200b\u7f51\u5173\u200b\u7c7b\u578b\u200b\uff0c\u200b\u8bbf\u95ee\u63a7\u5236\u200b\uff0cNAT \u200b\u63a7\u5236\u200b\u7b49\u200b\uff09\u3002</p> <p>\u200b\u548c\u200b\u5176\u4ed6\u200b CNI \u200b\u7684\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b\u5b9e\u73b0\u200b\u4e0d\u540c\u200b\uff0c\u200b\u5728\u200b Kube-OVN \u200b\u4e2d\u5b50\u200b\u7f51\u4e3a\u200b\u4e00\u4e2a\u200b\u5168\u5c40\u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff0c\u200b\u540c\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b\u5730\u5740\u200b\u53ef\u4ee5\u200b\u5206\u5e03\u200b\u5728\u200b\u4efb\u610f\u200b\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u3002</p> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u540c\u4e00\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u4e0d\u540c\u200b\u5b50\u7f51\u200b\u4e0d\u80fd\u200b\u5305\u542b\u200b\u540c\u6837\u200b\u7684\u200b IP\uff0c\u200b\u4ee5\u53ca\u200b\u57fa\u4e8e\u200b VPC peering \u200b\u6216\u8005\u200b VPN \u200b\u4e92\u76f8\u200b\u6253\u901a\u200b\u7684\u200b\u4e0d\u540c\u200b\u5b50\u7f51\u200b\u4e0d\u80fd\u200b\u5305\u542b\u200b\u540c\u6837\u200b\u7684\u200b IP\u3002</p> <p></p> <p>Overlay \u200b\u548c\u200b Underlay \u200b\u7684\u200b\u5b50\u7f51\u200b\u5728\u200b\u4f7f\u7528\u200b\u548c\u200b\u914d\u7f6e\u200b\u4e0a\u200b\u5b58\u5728\u200b\u4e00\u4e9b\u200b\u5dee\u5f02\u200b\uff0c\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u4f1a\u200b\u4ecb\u7ecd\u200b\u4e0d\u540c\u200b\u7c7b\u578b\u200b\u5b50\u7f51\u200b\u7684\u200b\u4e00\u4e9b\u200b\u5171\u540c\u200b\u914d\u7f6e\u200b\u548c\u200b\u5dee\u5f02\u5316\u200b\u529f\u80fd\u200b\u3002</p>"},{"location":"guide/subnet/#_2","title":"\u9ed8\u8ba4\u200b\u5b50\u7f51","text":"<p>\u200b\u4e3a\u4e86\u200b\u65b9\u4fbf\u200b\u7528\u6237\u200b\u7684\u200b\u5feb\u901f\u200b\u4e0a\u200b\u624b\u200b\u4f7f\u7528\u200b\uff0cKube-OVN \u200b\u5185\u7f6e\u200b\u4e86\u200b\u4e00\u4e2a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u6240\u6709\u200b\u672a\u200b\u663e\u5f0f\u200b\u58f0\u660e\u200b\u5b50\u7f51\u200b\u5f52\u5c5e\u200b\u7684\u200b Namespace \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u4ece\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u5206\u914d\u200b IP\uff0c \u200b\u5e76\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u7684\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\u3002\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7684\u200b\u914d\u7f6e\u200b\u4e3a\u200b\u5b89\u88c5\u200b\u65f6\u200b\u6307\u5b9a\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u5185\u7f6e\u200b\u7f51\u7edc\u200b\u8bbe\u7f6e\u200b\uff0c \u200b\u5982\u679c\u200b\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u4fee\u6539\u200b\u9ed8\u8ba4\u200b\u7f51\u7edc\u200b\u7684\u200b CIDR \u200b\u8bf7\u200b\u53c2\u8003\u200b\u4fee\u6539\u200b\u9ed8\u8ba4\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5728\u200b Overlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b\u4e86\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\u5e76\u200b\u5bf9\u200b\u51fa\u7f51\u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b NAT \u200b\u8f6c\u6362\u200b\uff0c\u200b\u5176\u200b\u884c\u4e3a\u200b\u548c\u200b Flannel \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u884c\u4e3a\u200b\u57fa\u672c\u4e00\u81f4\u200b\uff0c \u200b\u7528\u6237\u200b\u65e0\u9700\u200b\u989d\u5916\u200b\u7684\u200b\u914d\u7f6e\u200b\u5373\u53ef\u200b\u4f7f\u7528\u200b\u5230\u200b\u5927\u90e8\u5206\u200b\u7684\u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u4f5c\u4e3a\u200b\u51fa\u7f51\u200b\u7f51\u5173\u200b\uff0c\u200b\u5e76\u200b\u5f00\u542f\u200b arping \u200b\u68c0\u67e5\u200b\u7f51\u7edc\u200b\u8fde\u901a\u6027\u200b\u3002</p>"},{"location":"guide/subnet/#_3","title":"\u67e5\u770b\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51","text":"<p>\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b spec \u200b\u4e2d\u200b\u7684\u200b default \u200b\u5b57\u6bb5\u200b\u4e3a\u200b true\uff0c\u200b\u4e00\u4e2a\u200b\u96c6\u7fa4\u200b\u4e0b\u200b\u53ea\u6709\u200b\u4e00\u4e2a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u540d\u4e3a\u200b <code>ovn-default</code>\u3002</p> <p>\u200b\u67e5\u770b\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff1a</p> <pre><code># kubectl get subnet ovn-default -o yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  creationTimestamp: \"2019-08-06T09:33:43Z\"\n  generation: 1\n  name: ovn-default\n  resourceVersion: \"1571334\"\n  selfLink: /apis/kubeovn.io/v1/subnets/ovn-default\n  uid: 7e2451f8-fb44-4f7f-b3e0-cfd27f6fd5d6\nspec:\n  cidrBlock: 10.16.0.0/16\n  default: true\n  excludeIps:\n  - 10.16.0.1\n  gateway: 10.16.0.1\n  gatewayType: distributed\n  natOutgoing: true\n  private: false\n  protocol: IPv4\n</code></pre>"},{"location":"guide/subnet/#join","title":"Join \u200b\u5b50\u7f51","text":"<p>\u200b\u5728\u200b Kubernetes \u200b\u7684\u200b\u7f51\u7edc\u200b\u89c4\u8303\u200b\u4e2d\u200b\uff0c\u200b\u8981\u6c42\u200b Node \u200b\u53ef\u4ee5\u200b\u548c\u200b\u6240\u6709\u200b\u7684\u200b Pod \u200b\u76f4\u63a5\u200b\u901a\u4fe1\u200b\u3002 \u200b\u4e3a\u4e86\u200b\u5728\u200b Overlay \u200b\u7f51\u7edc\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u8fbe\u5230\u200b\u8fd9\u4e2a\u200b\u76ee\u7684\u200b\uff0c Kube-OVN \u200b\u521b\u5efa\u200b\u4e86\u200b\u4e00\u4e2a\u200b <code>join</code> \u200b\u5b50\u7f51\u200b\uff0c \u200b\u5e76\u200b\u5728\u200b\u6bcf\u4e2a\u200b Node \u200b\u8282\u70b9\u200b\u521b\u5efa\u200b\u4e86\u200b\u4e00\u5757\u200b\u865a\u62df\u200b\u7f51\u5361\u200b ovn0 \u200b\u63a5\u5165\u200b <code>join</code> \u200b\u5b50\u7f51\u200b\uff0c\u200b\u901a\u8fc7\u200b\u8be5\u200b\u7f51\u7edc\u200b\u5b8c\u6210\u200b\u8282\u70b9\u200b\u548c\u200b Pod \u200b\u4e4b\u95f4\u200b\u7684\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\u3002</p> <p>\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7684\u200b\u914d\u7f6e\u200b\u4e3a\u200b\u5b89\u88c5\u200b\u65f6\u200b\u6307\u5b9a\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u5185\u7f6e\u200b\u7f51\u7edc\u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u5982\u679c\u200b\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u4fee\u6539\u200b\u3002 join \u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u8bf7\u200b\u53c2\u8003\u200b\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b</p>"},{"location":"guide/subnet/#join_1","title":"\u67e5\u770b\u200b Join \u200b\u5b50\u7f51","text":"<p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u96c6\u4e2d\u5f0f\u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u65e0\u6cd5\u200b\u901a\u8fc7\u200b <code>hostport</code>, \u200b\u4ee5\u53ca\u200b\u8bbe\u7f6e\u200b\u4e86\u200b <code>externalTrafficPolicy: Local</code> \u200b\u7684\u200b NodePort \u200b\u7c7b\u578b\u200b Service \u200b\u8fdb\u884c\u200b\u8bbf\u95ee\u200b\uff0c</p> <p>\u200b\u8be5\u200b\u5b50\u7f51\u200b\u9ed8\u8ba4\u200b\u540d\u4e3a\u200b <code>join</code> \u200b\u4e00\u822c\u200b\u65e0\u9700\u200b\u5bf9\u200b\u8be5\u200b\u5b50\u7f51\u200b CIDR \u200b\u5916\u200b\u7684\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002</p> <pre><code># kubectl get subnet join -o yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  creationTimestamp: \"2019-08-06T09:33:43Z\"\n  generation: 1\n  name: join\n  resourceVersion: \"1571333\"\n  selfLink: /apis/kubeovn.io/v1/subnets/join\n  uid: 9c744810-c678-4d50-8a7d-b8ec12ef91b8\nspec:\n  cidrBlock: 100.64.0.0/16\n  default: false\n  excludeIps:\n  - 100.64.0.1\n  gateway: 100.64.0.1\n  gatewayNode: \"\"\n  gatewayType: \"\"\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n</code></pre> <p>\u200b\u5728\u200b node \u200b\u8282\u70b9\u200b\u67e5\u770b\u200b ovn0 \u200b\u7f51\u5361\u200b\uff1a</p> <pre><code># ifconfig ovn0\novn0: flags=4163&lt;UP,BROADCAST,RUNNING,MULTICAST&gt;  mtu 1420\n        inet 100.64.0.4  netmask 255.255.0.0  broadcast 100.64.255.255\n        inet6 fe80::800:ff:fe40:5  prefixlen 64  scopeid 0x20&lt;link&gt;\n        ether 0a:00:00:40:00:05  txqueuelen 1000  (Ethernet)\n        RX packets 18  bytes 1428 (1.3 KiB)\n        RX errors 0  dropped 0  overruns 0  frame 0\n        TX packets 19  bytes 1810 (1.7 KiB)\n        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0\n</code></pre>"},{"location":"guide/subnet/#_4","title":"\u521b\u5efa\u200b\u81ea\u5b9a\u4e49\u200b\u5b50\u7f51","text":"<p>\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u4ecb\u7ecd\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u5176\u200b\u548c\u200b\u67d0\u4e2a\u200b Namespace \u200b\u505a\u200b\u5173\u8054\u200b\u7684\u200b\u57fa\u672c\u64cd\u4f5c\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u9ad8\u7ea7\u200b\u914d\u7f6e\u200b\u8bf7\u200b\u53c2\u8003\u200b\u540e\u7eed\u200b\u5185\u5bb9\u200b\u3002</p>"},{"location":"guide/subnet/#_5","title":"\u521b\u5efa\u200b\u5b50\u7f51","text":"<pre><code>cat &lt;&lt;EOF | kubectl create -f -\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 10.66.0.0/16\n  excludeIps:\n  - 10.66.0.1..10.66.0.10\n  - 10.66.0.101..10.66.0.151\n  gateway: 10.66.0.1\n  gatewayType: distributed\n  natOutgoing: true\n  routeTable: \"\"\n  namespaces:\n  - ns1\n  - ns2\nEOF\n</code></pre> <ul> <li><code>cidrBlock</code>: \u200b\u5b50\u7f51\u200b CIDR \u200b\u8303\u56f4\u200b\uff0c\u200b\u540c\u4e00\u4e2a\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u4e0d\u540c\u200b Subnet CIDR \u200b\u4e0d\u80fd\u200b\u91cd\u53e0\u200b\u3002</li> <li><code>excludeIps</code>: \u200b\u4fdd\u7559\u200b\u5730\u5740\u200b\u5217\u8868\u200b\uff0c\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u5c06\u200b\u4e0d\u4f1a\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u5217\u8868\u200b\u5185\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u53ef\u7528\u200b\u505a\u200b\u56fa\u5b9a\u200b IP \u200b\u5730\u5740\u200b\u5206\u914d\u200b\u6bb5\u200b\uff0c\u200b\u4e5f\u200b\u53ef\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u907f\u514d\u200b\u548c\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u4e2d\u200b\u5df2\u6709\u200b\u8bbe\u5907\u200b\u51b2\u7a81\u200b\u3002</li> <li><code>gateway</code>\uff1a\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\uff0cOverlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b Kube-OVN \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u5bf9\u5e94\u200b\u7684\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\uff0cUnderlay \u200b\u6a21\u5f0f\u200b\u4e0b\u8be5\u200b\u5730\u5740\u200b\u9700\u4e3a\u200b\u5e95\u5c42\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\u3002</li> <li><code>namespaces</code>: \u200b\u7ed1\u5b9a\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7684\u200b Namespace \u200b\u5217\u8868\u200b\uff0c\u200b\u7ed1\u5b9a\u200b\u540e\u200b Namespace \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u5c06\u4f1a\u200b\u4ece\u200b\u5f53\u524d\u200b\u5b50\u7f51\u200b\u5206\u914d\u200b\u5730\u5740\u200b\u3002</li> <li><code>routeTable</code>: \u200b\u5173\u8054\u200b\u7684\u200b\u8def\u7531\u8868\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5173\u8054\u200b\u4e3b\u200b\u8def\u7531\u8868\u200b\uff0c\u200b\u8def\u7531\u8868\u200b\u5b9a\u4e49\u200b\u8bf7\u200b\u53c2\u8003\u200b\u9759\u6001\u200b\u8def\u7531\u200b</li> </ul>"},{"location":"guide/subnet/#_6","title":"\u9a8c\u8bc1\u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b\u751f\u6548","text":"<pre><code># kubectl create ns ns1\nnamespace/ns1 created\n\n# kubectl run nginx --image=docker.io/library/nginx:alpine -n ns1\ndeployment.apps/nginx created\n\n# kubectl get pod -n ns1 -o wide\nNAME                     READY   STATUS    RESTARTS   AGE   IP           NODE    NOMINATED NODE   READINESS GATES\nnginx-74d5899f46-n8wtg   1/1     Running   0          10s   10.66.0.11   node1   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"guide/subnet/#workload","title":"Workload \u200b\u7ed1\u5b9a\u200b\u5b50\u7f51","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Pod \u200b\u4f1a\u200b\u4ece\u200b Namespace \u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u5185\u200b\u5206\u914d\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u5982\u679c\u200b Namespace \u200b\u4e0b\u200b\u67d0\u4e2a\u200b Workload \u200b\u9700\u8981\u200b\u7279\u6b8a\u200b\u6307\u5b9a\u200b\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u8bbe\u7f6e\u200b Pod \u200b\u7684\u200b Annotation <code>ovn.kubernetes.io/logical_switch</code> \u200b\u6765\u200b\u5b9e\u73b0\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: another-subnet\n  annotations:\n    ovn.kubernetes.io/logical_switch: subnet1\nspec:\n  containers:\n  - name: another-subnet\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u7ed9\u200b Workload \u200b\u7c7b\u578b\u200b\u8d44\u6e90\u200b\u5982\u200b Deployment\uff0cStatefulSet \u200b\u7ed1\u5b9a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b <code>ovn.kubernetes.io/logical_switch</code> Annotation \u200b\u8bbe\u7f6e\u200b\u5728\u200b <code>spec.template.metadata.annotations</code>\u3002</p>"},{"location":"guide/subnet/#overlay","title":"Overlay \u200b\u5b50\u7f51\u200b\u7f51\u5173\u200b\u914d\u7f6e","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ea\u200b\u5bf9\u200b Overlay \u200b\u6a21\u5f0f\u200b\u5b50\u7f51\u200b\u751f\u6548\u200b\uff0cUnderlay \u200b\u7c7b\u578b\u200b\u5b50\u7f51\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u501f\u52a9\u200b\u5e95\u5c42\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u3002</p> <p>Overlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u9700\u8981\u200b\u901a\u8fc7\u200b\u7f51\u5173\u200b\u6765\u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0cKube-OVN \u200b\u76ee\u524d\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u7c7b\u578b\u200b\u7684\u200b\u7f51\u5173\u200b\uff1a \u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\u548c\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u5bf9\u200b\u7f51\u5173\u200b\u7684\u200b\u7c7b\u578b\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\u3002</p> <p>\u200b\u4e24\u79cd\u200b\u7c7b\u578b\u200b\u7f51\u5173\u200b\u5747\u200b\u652f\u6301\u200b <code>natOutgoing</code> \u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b Pod \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u65f6\u200b\u662f\u5426\u200b\u9700\u8981\u200b\u8fdb\u884c\u200b snat\u3002</p>"},{"location":"guide/subnet/#_7","title":"\u5206\u5e03\u5f0f\u200b\u7f51\u5173","text":"<p>\u200b\u5b50\u7f51\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u7c7b\u578b\u200b\u7f51\u5173\u200b\uff0c\u200b\u6bcf\u4e2a\u200b node \u200b\u4f1a\u200b\u4f5c\u4e3a\u200b\u5f53\u524d\u200b node \u200b\u4e0a\u200b pod \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u7684\u200b\u7f51\u5173\u200b\u3002 \u200b\u6570\u636e\u5305\u200b\u4f1a\u200b\u901a\u8fc7\u200b\u672c\u673a\u200b\u7684\u200b <code>ovn0</code> \u200b\u7f51\u5361\u200b\u6d41\u5165\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u6808\u200b\uff0c\u200b\u518d\u200b\u6839\u636e\u200b\u4e3b\u673a\u200b\u7684\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u8fdb\u884c\u200b\u51fa\u7f51\u200b\u3002 \u200b\u5f53\u200b <code>natOutgoing</code> \u200b\u4e3a\u200b <code>true</code> \u200b\u65f6\u200b\uff0cPod \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u5f53\u524d\u200b\u6240\u5728\u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b IP\u3002</p> <p></p> <p>\u200b\u5b50\u7f51\u200b\u793a\u4f8b\u200b\uff0c\u200b\u5176\u4e2d\u200b <code>gatewayType</code> \u200b\u5b57\u6bb5\u200b\u4e3a\u200b <code>distributed</code>\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: distributed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: distributed\n  natOutgoing: true\n</code></pre>"},{"location":"guide/subnet/#_8","title":"\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173","text":"<p>\u200b\u5982\u679c\u200b\u5e0c\u671b\u200b\u5b50\u7f51\u200b\u5185\u200b\u6d41\u91cf\u200b\u8bbf\u95ee\u200b\u5916\u200b\u7f51\u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b\u7684\u200b IP\uff0c\u200b\u4ee5\u4fbf\u200b\u5ba1\u8ba1\u200b\u548c\u200b\u767d\u540d\u5355\u200b\u7b49\u200b\u5b89\u5168\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u8bbe\u7f6e\u200b\u7f51\u5173\u200b\u7c7b\u578b\u200b\u4e3a\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u3002 \u200b\u5728\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0cPod \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u4f1a\u200b\u9996\u5148\u200b\u88ab\u200b\u8def\u7531\u200b\u5230\u200b\u7279\u5b9a\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovn0</code> \u200b\u7f51\u5361\u200b\uff0c\u200b\u518d\u200b\u901a\u8fc7\u200b\u4e3b\u673a\u200b\u7684\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u8fdb\u884c\u200b\u51fa\u7f51\u200b\u3002 \u200b\u5f53\u200b <code>natOutgoing</code> \u200b\u4e3a\u200b <code>true</code> \u200b\u65f6\u200b\uff0cPod \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u7279\u5b9a\u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b IP\u3002</p> <p>\u200b\u5b50\u7f51\u200b\u793a\u4f8b\u200b\uff0c\u200b\u5176\u4e2d\u200b <code>gatewayType</code> \u200b\u5b57\u6bb5\u200b\u4e3a\u200b <code>centralized</code>\uff0c<code>gatewayNode</code> \u200b\u4e3a\u200b\u7279\u5b9a\u200b\u673a\u5668\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b NodeName\u3002 \u200b\u5176\u4e2d\u200b <code>gatewayNode</code> \u200b\u5b57\u200b\u6bb5\u200b\u53ef\u4ee5\u200b\u4e3a\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u7684\u200b\u591a\u53f0\u200b\u4e3b\u673a\u200b\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: centralized\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: centralized\n  gatewayNode: \"node1,node2\"\n  natOutgoing: true\n</code></pre> <ul> <li>\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u5982\u679c\u200b\u5e0c\u671b\u200b\u6307\u5b9a\u200b\u673a\u5668\u200b\u7684\u200b\u7279\u5b9a\u200b\u7f51\u5361\u200b\u8fdb\u884c\u200b\u51fa\u7f51\u200b\uff0c<code>gatewayNode</code> \u200b\u53ef\u66f4\u6539\u200b\u4e3a\u200b <code>kube-ovn-worker:172.18.0.2, kube-ovn-control-plane:172.18.0.3</code> \u200b\u683c\u5f0f\u200b\u3002</li> <li>\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u9ed8\u8ba4\u200b\u4e3a\u4e3b\u200b\u5907\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u53ea\u6709\u200b\u4e3b\u200b\u8282\u70b9\u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b\uff0c \u200b\u5982\u679c\u200b\u9700\u8981\u200b\u5207\u6362\u200b\u4e3a\u200b ECMP \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b ECMP \u200b\u5f00\u542f\u200b\u8bbe\u7f6e\u200b\u3002</li> <li>\u200b\u4ece\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c\u200b\u5728\u200b subnet crd \u200b\u5b9a\u4e49\u200b\u4e2d\u200b\u589e\u52a0\u200b\u4e86\u200b spec \u200b\u5b57\u200b\u6bb5\u200b <code>enableEcmp</code>\uff0c\u200b\u5c06\u200b\u96c6\u4e2d\u5f0f\u200b\u5b50\u7f51\u200b ECMP \u200b\u5f00\u5173\u200b\u63a7\u5236\u200b\u8fc1\u79fb\u200b\u5230\u200b\u5b50\u7f51\u200b\u5c42\u7ea7\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b\u4e0d\u540c\u200b\u7684\u200b\u5b50\u7f51\u200b\u5206\u522b\u200b\u8bbe\u7f6e\u200b\u662f\u5426\u200b\u5f00\u542f\u200b ECMP \u200b\u6a21\u5f0f\u200b\u3002\u200b\u539f\u6709\u200b\u7684\u200b <code>kube-ovn-controller</code> Deployment \u200b\u4e2d\u200b\u7684\u200b <code>enable-ecmp</code> \u200b\u53c2\u6570\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\u3002\u200b\u4e4b\u524d\u200b\u7248\u672c\u5347\u7ea7\u200b\u5230\u200b v1.12.0 \u200b\u4e4b\u540e\u200b\uff0c\u200b\u5b50\u7f51\u200b\u5f00\u5173\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u7ee7\u627f\u200b\u539f\u6709\u200b\u7684\u200b\u5168\u5c40\u200b\u5f00\u5173\u200b\u53c2\u6570\u200b\u53d6\u503c\u200b\u3002</li> </ul>"},{"location":"guide/subnet/#acl","title":"\u5b50\u7f51\u200b ACL \u200b\u8bbe\u7f6e","text":"<p>\u200b\u5bf9\u4e8e\u200b\u6709\u200b\u7ec6\u7c92\u5ea6\u200b ACL \u200b\u63a7\u5236\u200b\u7684\u200b\u573a\u666f\u200b\uff0cKube-OVN \u200b\u7684\u200b Subnet \u200b\u63d0\u4f9b\u200b\u4e86\u200b ACL \u200b\u89c4\u5219\u200b\u7684\u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5b9e\u73b0\u200b\u7f51\u7edc\u200b\u89c4\u5219\u200b\u7684\u200b\u7cbe\u7ec6\u200b\u63a7\u5236\u200b\u3002</p> <p>Subnet \u200b\u4e2d\u200b\u7684\u200b ACL \u200b\u89c4\u5219\u200b\u548c\u200b OVN \u200b\u7684\u200b ACL \u200b\u89c4\u5219\u200b\u4e00\u81f4\u200b\uff0c\u200b\u76f8\u5173\u200b\u5b57\u200b\u6bb5\u200b\u5185\u5bb9\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b ovn-nb ACL Table\uff0c <code>match</code> \u200b\u5b57\u200b\u6bb5\u200b\u652f\u6301\u200b\u7684\u200b\u5b57\u200b\u6bb5\u200b\u53ef\u200b\u53c2\u8003\u200b ovn-sb Logical Flow Table\u3002</p> <p>\u200b\u5141\u8bb8\u200b IP \u200b\u5730\u5740\u200b\u4e3a\u200b <code>10.10.0.2</code> \u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\u6240\u6709\u200b\u5730\u5740\u200b\uff0c\u200b\u4f46\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u5176\u4ed6\u200b\u5730\u5740\u200b\u4e3b\u52a8\u200b\u8bbf\u95ee\u200b\u81ea\u5df1\u200b\u7684\u200b ACL \u200b\u89c4\u5219\u200b\u793a\u4f8b\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: acl\nspec:\n  allowEWTraffic: false\n  acls:\n    - action: drop\n      direction: to-lport\n      match: ip4.dst == 10.10.0.2 &amp;&amp; ip\n      priority: 1002\n    - action: allow-related\n      direction: from-lport\n      match: ip4.src == 10.10.0.2 &amp;&amp; ip\n      priority: 1002\n  cidrBlock: 10.10.0.0/24\n</code></pre> <p>\u200b\u67d0\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\u7528\u6237\u200b\u5e0c\u671b\u200b\u914d\u7f6e\u200b\u4e86\u200b ACL \u200b\u89c4\u5219\u200b\u7684\u200b\u5b50\u7f51\u200b\u5185\u90e8\u200b\u7f51\u7edc\u901a\u4fe1\u200b\u4e0d\u200b\u53d7\u200b\u5f71\u54cd\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u914d\u7f6e\u200b <code>allowEWTraffic: true</code> \u200b\u6765\u200b\u5b9e\u73b0\u200b\u3002</p>"},{"location":"guide/subnet/#_9","title":"\u5b50\u7f51\u200b\u9694\u79bb\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5b50\u7f51\u200b ACL \u200b\u7684\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u8986\u76d6\u200b\u5b50\u7f51\u200b\u9694\u79bb\u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u5e76\u200b\u6709\u200b\u66f4\u597d\u200b\u7684\u200b\u7075\u6d3b\u6027\u200b\uff0c\u200b\u6211\u4eec\u200b\u63a8\u8350\u200b\u4f7f\u7528\u200b\u5b50\u7f51\u200b ACL \u200b\u6765\u200b\u505a\u200b\u76f8\u5e94\u200b\u7684\u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Kube-OVN \u200b\u521b\u5efa\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e4b\u95f4\u200b\u53ef\u4ee5\u200b\u76f8\u4e92\u200b\u901a\u4fe1\u200b\uff0cPod \u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u7f51\u5173\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5982\u9700\u200b\u5bf9\u200b\u5b50\u7f51\u200b\u95f4\u200b\u7684\u200b\u8bbf\u95ee\u200b\u8fdb\u884c\u200b\u63a7\u5236\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b50\u7f51\u200b CRD \u200b\u4e2d\u5c06\u200b <code>private</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b true\uff0c\u200b\u5219\u200b\u8be5\u200b\u5b50\u7f51\u200b\u5c06\u200b\u548c\u200b\u5176\u4ed6\u200b\u5b50\u7f51\u200b\u4ee5\u53ca\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u9694\u79bb\u200b\uff0c \u200b\u53ea\u80fd\u200b\u8fdb\u884c\u200b\u5b50\u7f51\u200b\u5185\u90e8\u200b\u7684\u200b\u901a\u4fe1\u200b\u3002\u200b\u5982\u200b\u9700\u5f00\u200b\u767d\u540d\u5355\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b <code>allowSubnets</code> \u200b\u8fdb\u884c\u200b\u8bbe\u7f6e\u200b\u3002<code>allowSubnets</code> \u200b\u5185\u200b\u7684\u200b\u7f51\u6bb5\u200b\u548c\u200b\u8be5\u200b\u5b50\u7f51\u200b\u53ef\u4ee5\u200b\u53cc\u5411\u200b\u4e92\u8bbf\u200b\u3002</p>"},{"location":"guide/subnet/#_10","title":"\u5f00\u542f\u200b\u8bbf\u95ee\u63a7\u5236\u200b\u7684\u200b\u5b50\u7f51\u200b\u793a\u4f8b","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: private\nspec:\n  protocol: IPv4\n  default: false\n  namespaces:\n  - ns1\n  - ns2\n  cidrBlock: 10.69.0.0/16\n  private: true\n  allowSubnets:\n  - 10.16.0.0/16\n  - 10.18.0.0/16\n</code></pre>"},{"location":"guide/subnet/#underlay","title":"Underlay \u200b\u76f8\u5173\u200b\u9009\u9879","text":"<p>\u200b\u8be5\u200b\u90e8\u5206\u200b\u529f\u80fd\u200b\u53ea\u200b\u5bf9\u200b Underlay \u200b\u7c7b\u578b\u200b\u5b50\u7f51\u200b\u751f\u6548\u200b\u3002</p> <ul> <li><code>vlan</code>: \u200b\u5982\u679c\u200b\u4f7f\u7528\u200b Underlay \u200b\u7f51\u7edc\u200b\uff0c\u200b\u8be5\u5b57\u6bb5\u200b\u7528\u6765\u200b\u63a7\u5236\u200b\u8be5\u200b Subnet \u200b\u548c\u200b\u54ea\u4e2a\u200b Vlan CR \u200b\u8fdb\u884c\u200b\u7ed1\u5b9a\u200b\u3002\u200b\u8be5\u200b\u9009\u9879\u200b\u9ed8\u8ba4\u200b\u4e3a\u7a7a\u200b\u5b57\u7b26\u4e32\u200b\uff0c\u200b\u5373\u200b\u4e0d\u200b\u4f7f\u7528\u200b Underlay \u200b\u7f51\u7edc\u200b\u3002</li> <li><code>logicalGateway</code>: \u200b\u4e00\u4e9b\u200b Underlay \u200b\u73af\u5883\u200b\u4e3a\u200b\u7eaf\u200b\u4e8c\u5c42\u200b\u7f51\u7edc\u200b\uff0c\u200b\u4e0d\u200b\u5b58\u5728\u200b\u7269\u7406\u200b\u7684\u200b\u4e09\u5c42\u200b\u7f51\u5173\u200b\u3002\u200b\u5728\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u501f\u52a9\u200b OVN \u200b\u672c\u8eab\u200b\u7684\u200b\u80fd\u529b\u200b\u8bbe\u7f6e\u200b\u4e00\u4e2a\u200b\u865a\u62df\u200b\u7f51\u5173\u200b\uff0c\u200b\u5c06\u200b Underlay   \u200b\u548c\u200b Overlay \u200b\u7f51\u7edc\u200b\u6253\u901a\u200b\u3002\u200b\u9ed8\u8ba4\u503c\u200b\u4e3a\u200b\uff1a<code>false</code>\u3002</li> </ul>"},{"location":"guide/subnet/#_11","title":"\u7f51\u5173\u200b\u68c0\u67e5\u200b\u8bbe\u7f6e","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b <code>kube-ovn-cni</code> \u200b\u5728\u200b\u542f\u52a8\u200b Pod \u200b\u540e\u200b\u4f1a\u200b\u4f7f\u7528\u200b ICMP \u200b\u6216\u200b ARP \u200b\u534f\u8bae\u200b\u8bf7\u6c42\u200b\u7f51\u5173\u200b\u5e76\u200b\u7b49\u5f85\u200b\u8fd4\u56de\u200b\uff0c \u200b\u4ee5\u200b\u9a8c\u8bc1\u200b\u7f51\u7edc\u200b\u5de5\u4f5c\u200b\u6b63\u5e38\u200b\uff0c\u200b\u5728\u200b\u90e8\u5206\u200b Underlay \u200b\u73af\u5883\u200b\u7f51\u5173\u200b\u65e0\u6cd5\u200b\u54cd\u5e94\u200b ARP \u200b\u8bf7\u6c42\u200b\uff0c\u200b\u6216\u200b\u65e0\u9700\u200b\u7f51\u7edc\u200b\u5916\u90e8\u200b\u8054\u901a\u200b\u7684\u200b\u573a\u666f\u200b \u200b\u53ef\u4ee5\u200b\u5173\u95ed\u200b\u7f51\u5173\u200b\u68c0\u67e5\u200b\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: disable-gw-check\nspec:\n  disableGatewayCheck: true\n</code></pre>"},{"location":"guide/subnet/#multicast-snoop","title":"Multicast-Snoop \u200b\u914d\u7f6e","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b subnet \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u5982\u679c\u200b\u53d1\u9001\u200b\u7ec4\u200b\u64ad\u62a5\u200b\u6587\u200b\uff0cOVN \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u884c\u4e3a\u200b\u662f\u200b\u4f1a\u200b\u5e7f\u64ad\u200b\u7ec4\u200b\u64ad\u62a5\u200b\u6587\u5230\u200b\u5b50\u7f51\u200b\u4e0b\u200b\u6240\u6709\u200b\u7684\u200b Pod\u3002\u200b\u5982\u679c\u200b\u5f00\u542f\u200b subnet \u200b\u7684\u200b multicast snoop \u200b\u5f00\u5173\u200b\uff0cOVN \u200b\u4f1a\u200b\u6839\u636e\u200b <code>South Database</code> \u200b\u4e2d\u200b\u7684\u200b\u7ec4\u64ad\u8868\u200b <code>Multicast_Group</code> \u200b\u6765\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u800c\u200b\u4e0d\u200b\u5728\u200b\u8fdb\u884c\u200b\u5e7f\u64ad\u200b\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sample1\nspec:\n  enableMulticastSnoop: true\n</code></pre>"},{"location":"guide/subnet/#subnet-mtu","title":"Subnet MTU \u200b\u914d\u7f6e","text":"<p>\u200b\u914d\u7f6e\u200b Subnet \u200b\u4e0b\u200b Pod \u200b\u7684\u200b MTU\uff0c\u200b\u914d\u7f6e\u200b\u540e\u200b\u9700\u8981\u200b\u91cd\u542f\u200b Subnet \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u624d\u200b\u751f\u6548\u200b</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sample1\nspec:\n  mtu: 1300\n</code></pre>"},{"location":"guide/subnet/#_12","title":"\u5176\u4ed6\u200b\u9ad8\u7ea7\u200b\u8bbe\u7f6e","text":"<ul> <li>IP \u200b\u6c60\u200b\u4f7f\u7528\u200b</li> <li>\u200b\u9ed8\u8ba4\u200b VPC NAT \u200b\u7b56\u7565\u200b\u89c4\u5219\u200b</li> <li>QoS \u200b\u8bbe\u7f6e\u200b</li> <li>\u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b</li> <li>DHCP \u200b\u9009\u9879\u200b</li> <li>\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u8bbe\u7f6e\u200b</li> <li>\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u8bbe\u7f6e\u200b</li> <li>\u200b\u865a\u62df\u200b IP \u200b\u8bbe\u7f6e\u200b</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/vpc-qos/","title":"VPC QoS","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u4f7f\u7528\u200b QoSPolicy CRD \u200b\u5bf9\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u7684\u200b\u6d41\u91cf\u200b\u901f\u7387\u200b\u8fdb\u884c\u200b\u9650\u5236\u200b\u3002</p>"},{"location":"guide/vpc-qos/#eip-qos","title":"EIP QoS","text":"<p>\u200b\u5bf9\u200b EIP \u200b\u8fdb\u884c\u200b\u9650\u901f\u200b\uff0c\u200b\u9650\u901f\u200b\u503c\u4e3a\u200b 1Mbps\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u4e3a\u200b 1\uff0c\u200b\u8fd9\u91cc\u200b <code>shared=false</code>\uff0c\u200b\u8868\u793a\u200b\u8fd9\u4e2a\u200b QoSPolicy \u200b\u53ea\u80fd\u200b\u7ed9\u200b\u8fd9\u4e2a\u200b EIP \u200b\u4f7f\u7528\u200b\u4e14\u200b\u652f\u6301\u200b\u52a8\u6001\u200b\u4fee\u6539\u200b QoSPolicy \u200b\u53bb\u200b\u53d8\u66f4\u200b QoS \u200b\u89c4\u5219\u200b\u3002</p> <p>QoSPolicy \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-eip-example\nspec:\n  shared: false\n  bindingType: EIP\n  bandwidthLimitRules:\n  - name: eip-ingress\n    rateMax: \"1\" # Mbps\n    burstMax: \"1\" # Mbps\n    priority: 1\n    direction: ingress\n  - name: eip-egress\n    rateMax: \"1\" # Mbps\n    burstMax: \"1\" # Mbps\n    priority: 1\n    direction: egress\n</code></pre> <p>IptablesEIP \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-1\nspec:\n  natGwDp: gw1\n  qosPolicy: qos-eip-example\n</code></pre> <p><code>.spec.qosPolicy</code> \u200b\u7684\u200b\u503c\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u65f6\u200b\u4f20\u5165\u200b\uff0c\u200b\u4e5f\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u540e\u200b\u4fee\u6539\u200b\u3002</p>"},{"location":"guide/vpc-qos/#qos-eip","title":"\u67e5\u770b\u200b\u5df2\u200b\u542f\u7528\u200b QoS \u200b\u7684\u200b EIP","text":"<p>\u200b\u901a\u8fc7\u200b <code>label</code> \u200b\u67e5\u770b\u200b\u5df2\u7ecf\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b qos \u200b\u7684\u200b eip\uff1a</p> <pre><code># kubectl get eip  -l ovn.kubernetes.io/qos=qos-eip-example\nNAME    IP             MAC                 NAT   NATGWDP   READY\neip-1   172.18.11.24   00:00:00:34:41:0B   fip   gw1       true\n</code></pre>"},{"location":"guide/vpc-qos/#vpc-natgw-net1-qos","title":"VPC NATGW net1 \u200b\u7f51\u5361\u200b QoS","text":"<p>\u200b\u5bf9\u200b VPC NATGW \u200b\u7684\u200b net1 \u200b\u7f51\u5361\u200b\u901f\u7387\u200b\u8fdb\u884c\u200b\u9650\u5236\u200b\uff0c\u200b\u9650\u901f\u200b\u503c\u4e3a\u200b 10Mbps\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u4e3a\u200b 3\uff0c\u200b\u8fd9\u91cc\u200b <code>shared=true</code>\uff0c\u200b\u8868\u793a\u200b\u8fd9\u4e2a\u200b QoSPolicy \u200b\u53ef\u4ee5\u200b\u540c\u65f6\u200b\u7ed9\u200b\u591a\u4e2a\u200b\u8d44\u6e90\u200b\u4f7f\u7528\u200b\uff0c\u200b\u8fd9\u79cd\u200b\u573a\u666f\u200b\u4e0b\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u4fee\u6539\u200b QoSPolicy \u200b\u7684\u200b\u5185\u5bb9\u200b\u3002</p> <p>QoSPolicy \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-natgw-example\nspec:\n  shared: true\n  bindingType: NATGW\n  bandwidthLimitRules:\n  - name: net1-ingress\n    interface: net1\n    rateMax: \"10\" # Mbps\n    burstMax: \"10\" # Mbps\n    priority: 3\n    direction: ingress\n  - name: net1-egress\n    interface: net1\n    rateMax: \"10\" # Mbps\n    burstMax: \"10\" # Mbps\n    priority: 3\n    direction: egress\n</code></pre> <p>VpcNatGateway \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  qosPolicy: qos-natgw-example\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n</code></pre> <p><code>.spec.qosPolicy</code> \u200b\u7684\u200b\u503c\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u4f20\u5165\u200b\uff0c\u200b\u4e5f\u200b\u652f\u6301\u200b\u540e\u7eed\u200b\u4fee\u6539\u200b\u3002</p>"},{"location":"guide/vpc-qos/#net1-qos","title":"net1 \u200b\u7f51\u5361\u200b\u7279\u5b9a\u200b\u6d41\u91cf\u200b QoS","text":"<p>\u200b\u5bf9\u200b net1 \u200b\u7f51\u5361\u200b\u4e0a\u200b\u7279\u5b9a\u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b\u9650\u901f\u200b\uff0c\u200b\u9650\u901f\u200b\u503c\u4e3a\u200b 5Mbps\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u4e3a\u200b 2\uff0c\u200b\u8fd9\u91cc\u200b <code>shared=true</code>\uff0c\u200b\u8868\u793a\u200b\u8fd9\u4e2a\u200b QoSPolicy  \u200b\u53ef\u4ee5\u200b\u540c\u65f6\u200b\u7ed9\u200b\u591a\u4e2a\u200b\u8d44\u6e90\u200b\u4f7f\u7528\u200b\uff0c\u200b\u6b64\u65f6\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u4fee\u6539\u200b QoSPolicy \u200b\u7684\u200b\u5185\u5bb9\u200b\u3002</p> <p>QoSPolicy \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-natgw-example\nspec:\n  shared: true\n  bindingType: NATGW\n  bandwidthLimitRules:\n  - name: net1-extip-ingress\n    interface: net1\n    rateMax: \"5\" # Mbps\n    burstMax: \"5\" # Mbps\n    priority: 2\n    direction: ingress\n    matchType: ip\n    matchValue: src 172.18.11.22/32\n  - name: net1-extip-egress\n    interface: net1\n    rateMax: \"5\" # Mbps\n    burstMax: \"5\" # Mbps\n    priority: 2\n    direction: egress\n    matchType: ip\n    matchValue: dst 172.18.11.23/32\n</code></pre> <p>VpcNatGateway \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  qosPolicy: qos-natgw-example\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n</code></pre>"},{"location":"guide/vpc-qos/#qos-natgw","title":"\u67e5\u770b\u200b\u5df2\u200b\u542f\u7528\u200b QoS \u200b\u7684\u200b NATGW","text":"<p>\u200b\u901a\u8fc7\u200b <code>label</code> \u200b\u67e5\u770b\u200b\u5df2\u7ecf\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b qos \u200b\u7684\u200b eip\uff1a</p> <pre><code># kubectl get vpc-nat-gw  -l ovn.kubernetes.io/qos=qos-natgw-example\nNAME   VPC          SUBNET   LANIP\ngw1    test-vpc-1   net1     10.0.1.254\n</code></pre>"},{"location":"guide/vpc-qos/#qos","title":"\u67e5\u770b\u200b qos \u200b\u89c4\u5219","text":"<pre><code># kubectl get qos -A\nNAME                SHARED   BINDINGTYPE\nqos-eip-example     false    EIP\nqos-natgw-example   true     NATGW\n</code></pre>"},{"location":"guide/vpc-qos/#_1","title":"\u9650\u5236","text":"<ul> <li>\u200b\u53ea\u6709\u200b\u5728\u200b\u672a\u200b\u4f7f\u7528\u200b\u65f6\u200b\u624d\u80fd\u200b\u5220\u9664\u200b QoS \u200b\u7b56\u7565\u200b\u3002\u200b\u56e0\u6b64\u200b\uff0c\u200b\u5728\u200b\u5220\u9664\u200b QoS \u200b\u7b56\u7565\u200b\u4e4b\u524d\u200b\uff0c\u200b\u8bf7\u200b\u5148\u200b\u67e5\u770b\u200b\u5df2\u200b\u542f\u7528\u200b QoS \u200b\u7684\u200b EIP \u200b\u548c\u200b NATGW\uff0c\u200b\u53bb\u6389\u200b\u5b83\u4eec\u200b\u7684\u200b <code>spec.qosPolicy</code> \u200b\u914d\u7f6e\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/vpc/","title":"VPC \u200b\u4f7f\u7528","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u591a\u200b\u79df\u6237\u200b\u9694\u79bb\u200b\u7ea7\u522b\u200b\u7684\u200b VPC \u200b\u7f51\u7edc\u200b\u3002\u200b\u4e0d\u540c\u200b VPC \u200b\u7f51\u7edc\u200b\u76f8\u4e92\u200b\u72ec\u7acb\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5206\u522b\u200b\u914d\u7f6e\u200b Subnet \u200b\u7f51\u6bb5\u200b\uff0c \u200b\u8def\u7531\u200b\u7b56\u7565\u200b\uff0c\u200b\u5b89\u5168\u7b56\u7565\u200b\uff0c\u200b\u51fa\u7f51\u200b\u7f51\u5173\u200b\uff0cEIP \u200b\u7b49\u200b\u914d\u7f6e\u200b\u3002</p> <p>VPC \u200b\u4e3b\u8981\u200b\u7528\u4e8e\u200b\u6709\u200b\u591a\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\u5f3a\u200b\u9694\u79bb\u200b\u7684\u200b\u573a\u666f\u200b\uff0c\u200b\u90e8\u5206\u200b Kubernetes \u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\u5728\u200b\u591a\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\u4e0b\u200b\u5b58\u5728\u200b\u51b2\u7a81\u200b\u3002 \u200b\u4f8b\u5982\u200b\u8282\u70b9\u200b\u548c\u200b Pod \u200b\u4e92\u8bbf\u200b\uff0cNodePort \u200b\u529f\u80fd\u200b\uff0c\u200b\u57fa\u4e8e\u200b\u7f51\u7edc\u200b\u8bbf\u95ee\u200b\u7684\u200b\u5065\u5eb7\u68c0\u67e5\u200b\u548c\u200b DNS \u200b\u80fd\u529b\u200b\u5728\u200b\u591a\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\u573a\u666f\u200b\u6682\u200b\u4e0d\u200b\u652f\u6301\u200b\u3002 \u200b\u4e3a\u4e86\u200b\u65b9\u4fbf\u200b\u5e38\u89c1\u200b Kubernetes \u200b\u7684\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\uff0cKube-OVN \u200b\u9ed8\u8ba4\u200b VPC \u200b\u505a\u200b\u4e86\u200b\u7279\u6b8a\u200b\u8bbe\u8ba1\u200b\uff0c\u200b\u8be5\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Subnet \u200b\u53ef\u4ee5\u200b\u6ee1\u8db3\u200b Kubernetes \u200b\u89c4\u8303\u200b\u3002\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u652f\u6301\u200b\u672c\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b\u7684\u200b\u9759\u6001\u200b\u8def\u7531\u200b\uff0cEIP \u200b\u548c\u200b NAT \u200b\u7f51\u5173\u200b\u7b49\u200b\u529f\u80fd\u200b\u3002 \u200b\u5e38\u89c1\u200b\u9694\u79bb\u200b\u9700\u6c42\u200b\u53ef\u200b\u901a\u8fc7\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u548c\u200b\u5b50\u7f51\u200b ACL \u200b\u5b9e\u73b0\u200b\uff0c\u200b\u5728\u200b\u4f7f\u7528\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u524d\u200b\u8bf7\u200b\u660e\u786e\u200b\u662f\u5426\u200b\u9700\u8981\u200b VPC \u200b\u7ea7\u522b\u200b\u7684\u200b\u9694\u79bb\u200b\uff0c\u200b\u5e76\u200b\u4e86\u89e3\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u9650\u5236\u200b\u3002 \u200b\u5728\u200b Underlay \u200b\u7f51\u7edc\u200b\u4e0b\u200b\uff0c\u200b\u7269\u7406\u200b\u4ea4\u6362\u673a\u200b\u8d1f\u8d23\u200b\u6570\u636e\u200b\u9762\u200b\u8f6c\u53d1\u200b\uff0cVPC \u200b\u65e0\u6cd5\u200b\u5bf9\u200b Underlay \u200b\u5b50\u7f51\u200b\u8fdb\u884c\u200b\u9694\u79bb\u200b\u3002</p> <p></p>"},{"location":"guide/vpc/#vpc_1","title":"\u521b\u5efa\u200b\u81ea\u5b9a\u4e49\u200b VPC","text":"<p>\u200b\u521b\u5efa\u200b\u4e24\u4e2a\u200b VPC\uff1a</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  namespaces:\n  - ns1\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-2\nspec:\n  namespaces:\n  - ns2\n</code></pre> <ul> <li><code>namespaces</code> \u200b\u53ef\u4ee5\u200b\u9650\u5b9a\u200b\u53ea\u6709\u200b\u54ea\u4e9b\u200b Namespace \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5f53\u524d\u200b VPC\uff0c\u200b\u82e5\u4e3a\u200b\u7a7a\u5219\u200b\u4e0d\u200b\u9650\u5b9a\u200b\u3002</li> </ul> <p>\u200b\u521b\u5efa\u200b\u4e24\u4e2a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u5206\u5c5e\u200b\u4e24\u4e2a\u200b\u4e0d\u540c\u200b\u7684\u200b VPC \u200b\u5e76\u200b\u6709\u200b\u76f8\u540c\u200b\u7684\u200b CIDR:</p> <pre><code>kind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net1\nspec:\n  vpc: test-vpc-1\n  cidrBlock: 10.0.1.0/24\n  protocol: IPv4\n  namespaces:\n    - ns1\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: test-vpc-2\n  cidrBlock: 10.0.1.0/24\n  protocol: IPv4\n  namespaces:\n    - ns2\n</code></pre> <p>\u200b\u5206\u522b\u200b\u5728\u200b\u4e24\u4e2a\u200b Namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net1\n  namespace: ns1\n  name: vpc1-pod\nspec:\n  containers:\n    - name: vpc1-pod\n      image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net2\n  namespace: ns2\n  name: vpc2-pod\nspec:\n  containers:\n    - name: vpc2-pod\n      image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u8fd0\u884c\u200b\u6210\u529f\u200b\u540e\u200b\u53ef\u200b\u89c2\u5bdf\u200b\u4e24\u4e2a\u200b Pod \u200b\u5730\u5740\u200b\u5c5e\u4e8e\u200b\u540c\u4e00\u4e2a\u200b CIDR\uff0c\u200b\u4f46\u200b\u7531\u4e8e\u200b\u8fd0\u884c\u200b\u5728\u200b\u4e0d\u540c\u200b\u7684\u200b\u79df\u6237\u200b VPC\uff0c\u200b\u4e24\u4e2a\u200b Pod \u200b\u65e0\u6cd5\u200b\u76f8\u4e92\u200b\u8bbf\u95ee\u200b\u3002</p>"},{"location":"guide/vpc/#vpc-pod-livenessprobe-readinessprobe","title":"\u81ea\u5b9a\u4e49\u200b VPC Pod \u200b\u652f\u6301\u200b livenessProbe \u200b\u548c\u200b readinessProbe","text":"<p>\u200b\u7531\u4e8e\u200b\u5e38\u89c4\u200b\u914d\u7f6e\u200b\u4e0b\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u548c\u200b\u8282\u70b9\u200b\u7684\u200b\u7f51\u7edc\u200b\u4e4b\u95f4\u200b\u5e76\u200b\u4e0d\u200b\u4e92\u901a\u200b\uff0c\u200b\u6240\u4ee5\u200b kubelet \u200b\u53d1\u9001\u200b\u7684\u200b\u63a2\u6d4b\u200b\u62a5\u6587\u200b\u65e0\u6cd5\u200b\u5230\u8fbe\u200b\u81ea\u200b\u5b9a\u200b VPC \u200b\u5185\u200b\u7684\u200b Pod\u3002Kube-OVN \u200b\u901a\u8fc7\u200b TProxy \u200b\u5c06\u200b kubelet \u200b\u53d1\u9001\u200b\u7684\u200b\u63a2\u6d4b\u200b\u62a5\u6587\u200b\u91cd\u5b9a\u5411\u200b\u5230\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u7684\u200b Pod\uff0c\u200b\u4ece\u800c\u200b\u5b9e\u73b0\u200b\u8fd9\u4e00\u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u914d\u7f6e\u200b\u65b9\u6cd5\u200b\u5982\u4e0b\u200b\uff0c\u200b\u5728\u200b Daemonset <code>kube-ovn-cni</code> \u200b\u4e2d\u200b\u589e\u52a0\u200b\u53c2\u6570\u200b <code>--enable-tproxy=true</code>\uff1a</p> <pre><code>spec:\n  template:\n    spec:\n      containers:\n      - args:\n        - --enable-tproxy=true\n</code></pre> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u9650\u5236\u200b\u6761\u4ef6\u200b\uff1a</p> <ol> <li>\u200b\u5f53\u200b\u540c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0b\u200b\u51fa\u73b0\u200b\u4e0d\u540c\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u5177\u6709\u200b\u76f8\u540c\u200b\u7684\u200b IP\uff0c\u200b\u63a2\u6d4b\u200b\u529f\u80fd\u200b\u5931\u6548\u200b\u3002</li> <li>\u200b\u76ee\u524d\u200b\u6682\u65f6\u200b\u53ea\u200b\u652f\u6301\u200b <code>tcpSocket</code> \u200b\u548c\u200b <code>httpGet</code> \u200b\u4e24\u79cd\u200b\u63a2\u6d4b\u200b\u65b9\u5f0f\u200b\u3002</li> </ol>"},{"location":"guide/vpc/#vpc_2","title":"\u521b\u5efa\u200b VPC \u200b\u7f51\u5173","text":"<p>\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e0d\u200b\u652f\u6301\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\u548c\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u3002</p> <p>VPC \u200b\u5185\u5bb9\u200b\u5668\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b VPC \u200b\u7f51\u5173\u200b\uff0cVPC \u200b\u7f51\u5173\u200b\u53ef\u4ee5\u200b\u6253\u901a\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u548c\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e76\u200b\u63d0\u4f9b\u200b \u200b\u6d6e\u52a8\u200b IP\uff0cSNAT \u200b\u548c\u200b DNAT \u200b\u529f\u80fd\u200b\u3002</p> <p>VPC \u200b\u7f51\u5173\u200b\u529f\u80fd\u200b\u4f9d\u8d56\u200b Multus-CNI \u200b\u7684\u200b\u591a\u200b\u7f51\u5361\u200b\u529f\u80fd\u200b\uff0c\u200b\u5b89\u88c5\u200b\u8bf7\u200b\u53c2\u8003\u200b multus-cni\u3002</p>"},{"location":"guide/vpc/#_1","title":"\u914d\u7f6e\u200b\u5916\u90e8\u200b\u7f51\u7edc","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: ovn-vpc-external-network\nspec:\n  protocol: IPv4\n  provider: ovn-vpc-external-network.kube-system\n  cidrBlock: 192.168.0.0/24\n  gateway: 192.168.0.1  # IP address of the physical gateway\n  excludeIps:\n  - 192.168.0.1..192.168.0.10\n---\napiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-vpc-external-network\n  namespace: kube-system\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth1\",\n      \"mode\": \"bridge\",\n      \"ipam\": {\n        \"type\": \"kube-ovn\",\n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n        \"provider\": \"ovn-vpc-external-network.kube-system\"\n      }\n    }'\n</code></pre> <ul> <li>\u200b\u8be5\u200b Subnet \u200b\u7528\u6765\u200b\u7ba1\u7406\u200b\u53ef\u7528\u200b\u7684\u200b\u5916\u90e8\u200b\u5730\u5740\u200b\uff0c\u200b\u7f51\u6bb5\u200b\u5185\u200b\u7684\u200b\u5730\u5740\u200b\u5c06\u4f1a\u200b\u901a\u8fc7\u200b Macvlan \u200b\u5206\u914d\u200b\u7ed9\u200b VPC \u200b\u7f51\u5173\u200b\uff0c\u200b\u8bf7\u200b\u548c\u200b\u7f51\u7edc\u7ba1\u7406\u200b\u6c9f\u901a\u200b\u7ed9\u51fa\u200b\u53ef\u7528\u200b\u7684\u200b\u7269\u7406\u200b\u6bb5\u200b IP\u3002</li> <li>VPC \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b Macvlan \u200b\u505a\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff0c<code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b <code>master</code> \u200b\u9700\u4e3a\u200b\u5bf9\u5e94\u200b\u7269\u7406\u200b\u7f51\u8def\u200b\u7f51\u5361\u200b\u7684\u200b\u7f51\u5361\u200b\u540d\u200b\u3002</li> <li><code>name</code> \u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u540d\u79f0\u200b\u3002</li> </ul> <p>\u200b\u5728\u200b Macvlan \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4f1a\u200b\u5c06\u200b\u6570\u636e\u5305\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b\u8be5\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u5bf9\u5916\u200b\u53d1\u9001\u200b\uff0cL2/L3 \u200b\u5c42\u9762\u200b\u7684\u200b\u8f6c\u53d1\u200b\u80fd\u529b\u200b\u9700\u8981\u200b\u4f9d\u8d56\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u3002 \u200b\u9700\u8981\u200b\u9884\u5148\u200b\u5728\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u914d\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b\u7f51\u5173\u200b\u3001Vlan \u200b\u548c\u200b\u5b89\u5168\u7b56\u7565\u200b\u7b49\u200b\u914d\u7f6e\u200b\u3002</p> <ol> <li>\u200b\u5bf9\u4e8e\u200b OpenStack \u200b\u7684\u200b VM \u200b\u73af\u5883\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b\u5bf9\u5e94\u200b\u7f51\u7edc\u200b\u7aef\u53e3\u200b\u7684\u200b <code>PortSecurity</code> \u200b\u5173\u95ed\u200b\u3002</li> <li>\u200b\u5bf9\u4e8e\u200b VMware \u200b\u7684\u200b vSwitch \u200b\u7f51\u7edc\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b <code>MAC Address Changes</code>, <code>Forged Transmits</code> \u200b\u548c\u200b <code>Promiscuous Mode Operation</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>allow</code>\u3002</li> <li>\u200b\u5bf9\u4e8e\u200b Hyper-V \u200b\u865a\u62df\u5316\u200b\uff0c\u200b\u9700\u8981\u200b\u5f00\u542f\u200b\u865a\u62df\u673a\u200b\u7f51\u5361\u200b\u9ad8\u7ea7\u200b\u529f\u80fd\u200b\u4e2d\u200b\u7684\u200b <code>MAC Address Spoofing</code>\u3002</li> <li>\u200b\u516c\u6709\u200b\u4e91\u200b\uff0c\u200b\u4f8b\u5982\u200b AWS\u3001GCE\u3001\u200b\u963f\u91cc\u200b\u4e91\u200b\u7b49\u200b\u7531\u4e8e\u200b\u4e0d\u200b\u652f\u6301\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b Mac \u200b\u65e0\u6cd5\u200b\u652f\u6301\u200b Macvlan \u200b\u6a21\u5f0f\u200b\u7f51\u7edc\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b Macvlan \u200b\u672c\u8eab\u200b\u7684\u200b\u9650\u5236\u200b\uff0cMacvlan \u200b\u5b50\u200b\u63a5\u53e3\u200b\u65e0\u6cd5\u8bbf\u95ee\u200b\u7236\u200b\u63a5\u53e3\u200b\u5730\u5740\u200b\u3002</li> <li>\u200b\u5982\u679c\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u5bf9\u5e94\u200b\u4ea4\u6362\u673a\u200b\u63a5\u53e3\u200b\u4e3a\u200b Trunk \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u8be5\u200b\u7f51\u5361\u200b\u4e0a\u200b\u521b\u5efa\u200b\u5b50\u200b\u63a5\u53e3\u200b\u518d\u200b\u63d0\u4f9b\u200b\u7ed9\u200b Macvlan \u200b\u4f7f\u7528\u200b\u3002</li> </ol>"},{"location":"guide/vpc/#vpc_3","title":"\u5f00\u542f\u200b VPC \u200b\u7f51\u5173\u200b\u529f\u80fd","text":"<p>VPC \u200b\u7f51\u5173\u200b\u529f\u80fd\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b <code>kube-system</code> \u200b\u4e0b\u200b\u7684\u200b <code>ovn-vpc-nat-gw-config</code> \u200b\u5f00\u542f\u200b\uff1a</p> <pre><code>---\nkind: ConfigMap\napiVersion: v1\nmetadata:\n  name: ovn-vpc-nat-config\n  namespace: kube-system\ndata:\n  image: 'docker.io/kubeovn/vpc-nat-gateway:v1.13.0' \n---\nkind: ConfigMap\napiVersion: v1\nmetadata:\n  name: ovn-vpc-nat-gw-config\n  namespace: kube-system\ndata:\n  enable-vpc-nat-gw: 'true'\n</code></pre> <ul> <li><code>image</code>: \u200b\u7f51\u5173\u200b Pod \u200b\u6240\u200b\u4f7f\u7528\u200b\u7684\u200b\u955c\u50cf\u200b\u3002</li> <li><code>enable-vpc-nat-gw</code>\uff1a \u200b\u63a7\u5236\u200b\u662f\u5426\u200b\u542f\u7528\u200b VPC \u200b\u7f51\u5173\u200b\u529f\u80fd\u200b\u3002</li> </ul>"},{"location":"guide/vpc/#vpc_4","title":"\u521b\u5efa\u200b VPC \u200b\u7f51\u5173\u200b\u5e76\u200b\u914d\u7f6e\u200b\u9ed8\u8ba4\u200b\u8def\u7531","text":"<pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n  externalSubnets:\n    - ovn-vpc-external-network\n</code></pre> <ul> <li><code>vpc</code>\uff1a\u200b\u8be5\u200b VpcNatGateway \u200b\u6240\u5c5e\u200b\u7684\u200b VPC\u3002</li> <li><code>subnet</code>\uff1a\u200b\u4e3a\u200b VPC \u200b\u5185\u200b\u67d0\u4e2a\u200b Subnet \u200b\u540d\u200b\uff0cVPC \u200b\u7f51\u5173\u200b Pod \u200b\u4f1a\u200b\u5728\u200b\u8be5\u200b\u5b50\u7f51\u200b\u4e0b\u7528\u200b <code>lanIp</code> \u200b\u6765\u200b\u8fde\u63a5\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\u3002</li> <li><code>lanIp</code>\uff1a<code>subnet</code> \u200b\u5185\u200b\u67d0\u4e2a\u200b\u672a\u200b\u88ab\u200b\u4f7f\u7528\u200b\u7684\u200b IP\uff0cVPC \u200b\u7f51\u5173\u200b Pod \u200b\u6700\u7ec8\u200b\u4f1a\u200b\u4f7f\u7528\u200b\u8be5\u200b Pod\u3002\u200b\u5f53\u200b VPC \u200b\u914d\u7f6e\u200b\u8def\u7531\u200b\u9700\u8981\u200b\u6307\u5411\u200b\u5f53\u524d\u200b VpcNatGateway \u200b\u65f6\u200b <code>nextHopIP</code> \u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u8fd9\u4e2a\u200b <code>lanIp</code>\u3002</li> <li><code>selector</code>\uff1aVpcNatGateway Pod \u200b\u7684\u200b\u8282\u70b9\u200b\u9009\u62e9\u5668\u200b\uff0c\u200b\u683c\u5f0f\u200b\u548c\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b NodeSelector \u200b\u683c\u5f0f\u200b\u76f8\u540c\u200b\u3002</li> <li><code>externalSubnets</code>\uff1a VPC \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5982\u679c\u200b\u4e0d\u200b\u914d\u7f6e\u200b\u5219\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b <code>ovn-vpc-external-network</code>\uff0c\u200b\u5f53\u524d\u200b\u7248\u672c\u200b\u53ea\u200b\u652f\u6301\u200b\u914d\u7f6e\u200b\u4e00\u4e2a\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u3002</li> </ul> <p>\u200b\u5176\u4ed6\u200b\u53ef\u200b\u914d\u200b\u53c2\u6570\u200b\uff1a</p> <ul> <li><code>tolerations</code> : \u200b\u4e3a\u200b VPC \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b\u5bb9\u5fcd\u5ea6\u200b\uff0c\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u53c2\u8003\u200b \u200b\u6c61\u70b9\u200b\u548c\u200b\u5bb9\u5fcd\u5ea6\u200b\u3002</li> <li><code>affinity</code> :  \u200b\u4e3a\u200b VPC \u200b\u7f51\u5173\u200b Pod \u200b\u6216\u200b\u8282\u70b9\u200b\u914d\u7f6e\u200b\u4eb2\u548c\u6027\u200b\uff0c\u200b\u5177\u4f53\u200b\u8bbe\u7f6e\u200b\u53c2\u8003\u200b \u200b\u4eb2\u548c\u6027\u200b\u4e0e\u200b\u53cd\u200b\u4eb2\u548c\u6027\u200b\u3002</li> </ul> <p>\u200b\u5728\u200b\u4f7f\u7528\u200b VPC-NAT-GW \u200b\u65f6\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\uff1a</p> <ol> <li>nat gw pod \u200b\u521b\u5efa\u200b\u4e4b\u540e\u200b\uff0cnet1 arp \u200b\u662f\u200b\u5173\u95ed\u200b\u7684\u200b\uff0cping \u200b\u4e0d\u901a\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\uff0c\u200b\u521b\u5efa\u200b eip \u200b\u540e\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u6253\u5f00\u200b arp\uff0c\u200b\u53ef\u4ee5\u200b ping \u200b\u901a\u200b\u3002</li> </ol>"},{"location":"guide/vpc/#eip","title":"\u521b\u5efa\u200b EIP","text":"<p>EIP \u200b\u4e3a\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u6bb5\u200b\u7684\u200b\u67d0\u4e2a\u200b IP \u200b\u5206\u914d\u200b\u7ed9\u200b VPC \u200b\u7f51\u5173\u200b\u540e\u200b\u53ef\u200b\u8fdb\u884c\u200b DNAT\uff0cSNAT \u200b\u548c\u200b\u6d6e\u52a8\u200b IP \u200b\u64cd\u4f5c\u200b\u3002</p> <p>\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u4e00\u4e2a\u200b\u5730\u5740\u200b\u7ed9\u200b EIP\uff1a</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-random\nspec:\n  natGwDp: gw1\n</code></pre> <p>\u200b\u56fa\u5b9a\u200b EIP \u200b\u5730\u5740\u200b\u5206\u914d\u200b\uff1a</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  natGwDp: gw1\n  v4ip: 10.0.1.111\n</code></pre> <p>\u200b\u6307\u5b9a\u200b EIP \u200b\u6240\u5728\u200b\u7684\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff1a</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-random\nspec:\n  natGwDp: gw1\n  externalSubnet: ovn-vpc-external-network\n</code></pre> <ul> <li><code>externalSubnet</code>\uff1a EIP \u200b\u6240\u5728\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u540d\u79f0\u200b\uff0c\u200b\u5982\u679c\u200b\u4e0d\u200b\u6307\u5b9a\u200b\u5219\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>ovn-vpc-external-network</code>\uff0c\u200b\u5982\u679c\u200b\u6307\u5b9a\u200b\u5219\u200b\u5fc5\u987b\u200b\u4e3a\u200b\u6240\u5728\u200b VPC \u200b\u7f51\u5173\u200b\u7684\u200b <code>externalSubnets</code> \u200b\u4e2d\u200b\u7684\u200b\u4e00\u4e2a\u200b\u3002</li> </ul>"},{"location":"guide/vpc/#dnat","title":"\u521b\u5efa\u200b DNAT \u200b\u89c4\u5219","text":"<p>\u200b\u901a\u8fc7\u200b DNAT \u200b\u89c4\u5219\u200b\uff0c\u200b\u5916\u90e8\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4e00\u4e2a\u200b EIP \u200b\u52a0\u200b\u7aef\u53e3\u200b\u7684\u200b\u65b9\u5f0f\u200b\u6765\u200b\u8bbf\u95ee\u200b VPC \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b IP \u200b\u548c\u200b\u7aef\u53e3\u200b\u3002</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eipd01\nspec:\n  natGwDp: gw1\n\n---\nkind: IptablesDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: dnat01\nspec:\n  eip: eipd01 \n  externalPort: '8888'\n  internalIp: 10.0.1.10\n  internalPort: '80'\n  protocol: tcp\n</code></pre>"},{"location":"guide/vpc/#snat","title":"\u521b\u5efa\u200b SNAT \u200b\u89c4\u5219","text":"<p>\u200b\u901a\u8fc7\u200b SNAT \u200b\u89c4\u5219\u200b\uff0cVPC \u200b\u5185\u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7684\u200b\u5730\u5740\u200b\u65f6\u200b\u5c06\u200b\u4f1a\u200b\u901a\u8fc7\u200b\u5bf9\u5e94\u200b EIP \u200b\u8fdb\u884c\u200b SNAT\u3002</p> <pre><code>---\nkind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eips01\nspec:\n  natGwDp: gw1\n---\nkind: IptablesSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat01\nspec:\n  eip: eips01\n  internalCIDR: 10.0.1.0/24\n</code></pre>"},{"location":"guide/vpc/#ip","title":"\u521b\u5efa\u200b\u6d6e\u52a8\u200b IP","text":"<p>\u200b\u901a\u8fc7\u200b\u6d6e\u52a8\u200b IP \u200b\u89c4\u5219\u200b\uff0cVPC \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b IP \u200b\u4f1a\u200b\u548c\u200b EIP \u200b\u8fdb\u884c\u200b\u5b8c\u5168\u200b\u6620\u5c04\u200b\uff0c\u200b\u5916\u90e8\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u8fd9\u4e2a\u200b EIP \u200b\u8bbf\u95ee\u200b VPC \u200b\u5185\u200b\u7684\u200b IP\uff0cVPC \u200b\u5185\u200b\u7684\u200b\u8fd9\u4e2a\u200b IP \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u5730\u5740\u200b\u65f6\u200b\u4e5f\u200b\u4f1a\u200b SNAT \u200b\u6210\u200b\u8fd9\u4e2a\u200b EIP\u3002</p> <pre><code>---\nkind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eipf01\nspec:\n  natGwDp: gw1\n\n---\nkind: IptablesFIPRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: fip01\nspec:\n  eip: eipf01\n  internalIp: 10.0.1.5\n</code></pre>"},{"location":"guide/vpc/#_2","title":"\u81ea\u5b9a\u4e49\u200b\u8def\u7531","text":"<p>\u200b\u5728\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u81ea\u5b9a\u4e49\u200b\u7f51\u7edc\u200b\u5185\u90e8\u200b\u7684\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\uff0c\u200b\u7ed3\u5408\u200b\u7f51\u5173\u200b\u5b9e\u73b0\u200b\u66f4\u200b\u7075\u6d3b\u200b\u7684\u200b\u8f6c\u53d1\u200b\u3002 Kube-OVN \u200b\u652f\u6301\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u548c\u200b\u66f4\u4e3a\u200b\u7075\u6d3b\u200b\u7684\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u3002</p>"},{"location":"guide/vpc/#_3","title":"\u9759\u6001\u200b\u8def\u7531","text":"<pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  staticRoutes:\n    - cidr: 0.0.0.0/0\n      nextHopIP: 10.0.1.254\n      policy: policyDst\n    - cidr: 172.31.0.0/24\n      nextHopIP: 10.0.1.253\n      policy: policySrc\n      routeTable: \"rtb1\"\n</code></pre> <ul> <li><code>policy</code>: \u200b\u652f\u6301\u200b\u76ee\u7684\u200b\u5730\u5740\u200b\u8def\u7531\u200b <code>policyDst</code> \u200b\u548c\u200b\u6e90\u5730\u5740\u200b\u8def\u7531\u200b <code>policySrc</code>\u3002</li> <li>\u200b\u5f53\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u5b58\u5728\u200b\u91cd\u53e0\u200b\u65f6\u200b\uff0cCIDR \u200b\u63a9\u7801\u200b\u8f83\u957f\u200b\u7684\u200b\u89c4\u5219\u200b\u4f18\u5148\u7ea7\u200b\u66f4\u9ad8\u200b\uff0c\u200b\u82e5\u200b\u63a9\u7801\u200b\u957f\u5ea6\u200b\u76f8\u540c\u200b\u5219\u200b\u76ee\u7684\u200b\u5730\u5740\u200b\u8def\u7531\u200b\u4f18\u5148\u200b\u4e8e\u200b\u6e90\u5730\u5740\u200b\u8def\u7531\u200b\u3002</li> <li><code>routeTable</code>: \u200b\u53ef\u200b\u6307\u5b9a\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u6240\u5728\u200b\u7684\u200b\u8def\u7531\u8868\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5728\u200b\u4e3b\u200b\u8def\u7531\u8868\u200b\u3002\u200b\u5b50\u7f51\u200b\u5173\u8054\u200b\u8def\u7531\u8868\u200b\u8bf7\u200b\u53c2\u8003\u200b\u521b\u5efa\u200b\u5b50\u7f51\u200b</li> </ul>"},{"location":"guide/vpc/#_4","title":"\u7b56\u7565\u200b\u8def\u7531","text":"<p>\u200b\u9488\u5bf9\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u5339\u914d\u200b\u7684\u200b\u6d41\u91cf\u200b\uff0c\u200b\u53ef\u200b\u901a\u8fc7\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u8fdb\u884c\u200b\u66f4\u200b\u7ec6\u7c92\u5ea6\u200b\u7684\u200b\u63a7\u5236\u200b\u3002\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u66f4\u200b\u7cbe\u786e\u200b\u7684\u200b\u5339\u914d\u200b\u89c4\u5219\u200b\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u63a7\u5236\u200b \u200b\u548c\u200b\u66f4\u200b\u591a\u200b\u7684\u200b\u8f6c\u53d1\u200b\u52a8\u4f5c\u200b\u3002\u200b\u8be5\u200b\u529f\u80fd\u200b\u4e3a\u200b OVN \u200b\u5185\u90e8\u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\u7b56\u7565\u200b\u529f\u80fd\u200b\u7684\u200b\u4e00\u4e2a\u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u4f7f\u7528\u200b\u4fe1\u606f\u200b\u8bf7\u200b\u53c2\u8003\u200b Logical Router Policy\u3002</p> <p>\u200b\u7b80\u5355\u200b\u793a\u4f8b\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  policyRoutes:\n    - action: drop\n      match: ip4.src==10.0.1.0/24 &amp;&amp; ip4.dst==10.0.1.250\n      priority: 11\n    - action: reroute\n      match: ip4.src==10.0.1.0/24\n      nextHopIP: 10.0.1.252\n      priority: 10\n</code></pre>"},{"location":"guide/vpc/#_5","title":"\u81ea\u5b9a\u4e49\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219","text":"<p>Kubernetes \u200b\u672c\u8eab\u200b\u63d0\u4f9b\u200b\u7684\u200b Service \u200b\u80fd\u529b\u200b\u53ef\u4ee5\u200b\u5b8c\u6210\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u4f46\u662f\u200b\u53d7\u9650\u4e8e\u200b Kubernetes \u200b\u5b9e\u73b0\u200b\uff0c Service \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u662f\u200b\u5168\u5c40\u200b\u5206\u914d\u200b\u4e14\u200b\u4e0d\u80fd\u200b\u91cd\u590d\u200b\u3002\u200b\u5bf9\u4e8e\u200b VPC \u200b\u7684\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\uff0c\u200b\u7528\u6237\u200b\u5e0c\u671b\u200b\u80fd\u200b\u81ea\u5b9a\u4e49\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b\u5730\u5740\u200b \u200b\u8303\u56f4\u200b\uff0c\u200b\u4e0d\u540c\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u5730\u5740\u200b\u53ef\u80fd\u200b\u91cd\u53e0\u200b\uff0cKubernetes \u200b\u5185\u7f6e\u200b\u7684\u200b Service \u200b\u529f\u80fd\u200b\u65e0\u6cd5\u200b\u5b8c\u5168\u200b\u6ee1\u8db3\u200b\u3002</p> <p>\u200b\u9488\u5bf9\u200b\u8fd9\u200b\u7c7b\u200b\u573a\u666f\u200b\uff0cKube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b <code>SwitchLBRule</code> \u200b\u8d44\u6e90\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u81ea\u5b9a\u4e49\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\u3002</p> <p>\u200b\u4e00\u4e2a\u200b `SwitchLBRule`` \u200b\u4f8b\u5b50\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  cjh-slr-nginx\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  selector:\n    - app:nginx\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\n</code></pre> <ul> <li><code>vip</code>\uff1a\u200b\u81ea\u5b9a\u4e49\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b\u5730\u5740\u200b\u3002</li> <li><code>namespace</code>\uff1a\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u540e\u200b\u7aef\u200b Pod \u200b\u6240\u5728\u200b\u7684\u200b Namespace\u3002</li> <li><code>sessionAffinity</code>\uff1a\u200b\u548c\u200b Service \u200b\u7684\u200b <code>sessionAffinity</code> \u200b\u529f\u80fd\u200b\u76f8\u540c\u200b\u3002</li> <li><code>selector</code>\uff1a\u200b\u548c\u200b Service \u200b\u7684\u200b <code>selector</code> \u200b\u529f\u80fd\u200b\u76f8\u540c\u200b\u3002</li> <li><code>ports</code>\uff1a\u200b\u548c\u200b Service \u200b\u7684\u200b <code>port</code> \u200b\u529f\u80fd\u200b\u76f8\u540c\u200b\u3002</li> </ul> <p>\u200b\u67e5\u770b\u200b\u90e8\u7f72\u200b\u7684\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u89c4\u5219\u200b\uff1a</p> <pre><code># kubectl get slr\nNAME                VIP         PORT(S)                  SERVICE                             AGE\nvpc-dns-test-cjh2   10.96.0.3   53/UDP,53/TCP,9153/TCP   kube-system/slr-vpc-dns-test-cjh2   88m\n</code></pre>"},{"location":"guide/vpc/#vpc-dns","title":"\u81ea\u5b9a\u4e49\u200b vpc-dns","text":"<p>\u200b\u7531\u4e8e\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u548c\u200b\u9ed8\u8ba4\u200b VPC \u200b\u7f51\u7edc\u200b\u76f8\u4e92\u200b\u9694\u79bb\u200b\uff0cVPC \u200b\u5185\u200b Pod \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u7684\u200b coredns \u200b\u670d\u52a1\u200b\u8fdb\u884c\u200b\u57df\u540d\u89e3\u6790\u200b\u3002 \u200b\u5982\u679c\u200b\u5e0c\u671b\u200b\u5728\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u4f7f\u7528\u200b coredns \u200b\u89e3\u6790\u200b\u96c6\u7fa4\u200b\u5185\u200b Service \u200b\u57df\u540d\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Kube-OVN \u200b\u63d0\u4f9b\u200b\u7684\u200b vpc-dns \u200b\u8d44\u6e90\u200b\u6765\u200b\u5b9e\u73b0\u200b\u3002</p>"},{"location":"guide/vpc/#_6","title":"\u521b\u5efa\u200b\u9644\u52a0\u200b\u7f51\u5361","text":"<pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-nad\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"ovn-nad.default.ovn\"\n    }'\n</code></pre>"},{"location":"guide/vpc/#ovn-default-provider","title":"\u4fee\u6539\u200b ovn-default \u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u7684\u200b provider","text":"<p>\u200b\u4fee\u6539\u200b ovn-default \u200b\u7684\u200b provider\uff0c\u200b\u4e3a\u200b\u4e0a\u9762\u200b nad \u200b\u914d\u7f6e\u200b\u7684\u200b provider <code>ovn-nad.default.ovn</code>\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: ovn-default\nspec:\n  cidrBlock: 10.16.0.0/16\n  default: true\n  disableGatewayCheck: false\n  disableInterConnection: false\n  enableDHCP: false\n  enableIPv6RA: false\n  excludeIps:\n  - 10.16.0.1\n  gateway: 10.16.0.1\n  gatewayType: distributed\n  logicalGateway: false\n  natOutgoing: true\n  private: false\n  protocol: IPv4\n  provider: ovn-nad.default.ovn\n  vpc: ovn-cluster\n</code></pre>"},{"location":"guide/vpc/#vpc-dns-configmap","title":"\u914d\u7f6e\u200b vpc-dns \u200b\u7684\u200b ConfigMap","text":"<p>\u200b\u5728\u200b kube-system \u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u4e0b\u200b\u521b\u5efa\u200b configmap\uff0c\u200b\u914d\u7f6e\u200b vpc-dns \u200b\u4f7f\u7528\u200b\u53c2\u6570\u200b\uff0c\u200b\u7528\u4e8e\u200b\u540e\u9762\u200b\u542f\u52a8\u200b vpc-dns \u200b\u529f\u80fd\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-config\n  namespace: kube-system\ndata:\n  coredns-vip: 10.96.0.3\n  enable-vpc-dns: \"true\"\n  nad-name: ovn-nad\n  nad-provider: ovn-nad.default.ovn\n</code></pre> <ul> <li><code>enable-vpc-dns</code>\uff1a\uff08\u200b\u53ef\u200b\u7f3a\u7701\u200b\uff09<code>true</code> \u200b\u542f\u7528\u200b\u529f\u80fd\u200b\uff0c<code>false</code> \u200b\u5173\u95ed\u200b\u529f\u80fd\u200b\u3002\u200b\u9ed8\u8ba4\u200b <code>true</code>\u3002</li> <li><code>coredns-image</code>\uff1a\uff08\u200b\u53ef\u200b\u7701\u7565\u200b\uff09\uff1adns \u200b\u90e8\u7f72\u200b\u955c\u50cf\u200b\u3002\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b coredns \u200b\u90e8\u7f72\u200b\u7248\u672c\u200b\u3002</li> <li><code>coredns-template</code>\uff1a\uff08\u200b\u53ef\u200b\u7701\u7565\u200b\uff09\uff1adns \u200b\u90e8\u7f72\u200b\u6a21\u677f\u200b\u6240\u5728\u200b\u7684\u200b URL\u3002\u200b\u9ed8\u8ba4\u200b\uff1a\u200b\u5f53\u524d\u200b\u7248\u672c\u200b\u4ed3\u5e93\u200b\u91cc\u200b\u7684\u200b <code>yamls/coredns-template.yaml</code>\u3002</li> <li><code>coredns-vip</code>\uff1a\u200b\u4e3a\u200b coredns \u200b\u63d0\u4f9b\u200b lb \u200b\u670d\u52a1\u200b\u7684\u200b vip\u3002</li> <li><code>nad-name</code>\uff1a\u200b\u914d\u7f6e\u200b\u7684\u200b <code>network-attachment-definitions</code> \u200b\u8d44\u6e90\u200b\u540d\u79f0\u200b\u3002</li> <li><code>nad-provider</code>\uff1a\u200b\u4f7f\u7528\u200b\u7684\u200b provider \u200b\u540d\u79f0\u200b\u3002</li> <li><code>k8s-service-host</code>\uff1a\uff08\u200b\u53ef\u200b\u7f3a\u7701\u200b\uff09 \u200b\u7528\u4e8e\u200b coredns \u200b\u8bbf\u95ee\u200b k8s apiserver \u200b\u670d\u52a1\u200b\u7684\u200b ip\u3002</li> <li><code>k8s-service-port</code>\uff1a\uff08\u200b\u53ef\u200b\u7f3a\u7701\u200b\uff09\u200b\u7528\u4e8e\u200b coredns \u200b\u8bbf\u95ee\u200b k8s apiserver \u200b\u670d\u52a1\u200b\u7684\u200b port\u3002</li> </ul>"},{"location":"guide/vpc/#vpc-dns_1","title":"\u90e8\u7f72\u200b vpc-dns \u200b\u4f9d\u8d56\u200b\u8d44\u6e90","text":"<pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: system:vpc-dns\nrules:\n  - apiGroups:\n    - \"\"\n    resources:\n    - endpoints\n    - services\n    - pods\n    - namespaces\n    verbs:\n    - list\n    - watch\n  - apiGroups:\n    - discovery.k8s.io\n    resources:\n    - endpointslices\n    verbs:\n    - list\n    - watch\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  annotations:\n    rbac.authorization.kubernetes.io/autoupdate: \"true\"\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: vpc-dns\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: system:vpc-dns\nsubjects:\n- kind: ServiceAccount\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-corefile\n  namespace: kube-system\ndata:\n  Corefile: |\n    .:53 {\n        errors\n        health {\n          lameduck 5s\n        }\n        ready\n        kubernetes cluster.local in-addr.arpa ip6.arpa {\n          pods insecure\n          fallthrough in-addr.arpa ip6.arpa\n        }\n        prometheus :9153\n        forward . /etc/resolv.conf {\n          prefer_udp\n        }\n        cache 30\n        loop\n        reload\n        loadbalance\n    }\n</code></pre>"},{"location":"guide/vpc/#vpc-dns_2","title":"\u90e8\u7f72\u200b vpc-dns","text":"<pre><code>kind: VpcDns\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-cjh1\nspec:\n  vpc: cjh-vpc-1\n  subnet: cjh-subnet-1\n</code></pre> <ul> <li><code>vpc</code>\uff1a \u200b\u7528\u4e8e\u200b\u90e8\u7f72\u200b dns \u200b\u7ec4\u4ef6\u200b\u7684\u200b vpc \u200b\u540d\u79f0\u200b\u3002</li> <li><code>subnet</code>\uff1a\u200b\u7528\u4e8e\u200b\u90e8\u7f72\u200b dns \u200b\u7ec4\u4ef6\u200b\u7684\u200b\u5b50\u200b\u540d\u79f0\u200b\u3002</li> </ul> <p>\u200b\u67e5\u770b\u200b\u8d44\u6e90\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code>[root@hci-dev-mst-1 kubeovn]# kubectl get vpc-dns\nNAME        ACTIVE   VPC         SUBNET   \ntest-cjh1   false    cjh-vpc-1   cjh-subnet-1   \ntest-cjh2   true     cjh-vpc-1   cjh-subnet-2 \n</code></pre> <ul> <li><code>ACTIVE</code>: <code>true</code> \u200b\u6210\u529f\u200b\u90e8\u7f72\u200b\u4e86\u200b\u81ea\u5b9a\u4e49\u200b dns \u200b\u7ec4\u4ef6\u200b\uff0c<code>false</code> \u200b\u65e0\u200b\u90e8\u7f72\u200b</li> </ul>"},{"location":"guide/vpc/#_7","title":"\u9650\u5236","text":"<ul> <li>\u200b\u4e00\u4e2a\u200b vpc \u200b\u4e0b\u200b\u53ea\u4f1a\u200b\u90e8\u7f72\u200b\u4e00\u4e2a\u200b\u81ea\u5b9a\u4e49\u200b dns \u200b\u7ec4\u4ef6\u200b;</li> <li>\u200b\u5f53\u200b\u4e00\u4e2a\u200b vpc \u200b\u4e0b\u200b\u914d\u7f6e\u200b\u591a\u4e2a\u200b vpc-dns \u200b\u8d44\u6e90\u200b\uff08\u200b\u5373\u200b\u540c\u4e00\u4e2a\u200b vpc \u200b\u4e0d\u540c\u200b\u7684\u200b subnet\uff09\uff0c\u200b\u53ea\u6709\u200b\u4e00\u4e2a\u200b vpc-dns \u200b\u8d44\u6e90\u200b\u72b6\u6001\u200b <code>true</code>\uff0c\u200b\u5176\u4ed6\u200b\u4e3a\u200b <code>fasle</code>;</li> <li>\u200b\u5f53\u200b <code>true</code> \u200b\u7684\u200b vpc-dns \u200b\u88ab\u200b\u5220\u9664\u200b\u6389\u200b\uff0c\u200b\u4f1a\u200b\u83b7\u53d6\u200b\u5176\u4ed6\u200b <code>false</code> \u200b\u7684\u200b vpc-dns \u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/webhook/","title":"Webhook \u200b\u4f7f\u7528","text":"<p>\u200b\u4f7f\u7528\u200b Webhook \u200b\u53ef\u4ee5\u200b\u5bf9\u200b Kube-OVN \u200b\u5185\u200b\u7684\u200b CRD \u200b\u8d44\u6e90\u200b\u8fdb\u884c\u200b\u6821\u9a8c\u200b\uff0c\u200b\u76ee\u524d\u200b Webhook \u200b\u4e3b\u8981\u200b\u5b8c\u6210\u200b \u200b\u56fa\u5b9a\u200b IP \u200b\u5730\u5740\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\u548c\u200b Subnet CIDR \u200b\u7684\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\uff0c\u200b\u5e76\u200b\u5728\u200b\u8fd9\u7c7b\u200b\u8d44\u6e90\u200b\u521b\u5efa\u200b\u51b2\u7a81\u200b\u65f6\u200b\u63d0\u793a\u200b\u9519\u8bef\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b Webhook \u200b\u4f1a\u200b\u62e6\u622a\u200b\u6240\u6709\u200b\u7684\u200b Subnet \u200b\u548c\u200b Pod \u200b\u521b\u5efa\u200b\u7684\u200b\u8bf7\u6c42\u200b\uff0c\u200b\u56e0\u6b64\u200b\u9700\u8981\u200b\u5148\u200b\u90e8\u7f72\u200b Kube-OVN \u200b\u540e\u200b\u90e8\u7f72\u200b Webhook \u200b\u907f\u514d\u200b\u65e0\u6cd5\u200b\u521b\u5efa\u200b Pod\u3002</p>"},{"location":"guide/webhook/#cert-manager","title":"Cert-Manager \u200b\u5b89\u88c5","text":"<p>Webhook \u200b\u90e8\u7f72\u200b\u9700\u8981\u200b\u76f8\u5173\u200b\u8bc1\u4e66\u200b\u52a0\u5bc6\u200b\uff0c\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b cert-manager \u200b\u751f\u6210\u200b\u76f8\u5173\u200b\u8bc1\u4e66\u200b\uff0c\u200b\u6211\u4eec\u200b\u9700\u8981\u200b\u5728\u200b\u90e8\u7f72\u200b Webhook \u200b\u524d\u5148\u200b\u90e8\u7f72\u200b cert-manager\u3002</p> <p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u6765\u200b\u90e8\u7f72\u200b cert-manager:</p> <pre><code>kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.8.0/cert-manager.yaml\n</code></pre> <p>\u200b\u66f4\u200b\u591a\u200b cert-manager \u200b\u4f7f\u7528\u200b\u8bf7\u200b\u53c2\u8003\u200b cert-manager \u200b\u6587\u6863\u200b\u3002</p>"},{"location":"guide/webhook/#webhook_1","title":"\u5b89\u88c5\u200b Webhook","text":"<p>\u200b\u4e0b\u8f7d\u200b Webhook \u200b\u5bf9\u5e94\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b:</p> <pre><code># kubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/yamls/webhook.yaml\ndeployment.apps/kube-ovn-webhook created\nservice/kube-ovn-webhook created\nvalidatingwebhookconfiguration.admissionregistration.k8s.io/kube-ovn-webhook created\ncertificate.cert-manager.io/kube-ovn-webhook-serving-cert created\nissuer.cert-manager.io/kube-ovn-webhook-selfsigned-issuer created\n</code></pre>"},{"location":"guide/webhook/#webhook_2","title":"\u9a8c\u8bc1\u200b Webhook \u200b\u751f\u6548","text":"<p>\u200b\u67e5\u770b\u200b\u5df2\u200b\u8fd0\u884c\u200b Pod\uff0c\u200b\u5f97\u5230\u200b Pod IP <code>10.16.0.15</code>\uff1a</p> <pre><code># kubectl get pod -o wide\nNAME                      READY   STATUS    RESTARTS   AGE     IP           NODE              NOMINATED NODE   READINESS GATES\nstatic-7584848b74-fw9dm   1/1     Running   0          2d13h   10.16.0.15   kube-ovn-worker   &lt;none&gt; \n</code></pre> <p>\u200b\u7f16\u5199\u200b yaml \u200b\u521b\u5efa\u200b\u76f8\u540c\u200b IP \u200b\u7684\u200b Pod\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/ip_address: 10.16.0.15\n    ovn.kubernetes.io/mac_address: 00:00:00:53:6B:B6\n  labels:\n    app: static\n  managedFields:\n  name: staticip-pod\n  namespace: default\nspec:\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0a\u200b yaml \u200b\u521b\u5efa\u200b\u9759\u6001\u200b\u5730\u5740\u200b Pod \u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u63d0\u793a\u200b IP \u200b\u5730\u5740\u200b\u51b2\u7a81\u200b\uff1a</p> <pre><code># kubectl apply -f pod-static.yaml\nError from server (annotation ip address 10.16.0.15 is conflict with ip crd static-7584848b74-fw9dm.default 10.16.0.15): error when creating \"pod-static.yaml\": admission webhook \"pod-ip-validaing.kube-ovn.io\" denied the request: annotation ip address 10.16.0.15 is conflict with ip crd static-7584848b74-fw9dm.default 10.16.0.15\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/change-default-subnet/","title":"\u4fee\u6539\u200b\u5b50\u7f51\u200b CIDR","text":"<p>\u200b\u5982\u679c\u200b\u521b\u5efa\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u51b2\u7a81\u200b\u6216\u200b\u4e0d\u200b\u7b26\u5408\u200b\u9884\u671f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u672c\u200b\u6587\u6863\u200b\u7684\u200b\u6b65\u9aa4\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002</p> <p>\u200b\u4fee\u6539\u200b\u5b50\u7f51\u200b CIDR \u200b\u540e\u200b\u4e4b\u524d\u200b\u521b\u5efa\u200b\u7684\u200b Pod \u200b\u5c06\u200b\u65e0\u6cd5\u200b\u6b63\u5e38\u200b\u8bbf\u95ee\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u8fdb\u884c\u200b\u91cd\u5efa\u200b\u3002 \u200b\u5efa\u8bae\u200b\u64cd\u4f5c\u524d\u200b\u614e\u91cd\u8003\u8651\u200b\u3002\u200b\u672c\u6587\u200b\u53ea\u200b\u9488\u5bf9\u200b\u4e1a\u52a1\u200b\u5b50\u7f51\u200b CIDR \u200b\u66f4\u6539\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5982\u9700\u200b \u200b\u66f4\u6539\u200b Join \u200b\u5b50\u7f51\u200b CIDR \u200b\u8bf7\u200b\u53c2\u8003\u200b\u66f4\u6539\u200b Join \u200b\u5b50\u7f51\u200b CIDR\u3002</p>"},{"location":"ops/change-default-subnet/#_1","title":"\u7f16\u8f91\u200b\u5b50\u7f51","text":"<p>\u200b\u4f7f\u7528\u200b <code>kubectl edit</code> \u200b\u4fee\u6539\u200b\u5b50\u7f51\u200b <code>cidrBlock</code>\uff0c<code>gateway</code> \u200b\u548c\u200b <code>excludeIps</code>\u3002</p> <pre><code>kubectl edit subnet test-subnet\n</code></pre>"},{"location":"ops/change-default-subnet/#namespace-pod","title":"\u91cd\u5efa\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b\u7684\u200b Namespace \u200b\u4e0b\u200b\u6240\u6709\u200b Pod","text":"<p>\u200b\u4ee5\u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b <code>test</code> Namespace \u200b\u4e3a\u4f8b\u200b\uff1a</p> <pre><code>for pod in $(kubectl get pod --no-headers -n \"$ns\" --field-selector spec.restartPolicy=Always -o custom-columns=NAME:.metadata.name,HOST:spec.hostNetwork | awk '{if ($2!=\"true\") print $1}'); do\n  kubectl delete pod \"$pod\" -n test --ignore-not-found\ndone\n</code></pre> <p>\u200b\u82e5\u200b\u53ea\u200b\u4f7f\u7528\u200b\u4e86\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\u5220\u9664\u200b\u6240\u6709\u200b\u975e\u200b host \u200b\u7f51\u7edc\u200b\u6a21\u5f0f\u200b\u7684\u200b Pod\uff1a</p> <pre><code>for ns in $(kubectl get ns --no-headers -o custom-columns=NAME:.metadata.name); do\n  for pod in $(kubectl get pod --no-headers -n \"$ns\" --field-selector spec.restartPolicy=Always -o custom-columns=NAME:.metadata.name,HOST:spec.hostNetwork | awk '{if ($2!=\"true\") print $1}'); do\n    kubectl delete pod \"$pod\" -n \"$ns\" --ignore-not-found\n  done\ndone\n</code></pre>"},{"location":"ops/change-default-subnet/#_2","title":"\u66f4\u6539\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u914d\u7f6e","text":"<p>\u200b\u82e5\u200b\u4fee\u6539\u200b\u7684\u200b\u4e3a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u8fd8\u200b\u9700\u8981\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --default-cidr=10.17.0.0/16\n- --default-gateway=10.17.0.1\n- --default-exclude-ips=10.17.0.1\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/change-join-subnet/","title":"\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b CIDR","text":"<p>\u200b\u82e5\u200b\u53d1\u73b0\u200b\u521b\u5efa\u200b\u7684\u200b Join \u200b\u5b50\u7f51\u200b CIDR \u200b\u51b2\u7a81\u200b\u6216\u200b\u4e0d\u200b\u7b26\u5408\u200b\u9884\u671f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u672c\u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002</p> <p>\u200b\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b CIDR \u200b\u540e\u200b\u4e4b\u524d\u200b\u521b\u5efa\u200b\u7684\u200b Pod \u200b\u5c06\u200b\u65e0\u6cd5\u200b\u6b63\u5e38\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u9700\u8981\u200b\u7b49\u200b\u91cd\u5efa\u200b\u5b8c\u6210\u200b, \u200b\u5efa\u8bae\u200b\u524d\u200b\u64cd\u4f5c\u200b\u65f6\u200b\u614e\u91cd\u8003\u8651\u200b\u3002</p>"},{"location":"ops/change-join-subnet/#join","title":"\u5220\u9664\u200b Join \u200b\u5b50\u7f51","text":"<pre><code>kubectl patch subnet join --type='json' -p '[{\"op\": \"replace\", \"path\": \"/metadata/finalizers\", \"value\": []}]'\nkubectl delete subnet join\n</code></pre>"},{"location":"ops/change-join-subnet/#_1","title":"\u6e05\u7406\u200b\u76f8\u5173\u200b\u5206\u914d\u200b\u4fe1\u606f","text":"<pre><code>kubectl annotate node ovn.kubernetes.io/allocated=false --all --overwrite\n</code></pre>"},{"location":"ops/change-join-subnet/#join_1","title":"\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b\u76f8\u5173\u200b\u4fe1\u606f","text":"<p>\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> \u200b\u5185\u200b Join \u200b\u5b50\u7f51\u200b\u76f8\u5173\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code>kubectl edit deployment -n kube-system kube-ovn-controller\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u4e0b\u5217\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --node-switch-cidr=100.51.0.0/16\n</code></pre> <p>\u200b\u91cd\u542f\u200b <code>kube-ovn-controller</code> \u200b\u91cd\u5efa\u200b <code>join</code> \u200b\u5b50\u7f51\u200b\uff1a</p> <pre><code>kubectl delete pod -n kube-system -lapp=kube-ovn-controller\n</code></pre> <p>\u200b\u67e5\u770b\u200b\u65b0\u200b\u7684\u200b Join \u200b\u5b50\u7f51\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get subnet\nNAME          PROVIDER   VPC           PROTOCOL   CIDR            PRIVATE   NAT     DEFAULT   GATEWAYTYPE   V4USED   V4AVAILABLE   V6USED   V6AVAILABLE   EXCLUDEIPS\njoin          ovn        ovn-cluster   IPv4       100.51.0.0/16   false     false   false     distributed   2        65531         0        0             [\"100.51.0.1\"]\novn-default   ovn        ovn-cluster   IPv4       10.17.0.0/16    false     true    true      distributed   5        65528         0        0             [\"10.17.0.1\"]\n</code></pre>"},{"location":"ops/change-join-subnet/#ovn0","title":"\u91cd\u65b0\u914d\u7f6e\u200b ovn0 \u200b\u7f51\u5361\u200b\u5730\u5740","text":"<p>\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovn0</code> \u200b\u7f51\u5361\u200b\u4fe1\u606f\u200b\u9700\u8981\u200b\u91cd\u65b0\u200b\u66f4\u65b0\u200b\uff0c\u200b\u53ef\u200b\u901a\u8fc7\u200b\u91cd\u542f\u200b <code>kube-ovn-cni</code> \u200b\u6765\u200b\u5b8c\u6210\u200b\uff1a</p> <pre><code>kubectl delete pod -n kube-system -l app=kube-ovn-cni\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/change-log-level/","title":"\u8c03\u6574\u200b\u65e5\u5fd7\u200b\u7b49\u7ea7","text":"<p>\u200b\u6253\u5f00\u200b <code>kube-ovn.yaml</code>\uff0c\u200b\u5728\u200b\u670d\u52a1\u200b\u542f\u52a8\u200b\u811a\u672c\u200b\u7684\u200b\u53c2\u6570\u200b\u5217\u8868\u200b\u4e2d\u200b\u8bbe\u7f6e\u200b log \u200b\u7b49\u7ea7\u200b\uff0c\u200b\u6bd4\u5982\u200b\uff1a</p> <pre><code>vi kube-ovn.yaml\n# ...\n        - name: kube-ovn-controller\n          image: \"docker.io/kubeovn/kube-ovn:v1.13.0\"\n          imagePullPolicy: IfNotPresent\n          args:\n          - /kube-ovn/start-controller.sh\n          - --v=3\n# ...\n# log \u200b\u7b49\u7ea7\u200b\u8d8a\u9ad8\u200b\uff0clog \u200b\u5c31\u200b\u8d8a\u200b\u8be6\u7ec6\u200b\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/change-ovn-central-node/","title":"\u66f4\u6362\u200b ovn-central \u200b\u8282\u70b9","text":"<p>\u200b\u7531\u4e8e\u200b <code>ovn-central</code> \u200b\u5185\u200b\u7684\u200b <code>ovn-nb</code> \u200b\u548c\u200b <code>ovn-sb</code> \u200b\u5206\u522b\u200b\u5efa\u7acb\u200b\u4e86\u200b\u7c7b\u4f3c\u200b etcd \u200b\u7684\u200b raft \u200b\u96c6\u7fa4\u200b\uff0c\u200b\u56e0\u6b64\u200b\u66f4\u6362\u200b <code>ovn-central</code> \u200b\u8282\u70b9\u200b\u9700\u8981\u200b\u989d\u5916\u200b\u7684\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u4fdd\u8bc1\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u7684\u200b\u6b63\u786e\u200b\u548c\u200b\u6570\u636e\u200b\u7684\u200b\u4e00\u81f4\u200b\u3002\u200b\u5efa\u8bae\u200b\u6bcf\u6b21\u200b\u53ea\u200b\u5bf9\u200b\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u8fdb\u884c\u200b\u4e0a\u4e0b\u200b\u7ebf\u200b\u5904\u7406\u200b\uff0c\u200b\u4ee5\u200b\u907f\u514d\u200b\u96c6\u7fa4\u200b\u8fdb\u5165\u200b\u4e0d\u53ef\u200b\u7528\u200b \u200b\u72b6\u6001\u200b\uff0c\u200b\u5f71\u54cd\u200b\u96c6\u7fa4\u200b\u6574\u4f53\u200b\u7f51\u7edc\u200b\u3002</p>"},{"location":"ops/change-ovn-central-node/#ovn-central_1","title":"ovn-central \u200b\u8282\u70b9\u200b\u4e0b\u7ebf","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u9488\u5bf9\u200b\u5982\u4e0b\u200b\u7684\u200b\u96c6\u7fa4\u200b\u60c5\u51b5\u200b\uff0c\u200b\u4ee5\u4e0b\u200b\u7ebf\u200b <code>kube-ovn-control-plane2</code> \u200b\u8282\u70b9\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u4ecb\u7ecd\u200b\u5982\u4f55\u200b\u5c06\u200b\u5176\u200b\u4ece\u200b <code>ovn-central</code> \u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u79fb\u9664\u200b\u3002</p> <pre><code># kubectl -n kube-system get pod -o wide | grep central\novn-central-6bf58cbc97-2cdhg                      1/1     Running   0             21m   172.18.0.3   kube-ovn-control-plane    &lt;none&gt;           &lt;none&gt;\novn-central-6bf58cbc97-crmfp                      1/1     Running   0             21m   172.18.0.5   kube-ovn-control-plane2   &lt;none&gt;           &lt;none&gt;\novn-central-6bf58cbc97-lxmpl                      1/1     Running   0             21m   172.18.0.4   kube-ovn-control-plane3   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-nb","title":"\u4e0b\u7ebf\u200b ovn-nb \u200b\u96c6\u7fa4\u200b\u5185\u200b\u5bf9\u5e94\u200b\u8282\u70b9","text":"<p>\u200b\u9996\u5148\u200b\u67e5\u770b\u200b\u8282\u70b9\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b ID\uff0c\u200b\u4ee5\u4fbf\u200b\u540e\u7eed\u200b\u64cd\u4f5c\u200b\u3002</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2135194 ms ago, reason: timeout\nLast Election won: 2135188 ms ago\nElection timer: 5000\nLog: [135, 135]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-d64b -&gt;d64b &lt;-4984 -&gt;4984\nDisconnections: 0\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=135 match_index=134 last msg 1084 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=2 match_index=134\n    d64b (d64b at tcp:[172.18.0.5]:6643) next_index=135 match_index=134 last msg 1084 ms ago\nstatus: ok\n</code></pre> <p><code>kube-ovn-control-plane2</code> \u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b IP \u200b\u4e3a\u200b <code>172.18.0.5</code>\uff0c\u200b\u96c6\u7fa4\u200b\u5185\u200b\u5bf9\u5e94\u200b\u7684\u200b ID \u200b\u4e3a\u200b <code>d64b</code>\u3002\u200b\u63a5\u4e0b\u6765\u200b\u4ece\u200b ovn-nb \u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u8e22\u200b\u51fa\u8be5\u200b\u8282\u70b9\u200b\uff1a</p> <pre><code># kubectl ko nb kick d64b\nstarted removal\n</code></pre> <p>\u200b\u786e\u8ba4\u200b\u8282\u70b9\u200b\u8e22\u200b\u51fa\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2297649 ms ago, reason: timeout\nLast Election won: 2297643 ms ago\nElection timer: 5000\nLog: [136, 136]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-4984 -&gt;4984\nDisconnections: 2\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=136 match_index=135 last msg 1270 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=2 match_index=135\nstatus: ok\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-sb","title":"\u4e0b\u7ebf\u200b ovn-sb \u200b\u96c6\u7fa4\u200b\u5185\u200b\u5bf9\u5e94\u200b\u8282\u70b9","text":"<p>\u200b\u63a5\u4e0b\u6765\u200b\u9700\u8981\u200b\u64cd\u4f5c\u200b ovn-sb \u200b\u96c6\u7fa4\u200b\uff0c\u200b\u9996\u5148\u200b\u67e5\u770b\u200b\u8282\u70b9\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b ID\uff0c\u200b\u4ee5\u4fbf\u200b\u540e\u7eed\u200b\u64cd\u4f5c\u200b\uff1a</p> <pre><code>kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2395317 ms ago, reason: timeout\nLast Election won: 2395316 ms ago\nElection timer: 5000\nLog: [130, 130]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-e9f7 -&gt;e9f7 &lt;-6e84 -&gt;6e84\nDisconnections: 0\nServers:\n    e9f7 (e9f7 at tcp:[172.18.0.5]:6644) next_index=130 match_index=129 last msg 1006 ms ago\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=130 match_index=129 last msg 1004 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=2 match_index=129\nstatus: ok\n</code></pre> <p><code>kube-ovn-control-plane2</code> \u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b IP \u200b\u4e3a\u200b <code>172.18.0.5</code>\uff0c\u200b\u96c6\u7fa4\u200b\u5185\u200b\u5bf9\u5e94\u200b\u7684\u200b ID \u200b\u4e3a\u200b <code>e9f7</code>\u3002\u200b\u63a5\u4e0b\u6765\u200b\u4ece\u200b ovn-sb \u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u8e22\u200b\u51fa\u8be5\u200b\u8282\u70b9\u200b\uff1a</p> <pre><code># kubectl ko sb kick e9f7\nstarted removal\n</code></pre> <p>\u200b\u786e\u8ba4\u200b\u8282\u70b9\u200b\u8e22\u200b\u51fa\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2481636 ms ago, reason: timeout\nLast Election won: 2481635 ms ago\nElection timer: 5000\nLog: [131, 131]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-6e84 -&gt;6e84\nDisconnections: 2\nServers:\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=131 match_index=130 last msg 642 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=2 match_index=130\nstatus: ok\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-central_2","title":"\u5220\u9664\u200b\u8282\u70b9\u200b\u6807\u7b7e\u200b\uff0c\u200b\u5e76\u200b\u7f29\u5bb9\u200b ovn-central","text":"<p>\u200b\u6ce8\u610f\u200b\u9700\u5728\u200b ovn-central \u200b\u73af\u5883\u53d8\u91cf\u200b <code>NODE_IPS</code> \u200b\u7684\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u4e2d\u200b\u5220\u9664\u200b\u4e0b\u7ebf\u200b\u8282\u70b9\u200b\u3002</p> <pre><code>kubectl label node kube-ovn-control-plane2 kube-ovn/role-\nkubectl scale deployment -n kube-system ovn-central --replicas=2\nkubectl set env deployment/ovn-central -n kube-system NODE_IPS=\"172.18.0.3,172.18.0.4\"\nkubectl rollout status deployment/ovn-central -n kube-system \n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-central_3","title":"\u4fee\u6539\u200b\u5176\u4ed6\u200b\u7ec4\u4ef6\u200b\u8fde\u63a5\u200b ovn-central \u200b\u5730\u5740","text":"<p>\u200b\u4fee\u6539\u200b <code>ovs-ovn</code> \u200b\u5185\u200b\u8fde\u63a5\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5220\u9664\u200b\u4e0b\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</p> <pre><code># kubectl set env daemonset/ovs-ovn -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4\"\ndaemonset.apps/ovs-ovn env updated\n# kubectl delete pod -n kube-system -lapp=ovs\npod \"ovs-ovn-4f6jc\" deleted\npod \"ovs-ovn-csn2w\" deleted\npod \"ovs-ovn-mpbmb\" deleted\n</code></pre> <p>\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> \u200b\u5185\u200b\u8fde\u63a5\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5220\u9664\u200b\u4e0b\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</p> <pre><code># kubectl set env deployment/kube-ovn-controller -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4\"\ndeployment.apps/kube-ovn-controller env updated\n\n# kubectl rollout status deployment/kube-ovn-controller -n kube-system\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\n</code></pre>"},{"location":"ops/change-ovn-central-node/#_1","title":"\u6e05\u7406\u200b\u8282\u70b9","text":"<p>\u200b\u5220\u9664\u200b <code>kube-ovn-control-plane2</code> \u200b\u8282\u70b9\u200b\u5185\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\uff0c\u200b\u907f\u514d\u200b\u91cd\u590d\u200b\u6dfb\u52a0\u200b\u8282\u70b9\u200b\u65f6\u200b\u53d1\u751f\u200b\u5f02\u5e38\u200b\uff1a</p> <pre><code>rm -rf /etc/origin/ovn\n</code></pre> <p>\u200b\u5982\u9700\u200b\u5c06\u200b\u8282\u70b9\u200b\u4ece\u200b\u6574\u4e2a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u4e0b\u7ebf\u200b\uff0c\u200b\u8fd8\u200b\u9700\u200b\u7ee7\u7eed\u200b\u53c2\u8003\u200b\u5220\u9664\u200b\u5de5\u4f5c\u200b\u8282\u70b9\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\u3002</p>"},{"location":"ops/change-ovn-central-node/#ovn-central_4","title":"ovn-central \u200b\u8282\u70b9\u200b\u4e0a\u7ebf","text":"<p>\u200b\u4e0b\u5217\u200b\u6b65\u9aa4\u200b\u4f1a\u200b\u5c06\u200b\u4e00\u4e2a\u200b\u65b0\u200b\u7684\u200b Kubernetes \u200b\u8282\u70b9\u200b\u52a0\u5165\u200b <code>ovn-central</code> \u200b\u96c6\u7fa4\u200b\u3002</p>"},{"location":"ops/change-ovn-central-node/#_2","title":"\u76ee\u5f55\u200b\u68c0\u67e5","text":"<p>\u200b\u68c0\u67e5\u200b\u65b0\u589e\u200b\u8282\u70b9\u200b\u7684\u200b <code>/etc/origin/ovn</code> \u200b\u76ee\u5f55\u200b\u4e2d\u200b\u662f\u5426\u200b\u5b58\u5728\u200b <code>ovnnb_db.db</code> \u200b\u6216\u200b <code>ovnsb_db.db</code> \u200b\u6587\u4ef6\u200b\uff0c\u200b\u82e5\u200b\u5b58\u5728\u200b\u9700\u200b\u63d0\u524d\u200b\u5220\u9664\u200b\uff1a</p> <pre><code>rm -rf /etc/origin/ovn\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-central_5","title":"\u786e\u8ba4\u200b\u5f53\u524d\u200b ovn-central \u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u6b63\u5e38","text":"<p>\u200b\u82e5\u200b\u5f53\u524d\u200b <code>ovn-central</code> \u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u5df2\u7ecf\u200b\u5f02\u5e38\u200b\uff0c\u200b\u65b0\u589e\u200b\u8282\u70b9\u200b\u53ef\u80fd\u200b\u5bfc\u81f4\u200b\u6295\u7968\u9009\u4e3e\u200b\u65e0\u6cd5\u200b\u8fc7\u534a\u6570\u200b\uff0c\u200b\u5f71\u54cd\u200b\u540e\u7eed\u200b\u64cd\u4f5c\u200b\u3002</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 44\nLeader: self\nVote: self\n\nLast Election started 1855739 ms ago, reason: timeout\nLast Election won: 1855729 ms ago\nElection timer: 5000\nLog: [147, 147]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: -&gt;4984 &lt;-4984\nDisconnections: 0\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=147 match_index=146 last msg 367 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=140 match_index=146\nstatus: ok\n\n# kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 33\nLeader: self\nVote: self\n\nLast Election started 1868589 ms ago, reason: timeout\nLast Election won: 1868579 ms ago\nElection timer: 5000\nLog: [142, 142]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: -&gt;6e84 &lt;-6e84\nDisconnections: 0\nServers:\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=142 match_index=141 last msg 728 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=134 match_index=141\nstatus: ok\n</code></pre>"},{"location":"ops/change-ovn-central-node/#_3","title":"\u7ed9\u200b\u8282\u70b9\u200b\u589e\u52a0\u200b\u6807\u7b7e\u200b\u5e76\u200b\u6269\u5bb9","text":"<p>\u200b\u6ce8\u610f\u200b\u9700\u5728\u200b ovn-central \u200b\u73af\u5883\u53d8\u91cf\u200b <code>NODE_IPS</code> \u200b\u7684\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u4e2d\u200b\u589e\u52a0\u200b\u4e0a\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</p> <pre><code>kubectl label node kube-ovn-control-plane2 kube-ovn/role=master\nkubectl scale deployment -n kube-system ovn-central --replicas=3\nkubectl set env deployment/ovn-central -n kube-system NODE_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\nkubectl rollout status deployment/ovn-central -n kube-system\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-central_6","title":"\u4fee\u6539\u200b\u5176\u4ed6\u200b\u7ec4\u4ef6\u200b\u8fde\u63a5\u200b ovn-central \u200b\u5730\u5740","text":"<p>\u200b\u4fee\u6539\u200b <code>ovs-ovn</code> \u200b\u5185\u200b\u8fde\u63a5\u200b\u4fe1\u606f\u200b\uff0c\u200b\u589e\u52a0\u200b\u4e0a\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\uff1a</p> <pre><code># kubectl set env daemonset/ovs-ovn -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\ndaemonset.apps/ovs-ovn env updated\n# kubectl delete pod -n kube-system -lapp=ovs\npod \"ovs-ovn-4f6jc\" deleted\npod \"ovs-ovn-csn2w\" deleted\npod \"ovs-ovn-mpbmb\" deleted\n</code></pre> <p>\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> \u200b\u5185\u200b\u8fde\u63a5\u200b\u4fe1\u606f\u200b\uff0c\u200b\u589e\u52a0\u200b\u4e0a\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\uff1a</p> <pre><code># kubectl set env deployment/kube-ovn-controller -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\ndeployment.apps/kube-ovn-controller env updated\n\n# kubectl rollout status deployment/kube-ovn-controller -n kube-system\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/delete-worker-node/","title":"\u5220\u9664\u200b\u5de5\u4f5c\u200b\u8282\u70b9","text":"<p>\u200b\u5982\u679c\u200b\u53ea\u662f\u200b\u7b80\u5355\u200b\u4ece\u200b Kubernetes \u200b\u4e2d\u200b\u5220\u9664\u200b\u8282\u70b9\u200b\uff0c\u200b\u7531\u4e8e\u200b\u8282\u70b9\u200b\u4e0a\u200b <code>ovs-ovn</code> \u200b\u4e2d\u200b\u8fd0\u884c\u200b\u7684\u200b <code>ovn-controller</code> \u200b\u8fdb\u7a0b\u200b\u4ecd\u200b\u5728\u200b\u8fd0\u884c\u200b\u4f1a\u200b\u5b9a\u671f\u200b\u8fde\u63a5\u200b <code>ovn-central</code> \u200b\u6ce8\u518c\u200b\u76f8\u5173\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\uff0c \u200b\u4f1a\u200b\u5bfc\u81f4\u200b\u989d\u5916\u200b\u8d44\u6e90\u200b\u6d6a\u8d39\u200b\u5e76\u200b\u6709\u200b\u6f5c\u5728\u200b\u7684\u200b\u89c4\u5219\u200b\u51b2\u7a81\u200b\u98ce\u9669\u200b\u3002 \u200b\u56e0\u6b64\u200b\u5728\u200b\u4ece\u200b Kubernetes \u200b\u5185\u200b\u5220\u9664\u200b\u8282\u70b9\u200b\u65f6\u200b\uff0c\u200b\u8bf7\u200b\u6309\u7167\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u6765\u200b\u4fdd\u8bc1\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\u53ef\u4ee5\u200b\u6b63\u5e38\u200b\u88ab\u200b\u6e05\u7406\u200b\u3002</p> <p>\u200b\u8be5\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b\u5220\u9664\u200b\u5de5\u4f5c\u200b\u8282\u70b9\u200b\u7684\u200b\u6b65\u9aa4\u200b\uff0c\u200b\u5982\u9700\u200b\u66f4\u6362\u200b <code>ovn-central</code> \u200b\u6240\u5728\u200b\u8282\u70b9\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b\u66f4\u6362\u200b ovn-central \u200b\u8282\u70b9\u200b\u3002</p>"},{"location":"ops/delete-worker-node/#_2","title":"\u9a71\u9010\u200b\u8282\u70b9\u200b\u4e0a\u200b\u6240\u6709\u200b\u5bb9\u5668","text":"<pre><code> # kubectl drain kube-ovn-worker --ignore-daemonsets --force\n node/kube-ovn-worker cordoned\n WARNING: ignoring DaemonSet-managed Pods: kube-system/kube-ovn-cni-zt74b, kube-system/kube-ovn-pinger-5rxfs, kube-system/kube-proxy-jpmnm, kube-system/ovs-ovn-v2kll\n evicting pod kube-system/coredns-64897985d-qsgpt\n evicting pod local-path-storage/local-path-provisioner-5ddd94ff66-llss6\n evicting pod kube-system/kube-ovn-controller-8459db5ff4-94lxb\n pod/kube-ovn-controller-8459db5ff4-94lxb evicted\n pod/coredns-64897985d-qsgpt evicted\n pod/local-path-provisioner-5ddd94ff66-llss6 evicted\n node/kube-ovn-worker drained\n</code></pre>"},{"location":"ops/delete-worker-node/#kubelet-docker","title":"\u505c\u6b62\u200b kubelet \u200b\u548c\u200b docker","text":"<p>\u200b\u8be5\u200b\u6b65\u9aa4\u200b\u4f1a\u200b\u505c\u6b62\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u4ee5\u200b\u907f\u514d\u200b\u5411\u200b <code>ovn-central</code> \u200b\u8fdb\u884c\u200b\u4fe1\u606f\u200b\u6ce8\u518c\u200b\uff0c\u200b\u767b\u5f55\u200b\u5230\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>systemctl stop kubelet\nsystemctl stop docker\n</code></pre> <p>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b\u7684\u200b CRI \u200b\u4e3a\u200b containerd\uff0c\u200b\u9700\u8981\u200b\u6267\u884c\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u6765\u200b\u505c\u6b62\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff1a</p> <pre><code>crictl rm -f $(crictl ps | grep openvswitch | awk '{print $1}')\n</code></pre>"},{"location":"ops/delete-worker-node/#node","title":"\u6e05\u7406\u200b Node \u200b\u4e0a\u200b\u7684\u200b\u6b8b\u7559\u200b\u6570\u636e","text":"<pre><code>rm -rf /var/run/openvswitch\nrm -rf /var/run/ovn\nrm -rf /etc/origin/openvswitch/\nrm -rf /etc/origin/ovn/\nrm -rf /etc/cni/net.d/00-kube-ovn.conflist\nrm -rf /etc/cni/net.d/01-kube-ovn.conflist\nrm -rf /var/log/openvswitch\nrm -rf /var/log/ovn\n</code></pre>"},{"location":"ops/delete-worker-node/#kubectl","title":"\u4f7f\u7528\u200b kubectl \u200b\u5220\u9664\u200b\u8282\u70b9","text":"<pre><code>kubectl delete no kube-ovn-01\n</code></pre>"},{"location":"ops/delete-worker-node/#ovn-sb","title":"\u68c0\u67e5\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b\u662f\u5426\u200b\u4ece\u200b ovn-sb \u200b\u4e2d\u200b\u5220\u9664","text":"<p>\u200b\u4e0b\u9762\u200b\u7684\u200b\u793a\u4f8b\u200b\u4e3a\u200b <code>kube-ovn-worker</code> \u200b\u4f9d\u7136\u200b\u672a\u200b\u88ab\u200b\u5220\u9664\u200b\uff1a</p> <pre><code># kubectl ko sbctl show\nChassis \"b0564934-5a0d-4804-a4c0-476c93596a17\"\n  hostname: kube-ovn-worker\n  Encap geneve\n      ip: \"172.18.0.2\"\n      options: {csum=\"true\"}\n  Port_Binding kube-ovn-pinger-5rxfs.kube-system\nChassis \"6a29de7e-d731-4eaf-bacd-2f239ee52b28\"\n  hostname: kube-ovn-control-plane\n  Encap geneve\n      ip: \"172.18.0.3\"\n      options: {csum=\"true\"}\n  Port_Binding coredns-64897985d-nbfln.kube-system\n  Port_Binding node-kube-ovn-control-plane\n  Port_Binding local-path-provisioner-5ddd94ff66-h4tn9.local-path-storage\n  Port_Binding kube-ovn-pinger-hf2p6.kube-system\n  Port_Binding coredns-64897985d-fhwlw.kube-system\n</code></pre>"},{"location":"ops/delete-worker-node/#chassis","title":"\u82e5\u200b\u8282\u70b9\u200b\u5bf9\u5e94\u200b\u7684\u200b chassis \u200b\u4f9d\u7136\u200b\u5b58\u5728\u200b\uff0c\u200b\u624b\u52a8\u200b\u8fdb\u884c\u200b\u5220\u9664","text":"<p>uuid \u200b\u4e3a\u200b\u4e4b\u524d\u200b\u547d\u4ee4\u200b\u6240\u200b\u67e5\u51fa\u200b\u7684\u200b Chassis \u200b\u5bf9\u5e94\u200b id\uff1a</p> <pre><code># kubectl ko sbctl chassis-del b0564934-5a0d-4804-a4c0-476c93596a17\n# kubectl ko sbctl show\nChassis \"6a29de7e-d731-4eaf-bacd-2f239ee52b28\"\n  hostname: kube-ovn-control-plane\n  Encap geneve\n      ip: \"172.18.0.3\"\n      options: {csum=\"true\"}\n  Port_Binding coredns-64897985d-nbfln.kube-system\n  Port_Binding node-kube-ovn-control-plane\n  Port_Binding local-path-provisioner-5ddd94ff66-h4tn9.local-path-storage\n  Port_Binding kube-ovn-pinger-hf2p6.kube-system\n  Port_Binding coredns-64897985d-fhwlw.kube-system\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/faq/","title":"\u5176\u4ed6\u200b\u5e38\u89c1\u95ee\u9898","text":""},{"location":"ops/faq/#arm","title":"\u9e92\u9e9f\u200b ARM \u200b\u7cfb\u7edf\u200b\u8de8\u200b\u4e3b\u673a\u200b\u5bb9\u5668\u200b\u8bbf\u95ee\u200b\u95f4\u6b47\u200b\u5931\u8d25","text":""},{"location":"ops/faq/#_2","title":"\u73b0\u8c61","text":"<p>\u200b\u9e92\u9e9f\u200b ARM \u200b\u7cfb\u7edf\u200b\u548c\u200b\u90e8\u5206\u200b\u56fd\u4ea7\u5316\u200b\u7f51\u5361\u200b offload \u200b\u914d\u5408\u200b\u5b58\u5728\u200b\u95ee\u9898\u200b\uff0c\u200b\u4f1a\u200b\u5bfc\u81f4\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u95f4\u6b47\u200b\u6545\u969c\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b <code>netstat</code> \u200b\u786e\u8ba4\u200b\u95ee\u9898\u200b\uff1a</p> <pre><code># netstat -us\nIcmpMsg:\n    InType0: 22\n    InType3: 24\n    InType8: 117852\n    OutType0: 117852\n    OutType3: 29\n    OutType8: 22\nUdp:\n    3040636 packets received\n    0 packets to unknown port received.\n    4 packet receive errors\n    602 packets sent\n    0 receive buffer errors\n    0 send buffer errors\n    InCsumErrors: 4\nUdpLite:\nIpExt:\n    InBcastPkts: 10244\n    InOctets: 4446320361\n    OutOctets: 1496815600\n    InBcastOctets: 3095950\n    InNoECTPkts: 7683903\n</code></pre> <p>\u200b\u82e5\u200b\u5b58\u5728\u200b <code>InCsumErrors</code>\uff0c\u200b\u4e14\u200b\u968f\u7740\u200b\u8bbf\u95ee\u200b\u5931\u8d25\u200b\u589e\u52a0\u200b\uff0c\u200b\u53ef\u200b\u786e\u8ba4\u200b\u662f\u200b\u8be5\u200b\u95ee\u9898\u200b\u3002</p>"},{"location":"ops/faq/#_3","title":"\u89e3\u51b3\u200b\u65b9\u6cd5","text":"<p>\u200b\u6839\u672c\u200b\u89e3\u51b3\u200b\u9700\u8981\u200b\u548c\u200b\u9e92\u9e9f\u200b\u4ee5\u53ca\u200b\u5bf9\u5e94\u200b\u7f51\u5361\u200b\u5382\u5546\u200b\u6c9f\u901a\u200b\uff0c\u200b\u66f4\u65b0\u200b\u7cfb\u7edf\u200b\u548c\u200b\u9a71\u52a8\u200b\u3002\u200b\u4e34\u65f6\u200b\u89e3\u51b3\u200b\u53ef\u200b\u5148\u200b\u5173\u95ed\u200b\u7269\u7406\u200b \u200b\u7f51\u5361\u200b\u7684\u200b <code>tx offload</code> \u200b\u4f46\u662f\u200b\u4f1a\u200b\u5bfc\u81f4\u200b tcp \u200b\u6027\u80fd\u200b\u6709\u200b\u8f83\u200b\u660e\u663e\u200b\u4e0b\u964d\u200b\u3002</p> <pre><code>ethtool -K eth0 tx off\n</code></pre> <p>\u200b\u7ecf\u200b\u793e\u533a\u200b\u53cd\u9988\u200b\u4f7f\u7528\u200b <code>4.19.90-25.16.v2101</code> \u200b\u5185\u6838\u200b\u540e\u200b\u53ef\u4ee5\u200b\u89e3\u51b3\u200b\u8be5\u200b\u95ee\u9898\u200b\u3002</p>"},{"location":"ops/faq/#pod-service","title":"Pod \u200b\u8bbf\u95ee\u200b Service \u200b\u4e0d\u901a","text":""},{"location":"ops/faq/#_4","title":"\u73b0\u8c61","text":"<p>Pod \u200b\u5185\u200b\u65e0\u6cd5\u8bbf\u95ee\u200b Service \u200b\u5bf9\u5e94\u200b\u7684\u200b\u670d\u52a1\u200b\uff0c<code>dmesg</code> \u200b\u663e\u793a\u200b\u5f02\u5e38\u200b\uff1a</p> <pre><code>netlink: Unknown conntrack attr (type=6, max=5)\nopenvswitch: netlink: Flow actions may not be safe on all matching packets.\n</code></pre> <p>\u200b\u8be5\u200b\u65e5\u5fd7\u200b\u8bf4\u660e\u200b\u5185\u6838\u200b\u5185\u200b OVS \u200b\u7248\u672c\u200b\u8fc7\u4f4e\u200b\u4e0d\u200b\u652f\u6301\u200b\u5bf9\u5e94\u200b NAT \u200b\u64cd\u4f5c\u200b\u3002</p>"},{"location":"ops/faq/#_5","title":"\u89e3\u51b3\u200b\u65b9\u6cd5","text":"<ol> <li>\u200b\u5347\u7ea7\u200b\u5185\u6838\u6a21\u5757\u200b\u6216\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u3002</li> <li>\u200b\u82e5\u200b\u53ea\u200b\u4f7f\u7528\u200b Overlay \u200b\u7f51\u7edc\u200b\u53ef\u4ee5\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> \u200b\u542f\u52a8\u200b\u53c2\u6570\u8bbe\u7f6e\u200b <code>--enable-lb=false</code> \u200b\u5173\u95ed\u200b OVN LB \u200b\u4f7f\u7528\u200b kube-proxy \u200b\u8fdb\u884c\u200b Service \u200b\u8f6c\u53d1\u200b\u3002</li> </ol>"},{"location":"ops/faq/#ovn-central","title":"ovn-central \u200b\u51fa\u73b0\u200b\u9891\u7e41\u200b\u9009\u4e3b","text":""},{"location":"ops/faq/#_6","title":"\u73b0\u8c61","text":"<p>\u200b\u4ece\u200b v1.11.x \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c1w Pod \u200b\u4ee5\u4e0a\u200b\u7684\u200b\u96c6\u7fa4\u200b\uff0c\u200b\u5982\u679c\u200b OVN NB \u200b\u6216\u8005\u200b SB \u200b\u51fa\u73b0\u200b\u9891\u7e41\u200b\u9009\u4e3b\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u80fd\u200b\u539f\u56e0\u200b\u662f\u200b Kube-OVN \u200b\u5468\u671f\u200b\u8fdb\u884c\u200b\u4e86\u200b ovsdb-server/compact \u200b\u52a8\u4f5c\u200b\uff0c\u200b\u5f71\u54cd\u200b\u5230\u200b\u9009\u4e3b\u200b\u903b\u8f91\u200b\u3002</p>"},{"location":"ops/faq/#_7","title":"\u89e3\u51b3\u200b\u65b9\u6cd5","text":"<p>\u200b\u53ef\u4ee5\u200b\u7ed9\u200b ovn-central \u200b\u914d\u7f6e\u200b\u73af\u5883\u53d8\u91cf\u200b\u5982\u4e0b\u200b\uff0c\u200b\u5173\u95ed\u200b compact\uff1a</p> <pre><code>- name: ENABLE_COMPACT\n  value: \"false\"\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/from-calico/","title":"\u5378\u8f7d\u200b Calico \u200b\u5b89\u88c5\u200b Kube-OVN","text":"<p>\u200b\u82e5\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u5df2\u200b\u5b89\u88c5\u200b Calico \u200b\u9700\u8981\u200b\u53d8\u66f4\u200b\u4e3a\u200b Kube-OVN \u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u672c\u200b\u6587\u6863\u200b\u3002</p> <p>\u200b\u672c\u6587\u200b\u4ee5\u200b Calico v3.24.1 \u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u5176\u5b83\u200b Calico \u200b\u7248\u672c\u200b\u9700\u8981\u200b\u6839\u636e\u200b\u5b9e\u9645\u200b\u60c5\u51b5\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\u3002</p>"},{"location":"ops/from-calico/#_1","title":"\u51c6\u5907\u200b\u5de5\u4f5c","text":"<p>\u200b\u4e3a\u4e86\u200b\u4fdd\u8bc1\u200b\u5207\u6362\u200b CNI \u200b\u8fc7\u7a0b\u200b\u4e2d\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u4fdd\u6301\u200b\u7545\u901a\u200b\uff0cCalico ippool \u200b\u9700\u8981\u200b\u5f00\u542f\u200b nat outgoing\uff0c\u200b\u6216\u200b\u5728\u200b\u6240\u6709\u200b\u8282\u70b9\u200b\u4e0a\u200b\u5173\u95ed\u200b rp_filter\uff1a</p> <pre><code>sysctl net.ipv4.conf.all.rp_filter=0\nsysctl net.ipv4.conf.default.rp_filter=0\n# IPIP \u200b\u6a21\u5f0f\u200b\nsysctl net.ipv4.conf.tunl0.rp_filter=0\n# VXLAN \u200b\u6a21\u5f0f\u200b\nsysctl net.ipv4.conf.vxlan/calico.rp_filter=0\n# \u200b\u8def\u7531\u200b\u6a21\u5f0f\u200b\uff0ceth0 \u200b\u9700\u8981\u200b\u4fee\u6539\u200b\u4e3a\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\nsysctl net.ipv4.conf.eth0.rp_filter=0\n</code></pre>"},{"location":"ops/from-calico/#kube-ovn","title":"\u90e8\u7f72\u200b Kube-OVN","text":""},{"location":"ops/from-calico/#_2","title":"\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c","text":"<pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre>"},{"location":"ops/from-calico/#_3","title":"\u4fee\u6539\u200b\u5b89\u88c5\u200b\u811a\u672c","text":"<p>\u200b\u5c06\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u91cd\u5efa\u200b Pod \u200b\u7684\u200b\u90e8\u5206\u200b\u5220\u9664\u200b\uff1a</p> <pre><code>echo \"[Step 4/6] Delete pod that not in host network mode\"\nfor ns in $(kubectl get ns --no-headers -o custom-columns=NAME:.metadata.name); do\n  for pod in $(kubectl get pod --no-headers -n \"$ns\" --field-selector spec.restartPolicy=Always -o custom-columns=NAME:.metadata.name,HOST:spec.hostNetwork | awk '{if ($2!=\"true\") print $1}'); do\n    kubectl delete pod \"$pod\" -n \"$ns\" --ignore-not-found\n  done\ndone\n</code></pre> <p>\u200b\u6309\u200b\u9700\u200b\u4fee\u6539\u200b\u4ee5\u4e0b\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>REGISTRY=\"kubeovn\"                     # \u200b\u955c\u50cf\u200b\u4ed3\u5e93\u200b\u5730\u5740\u200b\nVERSION=\"v1.13.0\"                      # \u200b\u955c\u50cf\u200b\u7248\u672c\u200b/Tag\nPOD_CIDR=\"10.16.0.0/16\"                # \u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u8981\u200b\u548c\u200b SVC/NODE/JOIN CIDR \u200b\u91cd\u53e0\u200b\nSVC_CIDR=\"10.96.0.0/12\"                # \u200b\u9700\u8981\u200b\u548c\u200b apiserver \u200b\u7684\u200b service-cluster-ip-range \u200b\u4fdd\u6301\u4e00\u81f4\u200b\nJOIN_CIDR=\"100.64.0.0/16\"              # Pod \u200b\u548c\u200b\u4e3b\u673a\u200b\u901a\u4fe1\u200b\u7f51\u7edc\u200b CIDR\uff0c\u200b\u4e0d\u8981\u200b\u548c\u200b SVC/NODE/POD CIDR \u200b\u91cd\u53e0\u200b \nLABEL=\"node-role.kubernetes.io/master\" # \u200b\u90e8\u7f72\u200b OVN DB \u200b\u8282\u70b9\u200b\u7684\u200b\u6807\u7b7e\u200b\nIFACE=\"\"                               # \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u6240\u200b\u4f7f\u7528\u200b\u7684\u200b\u7684\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u5982\u679c\u200b\u4e3a\u200b\u7a7a\u5219\u200b\u4f7f\u7528\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b Node IP \u200b\u6240\u5728\u200b\u7f51\u5361\u200b\nTUNNEL_TYPE=\"geneve\"                   # \u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\uff0c\u200b\u53ef\u200b\u9009\u200b geneve, vxlan \u200b\u6216\u200b stt\uff0cstt \u200b\u9700\u8981\u200b\u5355\u72ec\u200b\u7f16\u8bd1\u200b ovs \u200b\u5185\u6838\u6a21\u5757\u200b\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1aPOD_CIDR \u200b\u53ca\u200b JOIN_CIDR \u200b\u4e0d\u53ef\u200b\u4e0e\u200b Calico ippool \u200b\u7684\u200b CIDR \u200b\u51b2\u7a81\u200b\uff0c\u200b\u4e14\u200b POD_CIDR \u200b\u9700\u8981\u200b\u5305\u542b\u200b\u8db3\u591f\u200b\u591a\u200b\u7684\u200b IP \u200b\u6765\u200b\u5bb9\u7eb3\u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u5df2\u6709\u200b\u7684\u200b Pod\u3002</p>"},{"location":"ops/from-calico/#_4","title":"\u6267\u884c\u200b\u5b89\u88c5\u200b\u811a\u672c","text":"<pre><code>bash install.sh\n</code></pre>"},{"location":"ops/from-calico/#_5","title":"\u9010\u4e2a\u200b\u8282\u70b9\u200b\u8fc1\u79fb","text":"<p>\u200b\u6309\u7167\u200b\u4ee5\u4e0b\u200b\u65b9\u6cd5\u200b\u4e3a\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u9010\u4e2a\u200b\u8fdb\u884c\u200b\u8fc1\u79fb\u200b\u3002 \u200b\u6ce8\u610f\u200b\uff1a\u200b\u547d\u4ee4\u200b\u4e2d\u200b\u7684\u200b \\&lt;NODE&gt; \u200b\u9700\u8981\u200b\u66ff\u6362\u200b\u4e3a\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b\u3002</p>"},{"location":"ops/from-calico/#_6","title":"\u9a71\u9010\u200b\u8282\u70b9","text":"<pre><code>kubectl drain --ignore-daemonsets &lt;NODE&gt;\n</code></pre> <p>\u200b\u82e5\u6b64\u200b\u547d\u4ee4\u200b\u4e00\u76f4\u200b\u7b49\u5f85\u200b Pod \u200b\u88ab\u200b\u9a71\u9010\u200b\uff0c\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\u5f3a\u5236\u200b\u5220\u9664\u200b\u88ab\u200b\u9a71\u9010\u200b\u7684\u200b Pod\uff1a</p> <pre><code>kubectl get pod -A --field-selector=spec.nodeName=&lt;NODE&gt; --no-headers | \\\n    awk '$4==\"Terminating\" {print $1\" \"$2}' | \\\n    while read s; do kubectl delete pod --force -n $s; done\n</code></pre>"},{"location":"ops/from-calico/#_7","title":"\u91cd\u542f\u200b\u8282\u70b9","text":"<p>\u200b\u5728\u200b\u8282\u70b9\u200b\u4e2d\u200b\u6267\u884c\u200b\uff1a</p> <pre><code>shutdown -r 0\n</code></pre>"},{"location":"ops/from-calico/#_8","title":"\u6062\u590d\u200b\u8282\u70b9","text":"<pre><code>kubectl uncordon &lt;NODE&gt;\n</code></pre>"},{"location":"ops/from-calico/#calico","title":"\u5378\u8f7d\u200b Calico","text":""},{"location":"ops/from-calico/#k8s","title":"\u5220\u9664\u200b k8s \u200b\u8d44\u6e90","text":"<pre><code>kubectl -n kube-system delete deploy calico-kube-controllers\nkubectl -n kube-system delete ds calico-node\nkubectl -n kube-system delete cm calico-config\n# \u200b\u5220\u9664\u200b CRD \u200b\u53ca\u200b\u76f8\u5173\u200b\u8d44\u6e90\u200b\nkubectl get crd -o jsonpath='{range .items[*]}{.metadata.name}{\"\\n\"}{end}' | while read crd; do\n  if ! echo $crd | grep '.crd.projectcalico.org$' &gt;/dev/null; then\n    continue\n  fi\n\n  for name in $(kubectl get $crd -o jsonpath='{.items[*].metadata.name}'); do\n    kubectl delete $crd $name\n  done\n  kubectl delete crd $crd\ndone\n# \u200b\u5176\u5b83\u200b\u8d44\u6e90\u200b\nkubectl delete --ignore-not-found clusterrolebinding calico-node calico-kube-controllers\nkubectl delete --ignore-not-found clusterrole calico-node calico-kube-controllers\nkubectl delete --ignore-not-found sa -n kube-system calico-kube-controllers calico-node\nkubectl delete --ignore-not-found pdb -n kube-system calico-kube-controllers\n</code></pre>"},{"location":"ops/from-calico/#_9","title":"\u6e05\u7406\u200b\u8282\u70b9\u200b\u6587\u4ef6","text":"<p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e2d\u200b\u6267\u884c\u200b\uff1a</p> <pre><code>rm -f /etc/cni/net.d/10-calico.conflist /etc/cni/net.d/calico-kubeconfig\nrm -f /opt/cni/bin/calico /opt/cni/bin/calico-ipam\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/kubectl-ko/","title":"kubectl \u200b\u63d2\u4ef6\u200b\u4f7f\u7528","text":"<p>\u200b\u4e3a\u4e86\u200b\u65b9\u4fbf\u200b\u65e5\u5e38\u200b\u7684\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\uff0cKube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b kubectl \u200b\u63d2\u4ef6\u200b\u5de5\u5177\u200b\uff0c\u200b\u7f51\u7edc\u7ba1\u7406\u5458\u200b \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u8be5\u200b\u547d\u4ee4\u200b\u8fdb\u884c\u200b\u65e5\u5e38\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u4f8b\u5982\u200b\uff1a\u200b\u67e5\u770b\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u4fe1\u606f\u200b\u548c\u200b\u72b6\u6001\u200b\uff0cOVN \u200b\u6570\u636e\u5e93\u200b \u200b\u5907\u4efd\u200b\u548c\u200b\u6062\u590d\u200b\uff0cOVS \u200b\u76f8\u5173\u200b\u4fe1\u606f\u200b\u67e5\u770b\u200b\uff0ctcpdump \u200b\u7279\u5b9a\u200b\u5bb9\u5668\u200b\uff0c\u200b\u7279\u5b9a\u200b\u94fe\u8def\u200b\u903b\u8f91\u200b\u62d3\u6251\u200b\u5c55\u793a\u200b\uff0c \u200b\u7f51\u7edc\u200b\u95ee\u9898\u200b\u8bca\u65ad\u200b\u548c\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#_1","title":"\u63d2\u4ef6\u200b\u5b89\u88c5","text":"<p>Kube-OVN \u200b\u5b89\u88c5\u200b\u65f6\u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u90e8\u7f72\u200b\u63d2\u4ef6\u200b\u5230\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\uff0c\u200b\u82e5\u200b\u6267\u884c\u200b kubectl \u200b\u7684\u200b\u673a\u5668\u200b\u4e0d\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\uff0c \u200b\u6216\u200b\u9700\u8981\u200b\u91cd\u88c5\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u53ef\u200b\u53c2\u8003\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\uff1a</p> <p>\u200b\u4e0b\u8f7d\u200b <code>kubectl-ko</code> \u200b\u6587\u4ef6\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/kubectl-ko\n</code></pre> <p>\u200b\u5c06\u200b\u8be5\u200b\u6587\u4ef6\u200b\u79fb\u52a8\u200b\u81f3\u200b <code>$PATH</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\uff1a</p> <pre><code>mv kubectl-ko /usr/local/bin/kubectl-ko\n</code></pre> <p>\u200b\u589e\u52a0\u200b\u53ef\u200b\u6267\u884c\u200b\u6743\u9650\u200b\uff1a</p> <pre><code>chmod +x /usr/local/bin/kubectl-ko\n</code></pre> <p>\u200b\u68c0\u67e5\u200b\u63d2\u4ef6\u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u6b63\u5e38\u200b\u4f7f\u7528\u200b\uff1a</p> <pre><code># kubectl plugin list\nThe following compatible plugins are available:\n\n/usr/local/bin/kubectl-ko\n</code></pre>"},{"location":"ops/kubectl-ko/#_2","title":"\u63d2\u4ef6\u200b\u4f7f\u7528","text":"<p>\u200b\u8fd0\u884c\u200b <code>kubectl ko</code> \u200b\u4f1a\u200b\u5c55\u793a\u200b\u8be5\u200b\u63d2\u4ef6\u200b\u6240\u6709\u200b\u53ef\u7528\u200b\u7684\u200b\u547d\u4ee4\u200b\u548c\u200b\u7528\u6cd5\u200b\u63cf\u8ff0\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code># kubectl ko\nkubectl ko {subcommand} [option...]\nAvailable Subcommands:\n  [nb|sb] [status|kick|backup|dbstatus|restore]     ovn-db operations show cluster status, kick stale server, backup database, get db consistency status or restore ovn nb db when met 'inconsistent data' error\n  nbctl [ovn-nbctl options ...]    invoke ovn-nbctl\n  sbctl [ovn-sbctl options ...]    invoke ovn-sbctl\n  vsctl {nodeName} [ovs-vsctl options ...]   invoke ovs-vsctl on the specified node\n  ofctl {nodeName} [ovs-ofctl options ...]   invoke ovs-ofctl on the specified node\n  dpctl {nodeName} [ovs-dpctl options ...]   invoke ovs-dpctl on the specified node\n  appctl {nodeName} [ovs-appctl options ...]   invoke ovs-appctl on the specified node\n  tcpdump {namespace/podname} [tcpdump options ...]     capture pod traffic\n  {trace|ovn-trace} ...    trace ovn microflow of specific packet\"\n    {trace|ovn-trace} {namespace/podname} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]    trace ICMP/TCP/UDP\n    {trace|ovn-trace} {namespace/podname} {target ip address} [target mac address] arp {request|reply}                     trace ARP request/reply\n    {trace|ovn-trace} {node//nodename} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]       trace ICMP/TCP/UDP\n    {trace|ovn-trace} {node//nodename} {target ip address} [target mac address] arp {request|reply}                        trace ARP request/reply\n  echo \"  diagnose {all|node|subnet|IPPorts} [nodename|subnetName|{proto1}-{IP1}-{Port1},{proto2}-{IP2}-{Port2}]    diagnose connectivity of all nodes or a specific node or specify subnet's ds pod or IPPorts like 'tcp-172.18.0.2-53,udp-172.18.0.3-53'\"\n  tuning {install-fastpath|local-install-fastpath|remove-fastpath|install-stt|local-install-stt|remove-stt} {centos7|centos8}} [kernel-devel-version]  deploy  kernel optimisation components to the system\n  reload    restart all kube-ovn components\n  log {kube-ovn|ovn|ovs|linux|all}    save log to ./kubectl-ko-log/\n  perf [image] performance test default image is kubeovn/test:v1.12.0  \n</code></pre> <p>\u200b\u4e0b\u9762\u200b\u5c06\u200b\u4ecb\u7ecd\u200b\u6bcf\u4e2a\u200b\u547d\u4ee4\u200b\u7684\u200b\u5177\u4f53\u200b\u529f\u80fd\u200b\u548c\u200b\u4f7f\u7528\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#nb-sb-status-kick-backup-dbstatus-restore","title":"[nb | sb] [status | kick | backup | dbstatus | restore]","text":"<p>\u200b\u8be5\u5b50\u200b\u547d\u4ee4\u200b\u4e3b\u8981\u200b\u5bf9\u200b OVN \u200b\u5317\u5411\u200b\u6216\u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5305\u62ec\u200b\u6570\u636e\u5e93\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u67e5\u770b\u200b\uff0c\u200b\u6570\u636e\u5e93\u200b\u8282\u70b9\u200b\u4e0b\u7ebf\u200b\uff0c \u200b\u6570\u636e\u5e93\u200b\u5907\u4efd\u200b\uff0c\u200b\u6570\u636e\u5e93\u200b\u5b58\u50a8\u72b6\u6001\u200b\u67e5\u770b\u200b\u548c\u200b\u6570\u636e\u5e93\u200b\u4fee\u590d\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#_3","title":"\u6570\u636e\u5e93\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u67e5\u770b","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u5728\u200b\u5bf9\u5e94\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u7684\u200b leader \u200b\u8282\u70b9\u200b\u6267\u884c\u200b <code>ovs-appctl cluster/status</code> \u200b\u5c55\u793a\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b:</p> <pre><code># kubectl ko nb status\n306b\nName: OVN_Northbound\nCluster ID: 9a87 (9a872522-3e7d-47ca-83a3-d74333e1a7ca)\nServer ID: 306b (306b256b-b5e1-4eb0-be91-4ca96adf6bad)\nAddress: tcp:[172.18.0.2]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 280309 ms ago, reason: timeout\nLast Election won: 280309 ms ago\nElection timer: 5000\nLog: [139, 139]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-8723 -&gt;8723 &lt;-85d6 -&gt;85d6\nDisconnections: 0\nServers:\n    85d6 (85d6 at tcp:[172.18.0.4]:6643) next_index=139 match_index=138 last msg 763 ms ago\n    8723 (8723 at tcp:[172.18.0.3]:6643) next_index=139 match_index=138 last msg 763 ms ago\n    306b (306b at tcp:[172.18.0.2]:6643) (self) next_index=2 match_index=138\nstatus: ok\n</code></pre> <p>\u200b\u82e5\u200b <code>Server</code> \u200b\u4e0b\u200b\u7684\u200b <code>match_index</code> \u200b\u51fa\u73b0\u200b\u8f83\u5927\u200b\u5dee\u522b\u200b\uff0c\u200b\u4e14\u200b <code>last msg</code> \u200b\u65f6\u95f4\u200b\u8f83\u957f\u200b\u5219\u200b\u5bf9\u5e94\u200b Server \u200b\u53ef\u80fd\u200b\u957f\u65f6\u95f4\u200b\u6ca1\u6709\u54cd\u5e94\u200b\uff0c \u200b\u9700\u8981\u200b\u8fdb\u4e00\u6b65\u200b\u67e5\u770b\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#_4","title":"\u6570\u636e\u5e93\u200b\u8282\u70b9\u200b\u4e0b\u7ebf","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u5c06\u200b\u67d0\u4e2a\u200b\u8282\u70b9\u200b\u4ece\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u4e2d\u200b\u79fb\u9664\u200b\uff0c\u200b\u5728\u200b\u8282\u70b9\u200b\u4e0b\u7ebf\u200b\u6216\u200b\u66f4\u6362\u200b\u8282\u70b9\u200b\u65f6\u200b\u9700\u8981\u200b\u7528\u5230\u200b\u3002 \u200b\u4e0b\u9762\u200b\u5c06\u200b\u4ee5\u4e0a\u200b\u4e00\u6761\u200b\u547d\u4ee4\u200b\u6240\u200b\u67e5\u770b\u200b\u5230\u200b\u7684\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u4e0b\u7ebf\u200b <code>172.18.0.3</code> \u200b\u8282\u70b9\u200b:</p> <pre><code># kubectl ko nb kick 8723\nstarted removal\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u67e5\u770b\u200b\u6570\u636e\u5e93\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u786e\u8ba4\u200b\u8282\u70b9\u200b\u5df2\u200b\u79fb\u9664\u200b\uff1a</p> <pre><code># kubectl ko nb status\n306b\nName: OVN_Northbound\nCluster ID: 9a87 (9a872522-3e7d-47ca-83a3-d74333e1a7ca)\nServer ID: 306b (306b256b-b5e1-4eb0-be91-4ca96adf6bad)\nAddress: tcp:[172.18.0.2]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 324356 ms ago, reason: timeout\nLast Election won: 324356 ms ago\nElection timer: 5000\nLog: [140, 140]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-85d6 -&gt;85d6\nDisconnections: 2\nServers:\n    85d6 (85d6 at tcp:[172.18.0.4]:6643) next_index=140 match_index=139 last msg 848 ms ago\n    306b (306b at tcp:[172.18.0.2]:6643) (self) next_index=2 match_index=139\nstatus: ok\n</code></pre>"},{"location":"ops/kubectl-ko/#_5","title":"\u6570\u636e\u5e93\u200b\u5907\u4efd","text":"<p>\u200b\u8be5\u5b50\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u5907\u4efd\u200b\u5f53\u524d\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u81f3\u200b\u672c\u5730\u200b\uff0c\u200b\u53ef\u200b\u7528\u4e8e\u200b\u707e\u5907\u200b\u548c\u200b\u6062\u590d\u200b\uff1a</p> <pre><code># kubectl ko nb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnnb_db.060223191654183154.backup\n</code></pre>"},{"location":"ops/kubectl-ko/#_6","title":"\u6570\u636e\u5e93\u200b\u5b58\u50a8\u72b6\u6001\u200b\u67e5\u770b","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u7528\u6765\u200b\u67e5\u770b\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u662f\u5426\u200b\u5b58\u5728\u200b\u635f\u574f\u200b\uff1a</p> <pre><code># kubectl ko nb dbstatus\nstatus: ok\n</code></pre> <p>\u200b\u82e5\u200b\u5f02\u5e38\u200b\u5219\u200b\u663e\u793a\u200b <code>inconsistent data</code> \u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u8fdb\u884c\u200b\u4fee\u590d\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#_7","title":"\u6570\u636e\u5e93\u200b\u4fee\u590d","text":"<p>\u200b\u82e5\u200b\u6570\u636e\u5e93\u200b\u72b6\u6001\u200b\u8fdb\u5165\u200b <code>inconsistent data</code> \u200b\u53ef\u200b\u4f7f\u7528\u200b\u8be5\u200b\u547d\u4ee4\u200b\u8fdb\u884c\u200b\u4fee\u590d\u200b\uff1a</p> <pre><code># kubectl ko nb restore\ndeployment.apps/ovn-central scaled\novn-central original replicas is 3\nfirst nodeIP is 172.18.0.5\novs-ovn pod on node 172.18.0.5 is ovs-ovn-8jxv9\novs-ovn pod on node 172.18.0.3 is ovs-ovn-sjzb6\novs-ovn pod on node 172.18.0.4 is ovs-ovn-t87zk\nbackup nb db file\nrestore nb db file, operate in pod ovs-ovn-8jxv9\ndeployment.apps/ovn-central scaled\nfinish restore nb db file and ovn-central replicas\nrecreate ovs-ovn pods\npod \"ovs-ovn-8jxv9\" deleted\npod \"ovs-ovn-sjzb6\" deleted\npod \"ovs-ovn-t87zk\" deleted\n</code></pre>"},{"location":"ops/kubectl-ko/#nbctl-sbctl-options","title":"[nbctl | sbctl] [options ...]","text":"<p>\u200b\u8be5\u5b50\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b OVN \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u6216\u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b \u200b\u7684\u200b leader \u200b\u8282\u70b9\u200b\u5206\u522b\u200b\u6267\u884c\u200b <code>ovn-nbctl</code> \u200b\u548c\u200b <code>ovn-sbctl</code> \u200b\u547d\u4ee4\u200b\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVN \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovn-nbctl(8) \u200b\u548c\u200b ovn-sbctl(8)\u3002</p> <pre><code># kubectl ko nbctl show\nswitch c7cd17e8-ceee-4a91-9bb3-e5a313fe1ece (snat)\n    port snat-ovn-cluster\n        type: router\n        router-port: ovn-cluster-snat\nswitch 20e0c6d0-023a-4756-aec5-200e0c60f95d (join)\n    port node-liumengxin-ovn3-192.168.137.178\n        addresses: [\"00:00:00:64:FF:A8 100.64.0.4\"]\n    port node-liumengxin-ovn1-192.168.137.176\n        addresses: [\"00:00:00:AF:98:62 100.64.0.2\"]\n    port node-liumengxin-ovn2-192.168.137.177\n        addresses: [\"00:00:00:D9:58:B8 100.64.0.3\"]\n    port join-ovn-cluster\n        type: router\n        router-port: ovn-cluster-join\nswitch 0191705c-f827-427b-9de3-3c3b7d971ba5 (central)\n    port central-ovn-cluster\n        type: router\n        router-port: ovn-cluster-central\nswitch 2a45ff05-388d-4f85-9daf-e6fccd5833dc (ovn-default)\n    port alertmanager-main-0.monitoring\n        addresses: [\"00:00:00:6C:DF:A3 10.16.0.19\"]\n    port kube-state-metrics-5d6885d89-4nf8h.monitoring\n        addresses: [\"00:00:00:6F:02:1C 10.16.0.15\"]\n    port fake-kubelet-67c55dfd89-pv86k.kube-system\n        addresses: [\"00:00:00:5C:12:E8 10.16.19.177\"]\n    port ovn-default-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-default\nrouter 212f73dd-d63d-4d72-864b-a537e9afbee1 (ovn-cluster)\n    port ovn-cluster-snat\n        mac: \"00:00:00:7A:82:8F\"\n        networks: [\"172.22.0.1/16\"]\n    port ovn-cluster-join\n        mac: \"00:00:00:F8:18:5A\"\n        networks: [\"100.64.0.1/16\"]\n    port ovn-cluster-central\n        mac: \"00:00:00:4D:8C:F5\"\n        networks: [\"192.101.0.1/16\"]\n    port ovn-cluster-ovn-default\n        mac: \"00:00:00:A3:F8:18\"\n        networks: [\"10.16.0.1/16\"]\n</code></pre>"},{"location":"ops/kubectl-ko/#vsctl-nodename-options","title":"vsctl {nodeName} [options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b\u5bf9\u5e94\u200b <code>nodeName</code> \u200b\u4e0a\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b <code>ovs-vsctl</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u8be2\u200b\u5e76\u200b\u914d\u7f6e\u200b <code>vswitchd</code>\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVS \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovs-vsctl(8)\u3002</p> <pre><code># kubectl ko vsctl kube-ovn-01 show\n0d4c4675-c9cc-440a-8c1a-878e17f81b88\n    Bridge br-int\n        fail_mode: secure\n        datapath_type: system\n        Port a2c1a8a8b83a_h\n            Interface a2c1a8a8b83a_h\n        Port \"4fa5c4cbb1a5_h\"\n            Interface \"4fa5c4cbb1a5_h\"\n        Port ovn-eef07d-0\n            Interface ovn-eef07d-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.178\"}\n        Port ovn0\n            Interface ovn0\n                type: internal\n        Port mirror0\n            Interface mirror0\n                type: internal\n        Port ovn-efa253-0\n            Interface ovn-efa253-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.177\"}\n        Port br-int\n            Interface br-int\n                type: internal\n    ovs_version: \"2.17.2\"\n</code></pre>"},{"location":"ops/kubectl-ko/#ofctl-nodename-options","title":"ofctl {nodeName} [options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b\u5bf9\u5e94\u200b <code>nodeName</code> \u200b\u4e0a\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b <code>ovs-ofctl</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u8be2\u200b\u6216\u200b\u7ba1\u7406\u200b OpenFlow\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVS \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovs-ofctl(8)\u3002</p> <pre><code># kubectl ko ofctl kube-ovn-01 dump-flows br-int\nNXST_FLOW reply (xid=0x4): flags=[more]\n cookie=0xcf3429e6, duration=671791.432s, table=0, n_packets=0, n_bytes=0, idle_age=65534, hard_age=65534, priority=100,in_port=2 actions=load:0x4-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x1-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0xc91413c6, duration=671791.431s, table=0, n_packets=907489, n_bytes=99978275, idle_age=0, hard_age=65534, priority=100,in_port=7 actions=load:0x1-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x4-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0xf180459, duration=671791.431s, table=0, n_packets=17348582, n_bytes=2667811214, idle_age=0, hard_age=65534, priority=100,in_port=6317 actions=load:0xa-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x9-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0x7806dd90, duration=671791.431s, table=0, n_packets=3235428, n_bytes=833821312, idle_age=0, hard_age=65534, priority=100,in_port=1 actions=load:0xd-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x3-&gt;NXM_NX_REG14[],resubmit(,8)\n...\n</code></pre>"},{"location":"ops/kubectl-ko/#dpctl-nodename-options","title":"dpctl {nodeName} [options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b\u5bf9\u5e94\u200b <code>nodeName</code> \u200b\u4e0a\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b <code>ovs-dpctl</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u8be2\u200b\u6216\u200b\u7ba1\u7406\u200b OVS datapath\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVS \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovs-dpctl(8)\u3002</p> <pre><code># kubectl ko dpctl kube-ovn-01 show\nsystem@ovs-system:\n  lookups: hit:350805055 missed:21983648 lost:73\n  flows: 105\n  masks: hit:1970748791 total:22 hit/pkt:5.29\n  port 0: ovs-system (internal)\n  port 1: ovn0 (internal)\n  port 2: mirror0 (internal)\n  port 3: br-int (internal)\n  port 4: stt_sys_7471 (stt: packet_type=ptap)\n  port 5: eeb4d9e51b5d_h\n  port 6: a2c1a8a8b83a_h\n  port 7: 4fa5c4cbb1a5_h\n</code></pre>"},{"location":"ops/kubectl-ko/#appctl-nodename-options","title":"appctl {nodeName} [options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b\u5bf9\u5e94\u200b <code>nodeName</code> \u200b\u4e0a\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b <code>ovs-appctl</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u6765\u200b\u64cd\u4f5c\u200b\u76f8\u5173\u200b daemon \u200b\u8fdb\u7a0b\u200b\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVS \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovs-appctl(8)\u3002</p> <pre><code># kubectl ko appctl kube-ovn-01 vlog/list\n                 console    syslog    file\n                 -------    ------    ------\nbacktrace          OFF        ERR       INFO\nbfd                OFF        ERR       INFO\nbond               OFF        ERR       INFO\nbridge             OFF        ERR       INFO\nbundle             OFF        ERR       INFO\nbundles            OFF        ERR       INFO\n...\n</code></pre>"},{"location":"ops/kubectl-ko/#tcpdump-namespacepodname-tcpdump-options","title":"tcpdump {namespace/podname} [tcpdump options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b <code>namespace/podname</code> \u200b\u6240\u5728\u200b\u673a\u5668\u200b\u7684\u200b <code>kube-ovn-cni</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b <code>tcpdump</code> \u200b\u6293\u53d6\u200b\u5bf9\u5e94\u200b\u5bb9\u5668\u200b veth \u200b\u7f51\u5361\u200b \u200b\u7aef\u7684\u200b\u6d41\u91cf\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u65b9\u4fbf\u200b\u6392\u67e5\u200b\u7f51\u7edc\u200b\u76f8\u5173\u200b\u95ee\u9898\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code># kubectl ko tcpdump default/ds1-l6n7p icmp\n+ kubectl exec -it kube-ovn-cni-wlg4s -n kube-ovn -- tcpdump -nn -i d7176fe7b4e0_h icmp\ntcpdump: verbose output suppressed, use -v or -vv for full protocol decode\nlistening on d7176fe7b4e0_h, link-type EN10MB (Ethernet), capture size 262144 bytes\n06:52:36.619688 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 1, length 64\n06:52:36.619746 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 1, length 64\n06:52:37.619588 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 2, length 64\n06:52:37.619630 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 2, length 64\n06:52:38.619933 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 3, length 64\n06:52:38.619973 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 3, length 64\n</code></pre>"},{"location":"ops/kubectl-ko/#trace-arguments","title":"trace [arguments ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u5c06\u4f1a\u200b\u6253\u5370\u200b Pod \u200b\u6216\u200b\u8282\u70b9\u200b\u901a\u8fc7\u200b\u7279\u5b9a\u200b\u534f\u8bae\u200b\u8bbf\u95ee\u200b\u67d0\u200b\u5730\u5740\u200b\u65f6\u200b\u5bf9\u5e94\u200b\u7684\u200b OVN \u200b\u903b\u8f91\u200b\u6d41\u8868\u200b\u548c\u200b\u6700\u7ec8\u200b\u7684\u200b Openflow \u200b\u6d41\u8868\u200b\uff0c \u200b\u65b9\u4fbf\u200b\u5f00\u53d1\u200b\u6216\u200b\u8fd0\u7ef4\u65f6\u200b\u5b9a\u4f4d\u200b\u6d41\u8868\u200b\u76f8\u5173\u200b\u95ee\u9898\u200b\u3002</p> <p>\u200b\u652f\u6301\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>kubectl ko trace {namespace/podname} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]\nkubectl ko trace {namespace/podname} {target ip address} [target mac address] arp {request|reply}\nkubectl ko trace {node//nodename} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]\nkubectl ko trace {node//nodename} {target ip address} [target mac address] arp {request|reply}\n</code></pre> <p>\u200b\u793a\u4f8b\u200b\uff1a</p> <pre><code># kubectl ko trace default/ds1-l6n7p 8.8.8.8 icmp\n+ kubectl exec ovn-central-5bc494cb5-np9hm -n kube-ovn -- ovn-trace --ct=new ovn-default 'inport == \"ds1-l6n7p.default\" &amp;&amp; ip.ttl == 64 &amp;&amp; icmp &amp;&amp; eth.src == 0a:00:00:10:00:05 &amp;&amp; ip4.src == 10.16.0.4 &amp;&amp; eth.dst == 00:00:00:B8:CA:43 &amp;&amp; ip4.dst == 8.8.8.8'\n# icmp,reg14=0xf,vlan_tci=0x0000,dl_src=0a:00:00:10:00:05,dl_dst=00:00:00:b8:ca:43,nw_src=10.16.0.4,nw_dst=8.8.8.8,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=0,icmp_code=0\n\ningress(dp=\"ovn-default\", inport=\"ds1-l6n7p.default\")\n-----------------------------------------------------\n 0. ls_in_port_sec_l2 (ovn-northd.c:4143): inport == \"ds1-l6n7p.default\" &amp;&amp; eth.src == {0a:00:00:10:00:05}, priority 50, uuid 39453393\n    next;\n 1. ls_in_port_sec_ip (ovn-northd.c:2898): inport == \"ds1-l6n7p.default\" &amp;&amp; eth.src == 0a:00:00:10:00:05 &amp;&amp; ip4.src == {10.16.0.4}, priority 90, uuid 81bcd485\n    next;\n 3. ls_in_pre_acl (ovn-northd.c:3269): ip, priority 100, uuid 7b4f4971\n    reg0[0] = 1;\n    next;\n 5. ls_in_pre_stateful (ovn-northd.c:3396): reg0[0] == 1, priority 100, uuid 36cdd577\n    ct_next;\n\nct_next(ct_state=new|trk)\n-------------------------\n 6. ls_in_acl (ovn-northd.c:3759): ip &amp;&amp; (!ct.est || (ct.est &amp;&amp; ct_label.blocked == 1)), priority 1, uuid 7608af5b\n    reg0[1] = 1;\n    next;\n10. ls_in_stateful (ovn-northd.c:3995): reg0[1] == 1, priority 100, uuid 2aba1b90\n    ct_commit(ct_label=0/0x1);\n    next;\n16. ls_in_l2_lkup (ovn-northd.c:4470): eth.dst == 00:00:00:b8:ca:43, priority 50, uuid 5c9c3c9f\n    outport = \"ovn-default-ovn-cluster\";\n    output;\n\n...\n</code></pre> <p>\u200b\u82e5\u200b trace \u200b\u5bf9\u8c61\u200b\u4e3a\u200b\u8fd0\u884c\u200b\u4e8e\u200b Underlay \u200b\u7f51\u7edc\u200b\u4e0b\u200b\u7684\u200b\u865a\u62df\u673a\u200b\uff0c\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u989d\u5916\u200b\u53c2\u6570\u200b\u6765\u200b\u6307\u5b9a\u200b\u76ee\u7684\u200b Mac \u200b\u5730\u5740\u200b\uff1a</p> <pre><code>kubectl ko trace default/virt-handler-7lvml 8.8.8.8 82:7c:9f:83:8c:01 icmp\n</code></pre>"},{"location":"ops/kubectl-ko/#diagnose-allnodesubnetipports-nodenamesubnetnameproto1-ip1-port1proto2-ip2-port2","title":"diagnose {all|node|subnet|IPPorts} [nodename|subnetName|{proto1}-{IP1}-{Port1},{proto2}-{IP2}-{Port2}]","text":"<p>\u200b\u8bca\u65ad\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u7ec4\u4ef6\u200b\u72b6\u6001\u200b\uff0c\u200b\u5e76\u200b\u53bb\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b\u7684\u200b <code>kube-ovn-pinger</code> \u200b\u68c0\u6d4b\u200b\u5f53\u524d\u200b\u8282\u70b9\u200b\u5230\u200b\u5176\u4ed6\u200b\u8282\u70b9\u200b\u548c\u200b\u5173\u952e\u200b\u670d\u52a1\u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u548c\u200b\u7f51\u7edc\u200b\u5ef6\u8fdf\u200b\uff1a</p> <pre><code># kubectl ko diagnose all\nswitch c7cd17e8-ceee-4a91-9bb3-e5a313fe1ece (snat)\n    port snat-ovn-cluster\n        type: router\n        router-port: ovn-cluster-snat\nswitch 20e0c6d0-023a-4756-aec5-200e0c60f95d (join)\n    port node-liumengxin-ovn3-192.168.137.178\n        addresses: [\"00:00:00:64:FF:A8 100.64.0.4\"]\n    port node-liumengxin-ovn1-192.168.137.176\n        addresses: [\"00:00:00:AF:98:62 100.64.0.2\"]\n    port join-ovn-cluster\n        type: router\n        router-port: ovn-cluster-join\nswitch 0191705c-f827-427b-9de3-3c3b7d971ba5 (central)\n    port central-ovn-cluster\n        type: router\n        router-port: ovn-cluster-central\nswitch 2a45ff05-388d-4f85-9daf-e6fccd5833dc (ovn-default)\n    port ovn-default-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-default\n    port prometheus-k8s-1.monitoring\n        addresses: [\"00:00:00:AA:37:DF 10.16.0.23\"]\nrouter 212f73dd-d63d-4d72-864b-a537e9afbee1 (ovn-cluster)\n    port ovn-cluster-snat\n        mac: \"00:00:00:7A:82:8F\"\n        networks: [\"172.22.0.1/16\"]\n    port ovn-cluster-join\n        mac: \"00:00:00:F8:18:5A\"\n        networks: [\"100.64.0.1/16\"]\n    port ovn-cluster-central\n        mac: \"00:00:00:4D:8C:F5\"\n        networks: [\"192.101.0.1/16\"]\n    port ovn-cluster-ovn-default\n        mac: \"00:00:00:A3:F8:18\"\n        networks: [\"10.16.0.1/16\"]\nRouting Policies\n     31000                            ip4.dst == 10.16.0.0/16           allow\n     31000                           ip4.dst == 100.64.0.0/16           allow\n     30000                         ip4.dst == 192.168.137.177         reroute                100.64.0.3\n     30000                         ip4.dst == 192.168.137.178         reroute                100.64.0.4\n     29000                 ip4.src == $ovn.default.fake.6_ip4         reroute               100.64.0.22\n     29000                 ip4.src == $ovn.default.fake.7_ip4         reroute               100.64.0.21\n     29000                 ip4.src == $ovn.default.fake.8_ip4         reroute               100.64.0.23\n     29000 ip4.src == $ovn.default.liumengxin.ovn3.192.168.137.178_ip4         reroute                100.64.0.4\n     20000 ip4.src == $ovn.default.liumengxin.ovn1.192.168.137.176_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.2\n     20000 ip4.src == $ovn.default.liumengxin.ovn2.192.168.137.177_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.3\n     20000 ip4.src == $ovn.default.liumengxin.ovn3.192.168.137.178_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.4\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0                100.64.0.1 dst-ip\nUUID                                    LB                  PROTO      VIP                     IPs\ne9bcfd9d-793e-4431-9073-6dec96b75d71    cluster-tcp-load    tcp        10.100.209.132:10660    192.168.137.176:10660\n                                                            tcp        10.101.239.192:6641     192.168.137.177:6641\n                                                            tcp        10.101.240.101:3000     10.16.0.7:3000\n                                                            tcp        10.103.184.186:6642     192.168.137.177:6642\n35d2b7a5-e3a7-485a-a4b7-b4970eb0e63b    cluster-tcp-sess    tcp        10.100.158.128:8080     10.16.0.10:8080,10.16.0.5:8080,10.16.63.30:8080\n                                                            tcp        10.107.26.215:8080      10.16.0.19:8080,10.16.0.20:8080,10.16.0.21:8080\n                                                            tcp        10.107.26.215:9093      10.16.0.19:9093,10.16.0.20:9093,10.16.0.21:9093\n                                                            tcp        10.98.187.99:8080       10.16.0.22:8080,10.16.0.23:8080\n                                                            tcp        10.98.187.99:9090       10.16.0.22:9090,10.16.0.23:9090\nf43303e4-89aa-4d3e-a3dc-278a552fe27b    cluster-udp-load    udp        10.96.0.10:53           10.16.0.4:53,10.16.0.9:53\n_uuid               : 06776304-5a96-43ed-90c4-c4854c251699\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn2_192.168.137.177_underlay_v6\n\n_uuid               : 62690625-87d5-491c-8675-9fd83b1f433c\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn1_192.168.137.176_underlay_v6\n\n_uuid               : b03a9bae-94d5-4562-b34c-b5f6198e180b\naddresses           : [\"10.16.0.0/16\", \"100.64.0.0/16\", \"172.22.0.0/16\", \"192.101.0.0/16\"]\nexternal_ids        : {vendor=kube-ovn}\nname                : ovn.cluster.overlay.subnets.IPv4\n\n_uuid               : e1056f3a-24cc-4666-8a91-75ee6c3c2426\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : ovn.cluster.overlay.subnets.IPv6\n\n_uuid               : 3e5d5fff-e670-47b2-a2f5-a39f4698a8c5\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn3_192.168.137.178_underlay_v6\n_uuid               : 2d85dbdc-d0db-4abe-b19e-cc806d32b492\naction              : drop\ndirection           : from-lport\nexternal_ids        : {}\nlabel               : 0\nlog                 : false\nmatch               : \"inport==@ovn.sg.kubeovn_deny_all &amp;&amp; ip\"\nmeter               : []\nname                : []\noptions             : {}\npriority            : 2003\nseverity            : []\n\n_uuid               : de790cc8-f155-405f-bb32-5a51f30c545f\naction              : drop\ndirection           : to-lport\nexternal_ids        : {}\nlabel               : 0\nlog                 : false\nmatch               : \"outport==@ovn.sg.kubeovn_deny_all &amp;&amp; ip\"\nmeter               : []\nname                : []\noptions             : {}\npriority            : 2003\nseverity            : []\nChassis \"e15ed4d4-1780-4d50-b09e-ea8372ed48b8\"\n    hostname: liumengxin-ovn1-192.168.137.176\n    Encap stt\n        ip: \"192.168.137.176\"\n        options: {csum=\"true\"}\n    Port_Binding node-liumengxin-ovn1-192.168.137.176\n    Port_Binding perf-6vxkn.default\n    Port_Binding kube-state-metrics-5d6885d89-4nf8h.monitoring\n    Port_Binding alertmanager-main-0.monitoring\n    Port_Binding kube-ovn-pinger-6ftdf.kube-system\n    Port_Binding fake-kubelet-67c55dfd89-pv86k.kube-system\n    Port_Binding prometheus-k8s-0.monitoring\nChassis \"eef07da1-f8ad-4775-b14d-bd6a3b4eb0d5\"\n    hostname: liumengxin-ovn3-192.168.137.178\n    Encap stt\n        ip: \"192.168.137.178\"\n        options: {csum=\"true\"}\n    Port_Binding kube-ovn-pinger-7twb4.kube-system\n    Port_Binding prometheus-adapter-86df476d87-rl88g.monitoring\n    Port_Binding prometheus-k8s-1.monitoring\n    Port_Binding node-liumengxin-ovn3-192.168.137.178\n    Port_Binding perf-ff475.default\n    Port_Binding alertmanager-main-1.monitoring\n    Port_Binding blackbox-exporter-676d976865-tvsjd.monitoring\nChassis \"efa253c9-494d-4719-83ae-b48ab0f11c03\"\n    hostname: liumengxin-ovn2-192.168.137.177\n    Encap stt\n        ip: \"192.168.137.177\"\n        options: {csum=\"true\"}\n    Port_Binding grafana-6c4c6b8fb7-pzd2c.monitoring\n    Port_Binding node-liumengxin-ovn2-192.168.137.177\n    Port_Binding alertmanager-main-2.monitoring\n    Port_Binding coredns-6789c94dd8-9jqsz.kube-system\n    Port_Binding coredns-6789c94dd8-25d4r.kube-system\n    Port_Binding prometheus-operator-7bbc99fc8b-wgjm4.monitoring\n    Port_Binding prometheus-adapter-86df476d87-gdxmc.monitoring\n    Port_Binding perf-fjnws.default\n    Port_Binding kube-ovn-pinger-vh2xg.kube-system\nds kube-proxy ready\nkube-proxy ready\ndeployment ovn-central ready\ndeployment kube-ovn-controller ready\nds kube-ovn-cni ready\nds ovs-ovn ready\ndeployment coredns ready\novn-nb leader check ok\novn-sb leader check ok\novn-northd leader check ok\n### kube-ovn-controller recent log\n\n### start to diagnose node liumengxin-ovn1-192.168.137.176\n#### ovn-controller log:\n2022-06-03T00:56:44.897Z|16722|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:06:44.912Z|16723|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:16:44.925Z|16724|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:26:44.936Z|16725|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:36:44.959Z|16726|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:46:44.974Z|16727|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:56:44.988Z|16728|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:06:45.001Z|16729|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:16:45.025Z|16730|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:26:45.040Z|16731|inc_proc_eng|INFO|User triggered force recompute.\n\n#### ovs-vswitchd log:\n2022-06-02T23:03:00.137Z|00079|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:f9d1\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-02T23:23:31.840Z|00080|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:15b2\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T00:09:15.659Z|00081|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:dc:e3:63,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.63.30,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:e5a5\n with metadata skb_priority(0),tunnel(tun_id=0x150017000004,src=192.168.137.178,dst=192.168.137.176,ttl=64,tp_src=9239,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.63.30,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T00:30:13.409Z|00064|dpif(handler2)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:6b4a\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T02:02:33.832Z|00082|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:a819\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n\n#### ovs-vsctl show results:\n0d4c4675-c9cc-440a-8c1a-878e17f81b88\n    Bridge br-int\n        fail_mode: secure\n        datapath_type: system\n        Port a2c1a8a8b83a_h\n            Interface a2c1a8a8b83a_h\n        Port \"4fa5c4cbb1a5_h\"\n            Interface \"4fa5c4cbb1a5_h\"\n        Port ovn-eef07d-0\n            Interface ovn-eef07d-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.178\"}\n        Port ovn0\n            Interface ovn0\n                type: internal\n        Port \"04d03360e9a0_h\"\n            Interface \"04d03360e9a0_h\"\n        Port eeb4d9e51b5d_h\n            Interface eeb4d9e51b5d_h\n        Port mirror0\n            Interface mirror0\n                type: internal\n        Port \"8e5d887ccd80_h\"\n            Interface \"8e5d887ccd80_h\"\n        Port ovn-efa253-0\n            Interface ovn-efa253-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.177\"}\n        Port \"17512d5be1f1_h\"\n            Interface \"17512d5be1f1_h\"\n        Port br-int\n            Interface br-int\n                type: internal\n    ovs_version: \"2.17.2\"\n\n#### pinger diagnose results:\nI0603 10:35:04.349404   17619 pinger.go:19]\n-------------------------------------------------------------------------------\nKube-OVN:\n  Version:       v1.13.0\n  Build:         2022-04-24_08:02:50\n  Commit:        git-73f9d15\n  Go Version:    go1.17.8\n  Arch:          amd64\n-------------------------------------------------------------------------------\nI0603 10:35:04.376797   17619 config.go:166] pinger config is &amp;{KubeConfigFile: KubeClient:0xc000493380 Port:8080 DaemonSetNamespace:kube-system DaemonSetName:kube-ovn-pinger Interval:5 Mode:job ExitCode:0 InternalDNS:kubernetes.default ExternalDNS: NodeName:liumengxin-ovn1-192.168.137.176 HostIP:192.168.137.176 PodName:kube-ovn-pinger-6ftdf PodIP:10.16.0.10 PodProtocols:[IPv4] ExternalAddress: NetworkMode:kube-ovn PollTimeout:2 PollInterval:15 SystemRunDir:/var/run/openvswitch DatabaseVswitchName:Open_vSwitch DatabaseVswitchSocketRemote:unix:/var/run/openvswitch/db.sock DatabaseVswitchFileDataPath:/etc/openvswitch/conf.db DatabaseVswitchFileLogPath:/var/log/openvswitch/ovsdb-server.log DatabaseVswitchFilePidPath:/var/run/openvswitch/ovsdb-server.pid DatabaseVswitchFileSystemIDPath:/etc/openvswitch/system-id.conf ServiceVswitchdFileLogPath:/var/log/openvswitch/ovs-vswitchd.log ServiceVswitchdFilePidPath:/var/run/openvswitch/ovs-vswitchd.pid ServiceOvnControllerFileLogPath:/var/log/ovn/ovn-controller.log ServiceOvnControllerFilePidPath:/var/run/ovn/ovn-controller.pid}\nI0603 10:35:04.449166   17619 exporter.go:75] liumengxin-ovn1-192.168.137.176: exporter connect successfully\nI0603 10:35:04.554011   17619 ovn.go:21] ovs-vswitchd and ovsdb are up\nI0603 10:35:04.651293   17619 ovn.go:33] ovn_controller is up\nI0603 10:35:04.651342   17619 ovn.go:39] start to check port binding\nI0603 10:35:04.749613   17619 ovn.go:135] chassis id is 1d7f3d6c-eec5-4b3c-adca-2969d9cdfd80\nI0603 10:35:04.763487   17619 ovn.go:49] port in sb is [node-liumengxin-ovn1-192.168.137.176 perf-6vxkn.default kube-state-metrics-5d6885d89-4nf8h.monitoring alertmanager-main-0.monitoring kube-ovn-pinger-6ftdf.kube-system fake-kubelet-67c55dfd89-pv86k.kube-system prometheus-k8s-0.monitoring]\nI0603 10:35:04.763583   17619 ovn.go:61] ovs and ovn-sb binding check passed\nI0603 10:35:05.049309   17619 ping.go:259] start to check apiserver connectivity\nI0603 10:35:05.053666   17619 ping.go:268] connect to apiserver success in 4.27ms\nI0603 10:35:05.053786   17619 ping.go:129] start to check pod connectivity\nI0603 10:35:05.249590   17619 ping.go:159] ping pod: kube-ovn-pinger-6ftdf 10.16.0.10, count: 3, loss count 0, average rtt 16.30ms\nI0603 10:35:05.354135   17619 ping.go:159] ping pod: kube-ovn-pinger-7twb4 10.16.63.30, count: 3, loss count 0, average rtt 1.81ms\nI0603 10:35:05.458460   17619 ping.go:159] ping pod: kube-ovn-pinger-vh2xg 10.16.0.5, count: 3, loss count 0, average rtt 1.92ms\nI0603 10:35:05.458523   17619 ping.go:83] start to check node connectivity\n</code></pre> <p>\u200b\u5982\u679c\u200b diagnose \u200b\u7684\u200b\u76ee\u6807\u200b\u6307\u5b9a\u200b\u4e3a\u200b subnet \u200b\u8be5\u200b\u811a\u672c\u200b\u4f1a\u200b\u5728\u200b subnet \u200b\u4e0a\u200b\u5efa\u7acb\u200b daemonset\uff0c\u200b\u7531\u200b <code>kube-ovn-pinger</code> \u200b\u53bb\u200b\u63a2\u6d4b\u200b\u8fd9\u4e2a\u200b daemonset \u200b\u7684\u200b\u6240\u6709\u200b pod \u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u548c\u200b\u7f51\u7edc\u5ef6\u65f6\u200b\uff0c\u200b\u6d4b\u8bd5\u200b\u5b8c\u540e\u200b\u81ea\u52a8\u200b\u9500\u6bc1\u200b\u8be5\u200b daemonset\u3002</p> <p>\u200b\u5982\u679c\u200b diagnose \u200b\u7684\u200b\u76ee\u6807\u200b\u6307\u5b9a\u200b\u4e3a\u200b IPPorts \u200b\u8be5\u200b\u811a\u672c\u200b\u4f1a\u200b\u8ba9\u200b\u6bcf\u4e2a\u200b <code>kube-ovn-pinger</code> pod \u200b\u53bb\u200b\u63a2\u6d4b\u200b\u76ee\u6807\u200b\u534f\u8bae\u200b\uff0cIP\uff0cPort \u200b\u662f\u5426\u200b\u53ef\u200b\u8fbe\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#tuning-install-fastpathlocal-install-fastpathremove-fastpathinstall-sttlocal-install-sttremove-stt-centos7centos8-kernel-devel-version","title":"tuning {install-fastpath|local-install-fastpath|remove-fastpath|install-stt|local-install-stt|remove-stt} {centos7|centos8}} [kernel-devel-version]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u6267\u884c\u200b\u6027\u80fd\u200b\u8c03\u4f18\u200b\u76f8\u5173\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5177\u4f53\u200b\u4f7f\u7528\u200b\u8bf7\u200b\u53c2\u8003\u200b\u6027\u80fd\u200b\u8c03\u4f18\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#reload","title":"reload","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u91cd\u542f\u200b\u6240\u6709\u200b Kube-OVN \u200b\u76f8\u5173\u200b\u7ec4\u4ef6\u200b\uff1a</p> <pre><code># kubectl ko reload\npod \"ovn-central-8684dd94bd-vzgcr\" deleted\nWaiting for deployment \"ovn-central\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"ovn-central\" successfully rolled out\npod \"ovs-ovn-bsnvz\" deleted\npod \"ovs-ovn-m9b98\" deleted\npod \"kube-ovn-controller-8459db5ff4-64c62\" deleted\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\npod \"kube-ovn-cni-2klnh\" deleted\npod \"kube-ovn-cni-t2jz4\" deleted\nWaiting for daemon set \"kube-ovn-cni\" rollout to finish: 0 of 2 updated pods are available...\nWaiting for daemon set \"kube-ovn-cni\" rollout to finish: 1 of 2 updated pods are available...\ndaemon set \"kube-ovn-cni\" successfully rolled out\npod \"kube-ovn-pinger-ln72z\" deleted\npod \"kube-ovn-pinger-w8lrk\" deleted\nWaiting for daemon set \"kube-ovn-pinger\" rollout to finish: 0 of 2 updated pods are available...\nWaiting for daemon set \"kube-ovn-pinger\" rollout to finish: 1 of 2 updated pods are available...\ndaemon set \"kube-ovn-pinger\" successfully rolled out\npod \"kube-ovn-monitor-7fb67d5488-7q6zb\" deleted\nWaiting for deployment \"kube-ovn-monitor\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"kube-ovn-monitor\" successfully rolled out\n</code></pre>"},{"location":"ops/kubectl-ko/#log","title":"log","text":"<p>\u200b\u4f7f\u7528\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u6293\u53d6\u200b kube-ovn \u200b\u6240\u6709\u200b\u8282\u70b9\u200b\u4e0a\u200b\u7684\u200b Kube-OVN\uff0cOVN\uff0cOpenvswitch \u200b\u7684\u200b log \u200b\u4ee5\u53ca\u200b linux \u200b\u5e38\u7528\u200b\u7684\u200b\u4e00\u4e9b\u200b debug \u200b\u4fe1\u606f\u200b\u3002</p> <pre><code># kubectl ko log all\nCollecting kube-ovn logging files\nCollecting ovn logging files\nCollecting openvswitch logging files\nCollecting linux dmesg files\nCollecting linux iptables-legacy files\nCollecting linux iptables-nft files\nCollecting linux route files\nCollecting linux link files\nCollecting linux neigh files\nCollecting linux memory files\nCollecting linux top files\nCollecting linux sysctl files\nCollecting linux netstat files\nCollecting linux addr files\nCollecting linux ipset files\nCollecting linux tcp files\nCollected files have been saved in the directory /root/kubectl-ko-log\n</code></pre> <p>\u200b\u76ee\u5f55\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># tree kubectl-ko-log/\nkubectl-ko-log/\n|-- kube-ovn-control-plane\n|   |-- kube-ovn\n|   |   |-- kube-ovn-cni.log\n|   |   |-- kube-ovn-monitor.log\n|   |   `-- kube-ovn-pinger.log\n|   |-- linux\n|   |   |-- addr.log\n|   |   |-- dmesg.log\n|   |   |-- ipset.log\n|   |   |-- iptables-legacy.log\n|   |   |-- iptables-nft.log\n|   |   |-- link.log\n|   |   |-- memory.log\n|   |   |-- neigh.log\n|   |   |-- netstat.log\n|   |   |-- route.log\n|   |   |-- sysctl.log\n|   |   |-- tcp.log\n|   |   `-- top.log\n|   |-- openvswitch\n|   |   |-- ovs-vswitchd.log\n|   |   `-- ovsdb-server.log\n|   `-- ovn\n|       |-- ovn-controller.log\n|       |-- ovn-northd.log\n|       |-- ovsdb-server-nb.log\n|       `-- ovsdb-server-sb.log\n</code></pre>"},{"location":"ops/kubectl-ko/#perf-image","title":"perf [image]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u53bb\u200b\u6d4b\u8bd5\u200b Kube-OVN \u200b\u7684\u200b\u4e00\u4e9b\u200b\u6027\u80fd\u6307\u6807\u200b\u5982\u4e0b\u200b\uff1a</p> <ol> <li>\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u6307\u6807\u200b\uff1b</li> <li>Hostnetwork \u200b\u7f51\u7edc\u200b\u6027\u80fd\u6307\u6807\u200b\uff1b</li> <li>\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7ec4\u200b\u64ad\u62a5\u200b\u6587\u200b\u6027\u80fd\u6307\u6807\u200b\uff1b</li> <li>OVN-NB, OVN-SB, OVN-Northd leader \u200b\u5220\u9664\u200b\u6062\u590d\u200b\u6240\u200b\u9700\u200b\u65f6\u95f4\u200b\u3002</li> </ol> <p>\u200b\u53c2\u6570\u200b image \u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b pod \u200b\u6240\u7528\u200b\u7684\u200b\u955c\u50cf\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u662f\u200b <code>kubeovn/test:v1.12.0</code>, \u200b\u8bbe\u7f6e\u200b\u8be5\u200b\u53c2\u6570\u200b\u4e3b\u8981\u200b\u662f\u200b\u4e3a\u4e86\u200b\u79bb\u7ebf\u200b\u573a\u666f\u200b\uff0c\u200b\u5c06\u200b\u955c\u50cf\u200b\u62c9\u5230\u200b\u5185\u7f51\u200b\u73af\u5883\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u6709\u200b\u955c\u50cf\u200b\u540d\u200b\u53d8\u5316\u200b\u3002</p> <pre><code># kubectl ko perf\n============================== Prepareing Performance Test Resources ===============================\npod/test-client created\npod/test-host-client created\npod/test-server created\npod/test-host-server created\nservice/test-server created\npod/test-client condition met\npod/test-host-client condition met\npod/test-host-server condition met\npod/test-server condition met\n====================================================================================================\n============================ Start Pod Network Unicast Performance Test ============================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              82.8 us         97.7 Mbits/sec  67.6 us         (0%)            8.42 Mbits/sec\n128             85.4 us         167 Mbits/sec   67.2 us         (0%)            17.2 Mbits/sec\n512             85.8 us         440 Mbits/sec   68.7 us         (0%)            68.4 Mbits/sec\n1k              85.1 us         567 Mbits/sec   68.7 us         (0%)            134 Mbits/sec\n4k              138 us          826 Mbits/sec   78.1 us         (1.4%)          503 Mbits/sec\n====================================================================================================\n=============================== Start Host Network Performance Test ================================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              49.7 us         120 Mbits/sec   37.9 us         (0%)            18.6 Mbits/sec\n128             49.7 us         200 Mbits/sec   38.1 us         (0%)            35.5 Mbits/sec\n512             51.9 us         588 Mbits/sec   38.9 us         (0%)            142 Mbits/sec\n1k              51.7 us         944 Mbits/sec   37.2 us         (0%)            279 Mbits/sec\n4k              74.9 us         1.66 Gbits/sec  39.9 us         (0%)            1.20 Gbits/sec\n====================================================================================================\n============================== Start Service Network Performance Test ==============================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              111 us          96.3 Mbits/sec  88.4 us         (0%)            7.59 Mbits/sec\n128             83.7 us         150 Mbits/sec   69.2 us         (0%)            16.9 Mbits/sec\n512             87.4 us         374 Mbits/sec   75.8 us         (0%)            60.9 Mbits/sec\n1k              88.2 us         521 Mbits/sec   73.1 us         (0%)            123 Mbits/sec\n4k              148 us          813 Mbits/sec   77.6 us         (0.0044%)       451 Mbits/sec\n====================================================================================================\n=========================== Start Pod Multicast Network Performance Test ===========================\nSize            UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              0.014 ms        (0.17%)         5.80 Mbits/sec\n128             0.012 ms        (0%)            11.4 Mbits/sec\n512             0.016 ms        (0%)            46.1 Mbits/sec\n1k              0.023 ms        (0.073%)        89.8 Mbits/sec\n4k              0.035 ms        (1.3%)          126 Mbits/sec\n====================================================================================================\n============================= Start Host Multicast Network Performance =============================\nSize            UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              0.007 ms        (0%)            9.95 Mbits/sec\n128             0.005 ms        (0%)            21.8 Mbits/sec\n512             0.008 ms        (0%)            86.8 Mbits/sec\n1k              0.013 ms        (0.045%)        168 Mbits/sec\n4k              0.010 ms        (0.31%)         242 Mbits/sec\n====================================================================================================\n================================== Start Leader Recover Time Test ==================================\nDelete ovn central nb pod\npod \"ovn-central-5cb9c67d75-tlz9w\" deleted\nWaiting for ovn central nb pod running\n=============================== OVN nb Recovery takes 3.305236803 s ================================\nDelete ovn central sb pod\npod \"ovn-central-5cb9c67d75-szx4c\" deleted\nWaiting for ovn central sb pod running\n=============================== OVN sb Recovery takes 3.462698535 s ================================\nDelete ovn central northd pod\npod \"ovn-central-5cb9c67d75-zqmqv\" deleted\nWaiting for ovn central northd pod running\n============================= OVN northd Recovery takes 2.691291403 s ==============================\n====================================================================================================\n================================= Remove Performance Test Resource =================================\nrm -f unicast-test-client.log\nrm -f unicast-test-host-client.log\nrm -f unicast-test-client.log\nkubectl ko nbctl lb-del test-server\nrm -f multicast-test-server.log\nkubectl exec ovs-ovn-gxdrf -n kube-system -- ip maddr del 01:00:5e:00:00:64 dev eth0\nkubectl exec ovs-ovn-h57bf -n kube-system -- ip maddr del 01:00:5e:00:00:64 dev eth0\nrm -f multicast-test-host-server.log\npod \"test-client\" deleted\npod \"test-host-client\" deleted\npod \"test-host-server\" deleted\npod \"test-server\" deleted\nservice \"test-server\" deleted\n====================================================================================================\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/recover-db/","title":"OVN \u200b\u6570\u636e\u5e93\u200b\u5907\u4efd\u200b\u548c\u200b\u6062\u590d","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b\u5982\u4f55\u200b\u8fdb\u884c\u200b\u6570\u636e\u5e93\u200b\u5907\u4efd\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5728\u200b\u4e0d\u540c\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u5982\u4f55\u200b\u901a\u8fc7\u200b\u5df2\u6709\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u96c6\u7fa4\u200b\u6062\u590d\u200b\u3002</p>"},{"location":"ops/recover-db/#_1","title":"\u6570\u636e\u5e93\u200b\u5907\u4efd","text":"<p>\u200b\u5229\u7528\u200b kubectl \u200b\u63d2\u4ef6\u200b\u7684\u200b backup \u200b\u547d\u4ee4\u200b\u53ef\u4ee5\u200b\u5bf9\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u5907\u4efd\u200b\uff0c\u200b\u4ee5\u200b\u7528\u4e8e\u200b\u6545\u969c\u200b\u65f6\u200b\u6062\u590d\u200b\uff1a</p> <pre><code># kubectl ko nb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnnb_db.060223191654183154.backup\n\n# kubectl ko sb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnsb_db.060223191654183154.backup\n</code></pre>"},{"location":"ops/recover-db/#_2","title":"\u96c6\u7fa4\u200b\u90e8\u5206\u200b\u6545\u969c\u200b\u6062\u590d","text":"<p>\u200b\u82e5\u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u5b58\u5728\u200b\u90e8\u5206\u200b\u8282\u70b9\u200b\u56e0\u4e3a\u200b\u65ad\u7535\u200b\uff0c\u200b\u6587\u4ef6\u7cfb\u7edf\u200b\u6545\u969c\u200b\u6216\u200b\u78c1\u76d8\u7a7a\u95f4\u200b\u4e0d\u8db3\u200b\u5bfc\u81f4\u200b\u5de5\u4f5c\u200b\u5f02\u5e38\u200b\uff0c \u200b\u4f46\u662f\u200b\u96c6\u7fa4\u200b\u4ecd\u200b\u53ef\u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5982\u4e0b\u200b\u6b65\u9aa4\u200b\u8fdb\u884c\u200b\u6062\u590d\u200b\u3002</p>"},{"location":"ops/recover-db/#_3","title":"\u67e5\u770b\u200b\u65e5\u5fd7\u200b\u786e\u8ba4\u200b\u72b6\u6001\u200b\u5f02\u5e38","text":"<p>\u200b\u67e5\u770b\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b <code>/var/log/ovn/ovn-northd.log</code>\uff0c\u200b\u82e5\u200b\u63d0\u793a\u200b\u7c7b\u4f3c\u200b\u9519\u8bef\u200b\u5219\u200b\u53ef\u200b\u5224\u65ad\u200b\u6570\u636e\u5e93\u200b\u5b58\u5728\u200b\u5f02\u5e38\u200b</p> <pre><code> * ovn-northd is not running\novsdb-server: ovsdb error: error reading record 2739 from OVN_Northbound log: record 2739 advances commit index to 6308 but last log index is 6307\n * Starting ovsdb-nb\n</code></pre>"},{"location":"ops/recover-db/#_4","title":"\u4ece\u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u8e22\u200b\u51fa\u200b\u5bf9\u5e94\u200b\u8282\u70b9","text":"<p>\u200b\u6839\u636e\u200b\u65e5\u5fd7\u200b\u63d0\u793a\u200b\u662f\u200b <code>OVN_Northbound</code> \u200b\u8fd8\u662f\u200b <code>OVN_Southbound</code> \u200b\u9009\u62e9\u200b\u5bf9\u5e94\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\u3002 \u200b\u4e0a\u8ff0\u200b\u65e5\u5fd7\u200b\u63d0\u793a\u200b\u4e3a\u200b <code>OVN_Northbound</code> \u200b\u5219\u200b\u5bf9\u200b ovn-nb \u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff1a</p> <pre><code># kubectl ko nb status\n9182\nName: OVN_Northbound\nCluster ID: e75f (e75fa340-49ed-45ab-990e-26cb865ebc85)\nServer ID: 9182 (9182e8dd-b5b0-4dd8-8518-598cc1e374f3)\nAddress: tcp:[10.0.128.61]:6643\nStatus: cluster member\nRole: leader\nTerm: 1454\nLeader: self\nVote: self\n\nLast Election started 1732603 ms ago, reason: timeout\nLast Election won: 1732587 ms ago\nElection timer: 1000\nLog: [7332, 12512]\nEntries not yet committed: 1\nEntries not yet applied: 1\nConnections: -&gt;f080 &lt;-f080 &lt;-e631 -&gt;e631\nDisconnections: 1\nServers:\n    f080 (f080 at tcp:[10.0.129.139]:6643) next_index=12512 match_index=12510 last msg 63 ms ago\n    9182 (9182 at tcp:[10.0.128.61]:6643) (self) next_index=10394 match_index=12510\n    e631 (e631 at tcp:[10.0.131.173]:6643) next_index=12512 match_index=0\n</code></pre> <p>\u200b\u4ece\u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u8e22\u200b\u51fa\u200b\u72b6\u6001\u200b\u5f02\u5e38\u200b\u8282\u70b9\u200b\uff1a</p> <pre><code>kubectl ko nb kick e631\n</code></pre> <p>\u200b\u767b\u5f55\u200b\u5f02\u5e38\u200b\u8282\u70b9\u200b\uff0c\u200b\u5220\u9664\u200b\u5bf9\u5e94\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\uff1a</p> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\n</code></pre> <p>\u200b\u5220\u9664\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovn-central</code> Pod\uff0c\u200b\u7b49\u5f85\u200b\u96c6\u7fa4\u200b\u81ea\u52a8\u200b\u6062\u590d\u200b\uff1a</p> <pre><code>kubectl delete pod -n kube-system ovn-central-xxxx\n</code></pre>"},{"location":"ops/recover-db/#_5","title":"\u96c6\u7fa4\u200b\u4e0d\u80fd\u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\u4e0b\u200b\u7684\u200b\u6062\u590d","text":"<p>\u200b\u82e5\u200b\u96c6\u7fa4\u200b\u591a\u6570\u200b\u8282\u70b9\u200b\u53d7\u635f\u200b\u65e0\u6cd5\u200b\u9009\u4e3e\u200b\u51fa\u200b leader\uff0c\u200b\u8bf7\u200b\u53c2\u7167\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u8fdb\u884c\u200b\u6062\u590d\u200b\u3002</p>"},{"location":"ops/recover-db/#ovn-central","title":"\u505c\u6b62\u200b ovn-central","text":"<p>\u200b\u8bb0\u5f55\u200b\u5f53\u524d\u200b <code>ovn-central</code> \u200b\u526f\u672c\u200b\u6570\u91cf\u200b\uff0c\u200b\u5e76\u200b\u505c\u6b62\u200b <code>ovn-central</code> \u200b\u907f\u514d\u200b\u65b0\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u53d8\u66f4\u200b\u5f71\u54cd\u200b\u6062\u590d\u200b\uff1a</p> <pre><code>kubectl scale deployment -n kube-system ovn-central --replicas=0\n</code></pre>"},{"location":"ops/recover-db/#_6","title":"\u9009\u62e9\u200b\u5907\u4efd","text":"<p>\u200b\u7531\u4e8e\u200b\u591a\u6570\u200b\u8282\u70b9\u200b\u53d7\u635f\u200b\uff0c\u200b\u9700\u8981\u200b\u4ece\u200b\u67d0\u4e2a\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u6062\u590d\u200b\u91cd\u5efa\u200b\u96c6\u7fa4\u200b\u3002\u200b\u5982\u679c\u200b\u4e4b\u524d\u200b\u5907\u4efd\u200b\u8fc7\u200b\u6570\u636e\u5e93\u200b \u200b\u53ef\u200b\u4f7f\u7528\u200b\u4e4b\u524d\u200b\u7684\u200b\u5907\u4efd\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u6062\u590d\u200b\u3002\u200b\u5982\u679c\u200b\u6ca1\u6709\u200b\u8fdb\u884c\u200b\u8fc7\u200b\u5907\u4efd\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u4ece\u200b\u5df2\u6709\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b \u200b\u4e2d\u200b\u751f\u6210\u200b\u4e00\u4e2a\u200b\u5907\u4efd\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u9ed8\u8ba4\u200b\u6587\u4ef6\u5939\u200b\u4e0b\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u683c\u5f0f\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\uff0c\u200b\u5305\u542b\u200b\u5f53\u524d\u200b\u96c6\u7fa4\u200b\u7684\u200b\u4fe1\u606f\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u76f4\u63a5\u200b \u200b\u7528\u8be5\u200b\u6587\u4ef6\u200b\u91cd\u5efa\u200b\u6570\u636e\u5e93\u200b\uff0c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b <code>ovsdb-tool cluster-to-standalone</code> \u200b\u8fdb\u884c\u200b\u683c\u5f0f\u200b\u8f6c\u6362\u200b\u3002</p> <p>\u200b\u9009\u62e9\u200b <code>ovn-central</code> \u200b\u73af\u5883\u53d8\u91cf\u200b <code>NODE_IPS</code> \u200b\u4e2d\u6392\u200b\u7b2c\u4e00\u200b\u7684\u200b\u8282\u70b9\u200b\u6062\u590d\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\uff0c \u200b\u5982\u679c\u200b\u7b2c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u5df2\u635f\u574f\u200b\uff0c\u200b\u4ece\u200b\u5176\u4ed6\u200b\u673a\u5668\u200b <code>/etc/origin/ovn</code> \u200b\u4e0b\u200b\u590d\u5236\u200b\u6587\u4ef6\u200b\u5230\u200b\u7b2c\u4e00\u53f0\u200b\u673a\u5668\u200b \uff0c \u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\u751f\u6210\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u5907\u4efd\u200b\u3002</p> <pre><code>docker run -it -v /etc/origin/ovn:/etc/ovn kubeovn/kube-ovn:v1.13.0 bash\ncd /etc/ovn/\novsdb-tool cluster-to-standalone ovnnb_db_standalone.db ovnnb_db.db\novsdb-tool cluster-to-standalone ovnsb_db_standalone.db ovnsb_db.db\n</code></pre>"},{"location":"ops/recover-db/#ovn-central_1","title":"\u5220\u9664\u200b\u6bcf\u4e2a\u200b ovn-central \u200b\u8282\u70b9\u200b\u4e0a\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6","text":"<p>\u200b\u4e3a\u4e86\u200b\u907f\u514d\u200b\u91cd\u5efa\u200b\u96c6\u7fa4\u200b\u65f6\u200b\u4f7f\u7528\u200b\u5230\u200b\u9519\u8bef\u200b\u7684\u200b\u6570\u636e\u200b\uff0c\u200b\u9700\u8981\u200b\u5bf9\u200b\u5df2\u6709\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u6e05\u7406\u200b\uff1a</p> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\nmv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre>"},{"location":"ops/recover-db/#_7","title":"\u6062\u590d\u200b\u6570\u636e\u5e93\u200b\u96c6\u7fa4","text":"<p>\u200b\u5c06\u200b\u5907\u4efd\u200b\u6570\u636e\u5e93\u200b\u5206\u522b\u200b\u91cd\u547d\u540d\u200b\u4e3a\u200b <code>ovnnb_db.db</code> \u200b\u548c\u200b <code>ovnsb_db.db</code>\uff0c\u200b\u5e76\u200b\u590d\u5236\u5230\u200b <code>ovn-central</code>  \u200b\u73af\u5883\u53d8\u91cf\u200b <code>NODE_IPS</code> \u200b\u4e2d\u6392\u200b\u7b2c\u4e00\u200b\u673a\u5668\u200b\u7684\u200b <code>/etc/origin/ovn/</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\uff1a</p> <pre><code>mv /etc/origin/ovn/ovnnb_db_standalone.db /etc/origin/ovn/ovnnb_db.db\nmv /etc/origin/ovn/ovnsb_db_standalone.db /etc/origin/ovn/ovnsb_db.db\n</code></pre> <p>\u200b\u6062\u590d\u200b <code>ovn-central</code> \u200b\u7684\u200b\u526f\u672c\u200b\u6570\u200b\uff1a</p> <pre><code>kubectl scale deployment -n kube-system ovn-central --replicas=3\nkubectl rollout status deployment/ovn-central -n kube-system\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/architecture/","title":"\u603b\u4f53\u200b\u67b6\u6784","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u200b\u4ecb\u7ecd\u200b Kube-OVN \u200b\u7684\u200b\u603b\u4f53\u200b\u67b6\u6784\u200b\uff0c\u200b\u548c\u200b\u5404\u4e2a\u200b\u7ec4\u4ef6\u200b\u7684\u200b\u529f\u80fd\u200b\u4ee5\u53ca\u200b\u5176\u200b\u4e4b\u95f4\u200b\u7684\u200b\u4ea4\u4e92\u200b\u3002</p> <p>\u200b\u603b\u4f53\u200b\u6765\u770b\u200b\uff0cKube-OVN \u200b\u4f5c\u4e3a\u200b Kubernetes \u200b\u548c\u200b OVN \u200b\u4e4b\u95f4\u200b\u7684\u200b\u4e00\u4e2a\u200b\u6865\u6881\u200b\uff0c\u200b\u5c06\u200b\u6210\u719f\u200b\u7684\u200b SDN \u200b\u548c\u200b\u4e91\u200b\u539f\u751f\u200b\u76f8\u7ed3\u5408\u200b\u3002 \u200b\u8fd9\u200b\u610f\u5473\u7740\u200b Kube-OVN \u200b\u4e0d\u4ec5\u200b\u901a\u8fc7\u200b OVN \u200b\u5b9e\u73b0\u200b\u4e86\u200b Kubernetes \u200b\u4e0b\u200b\u7684\u200b\u7f51\u7edc\u200b\u89c4\u8303\u200b\uff0c\u200b\u4f8b\u5982\u200b CNI\uff0cService \u200b\u548c\u200b Networkpolicy\uff0c\u200b\u8fd8\u200b\u5c06\u200b\u5927\u91cf\u200b\u7684\u200b SDN \u200b\u9886\u57df\u200b\u80fd\u529b\u200b\u5e26\u5165\u200b\u4e91\u200b\u539f\u751f\u200b\uff0c\u200b\u4f8b\u5982\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\uff0c\u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\uff0cVPC\uff0c\u200b\u7f51\u5173\u200b\uff0cQoS\uff0cACL \u200b\u548c\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u3002</p> <p>\u200b\u540c\u65f6\u200b Kube-OVN \u200b\u8fd8\u200b\u4fdd\u6301\u200b\u4e86\u200b\u826f\u597d\u200b\u7684\u200b\u5f00\u653e\u6027\u200b\u53ef\u4ee5\u200b\u548c\u200b\u8bf8\u591a\u200b\u6280\u672f\u200b\u65b9\u6848\u200b\u96c6\u6210\u200b\uff0c\u200b\u4f8b\u5982\u200b Cilium\uff0cSubmariner\uff0cPrometheus\uff0cKubeVirt \u200b\u7b49\u7b49\u200b\u3002</p>"},{"location":"reference/architecture/#_2","title":"\u7ec4\u4ef6\u200b\u4ecb\u7ecd","text":"<p>Kube-OVN \u200b\u7684\u200b\u7ec4\u4ef6\u200b\u53ef\u4ee5\u200b\u5927\u81f4\u200b\u5206\u4e3a\u200b\u4e09\u7c7b\u200b\uff1a</p> <ul> <li>\u200b\u4e0a\u6e38\u200b OVN/OVS \u200b\u7ec4\u4ef6\u200b\u3002</li> <li>\u200b\u6838\u5fc3\u200b\u63a7\u5236\u5668\u200b\u548c\u200b Agent\u3002</li> <li>\u200b\u76d1\u63a7\u200b\uff0c\u200b\u8fd0\u7ef4\u200b\u5de5\u5177\u200b\u548c\u200b\u6269\u5c55\u200b\u7ec4\u4ef6\u200b\u3002</li> </ul> <p></p>"},{"location":"reference/architecture/#ovnovs","title":"\u4e0a\u6e38\u200b OVN/OVS \u200b\u7ec4\u4ef6","text":"<p>\u200b\u8be5\u200b\u7c7b\u578b\u200b\u7ec4\u4ef6\u200b\u6765\u81ea\u200b OVN/OVS \u200b\u793e\u533a\u200b\uff0c\u200b\u5e76\u200b\u9488\u5bf9\u200b Kube-OVN \u200b\u7684\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\u505a\u200b\u4e86\u200b\u7279\u5b9a\u200b\u4fee\u6539\u200b\u3002 OVN/OVS \u200b\u672c\u8eab\u200b\u662f\u200b\u4e00\u5957\u200b\u6210\u719f\u200b\u7684\u200b\u7ba1\u7406\u200b\u865a\u673a\u200b\u548c\u200b\u5bb9\u5668\u200b\u7684\u200b SDN \u200b\u7cfb\u7edf\u200b\uff0c\u200b\u6211\u4eec\u200b\u5f3a\u70c8\u5efa\u8bae\u200b \u200b\u5bf9\u200b Kube-OVN \u200b\u5b9e\u73b0\u200b\u611f\u5174\u8da3\u200b\u7684\u200b\u7528\u6237\u200b\u5148\u53bb\u200b\u8bfb\u200b\u4e00\u4e0b\u200b ovn-architecture(7) \u200b\u6765\u200b\u4e86\u89e3\u200b\u4ec0\u4e48\u200b\u662f\u200b OVN \u200b\u4ee5\u53ca\u200b \u200b\u5982\u4f55\u200b\u548c\u200b\u5b83\u200b\u8fdb\u884c\u200b\u96c6\u6210\u200b\u3002Kube-OVN \u200b\u4f7f\u7528\u200b OVN \u200b\u7684\u200b\u5317\u5411\u200b\u63a5\u53e3\u200b\u521b\u5efa\u200b\u548c\u200b\u8c03\u6574\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u5176\u4e2d\u200b\u7684\u200b\u7f51\u7edc\u200b\u6982\u5ff5\u200b\u6620\u5c04\u200b\u5230\u200b Kubernetes \u200b\u4e4b\u5185\u200b\u3002</p> <p>\u200b\u6240\u6709\u200b OVN/OVS \u200b\u76f8\u5173\u200b\u7ec4\u4ef6\u200b\u90fd\u200b\u5df2\u200b\u6253\u5305\u200b\u6210\u200b\u5bf9\u5e94\u200b\u955c\u50cf\u200b\uff0c\u200b\u5e76\u200b\u53ef\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u8fd0\u884c\u200b\u3002</p>"},{"location":"reference/architecture/#ovn-central","title":"ovn-central","text":"<p><code>ovn-central</code> Deployment \u200b\u8fd0\u884c\u200b OVN \u200b\u7684\u200b\u7ba1\u7406\u200b\u5e73\u9762\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u5305\u62ec\u200b <code>ovn-nb</code>, <code>ovn-sb</code>, \u200b\u548c\u200b <code>ovn-northd</code>\u3002</p> <ul> <li><code>ovn-nb</code>\uff1a \u200b\u4fdd\u5b58\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff0c\u200b\u5e76\u200b\u63d0\u4f9b\u200b API \u200b\u8fdb\u884c\u200b\u865a\u62df\u200b\u7f51\u7edc\u7ba1\u7406\u200b\u3002<code>kube-ovn-controller</code> \u200b\u5c06\u4f1a\u200b\u4e3b\u8981\u200b\u548c\u200b <code>ovn-nb</code> \u200b\u8fdb\u884c\u200b\u4ea4\u4e92\u200b\u914d\u7f6e\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u3002</li> <li><code>ovn-sb</code>\uff1a \u200b\u4fdd\u5b58\u200b\u4ece\u200b <code>ovn-nb</code> \u200b\u7684\u200b\u903b\u8f91\u200b\u7f51\u7edc\u200b\u751f\u6210\u200b\u7684\u200b\u903b\u8f91\u200b\u6d41\u8868\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5404\u4e2a\u200b\u8282\u70b9\u200b\u7684\u200b\u5b9e\u9645\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u72b6\u6001\u200b\u3002</li> <li><code>ovn-northd</code>\uff1a\u200b\u5c06\u200b <code>ovn-nb</code> \u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u7ffb\u8bd1\u6210\u200b <code>ovn-sb</code> \u200b\u4e2d\u200b\u7684\u200b\u903b\u8f91\u200b\u6d41\u8868\u200b\u3002</li> </ul> <p>\u200b\u591a\u4e2a\u200b <code>ovn-central</code> \u200b\u5b9e\u4f8b\u200b\u4f1a\u200b\u901a\u8fc7\u200b Raft \u200b\u534f\u8bae\u200b\u540c\u6b65\u200b\u6570\u636e\u200b\u4fdd\u8bc1\u200b\u9ad8\u200b\u53ef\u7528\u200b\u3002</p>"},{"location":"reference/architecture/#ovs-ovn","title":"ovs-ovn","text":"<p><code>ovs-ovn</code> \u200b\u4ee5\u200b DaemonSet \u200b\u5f62\u5f0f\u200b\u8fd0\u884c\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\uff0c\u200b\u5728\u200b Pod \u200b\u5185\u200b\u8fd0\u884c\u200b\u4e86\u200b <code>openvswitch</code>, <code>ovsdb</code>, \u200b\u548c\u200b <code>ovn-controller</code>\u3002\u200b\u8fd9\u4e9b\u200b\u7ec4\u4ef6\u200b\u4f5c\u4e3a\u200b <code>ovn-central</code> \u200b\u7684\u200b Agent \u200b\u5c06\u200b\u903b\u8f91\u200b\u6d41\u8868\u200b\u7ffb\u8bd1\u6210\u200b\u771f\u5b9e\u200b\u7684\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"reference/architecture/#agent","title":"\u6838\u5fc3\u200b\u63a7\u5236\u5668\u200b\u548c\u200b Agent","text":"<p>\u200b\u8be5\u200b\u90e8\u5206\u200b\u4e3a\u200b Kube-OVN \u200b\u7684\u200b\u6838\u5fc3\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u4f5c\u4e3a\u200b OVN \u200b\u548c\u200b Kubernetes \u200b\u4e4b\u95f4\u200b\u7684\u200b\u4e00\u4e2a\u200b\u6865\u6881\u200b\uff0c\u200b\u5c06\u200b\u4e24\u4e2a\u200b\u7cfb\u7edf\u200b\u6253\u901a\u200b\u5e76\u200b\u5c06\u200b\u7f51\u7edc\u200b\u6982\u5ff5\u200b\u8fdb\u884c\u200b\u76f8\u4e92\u200b\u8f6c\u6362\u200b\u3002 \u200b\u5927\u90e8\u5206\u200b\u7684\u200b\u6838\u5fc3\u200b\u529f\u80fd\u200b\u90fd\u200b\u5728\u200b\u8be5\u200b\u90e8\u5206\u200b\u7ec4\u4ef6\u200b\u4e2d\u200b\u5b9e\u73b0\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-controller","title":"kube-ovn-controller","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b Deployment \u200b\u6267\u884c\u200b\u6240\u6709\u200b Kubernetes \u200b\u5185\u200b\u8d44\u6e90\u200b\u5230\u200b OVN \u200b\u8d44\u6e90\u200b\u7684\u200b\u7ffb\u8bd1\u200b\u5de5\u4f5c\u200b\uff0c\u200b\u5176\u200b\u4f5c\u7528\u200b\u76f8\u5f53\u4e8e\u200b\u6574\u4e2a\u200b Kube-OVN \u200b\u7cfb\u7edf\u200b\u7684\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u3002 <code>kube-ovn-controller</code> \u200b\u76d1\u542c\u200b\u4e86\u200b\u6240\u6709\u200b\u548c\u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\u76f8\u5173\u200b\u8d44\u6e90\u200b\u7684\u200b\u4e8b\u4ef6\u200b\uff0c\u200b\u5e76\u200b\u6839\u636e\u200b\u8d44\u6e90\u200b\u53d8\u5316\u200b\u60c5\u51b5\u200b\u66f4\u65b0\u200b OVN \u200b\u5185\u200b\u7684\u200b\u903b\u8f91\u200b\u7f51\u7edc\u200b\u3002\u200b\u4e3b\u8981\u200b\u76d1\u542c\u200b\u7684\u200b\u8d44\u6e90\u200b\u5305\u62ec\u200b\uff1a Pod\uff0cService\uff0cEndpoint\uff0cNode\uff0cNetworkPolicy\uff0cVPC\uff0cSubnet\uff0cVlan\uff0cProviderNetwork\u3002</p> <p>\u200b\u4ee5\u200b Pod \u200b\u4e8b\u4ef6\u200b\u4e3a\u4f8b\u200b\uff0c <code>kube-ovn-controller</code> \u200b\u76d1\u542c\u200b\u5230\u200b Pod \u200b\u521b\u5efa\u200b\u4e8b\u4ef6\u200b\u540e\u200b\uff0c\u200b\u901a\u8fc7\u200b\u5185\u7f6e\u200b\u7684\u200b\u5185\u5b58\u200b IPAM \u200b\u529f\u80fd\u200b\u5206\u914d\u200b\u5730\u5740\u200b\uff0c\u200b\u5e76\u200b\u8c03\u7528\u200b <code>ovn-central</code> \u200b\u521b\u5efa\u200b \u200b\u903b\u8f91\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u548c\u200b\u53ef\u80fd\u200b\u7684\u200b ACL \u200b\u89c4\u5219\u200b\u3002\u200b\u63a5\u4e0b\u6765\u200b <code>kube-ovn-controller</code> \u200b\u5c06\u200b\u5206\u914d\u200b\u5230\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u548c\u200b\u5b50\u7f51\u200b\u4fe1\u606f\u200b\u4f8b\u5982\u200b CIDR\uff0c\u200b\u7f51\u5173\u200b\uff0c\u200b\u8def\u7531\u200b\u7b49\u200b\u4fe1\u606f\u200b\u5199\u4f1a\u200b\u5230\u200b Pod \u200b\u7684\u200b annotation \u200b\u4e2d\u200b\u3002\u200b\u8be5\u200b annotation \u200b\u540e\u7eed\u200b\u4f1a\u200b\u88ab\u200b <code>kube-ovn-cni</code> \u200b\u8bfb\u53d6\u200b\u7528\u6765\u200b\u914d\u7f6e\u200b\u672c\u5730\u7f51\u7edc\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-cni","title":"kube-ovn-cni","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b DaemonSet \u200b\u8fd0\u884c\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\uff0c\u200b\u5b9e\u73b0\u200b CNI \u200b\u63a5\u53e3\u200b\uff0c\u200b\u5e76\u200b\u64cd\u4f5c\u200b\u672c\u5730\u200b\u7684\u200b OVS \u200b\u914d\u7f6e\u200b\u5355\u673a\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u8be5\u200b DaemonSet \u200b\u4f1a\u200b\u590d\u5236\u200b <code>kube-ovn</code> \u200b\u4e8c\u8fdb\u5236\u200b\u6587\u4ef6\u200b\u5230\u200b\u6bcf\u53f0\u200b\u673a\u5668\u200b\uff0c\u200b\u4f5c\u4e3a\u200b <code>kubelet</code> \u200b\u548c\u200b <code>kube-ovn-cni</code> \u200b\u4e4b\u95f4\u200b\u7684\u200b\u4ea4\u4e92\u200b\u5de5\u5177\u200b\uff0c\u200b\u5c06\u200b\u76f8\u5e94\u200b CNI \u200b\u8bf7\u6c42\u200b \u200b\u53d1\u9001\u7ed9\u200b <code>kube-ovn-cni</code> \u200b\u6267\u884c\u200b\u3002\u200b\u8be5\u200b\u4e8c\u8fdb\u5236\u200b\u6587\u4ef6\u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u88ab\u200b\u590d\u5236\u5230\u200b <code>/opt/cni/bin</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\u3002</p> <p><code>kube-ovn-cni</code> \u200b\u4f1a\u200b\u914d\u7f6e\u200b\u5177\u4f53\u200b\u7684\u200b\u7f51\u7edc\u200b\u6765\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u6d41\u91cf\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u4e3b\u8981\u200b\u5de5\u4f5c\u200b\u5305\u62ec\u200b\uff1a</p> <ol> <li>\u200b\u914d\u7f6e\u200b <code>ovn-controller</code> \u200b\u548c\u200b <code>vswitchd</code>\u3002</li> <li>\u200b\u5904\u7406\u200b CNI add/del \u200b\u8bf7\u6c42\u200b\uff1a<ol> <li>\u200b\u521b\u5efa\u200b\u5220\u9664\u200b veth \u200b\u5e76\u200b\u548c\u200b OVS \u200b\u7aef\u53e3\u200b\u7ed1\u5b9a\u200b\u3002</li> <li>\u200b\u914d\u7f6e\u200b OVS \u200b\u7aef\u53e3\u200b\u4fe1\u606f\u200b\u3002</li> <li>\u200b\u66f4\u65b0\u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b iptables/ipset/route \u200b\u7b49\u200b\u89c4\u5219\u200b\u3002</li> </ol> </li> <li>\u200b\u52a8\u6001\u200b\u66f4\u65b0\u200b\u5bb9\u5668\u200b QoS.</li> <li>\u200b\u521b\u5efa\u200b\u5e76\u200b\u914d\u7f6e\u200b <code>ovn0</code> \u200b\u7f51\u5361\u200b\u8054\u901a\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u548c\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u3002</li> <li>\u200b\u914d\u7f6e\u200b\u4e3b\u673a\u200b\u7f51\u5361\u200b\u6765\u200b\u5b9e\u73b0\u200b Vlan/Underlay/EIP \u200b\u7b49\u200b\u529f\u80fd\u200b\u3002</li> <li>\u200b\u52a8\u6001\u200b\u914d\u7f6e\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u7f51\u200b\u5173\u200b\u3002</li> </ol>"},{"location":"reference/architecture/#_3","title":"\u76d1\u63a7\u200b\uff0c\u200b\u8fd0\u7ef4\u200b\u5de5\u5177\u200b\u548c\u200b\u6269\u5c55\u200b\u7ec4\u4ef6","text":"<p>\u200b\u8be5\u200b\u90e8\u5206\u200b\u7ec4\u4ef6\u200b\u4e3b\u8981\u200b\u63d0\u4f9b\u200b\u76d1\u63a7\u200b\uff0c\u200b\u8bca\u65ad\u200b\uff0c\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\u4ee5\u53ca\u200b\u548c\u200b\u5916\u90e8\u200b\u8fdb\u884c\u200b\u5bf9\u63a5\u200b\uff0c\u200b\u5bf9\u200b Kube-OVN \u200b\u7684\u200b\u6838\u5fc3\u200b\u7f51\u7edc\u200b\u80fd\u529b\u200b\u8fdb\u884c\u200b\u6269\u5c55\u200b\uff0c\u200b\u5e76\u200b\u7b80\u5316\u200b\u65e5\u5e38\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-speaker","title":"kube-ovn-speaker","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b DaemonSet \u200b\u8fd0\u884c\u200b\u5728\u200b\u7279\u5b9a\u200b\u6807\u7b7e\u200b\u7684\u200b\u8282\u70b9\u200b\u4e0a\u200b\uff0c\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u8def\u7531\u200b\uff0c\u200b\u4f7f\u5f97\u200b\u5916\u90e8\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b Pod IP \u200b\u8bbf\u95ee\u200b\u5bb9\u5668\u200b\u3002</p> <p>\u200b\u66f4\u200b\u591a\u200b\u76f8\u5173\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u8bf7\u200b\u53c2\u8003\u200b BGP \u200b\u652f\u6301\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-pinger","title":"kube-ovn-pinger","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b DaemonSet \u200b\u8fd0\u884c\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u6536\u96c6\u200b OVS \u200b\u8fd0\u884c\u200b\u4fe1\u606f\u200b\uff0c\u200b\u8282\u70b9\u200b\u7f51\u7edc\u200b\u8d28\u91cf\u200b\uff0c\u200b\u7f51\u7edc\u200b\u5ef6\u8fdf\u200b\u7b49\u200b\u4fe1\u606f\u200b\uff0c\u200b\u6536\u96c6\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u53ef\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-monitor","title":"kube-ovn-monitor","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b Deployment \u200b\u6536\u96c6\u200b OVN \u200b\u7684\u200b\u8fd0\u884c\u200b\u4fe1\u606f\u200b\uff0c\u200b\u6536\u96c6\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u53ef\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p>"},{"location":"reference/architecture/#kubectl-ko","title":"kubectl-ko","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b kubectl \u200b\u63d2\u4ef6\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5feb\u901f\u200b\u8fd0\u884c\u200b\u5e38\u89c1\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u4f7f\u7528\u200b\u8bf7\u200b\u53c2\u8003\u200b kubectl \u200b\u63d2\u4ef6\u200b\u4f7f\u7528\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/dev-env/","title":"\u5f00\u53d1\u200b\u73af\u5883\u200b\u6784\u5efa","text":""},{"location":"reference/dev-env/#_2","title":"\u73af\u5883\u200b\u51c6\u5907","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b Go 1.20 \u200b\u5f00\u53d1\u200b\u5e76\u200b\u4f7f\u7528\u200b Go Modules \u200b\u7ba1\u7406\u200b\u4f9d\u8d56\u200b\uff0c \u200b\u8bf7\u200b\u786e\u8ba4\u200b\u73af\u5883\u53d8\u91cf\u200b <code>GO111MODULE=\"on\"</code>\u3002</p> <p>gosec \u200b\u88ab\u200b\u7528\u6765\u200b\u626b\u63cf\u200b\u4ee3\u7801\u200b\u5b89\u5168\u200b\u76f8\u5173\u200b\u95ee\u9898\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u5f00\u53d1\u200b\u73af\u5883\u200b\u5b89\u88c5\u200b\uff1a</p> <pre><code>go install github.com/securego/gosec/v2/cmd/gosec@latest\n</code></pre> <p>\u200b\u4e3a\u4e86\u200b\u964d\u4f4e\u200b\u6700\u7ec8\u200b\u751f\u6210\u200b\u955c\u50cf\u200b\u5927\u5c0f\u200b\uff0cKube-OVN \u200b\u4f7f\u7528\u200b\u4e86\u200b\u90e8\u5206\u200b Docker buildx \u200b\u8bd5\u9a8c\u200b\u7279\u6027\u200b\uff0c\u200b\u8bf7\u200b\u66f4\u65b0\u200b Docker \u200b\u81f3\u200b\u6700\u65b0\u200b\u7248\u672c\u200b \u200b\u5e76\u200b\u5f00\u542f\u200b buildx:</p> <pre><code>docker buildx create --use\n</code></pre>"},{"location":"reference/dev-env/#_3","title":"\u6784\u5efa\u200b\u955c\u50cf","text":"<p>\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u200b\u4ee3\u7801\u200b\uff0c\u200b\u5e76\u200b\u751f\u6210\u200b\u8fd0\u884c\u200b Kube-OVN \u200b\u6240\u200b\u9700\u200b\u955c\u50cf\u200b\uff1a</p> <pre><code>git clone https://github.com/kubeovn/kube-ovn.git\ncd kube-ovn\nmake release\n</code></pre> <p>\u200b\u5982\u9700\u200b\u6784\u5efa\u200b\u5728\u200b ARM \u200b\u73af\u5883\u200b\u4e0b\u200b\u8fd0\u884c\u200b\u7684\u200b\u955c\u50cf\u200b\uff0c\u200b\u8bf7\u200b\u6267\u884c\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make release-arm\n</code></pre>"},{"location":"reference/dev-env/#base","title":"\u6784\u5efa\u200b base \u200b\u955c\u50cf","text":"<p>\u200b\u5982\u200b\u9700\u8981\u200b\u66f4\u6539\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u7248\u672c\u200b\uff0c\u200b\u4f9d\u8d56\u200b\u5e93\u200b\uff0cOVS/OVN \u200b\u4ee3\u7801\u200b\u7b49\u200b\uff0c\u200b\u9700\u8981\u200b\u5bf9\u200b base \u200b\u955c\u50cf\u200b\u8fdb\u884c\u200b\u91cd\u65b0\u200b\u6784\u5efa\u200b\u3002</p> <p>base \u200b\u955c\u50cf\u200b\u4f7f\u7528\u200b\u7684\u200b Dockerfile \u200b\u4e3a\u200b <code>dist/images/Dockerfile.base</code>\u3002</p> <p>\u200b\u6784\u5efa\u200b\u65b9\u6cd5\u200b\uff1a</p> <pre><code># build x86 base image\nmake base-amd64\n\n# build arm base image\nmake base-arm64\n</code></pre>"},{"location":"reference/dev-env/#e2e","title":"\u8fd0\u884c\u200b E2E","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b KIND \u200b\u6784\u5efa\u200b\u672c\u5730\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\uff0cj2cli \u200b\u6e32\u67d3\u200b\u6a21\u677f\u200b\uff0c Ginkgo \u200b\u6765\u200b\u8fd0\u884c\u200b\u6d4b\u8bd5\u4ee3\u7801\u200b\u3002\u200b\u8bf7\u200b\u53c2\u8003\u200b\u76f8\u5173\u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u4f9d\u8d56\u200b\u5b89\u88c5\u200b\u3002</p> <p>\u200b\u672c\u5730\u200b\u6267\u884c\u200b E2E \u200b\u6d4b\u8bd5\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install\nmake e2e\n</code></pre> <p>\u200b\u5982\u9700\u200b\u8fd0\u884c\u200b Underlay E2E \u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install-underlay\nmake e2e-underlay-single-nic\n</code></pre> <p>\u200b\u5982\u9700\u200b\u8fd0\u884c\u200b ovn vpc nat gw eip, fip, snat, dnat \u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install\nmake ovn-vpc-nat-gw-conformance-e2e\n</code></pre> <p>\u200b\u5982\u9700\u200b\u8fd0\u884c\u200b iptables vpc nat gw eip, fip, snat, dnat \u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install\nmake kind-install-vpc-nat-gw\nmake iptables-vpc-nat-gw-conformance-e2e\n</code></pre> <p>\u200b\u5982\u9700\u200b\u8fd0\u884c\u200b loadbalancer service \u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install\nmake kind-install-lb-svc\nmake kube-ovn-lb-svc-conformance-e2e\n</code></pre> <p>\u200b\u5982\u9700\u200b\u6e05\u7406\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-clean\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/document-convention/","title":"\u6587\u6863\u200b\u89c4\u8303","text":"<p>\u200b\u4e3a\u4e86\u200b\u4fdd\u8bc1\u200b\u6587\u6863\u200b\u98ce\u683c\u200b\u4e00\u81f4\u200b\uff0c\u200b\u8bf7\u200b\u5728\u200b\u63d0\u4ea4\u200b\u6587\u6863\u200b\u65f6\u200b\u9075\u5faa\u200b\u4e0b\u5217\u200b\u7684\u200b\u98ce\u683c\u200b\u89c4\u8303\u200b\u3002</p>"},{"location":"reference/document-convention/#_2","title":"\u6807\u70b9","text":"<p>\u200b\u4e2d\u6587\u200b\u6587\u6863\u200b\u4e2d\u200b\u6587\u672c\u200b\u5185\u5bb9\u200b\u6240\u6709\u200b\u6807\u70b9\u200b\u5e94\u200b\u4f7f\u7528\u200b\u4e2d\u6587\u200b\u683c\u5f0f\u200b\u6807\u70b9\u200b\uff0c\u200b\u82f1\u6587\u200b\u6587\u6863\u200b\u4e2d\u200b\u6240\u6709\u200b\u6587\u672c\u200b\u5185\u5bb9\u200b\u4e2d\u5e94\u200b\u4f7f\u7528\u200b\u82f1\u6587\u200b\u6807\u70b9\u200b\u3002</p> BadGood   \u200b\u8fd9\u91cc\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b,\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u4f60\u200b\u5feb\u901f\u200b\u5b89\u88c5\u200b\u4e00\u4e2a\u200b\u9ad8\u200b\u53ef\u7528\u200b,\u200b\u751f\u4ea7\u200b\u5c31\u7eea\u200b\u7684\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b.    \u200b\u8fd9\u91cc\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u4f60\u200b\u5feb\u901f\u200b\u5b89\u88c5\u200b\u4e00\u4e2a\u200b\u9ad8\u200b\u53ef\u7528\u200b\uff0c\u200b\u751f\u4ea7\u200b\u5c31\u7eea\u200b\u7684\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u3002   <p>\u200b\u82f1\u6587\u200b\u6570\u5b57\u200b\u548c\u200b\u4e2d\u6587\u200b\u5e94\u8be5\u200b\u7528\u200b\u7a7a\u683c\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b\u3002</p> BadGood   Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u6765\u200b\u5b89\u88c5\u200b 1.10 \u200b\u7248\u672c\u200b Kube-OVN\u3002    Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u6765\u200b\u5b89\u88c5\u200b 1.10 \u200b\u7248\u672c\u200b Kube-OVN\u3002   <p>\u200b\u793a\u4f8b\u200b\u5185\u5bb9\u200b\u5e94\u8be5\u200b\u4ee5\u200b <code>\uff1a</code> \u200b\u5f00\u542f\u200b\uff0c\u200b\u5176\u4ed6\u200b\u53e5\u200b\u5c3e\u200b\u9700\u8981\u200b\u7528\u200b <code>\u3002</code> \u200b\u7ed3\u675f\u200b\u3002</p> BadGood   \u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u786e\u8ba4\u200b\u73af\u5883\u200b\u914d\u7f6e\u200b\u6b63\u786e\u200b  \u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\u3002  <pre><code>wget 127.0.0.1\n</code></pre>   \u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u786e\u8ba4\u200b\u73af\u5883\u200b\u914d\u7f6e\u200b\u6b63\u786e\u200b\u3002  \u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a  <pre><code>wget 127.0.0.1\n</code></pre>"},{"location":"reference/document-convention/#_3","title":"\u4ee3\u7801\u200b\u5757","text":"<p>yaml \u200b\u4ee3\u7801\u200b\u5757\u200b\u9700\u8981\u200b\u6807\u8bc6\u200b\u4e3a\u200b yaml\u3002</p> BadGood <pre><code>````\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n    name: attach-subnet\n````\n</code></pre> <pre><code>````yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n    name: attach-subnet\n````\n</code></pre> <p>\u200b\u547d\u4ee4\u884c\u200b\u64cd\u4f5c\u200b\u793a\u4f8b\u200b\u4ee3\u7801\u200b\u5757\u200b\u9700\u8981\u200b\u6807\u8bc6\u200b\u4e3a\u200b bash\u3002</p> BadGood <pre><code>````\nwget 127.0.0.1\n````\n</code></pre> <pre><code>````bash\nwget 127.0.0.1\n````\n</code></pre> <p>\u200b\u5982\u679c\u200b\u547d\u4ee4\u884c\u200b\u64cd\u4f5c\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u5305\u542b\u200b\u8f93\u51fa\u200b\u5185\u5bb9\u200b\uff0c\u200b\u5219\u200b\u6240\u200b\u6267\u884c\u547d\u4ee4\u200b\u9700\u8981\u200b\u4ee5\u200b <code>#</code> \u200b\u5f00\u59cb\u200b\uff0c\u200b\u4ee5\u200b\u533a\u5206\u200b\u8f93\u5165\u200b\u4e0e\u200b\u8f93\u51fa\u200b\u3002</p> BadGood <pre><code>oilbeater@macdeMac-3 ~ ping 114.114.114.114 -c 3\nPING 114.114.114.114 (114.114.114.114): 56 data bytes\n64 bytes from 114.114.114.114: icmp_seq=0 ttl=83 time=10.429 ms\n64 bytes from 114.114.114.114: icmp_seq=1 ttl=79 time=11.360 ms\n64 bytes from 114.114.114.114: icmp_seq=2 ttl=76 time=10.794 ms\n\n--- 114.114.114.114 ping statistics ---\n3 packets transmitted, 3 packets received, 0.0% packet loss\nround-trip min/avg/max/stddev = 10.429/10.861/11.360/0.383 ms\n</code></pre> <pre><code># ping 114.114.114.114 -c 3\nPING 114.114.114.114 (114.114.114.114): 56 data bytes\n64 bytes from 114.114.114.114: icmp_seq=0 ttl=83 time=10.429 ms\n64 bytes from 114.114.114.114: icmp_seq=1 ttl=79 time=11.360 ms\n64 bytes from 114.114.114.114: icmp_seq=2 ttl=76 time=10.794 ms\n\n--- 114.114.114.114 ping statistics ---\n3 packets transmitted, 3 packets received, 0.0% packet loss\nround-trip min/avg/max/stddev = 10.429/10.861/11.360/0.383 ms\n</code></pre> <p>\u200b\u5982\u679c\u200b\u547d\u4ee4\u884c\u200b\u64cd\u4f5c\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u53ea\u200b\u5305\u542b\u200b\u6267\u884c\u547d\u4ee4\u200b\uff0c\u200b\u6ca1\u6709\u200b\u8f93\u51fa\u200b\u7ed3\u679c\u200b\uff0c\u200b\u5219\u200b\u591a\u6761\u200b\u547d\u4ee4\u200b\u65e0\u9700\u200b <code>#</code> \u200b\u5f00\u59cb\u200b\u3002</p> BadGood <pre><code># mv /etc/origin/ovn/ovnnb_db.db /tmp\n# mv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\nmv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre>"},{"location":"reference/document-convention/#_4","title":"\u94fe\u63a5","text":"<p>\u200b\u7ad9\u200b\u5185\u200b\u94fe\u63a5\u200b\u4f7f\u7528\u200b\u5bf9\u5e94\u200b <code>md</code> \u200b\u6587\u4ef6\u200b\u8def\u5f84\u200b\u3002</p> BadGood <pre><code>\u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u53c2\u8003\u200b[\u200b\u51c6\u5907\u200b\u5de5\u4f5c\u200b](http://kubeovn.github.io/prepare)\u3002\n</code></pre> <pre><code>\u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u53c2\u8003\u200b[\u200b\u51c6\u5907\u200b\u5de5\u4f5c\u200b](./prepare.md)\u3002\n</code></pre> BadGood <pre><code>\u200b\u5982\u200b\u6709\u200b\u95ee\u9898\u200b\u8bf7\u200b\u53c2\u8003\u200b [Kubernetes \u200b\u6587\u6863\u200b](http://kubernetes.io)\u3002\n</code></pre> <pre><code>\u200b\u5982\u200b\u6709\u200b\u95ee\u9898\u200b\u8bf7\u200b\u53c2\u8003\u200b [Kubernetes \u200b\u6587\u6863\u200b](http://kubernetes.io){: target=\"_blank\" }\u3002\n</code></pre>"},{"location":"reference/document-convention/#_5","title":"\u7a7a\u884c","text":"<p>\u200b\u4e0d\u540c\u200b\u903b\u8f91\u200b\u5757\u200b\uff0c\u200b\u4f8b\u5982\u200b\u6807\u9898\u200b\u548c\u200b\u6587\u672c\u200b\uff0c\u200b\u6587\u672c\u200b\u548c\u200b\u4ee3\u7801\u200b\uff0c\u200b\u6587\u672c\u200b\u548c\u200b\u7f16\u53f7\u200b\u4e4b\u95f4\u200b\u9700\u8981\u200b\u7528\u200b\u7a7a\u884c\u200b\u5206\u9694\u200b\u3002</p> BadGood <pre><code>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a\n```bash\nwget 127.0.0.1\n```\n</code></pre> <pre><code>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <p>\u200b\u4e0d\u540c\u200b\u903b\u8f91\u200b\u5757\u200b\u4e4b\u95f4\u200b\u53ea\u200b\u4f7f\u7528\u200b\u4e00\u4e2a\u200b\u7a7a\u884c\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b\u3002</p> BadGood <pre><code>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a\n\n\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <pre><code>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/feature-stage/","title":"\u529f\u80fd\u200b\u6210\u719f\u5ea6","text":"<p>\u200b\u5728\u200b Kube-OVN \u200b\u4e2d\u200b\u6839\u636e\u200b\u529f\u80fd\u200b\u4f7f\u7528\u200b\u5ea6\u200b\uff0c\u200b\u6587\u6863\u200b\u5b8c\u5584\u200b\u7a0b\u5ea6\u200b\u548c\u200b\u6d4b\u8bd5\u200b\u8986\u76d6\u200b\u7a0b\u5ea6\u200b\u5c06\u200b\u529f\u80fd\u200b\u6210\u719f\u5ea6\u200b\u5206\u4e3a\u200b Alpha\uff0cBeta \u200b\u548c\u200b GA \u200b\u4e09\u4e2a\u200b\u9636\u6bb5\u200b\u3002</p>"},{"location":"reference/feature-stage/#_2","title":"\u6210\u719f\u5ea6\u200b\u5b9a\u4e49","text":"<p>\u200b\u5bf9\u4e8e\u200b Alpha \u200b\u529f\u80fd\u200b\uff1a</p> <ul> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u6ca1\u6709\u200b\u5b8c\u6574\u200b\u7684\u200b\u6587\u6863\u200b\u548c\u200b\u5b8c\u5584\u200b\u7684\u200b\u6d4b\u8bd5\u200b\u8986\u76d6\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u672a\u6765\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u53d1\u751f\u53d8\u5316\u200b\u751a\u81f3\u200b\u6574\u4f53\u200b\u79fb\u9664\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b API \u200b\u4e0d\u200b\u4fdd\u8bc1\u200b\u7a33\u5b9a\u200b\uff0c\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u88ab\u200b\u79fb\u9664\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u793e\u533a\u200b\u652f\u6301\u200b\u4f18\u5148\u7ea7\u200b\u8f83\u200b\u4f4e\u200b\uff0c\u200b\u4e14\u200b\u65e0\u6cd5\u200b\u4fdd\u8bc1\u200b\u957f\u671f\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u529f\u80fd\u200b\u7a33\u5b9a\u6027\u200b\u548c\u200b\u957f\u671f\u200b\u652f\u6301\u200b\u65e0\u6cd5\u200b\u4fdd\u8bc1\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u8fdb\u884c\u200b\u6d4b\u8bd5\u200b\u9a8c\u8bc1\u200b\uff0c\u200b\u4f46\u200b\u4e0d\u200b\u63a8\u8350\u200b\u751f\u4ea7\u200b\u4f7f\u7528\u200b\u3002</li> </ul> <p>\u200b\u5bf9\u4e8e\u200b Beta \u200b\u529f\u80fd\u200b\uff1a</p> <ul> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u6709\u200b\u90e8\u5206\u200b\u6587\u6863\u200b\u548c\u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u4f46\u662f\u200b\u4e0d\u200b\u4fdd\u8bc1\u200b\u5b8c\u6574\u200b\u7684\u200b\u8986\u76d6\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u672a\u6765\u200b\u53ef\u80fd\u200b\u53d1\u751f\u53d8\u5316\u200b\uff0c\u200b\u5347\u7ea7\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u5f71\u54cd\u200b\u7f51\u7edc\u200b\uff0c\u200b\u4f46\u200b\u4e0d\u4f1a\u200b\u88ab\u200b\u6574\u4f53\u200b\u79fb\u9664\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b API \u200b\u672a\u6765\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u53d1\u751f\u53d8\u5316\u200b\uff0c\u200b\u5b57\u200b\u6bb5\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff0c\u200b\u4f46\u200b\u4e0d\u4f1a\u200b\u6574\u4f53\u200b\u79fb\u9664\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5f97\u5230\u200b\u793e\u533a\u200b\u7684\u200b\u957f\u671f\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5f97\u5230\u200b\u957f\u671f\u200b\u652f\u6301\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u975e\u5173\u952e\u200b\u4e1a\u52a1\u200b\u4e0a\u200b\u8fdb\u884c\u200b\u4f7f\u7528\u200b\uff0c\u200b\u4f46\u662f\u200b\u7531\u4e8e\u200b\u529f\u80fd\u200b\u548c\u200b API \u200b\u5b58\u5728\u200b\u53d8\u5316\u200b\u7684\u200b\u53ef\u80fd\u200b\uff0c\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u5728\u200b\u5347\u7ea7\u200b\u4e2d\u200b\u51fa\u73b0\u200b\u4e2d\u65ad\u200b\uff0c\u200b\u4e0d\u200b\u63a8\u8350\u200b\u5728\u200b\u5173\u952e\u200b\u751f\u4ea7\u200b\u4e1a\u52a1\u200b\u4e0a\u200b\u4f7f\u7528\u200b\u3002</li> </ul> <p>\u200b\u5bf9\u4e8e\u200b GA \u200b\u529f\u80fd\u200b\uff1a</p> <ul> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u6709\u200b\u5b8c\u6574\u200b\u7684\u200b\u6587\u6863\u200b\u548c\u200b\u6d4b\u8bd5\u200b\u8986\u76d6\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4f1a\u200b\u4fdd\u6301\u7a33\u5b9a\u200b\uff0c\u200b\u5347\u7ea7\u200b\u4f1a\u200b\u4fdd\u8bc1\u200b\u5e73\u6ed1\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b API \u200b\u4e0d\u4f1a\u200b\u53d1\u751f\u200b\u7834\u574f\u6027\u200b\u53d8\u5316\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5f97\u5230\u200b\u793e\u533a\u200b\u9ad8\u200b\u4f18\u5148\u7ea7\u200b\u652f\u6301\u200b\uff0c\u200b\u5e76\u4f1a\u200b\u4fdd\u8bc1\u200b\u957f\u671f\u200b\u652f\u6301\u200b\u3002</li> </ul>"},{"location":"reference/feature-stage/#_3","title":"\u6210\u719f\u5ea6\u200b\u5217\u8868","text":"<p>\u200b\u672c\u200b\u5217\u8868\u200b\u7edf\u8ba1\u200b\u4ece\u200b v1.8 \u200b\u7248\u672c\u200b\u4e2d\u200b\u5305\u542b\u200b\u7684\u200b\u529f\u80fd\u200b\u5bf9\u5e94\u200b\u6210\u719f\u5ea6\u200b\u3002</p> \u200b\u529f\u80fd\u200b \u200b\u9ed8\u8ba4\u200b\u5f00\u542f\u200b \u200b\u72b6\u6001\u200b \u200b\u5f00\u59cb\u200b\uff08Since\uff09 \u200b\u7ed3\u675f\u200b\uff08Until\uff09 Namespaced Subnet true GA 1.8 \u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b true GA 1.8 \u200b\u4e3b\u4ece\u200b\u6a21\u5f0f\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b true GA 1.8 ECMP \u200b\u6a21\u5f0f\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b false Beta 1.8 \u200b\u5b50\u7f51\u200b ACL true Alpha 1.9 \u200b\u5b50\u7f51\u200b\u9694\u79bb\u200b (\u200b\u672a\u6765\u200b\u4f1a\u200b\u548c\u200b\u5b50\u7f51\u200b ACL \u200b\u5408\u5e76\u200b) true Beta 1.8 Underlay \u200b\u5b50\u7f51\u200b true GA 1.8 \u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b true Beta 1.8 \u200b\u5b50\u7f51\u200b DHCP false Alpha 1.10 \u200b\u5b50\u7f51\u200b\u8bbe\u7f6e\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b false Alpha 1.8 \u200b\u4f7f\u7528\u200b OVN-IC \u200b\u8fdb\u884c\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b false Beta 1.8 \u200b\u4f7f\u7528\u200b Submariner \u200b\u8fdb\u884c\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b false Alpha 1.9 \u200b\u5b50\u7f51\u200b VIP \u200b\u9884\u7559\u200b true Alpha 1.10 \u200b\u521b\u5efa\u200b\u81ea\u5b9a\u4e49\u200b VPC true Beta 1.8 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u6d6e\u52a8\u200b IP/SNAT/DNAT true Alpha 1.10 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u9759\u6001\u200b\u8def\u7531\u200b true Alpha 1.10 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u7b56\u7565\u200b\u8def\u7531\u200b true Alpha 1.10 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5b89\u5168\u200b\u7ec4\u200b true Alpha 1.10 \u200b\u5bb9\u5668\u200b\u6700\u5927\u200b\u5e26\u5bbd\u200b QoS true GA 1.8 linux-netem QoS true Alpha 1.9 Prometheus \u200b\u96c6\u6210\u200b false GA 1.8 Grafana \u200b\u96c6\u6210\u200b false GA 1.8 \u200b\u53cc\u6808\u200b\u7f51\u7edc\u200b false GA 1.8 \u200b\u9ed8\u8ba4\u200b VPC EIP/SNAT false Beta 1.8 \u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b false GA 1.8 NetworkPolicy true Beta 1.8 Webhook false Alpha 1.10 \u200b\u6027\u80fd\u200b\u8c03\u4f18\u200b false Beta 1.8 Overlay \u200b\u5b50\u7f51\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b false Alpha 1.8 Overlay \u200b\u5b50\u7f51\u200b BGP \u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b false Alpha 1.9 Cilium \u200b\u96c6\u6210\u200b false Alpha 1.10 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e92\u8054\u200b false Alpha 1.10 Mellanox Offload false Alpha 1.8 \u200b\u82af\u542f\u6e90\u200b Offload false Alpha 1.10 Windows \u200b\u652f\u6301\u200b false Alpha 1.10 DPDK \u200b\u652f\u6301\u200b false Alpha 1.10 OpenStack \u200b\u96c6\u6210\u200b false Alpha 1.9 \u200b\u5355\u4e2a\u200b Pod \u200b\u56fa\u5b9a\u200b IP/Mac true GA 1.8 Workload \u200b\u56fa\u5b9a\u200b IP true GA 1.8 StatefulSet \u200b\u56fa\u5b9a\u200b IP true GA 1.8 VM \u200b\u56fa\u5b9a\u200b IP false Beta 1.9 \u200b\u9ed8\u8ba4\u200b VPC Load Balancer \u200b\u7c7b\u578b\u200b Service false Alpha 1.11 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b DNS false Alpha 1.11 Underlay \u200b\u548c\u200b Overlay \u200b\u4e92\u901a\u200b false Beta 1.12 <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/iptables-rules/","title":"Iptables \u200b\u89c4\u5219","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b ipset \u200b\u53ca\u200b iptables \u200b\u8f85\u52a9\u200b\u5b9e\u73b0\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\uff08Overlay\uff09\u200b\u7f51\u5173\u200b NAT \u200b\u7684\u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u7684\u200b ipset \u200b\u5982\u4e0b\u200b\u8868\u200b\u6240\u793a\u200b\uff1a</p> \u200b\u540d\u79f0\u200b\uff08IPv4/IPv6\uff09 \u200b\u7c7b\u578b\u200b \u200b\u5b58\u50a8\u200b\u5bf9\u8c61\u200b ovn40services/ovn60services hash:net Service \u200b\u7f51\u6bb5\u200b ovn40subnets/ovn60subnets hash:net Overlay \u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b\u4ee5\u53ca\u200b NodeLocal DNS IP \u200b\u5730\u5740\u200b ovn40subnets-nat/ovn60subnets-nat hash:net \u200b\u5f00\u542f\u200b NatOutgoing \u200b\u7684\u200b Overlay \u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b ovn40subnets-distributed-gw/ovn60subnets-distributed-gw hash:net \u200b\u5f00\u542f\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\u7684\u200b Overlay \u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b ovn40other-node/ovn60other-node hash:net \u200b\u5176\u5b83\u200b\u8282\u70b9\u200b\u7684\u200b\u5185\u90e8\u200b IP \u200b\u5730\u5740\u200b ovn40local-pod-ip-nat/ovn60local-pod-ip-nat hash:ip \u200b\u5df2\u5f03\u200b\u7528\u200b ovn40subnets-nat-policy hash:net \u200b\u914d\u7f6e\u200b\u4e86\u200b natOutgoingPolicyRules \u200b\u7684\u200b\u6240\u6709\u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b ovn40natpr-418e79269dc5-dst hash:net natOutgoingPolicyRules \u200b\u4e2d\u200b rule \u200b\u5bf9\u5e94\u200b\u7684\u200b dstIPs ovn40natpr-418e79269dc5-src hash:net natOutgoingPolicyRules \u200b\u4e2d\u200b rule \u200b\u5bf9\u5e94\u200b\u7684\u200b srcIPs <p>\u200b\u4f7f\u7528\u200b\u7684\u200b iptables \u200b\u89c4\u5219\u200b\uff08IPv4\uff09\u200b\u5982\u4e0b\u200b\u8868\u200b\u6240\u793a\u200b\uff1a</p> \u200b\u8868\u200b \u200b\u94fe\u200b \u200b\u89c4\u5219\u200b \u200b\u7528\u9014\u200b \u200b\u5907\u6ce8\u200b filter INPUT -m set --match-set ovn40services src -j ACCEPT \u200b\u5141\u8bb8\u200b k8s Service \u200b\u548c\u200b Pod \u200b\u76f8\u5173\u200b\u6d41\u91cf\u200b\u901a\u8fc7\u200b -- filter INPUT -m set --match-set ovn40services dst -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter INPUT -m set --match-set ovn40subnets src -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter INPUT -m set --match-set ovn40subnets dst -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -m set --match-set ovn40services src -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -m set --match-set ovn40services dst -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -m set --match-set ovn40subnets src -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -m set --match-set ovn40subnets dst -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -s 10.16.0.0/16 -m comment --comment \"ovn-subnet-gateway,ovn-default\" \u200b\u7528\u4e8e\u200b\u8ba1\u6570\u200b\u4ece\u200b subnet \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u7684\u200b\u62a5\u6587\u200b 10.16.0.0/16 \u200b\u4e3a\u200b subnet \u200b\u7684\u200b cidr \uff0ccomment \u200b\u4e2d\u200b\u9017\u53f7\u200b\u524d\u9762\u200b\u7684\u200b ovn-subnet-gateway \u200b\u7528\u4e8e\u200b\u6807\u8bc6\u200b\u8be5\u200b iptables \u200b\u89c4\u5219\u200b\u7528\u4e8e\u200b subnet \u200b\u51fa\u5165\u200b\u7f51\u5173\u200b\u62a5\u6587\u200b\u8ba1\u6570\u200b\uff0c\u200b\u9017\u53f7\u200b\u540e\u9762\u200b ovn-default \u200b\u662f\u200b\u8be5\u200b subnet \u200b\u7684\u200b\u540d\u5b57\u200b filter FORWARD -d 10.16.0.0/16 -m comment --comment \"ovn-subnet-gateway,ovn-default\" \u200b\u7528\u4e8e\u200b\u8ba1\u6570\u200b\u4ece\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u8bbf\u95ee\u200b subnet \u200b\u7684\u200b\u62a5\u6587\u200b \u200b\u540c\u200b\u4e0a\u200b filter OUTPUT -p udp -m udp --dport 6081 -j MARK --set-xmark 0x0 \u200b\u6e05\u9664\u200b\u6d41\u91cf\u200b\u6807\u8bb0\u200b\uff0c\u200b\u907f\u514d\u200b\u6267\u884c\u200b SNAT UDP: bad checksum on VXLAN interface nat PREROUTING -m comment --comment \"kube-ovn prerouting rules\" -j OVN-PREROUTING \u200b\u8fdb\u5165\u200b OVN-PREROUTING \u200b\u94fe\u200b\u5904\u7406\u200b -- nat POSTROUTING -m comment --comment \"kube-ovn postrouting rules\" -j OVN-POSTROUTING \u200b\u8fdb\u5165\u200b OVN-POSTROUTING \u200b\u94fe\u200b\u5904\u7406\u200b -- nat OVN-PREROUTING -i ovn0 -m set --match-set ovn40subnets src -m set --match-set ovn40services dst -j MARK --set-xmark 0x4000/0x4000 \u200b\u4e3a\u200b Pod \u200b\u8bbf\u95ee\u200b Service \u200b\u6d41\u91cf\u200b\u6dfb\u52a0\u200b masquerade \u200b\u6807\u8bb0\u200b \u200b\u4f5c\u7528\u200b\u4e8e\u200b\u5173\u95ed\u200b\u5185\u7f6e\u200b LB \u200b\u7684\u200b\u573a\u666f\u200b nat OVN-PREROUTING -p tcp -m addrtype --dst-type LOCAL -m set --match-set KUBE-NODE-PORT-LOCAL-TCP dst -j MARK --set-xmark 0x80000/0x80000 \u200b\u4e3a\u200b ExternalTrafficPolicy \u200b\u4e3a\u200b Local \u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\uff08TCP\uff09\u200b\u6dfb\u52a0\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b \u200b\u4ec5\u200b kube-proxy \u200b\u4f7f\u7528\u200b ipvs \u200b\u6a21\u5f0f\u200b\u65f6\u200b\u5b58\u5728\u200b nat OVN-PREROUTING -p udp -m addrtype --dst-type LOCAL -m set --match-set KUBE-NODE-PORT-LOCAL-UDP dst -j MARK --set-xmark 0x80000/0x80000 \u200b\u4e3a\u200b ExternalTrafficPolicy \u200b\u4e3a\u200b Local \u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\uff08UDP\uff09\u200b\u6dfb\u52a0\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b \u200b\u540c\u200b\u4e0a\u200b nat OVN-POSTROUTING -m set --match-set ovn40services src -m set --match-set ovn40subnets dst -m mark --mark 0x4000/0x4000 -j SNAT --to-source  \u200b\u5f53\u200b\u8282\u70b9\u200b\u901a\u8fc7\u200b Service IP \u200b\u8bbf\u95ee\u200b Overlay Pod \u200b\u65f6\u200b\uff0c\u200b\u4fdd\u6301\u200b\u6e90\u200b IP \u200b\u4e3a\u200b\u8282\u70b9\u200b IP\u3002 \u200b\u4ec5\u200b kube-proxy \u200b\u4f7f\u7528\u200b ipvs \u200b\u6a21\u5f0f\u200b\u65f6\u200b\u751f\u6548\u200b nat OVN-POSTROUTING -m mark --mark 0x4000/0x4000 -j MASQUERADE \u200b\u4e3a\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b\u7684\u200b\u6d41\u91cf\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -m set --match-set ovn40subnets src -m set --match-set ovn40subnets dst -j MASQUERADE \u200b\u4e3a\u200b\u901a\u8fc7\u200b\u8282\u70b9\u200b\u7684\u200b Pod \u200b\u4e4b\u95f4\u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -m mark --mark 0x80000/0x80000 -m set --match-set ovn40subnets-distributed-gw dst -j RETURN \u200b\u5bf9\u4e8e\u200b ExternalTrafficPolicy \u200b\u4e3a\u200b Local \u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\uff0c\u200b\u82e5\u200b Endpoint \u200b\u4f7f\u7528\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u65e0\u9700\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -m mark --mark 0x80000/0x80000 -j MASQUERADE \u200b\u5bf9\u4e8e\u200b ExternalTrafficPolicy \u200b\u4e3a\u200b Local \u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\uff0c\u200b\u82e5\u200b Endpoint \u200b\u4f7f\u7528\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -p tcp -m tcp --tcp-flags SYN NONE -m conntrack --ctstate NEW -j RETURN Pod IP \u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b\u65f6\u200b\uff0c\u200b\u4e0d\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -s 10.16.0.0/16 -m set ! --match-set ovn40subnets dst -j SNAT --to-source 192.168.0.101 Pod \u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5916\u200b\u7f51\u7edc\u200b\u65f6\u200b\uff0c\u200b\u82e5\u200b\u5b50\u7f51\u200b\u5f00\u542f\u200b NatOutgoing \u200b\u4e14\u200b\u4f7f\u7528\u200b\u6307\u5b9a\u200b IP \u200b\u7684\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u6267\u884c\u200b SNAT 10.16.0.0/16 \u200b\u4e3a\u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b\uff0c192.168.0.101 \u200b\u4e3a\u200b\u6307\u5b9a\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b IP nat OVN-POSTROUTING -m set --match-set ovn40subnets-nat src -m set ! --match-set ovn40subnets dst -j MASQUERADE Pod \u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5916\u200b\u7f51\u7edc\u200b\u65f6\u200b\uff0c\u200b\u82e5\u200b\u5b50\u7f51\u200b\u5f00\u542f\u200b NatOutgoing\uff0c\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -m set --match-set ovn40subnets-nat-policy src -m set ! --match-set ovn40subnets dst -j OVN-NAT-POLICY Pod \u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5916\u200b\u7f51\u7edc\u200b\u65f6\u200b\uff0c\u200b\u82e5\u200b\u5b50\u7f51\u200b\u5f00\u542f\u200b natOutgoingPolicyRules\uff0c\u200b\u6307\u5b9a\u200b\u7b56\u7565\u200b\u7684\u200b\u62a5\u6587\u200b\u6267\u884c\u200b SNAT \u200b\u914d\u7f6e\u200b\u4e86\u200b natOutgoingPolicyRules \u200b\u5b50\u7f51\u200b\u7684\u200b\u51fa\u5916\u200b\u7f51\u200b\u62a5\u6587\u200b\u7684\u200b\u8fdb\u5165\u200b\u94fe\u200b OVN-NAT-POLICY nat OVN-POSTROUTING -m mark --mark 0x90001/0x90001 -j MASQUERADE --random-fully \u200b\u540c\u200b\u4e0a\u200b \u200b\u4ece\u200b OVN-NAT-POLICY \u200b\u51fa\u6765\u200b\u540e\u200b\uff0c\u200b\u5982\u679c\u200b\u88ab\u200b\u6253\u200b\u4e0a\u200b tag 0x90001/0x90001 \u200b\u5c31\u200b\u4f1a\u200b\u505a\u200b SNAT nat OVN-POSTROUTING -m mark --mark 0x90002/0x90002 -j RETURN \u200b\u540c\u200b\u4e0a\u200b \u200b\u4ece\u200b OVN-NAT-POLICY \u200b\u51fa\u6765\u200b\u540e\u200b, \u200b\u5982\u679c\u200b\u88ab\u200b\u6253\u200b\u4e0a\u200b tag 0x90002/0x90002 \u200b\u4e0d\u4f1a\u200b\u505a\u200b SNAT nat OVN-NAT-POLICY -s 10.0.11.0/24 -m comment --comment natPolicySubnet-net1 -j OVN-NAT-PSUBNET-aa98851157c5 \u200b\u540c\u200b\u4e0a\u200b 10.0.11.0/24 \u200b\u8868\u793a\u200b\u5b50\u7f51\u200b net1 \u200b\u7684\u200b CIDR\uff0c  OVN-NAT-PSUBNET-aa98851157c5 \u200b\u8fd9\u6761\u200b\u94fe\u4e0b\u200b\u7684\u200b\u89c4\u5219\u200b\u5c31\u200b\u5bf9\u5e94\u200b\u8fd9\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b natOutgoingPolicyRules \u200b\u914d\u7f6e\u200b nat OVN-NAT-PSUBNET-xxxxxxxxxxxx -m set --match-set ovn40natpr-418e79269dc5-src src -m set --match-set ovn40natpr-418e79269dc5-dst dst -j MARK --set-xmark 0x90002/0x90002 \u200b\u540c\u200b\u4e0a\u200b 418e79269dc5 \u200b\u8868\u793a\u200b natOutgoingPolicyRules \u200b\u4e2d\u200b\u7684\u200b\u4e00\u6761\u200b\u89c4\u5219\u200b\u7684\u200b ID\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b status.natOutgoingPolicyRules[index].RuleID \u200b\u67e5\u770b\u200b\u5230\u200b\uff0c \u200b\u8868\u793a\u200b srcIPs \u200b\u6ee1\u8db3\u200b ovn40natpr-418e79269dc5-src\uff0c dstIPS \u200b\u6ee1\u8db3\u200b ovn40natpr-418e79269dc5-dst \u200b\u4f1a\u200b\u6253\u200b\u4e0a\u200b tag 0x90002 mangle OVN-OUTPUT -d 10.241.39.2/32 -p tcp -m tcp --dport 80 -j MARK --set-xmark 0x90003/0x90003 \u200b\u5c06\u200b kubelet \u200b\u7684\u200b\u63a2\u6d4b\u200b\u6d41\u91cf\u200b\u52a0\u4e0a\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b\u4ece\u800c\u200b\u5f15\u5165\u200b\u5230\u200b tproxy mangle OVN-PREROUTING -d 10.241.39.2/32 -p tcp -m tcp --dport 80 -j TPROXY --on-port 8102 --on-ip 172.18.0.3 --tproxy-mark 0x90004/0x90004 \u200b\u5c06\u200b kubelet \u200b\u7684\u200b\u63a2\u6d4b\u200b\u6d41\u91cf\u200b\u52a0\u4e0a\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b\u4ece\u800c\u200b\u5f15\u5165\u200b\u5230\u200b tproxy <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/kube-ovn-api/","title":"Kube-OVN \u200b\u63a5\u53e3\u200b\u89c4\u8303","text":"<p>\u200b\u57fa\u4e8e\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\uff0c\u200b\u6574\u7406\u200b\u4e86\u200b Kube-OVN \u200b\u652f\u6301\u200b\u7684\u200b CRD \u200b\u8d44\u6e90\u200b\u5217\u8868\u200b\uff0c\u200b\u5217\u51fa\u200b CRD \u200b\u5b9a\u4e49\u200b\u5404\u5b57\u200b\u6bb5\u200b\u7684\u200b\u53d6\u503c\u200b\u7c7b\u578b\u200b\u548c\u200b\u542b\u4e49\u200b\uff0c\u200b\u4ee5\u200b\u4f9b\u53c2\u8003\u200b\u3002</p>"},{"location":"reference/kube-ovn-api/#condition","title":"\u901a\u7528\u200b\u7684\u200b Condition \u200b\u5b9a\u4e49","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b type String \u200b\u72b6\u6001\u200b\u7c7b\u578b\u200b status String \u200b\u72b6\u6001\u503c\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>True</code>\uff0c<code>False</code> \u200b\u6216\u200b <code>Unknown</code> reason String \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u7684\u200b\u539f\u56e0\u200b message String \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u7684\u200b\u5177\u4f53\u200b\u4fe1\u606f\u200b lastUpdateTime Time \u200b\u4e0a\u6b21\u200b\u72b6\u6001\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b lastTransitionTime Time \u200b\u4e0a\u6b21\u200b\u72b6\u6001\u200b\u7c7b\u578b\u200b\u53d1\u751f\u53d8\u5316\u200b\u7684\u200b\u65f6\u95f4\u200b <p>\u200b\u5728\u200b\u5404\u200b CRD \u200b\u7684\u200b\u5b9a\u4e49\u200b\u4e2d\u200b\uff0cStatus \u200b\u4e2d\u200b\u7684\u200b Condition \u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u90fd\u200b\u9075\u5faa\u200b\u4e0a\u8ff0\u200b\u683c\u5f0f\u200b\uff0c\u200b\u56e0\u6b64\u200b\u63d0\u524d\u200b\u8fdb\u884c\u200b\u8bf4\u660e\u200b\u3002</p>"},{"location":"reference/kube-ovn-api/#subnet","title":"Subnet \u200b\u5b9a\u4e49","text":""},{"location":"reference/kube-ovn-api/#subnet_1","title":"Subnet","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>Subnet</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec SubnetSpec Subnet \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status SubnetStatus Subnet \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#subnetspec","title":"SubnetSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b default Bool \u200b\u8be5\u200b\u5b50\u7f51\u200b\u662f\u5426\u200b\u4e3a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b vpc String \u200b\u5b50\u7f51\u200b\u6240\u5c5e\u200b Vpc\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b ovn-cluster protocol String IP \u200b\u534f\u8bae\u200b\uff0c\u200b\u53d6\u503c\u200b\u53ef\u4ee5\u200b\u4e3a\u200b <code>IPv4</code>\uff0c<code>IPv6</code> \u200b\u6216\u200b <code>Dual</code> namespaces []String \u200b\u8be5\u200b\u5b50\u7f51\u200b\u6240\u200b\u7ed1\u5b9a\u200b\u7684\u200b namespace \u200b\u5217\u8868\u200b cidrBlock String \u200b\u5b50\u7f51\u200b\u7684\u200b\u7f51\u6bb5\u200b\u8303\u56f4\u200b\uff0c\u200b\u5982\u200b 10.16.0.0/16 gateway String \u200b\u5b50\u7f51\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u8be5\u200b\u5b50\u7f51\u200b CIDRBlock \u200b\u4e0b\u200b\u7684\u200b\u7b2c\u4e00\u4e2a\u200b\u53ef\u7528\u200b\u5730\u5740\u200b excludeIps []String \u200b\u8be5\u200b\u5b50\u7f51\u200b\u4e0b\u200b\u4e0d\u4f1a\u200b\u88ab\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b provider String \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b ovn\u3002\u200b\u591a\u200b\u7f51\u5361\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u914d\u7f6e\u200b\u53d6\u503c\u200b\u4e3a\u200b NetworkAttachmentDefinition \u200b\u7684\u200b .\uff0cKube-OVN \u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u8fd9\u4e9b\u200b\u4fe1\u606f\u200b\u627e\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b Subnet \u200b\u8d44\u6e90\u200b gatewayType String Overlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u7684\u200b\u7f51\u5173\u200b\u7c7b\u578b\u200b\uff0c\u200b\u53d6\u503c\u200b\u53ef\u4ee5\u200b\u4e3a\u200b <code>distributed</code> \u200b\u6216\u200b <code>centralized</code> gatewayNode String \u200b\u5f53\u200b\u7f51\u5173\u200b\u6a21\u5f0f\u200b\u4e3a\u200b centralized \u200b\u65f6\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4e3a\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u7684\u200b\u591a\u4e2a\u200b\u8282\u70b9\u200b natOutgoing Bool \u200b\u51fa\u7f51\u200b\u6d41\u91cf\u200b\u662f\u5426\u200b\u8fdb\u884c\u200b NAT\u3002\u200b\u8be5\u200b\u53c2\u6570\u200b\u548c\u200b <code>externalEgressGateway</code> \u200b\u53c2\u6570\u200b\u4e0d\u80fd\u200b\u540c\u65f6\u200b\u8bbe\u7f6e\u200b\u3002 externalEgressGateway String \u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\u3002\u200b\u9700\u8981\u200b\u548c\u5b50\u200b\u7f51\u7f51\u200b\u5173\u8282\u70b9\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u4e8c\u5c42\u200b\u53ef\u8fbe\u57df\u200b\uff0c\u200b\u8be5\u200b\u53c2\u6570\u200b\u548c\u200b <code>natOutgoing</code> \u200b\u53c2\u6570\u200b\u4e0d\u80fd\u200b\u540c\u65f6\u200b\u8bbe\u7f6e\u200b policyRoutingPriority Uint32 \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4f18\u5148\u7ea7\u200b\u3002\u200b\u6dfb\u52a0\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4f7f\u7528\u200b\u53c2\u6570\u200b\uff0c\u200b\u63a7\u5236\u200b\u6d41\u91cf\u200b\u7ecf\u200b\u5b50\u7f51\u200b\u7f51\u5173\u200b\u4e4b\u540e\u200b\uff0c\u200b\u8f6c\u53d1\u200b\u5230\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u5730\u5740\u200b policyRoutingTableID Uint32 \u200b\u4f7f\u7528\u200b\u7684\u200b\u672c\u5730\u200b\u7b56\u7565\u200b\u8def\u7531\u8868\u200b\u7684\u200b TableID\uff0c\u200b\u6bcf\u4e2a\u200b\u5b50\u7f51\u200b\u5747\u200b\u9700\u200b\u4e0d\u540c\u200b\u4ee5\u200b\u907f\u514d\u200b\u51b2\u7a81\u200b private Bool \u200b\u6807\u8bc6\u200b\u8be5\u200b\u5b50\u7f51\u200b\u662f\u5426\u200b\u4e3a\u200b\u79c1\u6709\u200b\u5b50\u7f51\u200b\uff0c\u200b\u79c1\u6709\u200b\u5b50\u7f51\u200b\u9ed8\u8ba4\u200b\u62d2\u7edd\u200b\u5b50\u7f51\u200b\u5916\u200b\u7684\u200b\u5730\u5740\u200b\u8bbf\u95ee\u200b allowSubnets []String \u200b\u5b50\u7f51\u200b\u4e3a\u200b\u79c1\u6709\u200b\u5b50\u7f51\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u5141\u8bb8\u200b\u8bbf\u95ee\u200b\u8be5\u200b\u5b50\u7f51\u200b\u5730\u5740\u200b\u7684\u200b\u96c6\u5408\u200b vlan String \u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b\u7684\u200b Vlan \u200b\u540d\u79f0\u200b vips []String \u200b\u5b50\u7f51\u200b\u4e0b\u200b virtual \u200b\u7c7b\u578b\u200b lsp \u200b\u7684\u200b virtual-ip \u200b\u53c2\u6570\u4fe1\u606f\u200b logicalGateway Bool \u200b\u662f\u5426\u200b\u542f\u7528\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b disableGatewayCheck Bool \u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\u662f\u5426\u200b\u8df3\u8fc7\u200b\u7f51\u5173\u200b\u8054\u901a\u200b\u6027\u200b\u68c0\u67e5\u200b disableInterConnection Bool \u200b\u63a7\u5236\u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u5b50\u7f51\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b enableDHCP Bool \u200b\u63a7\u5236\u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp \u200b\u7684\u200b dhcp \u200b\u914d\u7f6e\u200b\u9009\u9879\u200b dhcpV4Options String \u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp dhcpv4_options \u200b\u5173\u8054\u200b\u7684\u200b DHCP_Options \u200b\u8bb0\u5f55\u200b dhcpV6Options String \u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp dhcpv6_options \u200b\u5173\u8054\u200b\u7684\u200b DHCP_Options \u200b\u8bb0\u5f55\u200b enableIPv6RA Bool \u200b\u63a7\u5236\u200b\u5b50\u7f51\u200b\u8fde\u63a5\u200b\u8def\u7531\u5668\u200b\u7684\u200b lrp \u200b\u7aef\u53e3\u200b\uff0c\u200b\u662f\u5426\u200b\u914d\u7f6e\u200b ipv6_ra_configs \u200b\u53c2\u6570\u200b ipv6RAConfigs String \u200b\u5b50\u7f51\u200b\u8fde\u63a5\u200b\u8def\u7531\u5668\u200b\u7684\u200b lrp \u200b\u7aef\u53e3\u200b\uff0cipv6_ra_configs \u200b\u53c2\u6570\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b acls []Acl \u200b\u5b50\u7f51\u200b\u5bf9\u5e94\u200b logical-switch \u200b\u5173\u8054\u200b\u7684\u200b acls \u200b\u8bb0\u5f55\u200b u2oInterconnection Bool \u200b\u662f\u5426\u200b\u5f00\u542f\u200b Overlay/Underlay \u200b\u7684\u200b\u4e92\u8054\u200b\u6a21\u5f0f\u200b enableLb *Bool \u200b\u63a7\u5236\u200b\u5b50\u7f51\u200b\u5bf9\u5e94\u200b\u7684\u200b logical-switch \u200b\u662f\u5426\u200b\u5173\u8054\u200b load-balancer \u200b\u8bb0\u5f55\u200b enableEcmp Bool \u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u662f\u5426\u200b\u5f00\u542f\u200b ECMP \u200b\u8def\u7531"},{"location":"reference/kube-ovn-api/#acl","title":"Acl","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b direction String Acl \u200b\u9650\u5236\u200b\u65b9\u5411\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>from-lport</code> \u200b\u6216\u8005\u200b <code>to-lport</code> priority Int Acl \u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u53d6\u503c\u200b\u8303\u56f4\u200b 0 \u200b\u5230\u200b 32767 match String Acl \u200b\u89c4\u5219\u200b\u5339\u914d\u200b\u8868\u8fbe\u5f0f\u200b action String Acl \u200b\u89c4\u5219\u200b\u52a8\u4f5c\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>allow-related</code>, <code>allow-stateless</code>, <code>allow</code>, <code>drop</code>, <code>reject</code> \u200b\u5176\u4e2d\u200b\u4e00\u4e2a"},{"location":"reference/kube-ovn-api/#subnetstatus","title":"SubnetStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []SubnetCondition \u200b\u5b50\u7f51\u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b v4AvailableIPs Float64 \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u53ef\u7528\u200b\u7684\u200b IPv4 IP \u200b\u5730\u5740\u200b\u6570\u91cf\u200b v4availableIPrange String \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u53ef\u7528\u200b\u7684\u200b IPv4 \u200b\u5730\u5740\u200b\u8303\u56f4\u200b v4UsingIPs Float64 \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u5df2\u7528\u200b\u7684\u200b IPv4 IP \u200b\u5730\u5740\u200b\u6570\u91cf\u200b v4usingIPrange String \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u5df2\u7528\u200b\u7684\u200b IPv4 \u200b\u5730\u5740\u200b\u8303\u56f4\u200b v6AvailableIPs Float64 \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u53ef\u7528\u200b\u7684\u200b IPv6 IP \u200b\u5730\u5740\u200b\u6570\u91cf\u200b v6availableIPrange String \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u53ef\u7528\u200b\u7684\u200b IPv6 \u200b\u5730\u5740\u200b\u8303\u56f4\u200b v6UsingIPs Float64 \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u5df2\u7528\u200b\u7684\u200b IPv6 IP \u200b\u5730\u5740\u200b\u6570\u91cf\u200b v6usingIPrange String \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u5df2\u7528\u200b\u7684\u200b IPv6 \u200b\u5730\u5740\u200b\u8303\u56f4\u200b sctivateGateway String \u200b\u96c6\u4e2d\u5f0f\u200b\u5b50\u7f51\u200b\uff0c\u200b\u4e3b\u5907\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u5f53\u524d\u200b\u6b63\u5728\u200b\u5de5\u4f5c\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b dhcpV4OptionsUUID String \u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp dhcpv4_options \u200b\u5173\u8054\u200b\u7684\u200b DHCP_Options \u200b\u8bb0\u5f55\u200b\u6807\u8bc6\u200b dhcpV6OptionsUUID String \u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp dhcpv6_options \u200b\u5173\u8054\u200b\u7684\u200b DHCP_Options \u200b\u8bb0\u5f55\u200b\u6807\u8bc6\u200b u2oInterconnectionIP String \u200b\u5f00\u542f\u200b Overlay/Underlay \u200b\u4e92\u8054\u200b\u6a21\u5f0f\u200b\u540e\u200b\uff0c\u200b\u6240\u200b\u5360\u7528\u200b\u7684\u200b\u7528\u4e8e\u200b\u4e92\u8054\u200b\u7684\u200b IP \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#ip","title":"IP \u200b\u5b9a\u4e49","text":""},{"location":"reference/kube-ovn-api/#ip_1","title":"IP","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IP</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IPSpec IP \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#ipsepc","title":"IPSepc","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b podName String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u540d\u79f0\u200b namespace String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u6240\u5728\u200b Namespace \u200b\u540d\u79f0\u200b subnet String IP \u200b\u6240\u5c5e\u200b Subnet attachSubnets []String \u200b\u8be5\u4e3b\u200b IP \u200b\u4e0b\u200b\u5176\u4ed6\u200b\u9644\u5c5e\u200b\u5b50\u7f51\u200b\u540d\u79f0\u200b\uff08\u200b\u5b57\u200b\u6bb5\u200b\u5e9f\u5f03\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\uff09 nodeName String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u6240\u5728\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b ipAddress String IP \u200b\u5730\u5740\u200b\uff0c\u200b\u53cc\u6808\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u4e3a\u200b <code>v4IP,v6IP</code> \u200b\u683c\u5f0f\u200b v4IPAddress String IPv4 IP \u200b\u5730\u5740\u200b v6IPAddress String IPv6 IP \u200b\u5730\u5740\u200b attachIPs []String \u200b\u8be5\u4e3b\u200b IP \u200b\u4e0b\u200b\u5176\u4ed6\u200b\u9644\u5c5e\u200b IP \u200b\u5730\u5740\u200b\uff08\u200b\u5b57\u200b\u6bb5\u200b\u5e9f\u5f03\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\uff09 macAddress String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u7684\u200b Mac \u200b\u5730\u5740\u200b attachMacs []String \u200b\u8be5\u4e3b\u200b IP \u200b\u4e0b\u200b\u5176\u4ed6\u200b\u9644\u5c5e\u200b Mac \u200b\u5730\u5740\u200b\uff08\u200b\u5b57\u200b\u6bb5\u200b\u5e9f\u5f03\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\uff09 containerID String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b Container ID podType String \u200b\u7279\u6b8a\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b Pod\uff0c\u200b\u53ef\u200b\u4e3a\u200b <code>StatefulSet</code>\uff0c<code>VirtualMachine</code> \u200b\u6216\u7a7a"},{"location":"reference/kube-ovn-api/#underlay","title":"Underlay \u200b\u914d\u7f6e","text":""},{"location":"reference/kube-ovn-api/#vlan","title":"Vlan","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>Vlan</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VlanSpec Vlan \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status VlanStatus Vlan \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#vlanspec","title":"VlanSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b id Int Vlan tag \u200b\u53f7\u200b\uff0c\u200b\u53d6\u503c\u200b\u8303\u56f4\u200b\u4e3a\u200b 0~4096 provider String Vlan \u200b\u7ed1\u5b9a\u200b\u7684\u200b ProviderNetwork \u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#vlanstatus","title":"VlanStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b subnets []String Vlan \u200b\u7ed1\u5b9a\u200b\u7684\u200b\u5b50\u7f51\u200b\u5217\u8868\u200b conditions []VlanCondition Vlan \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#providernetwork","title":"ProviderNetwork","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>ProviderNetwork</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec ProviderNetworkSpec ProviderNetwork \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status ProviderNetworkStatus ProviderNetwork \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#providernetworkspec","title":"ProviderNetworkSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b defaultInterface String \u200b\u8be5\u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\u63a5\u53e3\u200b\u540d\u79f0\u200b customInterfaces []CustomInterface \u200b\u8be5\u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u7279\u6b8a\u200b\u4f7f\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b excludeNodes []String \u200b\u8be5\u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u4e0d\u4f1a\u200b\u7ed1\u5b9a\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b exchangeLinkName Bool \u200b\u662f\u5426\u200b\u4ea4\u6362\u200b\u6865\u63a5\u200b\u7f51\u5361\u200b\u548c\u200b\u5bf9\u5e94\u200b OVS \u200b\u7f51\u6865\u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#custominterface","title":"CustomInterface","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b interface String Underlay \u200b\u4f7f\u7528\u200b\u7f51\u5361\u200b\u63a5\u53e3\u200b\u540d\u79f0\u200b nodes []String \u200b\u4f7f\u7528\u200b\u81ea\u5b9a\u4e49\u200b\u7f51\u5361\u200b\u63a5\u53e3\u200b\u7684\u200b\u8282\u70b9\u200b\u5217\u8868"},{"location":"reference/kube-ovn-api/#providernetworkstatus","title":"ProviderNetworkStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool \u200b\u5f53\u524d\u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u662f\u5426\u200b\u8fdb\u5165\u200b\u5c31\u7eea\u200b\u72b6\u6001\u200b readyNodes []String \u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u8fdb\u5165\u200b\u5c31\u7eea\u200b\u72b6\u6001\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b notReadyNodes []String \u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u672a\u200b\u8fdb\u5165\u200b\u5c31\u7eea\u200b\u72b6\u6001\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b vlans []String \u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u7ed1\u5b9a\u200b\u7684\u200b Vlan \u200b\u540d\u79f0\u200b conditions []ProviderNetworkCondition ProviderNetwork \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#vpc","title":"Vpc \u200b\u5b9a\u4e49","text":""},{"location":"reference/kube-ovn-api/#vpc_1","title":"Vpc","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>Vpc</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VpcSpec Vpc \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status VpcStatus Vpc \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#vpcspec","title":"VpcSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b namespaces []String Vpc \u200b\u7ed1\u5b9a\u200b\u7684\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u5217\u8868\u200b staticRoutes []*StaticRoute Vpc \u200b\u4e0b\u200b\u914d\u7f6e\u200b\u7684\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u4fe1\u606f\u200b policyRoutes []*PolicyRoute Vpc \u200b\u4e0b\u200b\u914d\u7f6e\u200b\u7684\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4fe1\u606f\u200b vpcPeerings []*VpcPeering Vpc \u200b\u4e92\u8054\u200b\u4fe1\u606f\u200b enableExternal Bool Vpc \u200b\u662f\u5426\u200b\u8fde\u63a5\u200b\u5230\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a"},{"location":"reference/kube-ovn-api/#staticroute","title":"StaticRoute","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b policy String \u200b\u8def\u7531\u200b\u7b56\u7565\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>policySrc</code> \u200b\u6216\u8005\u200b <code>policyDst</code> cidr String \u200b\u8def\u7531\u200b Cidr \u200b\u7f51\u6bb5\u200b nextHopIP String \u200b\u8def\u7531\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#policyroute","title":"PolicyRoute","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b priority Int32 \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4f18\u5148\u7ea7\u200b match String \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u5339\u914d\u200b\u6761\u4ef6\u200b action String \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u52a8\u4f5c\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>allow</code>\u3001<code>drop</code> \u200b\u6216\u8005\u200b <code>reroute</code> nextHopIP String \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u4fe1\u606f\u200b\uff0cECMP \u200b\u8def\u7531\u200b\u60c5\u51b5\u200b\u4e0b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u5730\u5740\u200b\u4f7f\u7528\u200b\u9017\u53f7\u200b\u9694\u5f00"},{"location":"reference/kube-ovn-api/#vpcpeering","title":"VpcPeering","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b remoteVpc String Vpc \u200b\u4e92\u8054\u200b\u5bf9\u7aef\u200b Vpc \u200b\u540d\u79f0\u200b localConnectIP String Vpc \u200b\u4e92\u8054\u200b\u672c\u7aef\u200b IP \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#vpcstatus","title":"VpcStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []VpcCondition Vpc \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b standby Bool \u200b\u6807\u8bc6\u200b Vpc \u200b\u662f\u5426\u200b\u521b\u5efa\u200b\u5b8c\u6210\u200b\uff0cVpc \u200b\u4e0b\u200b\u7684\u200b Subnet \u200b\u9700\u8981\u200b\u7b49\u200b Vpc \u200b\u521b\u5efa\u200b\u5b8c\u6210\u200b\u8f6c\u6362\u200b\u518d\u200b\u7ee7\u7eed\u200b\u5904\u7406\u200b default Bool \u200b\u662f\u5426\u662f\u200b\u9ed8\u8ba4\u200b Vpc defaultLogicalSwitch String Vpc \u200b\u4e0b\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b router String Vpc \u200b\u5bf9\u5e94\u200b\u7684\u200b logical-router \u200b\u540d\u79f0\u200b tcpLoadBalancer String Vpc \u200b\u4e0b\u200b\u7684\u200b TCP LB \u200b\u4fe1\u606f\u200b udpLoadBalancer String Vpc \u200b\u4e0b\u200b\u7684\u200b UDP LB \u200b\u4fe1\u606f\u200b tcpSessionLoadBalancer String Vpc \u200b\u4e0b\u200b\u7684\u200b TCP \u200b\u4f1a\u8bdd\u200b\u4fdd\u6301\u200b LB \u200b\u4fe1\u606f\u200b udpSessionLoadBalancer String Vpc \u200b\u4e0b\u200b\u7684\u200b UDP \u200b\u4f1a\u8bdd\u200b\u4fdd\u6301\u200b LB \u200b\u4fe1\u606f\u200b subnets []String Vpc \u200b\u4e0b\u200b\u7684\u200b\u5b50\u7f51\u200b\u5217\u8868\u200b vpcPeerings []String Vpc \u200b\u4e92\u8054\u200b\u7684\u200b\u5bf9\u200b\u7aef\u200b Vpc \u200b\u5217\u8868\u200b enableExternal Bool Vpc \u200b\u662f\u5426\u200b\u8fde\u63a5\u200b\u5230\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a"},{"location":"reference/kube-ovn-api/#vpcnatgateway","title":"VpcNatGateway","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>VpcNatGateway</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VpcNatSpec Vpc \u200b\u7f51\u5173\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#vpcnatspec","title":"VpcNatSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b vpc String Vpc \u200b\u7f51\u5173\u200b Pod \u200b\u6240\u5728\u200b\u7684\u200b Vpc \u200b\u540d\u79f0\u200b subnet String Vpc \u200b\u7f51\u5173\u200b Pod \u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u540d\u79f0\u200b lanIp String Vpc \u200b\u7f51\u5173\u200b Pod \u200b\u6307\u5b9a\u200b\u5206\u914d\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b selector []String \u200b\u6807\u51c6\u200b Kubernetes Selector \u200b\u5339\u914d\u200b\u4fe1\u606f\u200b tolerations []VpcNatToleration \u200b\u6807\u51c6\u200b Kubernetes \u200b\u5bb9\u5fcd\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#vpcnattoleration","title":"VpcNatToleration","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b key String \u200b\u5bb9\u5fcd\u200b\u6c61\u70b9\u200b\u7684\u200b key \u200b\u4fe1\u606f\u200b operator String \u200b\u53d6\u503c\u200b\u4e3a\u200b <code>Exists</code> \u200b\u6216\u8005\u200b <code>Equal</code> value String \u200b\u5bb9\u5fcd\u200b\u6c61\u70b9\u200b\u7684\u200b value \u200b\u4fe1\u606f\u200b effect String \u200b\u5bb9\u5fcd\u200b\u6c61\u70b9\u200b\u7684\u200b\u4f5c\u7528\u200b\u6548\u679c\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>NoExecute</code> \u3001<code>NoSchedule</code> \u200b\u6216\u8005\u200b <code>PreferNoSchedule</code> tolerationSeconds Int64 \u200b\u6dfb\u52a0\u200b\u6c61\u70b9\u200b\u540e\u200b\uff0cPod \u200b\u8fd8\u200b\u80fd\u200b\u7ee7\u7eed\u200b\u5728\u200b\u8282\u70b9\u200b\u4e0a\u200b\u8fd0\u884c\u200b\u7684\u200b\u65f6\u95f4\u200b <p>\u200b\u4ee5\u4e0a\u200b\u5bb9\u5fcd\u200b\u5b57\u6bb5\u200b\u7684\u200b\u542b\u4e49\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Kubernetes \u200b\u5b98\u65b9\u200b\u6587\u6863\u200b \u200b\u6c61\u70b9\u200b\u548c\u200b\u5bb9\u5fcd\u5ea6\u200b\u3002</p>"},{"location":"reference/kube-ovn-api/#iptableseip","title":"IptablesEIP","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IptablesEIP</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IptablesEipSpec Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status IptablesEipStatus Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#iptableseipspec","title":"IptablesEipSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b v4ip String IptablesEIP v4 \u200b\u5730\u5740\u200b v6ip String IptablesEIP v6 \u200b\u5730\u5740\u200b macAddress String IptablesEIP crd \u200b\u8bb0\u5f55\u200b\u5206\u914d\u200b\u7684\u200b mac \u200b\u5730\u5740\u200b\uff0c\u200b\u6ca1\u6709\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b natGwDp String Vpc \u200b\u7f51\u5173\u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#iptableseipstatus","title":"IptablesEipStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool IptablesEIP \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b ip String IptablesEIP \u200b\u4f7f\u7528\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u76ee\u524d\u200b\u53ea\u200b\u652f\u6301\u200b\u4e86\u200b IPv4 \u200b\u5730\u5740\u200b redo String IptablesEIP crd \u200b\u521b\u5efa\u200b\u6216\u8005\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b nat String IptablesEIP \u200b\u7684\u200b\u4f7f\u7528\u200b\u7c7b\u578b\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>fip</code>\u3001<code>snat</code> \u200b\u6216\u8005\u200b <code>dnat</code> conditions []IptablesEIPCondition IptablesEIP \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#iptablesfiprule","title":"IptablesFIPRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IptablesFIPRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IptablesFIPRuleSpec Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesFIPRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status IptablesFIPRuleStatus Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesFIPRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#iptablesfiprulespec","title":"IptablesFIPRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b eip String IptablesFIPRule \u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u540d\u79f0\u200b internalIp String IptablesFIPRule \u200b\u5bf9\u5e94\u200b\u7684\u200b\u5185\u90e8\u200b\u7684\u200b IP \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#iptablesfiprulestatus","title":"IptablesFIPRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool IptablesFIPRule \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4ip String IptablesEIP \u200b\u4f7f\u7528\u200b\u7684\u200b v4 IP \u200b\u5730\u5740\u200b v6ip String IptablesEIP \u200b\u4f7f\u7528\u200b\u7684\u200b v6 IP \u200b\u5730\u5740\u200b natGwDp String Vpc \u200b\u7f51\u5173\u200b\u540d\u79f0\u200b redo String IptablesFIPRule crd \u200b\u521b\u5efa\u200b\u6216\u8005\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b conditions []IptablesFIPRuleCondition IptablesFIPRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#iptablessnatrule","title":"IptablesSnatRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IptablesSnatRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IptablesSnatRuleSpec Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesSnatRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status IptablesSnatRuleStatus Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesSnatRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#iptablessnatrulespec","title":"IptablesSnatRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b eip String IptablesSnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u540d\u79f0\u200b internalIp String IptablesSnatRule \u200b\u5bf9\u5e94\u200b\u7684\u200b\u5185\u90e8\u200b\u7684\u200b IP \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#iptablessnatrulestatus","title":"IptablesSnatRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool IptablesSnatRule \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4ip String IptablesSnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b v4 IP \u200b\u5730\u5740\u200b v6ip String IptablesSnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b v6 IP \u200b\u5730\u5740\u200b natGwDp String Vpc \u200b\u7f51\u5173\u200b\u540d\u79f0\u200b redo String IptablesSnatRule crd \u200b\u521b\u5efa\u200b\u6216\u8005\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b conditions []IptablesSnatRuleCondition IptablesSnatRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#iptablesdnatrule","title":"IptablesDnatRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IptablesDnatRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IptablesDnatRuleSpec Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesDnatRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status IptablesDnatRuleStatus Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesDnatRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#iptablesdnatrulespec","title":"IptablesDnatRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b eip Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u540d\u79f0\u200b externalPort Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b\u5916\u90e8\u200b\u7aef\u53e3\u200b protocol Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u7684\u200b\u534f\u8bae\u200b\u7c7b\u578b\u200b internalIp Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b\u5185\u90e8\u200b IP \u200b\u5730\u5740\u200b internalPort Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b\u5185\u90e8\u200b\u7aef\u53e3"},{"location":"reference/kube-ovn-api/#iptablesdnatrulestatus","title":"IptablesDnatRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool IptablesDnatRule \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4ip String IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b v4 IP \u200b\u5730\u5740\u200b v6ip String IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b v6 IP \u200b\u5730\u5740\u200b natGwDp String Vpc \u200b\u7f51\u5173\u200b\u540d\u79f0\u200b redo String IptablesDnatRule crd \u200b\u521b\u5efa\u200b\u6216\u8005\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b conditions []IptablesDnatRuleCondition IptablesDnatRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#vpcdns","title":"VpcDns","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>VpcDns</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VpcDnsSpec VpcDns \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status VpcDnsStatus VpcDns \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#vpcdnsspec","title":"VpcDnsSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b vpc String VpcDns \u200b\u6240\u5728\u200b\u7684\u200b Vpc \u200b\u540d\u79f0\u200b subnet String VpcDns Pod \u200b\u5206\u914d\u200b\u5730\u5740\u200b\u7684\u200b Subnet \u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#vpcdnsstatus","title":"VpcDnsStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []VpcDnsCondition VpcDns \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b active Bool VpcDns \u200b\u662f\u5426\u200b\u6b63\u5728\u200b\u4f7f\u7528\u200b <p>VpcDns \u200b\u7684\u200b\u8be6\u7ec6\u200b\u4f7f\u7528\u200b\u6587\u6863\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b DNS\u3002</p>"},{"location":"reference/kube-ovn-api/#switchlbrule","title":"SwitchLBRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>SwitchLBRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec SwitchLBRuleSpec SwitchLBRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status SwitchLBRuleStatus SwitchLBRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#switchlbrulespec","title":"SwitchLBRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b vip String SwitchLBRule \u200b\u914d\u7f6e\u200b\u7684\u200b vip \u200b\u5730\u5740\u200b namespace String SwitchLBRule \u200b\u7684\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b selector []String \u200b\u6807\u51c6\u200b Kubernetes Selector \u200b\u5339\u914d\u200b\u4fe1\u606f\u200b sessionAffinity String \u200b\u6807\u51c6\u200b Kubernetes Service \u200b\u4e2d\u200b sessionAffinity \u200b\u53d6\u503c\u200b ports []SlrPort SwitchLBRule \u200b\u7aef\u53e3\u200b\u5217\u8868\u200b <p>SwitchLBRule \u200b\u7684\u200b\u8be6\u7ec6\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u3002</p>"},{"location":"reference/kube-ovn-api/#slrport","title":"SlrPort","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b name String \u200b\u7aef\u53e3\u200b\u540d\u79f0\u200b port Int32 \u200b\u7aef\u53e3\u53f7\u200b targetPort Int32 \u200b\u76ee\u6807\u200b\u7aef\u53e3\u53f7\u200b protocol String \u200b\u534f\u8bae\u200b\u7c7b\u578b"},{"location":"reference/kube-ovn-api/#switchlbrulestatus","title":"SwitchLBRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []SwitchLBRuleCondition SwitchLBRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b ports String SwitchLBRule \u200b\u7aef\u53e3\u200b\u4fe1\u606f\u200b service String SwitchLBRule \u200b\u63d0\u4f9b\u200b\u670d\u52a1\u200b\u7684\u200b service \u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#vip","title":"\u5b89\u5168\u200b\u7ec4\u4e0e\u200b Vip","text":""},{"location":"reference/kube-ovn-api/#securitygroup","title":"SecurityGroup","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>SecurityGroup</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec SecurityGroupSpec \u200b\u5b89\u5168\u200b\u7ec4\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status SecurityGroupStatus \u200b\u5b89\u5168\u200b\u7ec4\u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#securitygroupspec","title":"SecurityGroupSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ingressRules []*SgRule \u200b\u5165\u200b\u65b9\u5411\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b egressRules []*SgRule \u200b\u51fa\u200b\u65b9\u5411\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b allowSameGroupTraffic Bool \u200b\u540c\u4e00\u200b\u5b89\u5168\u200b\u7ec4\u5185\u200b\u7684\u200b lsp \u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u4e92\u901a\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u6d41\u91cf\u200b\u89c4\u5219\u200b\u662f\u5426\u200b\u9700\u8981\u200b\u66f4\u65b0"},{"location":"reference/kube-ovn-api/#sgrule","title":"SgRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ipVersion String IP \u200b\u7248\u672c\u53f7\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>ipv4</code> \u200b\u6216\u8005\u200b <code>ipv6</code> protocol String \u200b\u53d6\u503c\u200b\u4e3a\u200b <code>all</code>\u3001<code>icmp</code>\u3001<code>tcp</code> \u200b\u6216\u8005\u200b <code>udp</code> priority Int Acl \u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u53d6\u503c\u200b\u8303\u56f4\u200b\u4e3a\u200b 1-200\uff0c\u200b\u6570\u503c\u200b\u8d8a\u5c0f\u200b\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u8d8a\u9ad8\u200b remoteType String \u200b\u53d6\u503c\u200b\u4e3a\u200b <code>address</code> \u200b\u6216\u8005\u200b <code>securityGroup</code> remoteAddress String \u200b\u5bf9\u7aef\u200b\u5730\u5740\u200b remoteSecurityGroup String \u200b\u5bf9\u7aef\u200b\u5b89\u5168\u200b\u7ec4\u200b portRangeMin Int \u200b\u7aef\u53e3\u200b\u8303\u56f4\u200b\u8d77\u59cb\u503c\u200b\uff0c\u200b\u6700\u5c0f\u200b\u53d6\u503c\u200b\u4e3a\u200b 1 portRangeMax Int \u200b\u7aef\u53e3\u200b\u8303\u56f4\u200b\u6700\u5927\u503c\u200b\uff0c\u200b\u6700\u5927\u200b\u53d6\u503c\u200b\u4e3a\u200b 65535 policy String \u200b\u53d6\u503c\u200b\u4e3a\u200b <code>allow</code> \u200b\u6216\u8005\u200b <code>drop</code>"},{"location":"reference/kube-ovn-api/#securitygroupstatus","title":"SecurityGroupStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b portGroup String \u200b\u5b89\u5168\u200b\u7ec4\u200b\u5bf9\u5e94\u200b\u7684\u200b port-group \u200b\u540d\u79f0\u200b allowSameGroupTraffic Bool \u200b\u540c\u4e00\u200b\u5b89\u5168\u200b\u7ec4\u5185\u200b\u7684\u200b lsp \u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u4e92\u901a\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u6d41\u91cf\u200b\u89c4\u5219\u200b\u662f\u5426\u200b\u9700\u8981\u200b\u66f4\u65b0\u200b ingressMd5 String \u200b\u5165\u200b\u65b9\u5411\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b MD5 \u200b\u53d6\u503c\u200b egressMd5 String \u200b\u51fa\u200b\u65b9\u5411\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b MD5 \u200b\u53d6\u503c\u200b ingressLastSyncSuccess Bool \u200b\u5165\u200b\u65b9\u5411\u200b\u89c4\u5219\u200b\u4e0a\u200b\u4e00\u6b21\u200b\u540c\u6b65\u200b\u662f\u5426\u200b\u6210\u529f\u200b egressLastSyncSuccess Bool \u200b\u51fa\u200b\u65b9\u5411\u200b\u89c4\u5219\u200b\u4e0a\u200b\u4e00\u6b21\u200b\u540c\u6b65\u200b\u662f\u5426\u200b\u6210\u529f"},{"location":"reference/kube-ovn-api/#vip_1","title":"Vip","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>Vip</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VipSpec Vip \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status VipStatus Vip \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#vipspec","title":"VipSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b namespace String Vip \u200b\u6240\u5728\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b subnet String Vip \u200b\u6240\u5c5e\u200b\u5b50\u7f51\u200b type String Vip \u200b\u4f7f\u7528\u200b\u7c7b\u578b\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>switch_lb_vip</code> \u200b\u6216\u7a7a\u200b v4ip String Vip v4 IP \u200b\u5730\u5740\u200b v6ip String Vip v6 IP \u200b\u5730\u5740\u200b macAddress String Vip mac \u200b\u5730\u5740\u200b parentV4ip String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b parentV6ip String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b parentMac String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b selector []String \u200b\u6807\u51c6\u200b Kubernetes Selector \u200b\u5339\u914d\u200b\u4fe1\u606f\u200b attachSubnets []String \u200b\u8be5\u5b57\u6bb5\u200b\u5e9f\u5f03\u200b\uff0c\u200b\u4e0d\u518d\u200b\u4f7f\u7528"},{"location":"reference/kube-ovn-api/#vipstatus","title":"VipStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []VipCondition Vip \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b ready Bool Vip \u200b\u662f\u5426\u200b\u51c6\u5907\u200b\u597d\u200b v4ip String Vip v4 IP \u200b\u5730\u5740\u200b\uff0c\u200b\u5e94\u8be5\u200b\u548c\u200b spec \u200b\u5b57\u200b\u6bb5\u200b\u53d6\u503c\u200b\u4e00\u81f4\u200b v6ip String Vip v6 IP \u200b\u5730\u5740\u200b\uff0c\u200b\u5e94\u8be5\u200b\u548c\u200b spec \u200b\u5b57\u200b\u6bb5\u200b\u53d6\u503c\u200b\u4e00\u81f4\u200b mac String Vip mac \u200b\u5730\u5740\u200b\uff0c\u200b\u5e94\u8be5\u200b\u548c\u200b spec \u200b\u5b57\u200b\u6bb5\u200b\u53d6\u503c\u200b\u4e00\u81f4\u200b pv4ip String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b pv6ip String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b pmac String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528"},{"location":"reference/kube-ovn-api/#ovneip","title":"OvnEip","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>OvnEip</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec OvnEipSpec \u200b\u9ed8\u8ba4\u200b Vpc \u200b\u4f7f\u7528\u200b OvnEip \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status OvnEipStatus \u200b\u9ed8\u8ba4\u200b Vpc \u200b\u4f7f\u7528\u200b OvnEip \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#ovneipspec","title":"OvnEipSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b externalSubnet String OvnEip \u200b\u6240\u5728\u200b\u7684\u200b\u5b50\u7f51\u200b\u540d\u79f0\u200b v4Ip String OvnEip IPv4 \u200b\u5730\u5740\u200b v6Ip String OvnEip IPv6 \u200b\u5730\u5740\u200b macAddress String OvnEip Mac \u200b\u5730\u5740\u200b type String OvnEip \u200b\u4f7f\u7528\u200b\u7c7b\u578b\u200b\uff0c\u200b\u53d6\u503c\u200b\u6709\u200b <code>lrp</code>\u3001<code>lsp</code> \u200b\u6216\u8005\u200b <code>nat</code>"},{"location":"reference/kube-ovn-api/#ovneipstatus","title":"OvnEipStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []OvnEipCondition \u200b\u9ed8\u8ba4\u200b Vpc OvnEip \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b type String OvnEip \u200b\u4f7f\u7528\u200b\u7c7b\u578b\u200b, \u200b\u53ef\u4ee5\u200b\u662f\u200b <code>lrp</code>, <code>lsp</code> or <code>nat</code> nat String dnat snat fip v4Ip String OvnEip \u200b\u4f7f\u7528\u200b\u7684\u200b v4 IP \u200b\u5730\u5740\u200b v6Ip String OvnEip \u200b\u4f7f\u7528\u200b\u7684\u200b v6 IP \u200b\u5730\u5740\u200b macAddress String OvnEip \u200b\u4f7f\u7528\u200b\u7684\u200b Mac \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#ovnfip","title":"OvnFip","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>OvnFip</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec OvnFipSpec \u200b\u9ed8\u8ba4\u200b Vpc \u200b\u4f7f\u7528\u200b OvnFip \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status OvnFipStatus \u200b\u9ed8\u8ba4\u200b Vpc \u200b\u4f7f\u7528\u200b OvnFip \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#ovnfipspec","title":"OvnFipSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ovnEip String OvnFip \u200b\u7ed1\u5b9a\u200b\u7684\u200b OvnEip \u200b\u540d\u79f0\u200b ipType String vip \u200b\u6216\u8005\u200b ip crd (\"\" \u200b\u8868\u793a\u200b ip crd) ipName String OvnFip \u200b\u7ed1\u5b9a\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b IP crd \u200b\u540d\u79f0\u200b vpc String Pod \u200b\u6240\u5728\u200b\u7684\u200b VPC \u200b\u7684\u200b\u540d\u5b57\u200b V4Ip String IP \u200b\u6216\u8005\u200b VIP \u200b\u7684\u200b IPv4 \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#ovnfipstatus","title":"OvnFipStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool OvnFip \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4Eip String OvnFip \u200b\u7ed1\u5b9a\u200b\u7684\u200b OvnEip \u200b\u540d\u79f0\u200b v4Ip String OvnFip \u200b\u5f53\u524d\u200b\u4f7f\u7528\u200b\u7684\u200b OvnEip \u200b\u5730\u5740\u200b vpc String OvnFip \u200b\u6240\u5728\u200b\u7684\u200b Vpc \u200b\u540d\u79f0\u200b conditions []OvnFipCondition OvnFip \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#ovnsnatrule","title":"OvnSnatRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>OvnSnatRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec OvnSnatRuleSpec \u200b\u9ed8\u8ba4\u200b Vpc OvnSnatRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status OvnSnatRuleStatus \u200b\u9ed8\u8ba4\u200b Vpc OvnSnatRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#ovnsnatrulespec","title":"OvnSnatRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ovnEip String OvnSnatRule \u200b\u7ed1\u5b9a\u200b\u7684\u200b OvnEip \u200b\u540d\u79f0\u200b vpcSubnet String OvnSnatRule \u200b\u914d\u7f6e\u200b\u7684\u200b\u5b50\u7f51\u200b\u540d\u79f0\u200b vpc String Pod \u200b\u6240\u5728\u200b\u7684\u200b VPC ipName String OvnSnatRule \u200b\u7ed1\u5b9a\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b IP crd \u200b\u540d\u79f0\u200b v4IpCidr String vpc subnet \u200b\u7684\u200b IPv4 cidr"},{"location":"reference/kube-ovn-api/#ovnsnatrulestatus","title":"OvnSnatRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool OvnSnatRule \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4Eip String OvnSnatRule \u200b\u7ed1\u5b9a\u200b\u7684\u200b OvnEip \u200b\u5730\u5740\u200b v4IpCidr String \u200b\u5728\u200b logical-router \u200b\u4e2d\u200b\u914d\u7f6e\u200b snat \u200b\u8f6c\u6362\u200b\u4f7f\u7528\u200b\u7684\u200b cidr \u200b\u5730\u5740\u200b vpc String OvnSnatRule \u200b\u6240\u5728\u200b\u7684\u200b Vpc \u200b\u540d\u79f0\u200b conditions []OvnSnatRuleCondition OvnSnatRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/kube-ovn-pinger-args/","title":"Kube-OVN-Pinger \u200b\u53c2\u6570\u200b\u53c2\u8003","text":"<p>\u200b\u57fa\u4e8e\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\uff0c\u200b\u6574\u7406\u200b\u4e86\u200b Kube-ovn-pinger \u200b\u652f\u6301\u200b\u7684\u200b\u53c2\u6570\u200b\uff0c\u200b\u5217\u51fa\u200b\u53c2\u6570\u200b\u5b9a\u4e49\u200b\u5404\u5b57\u200b\u6bb5\u200b\u7684\u200b\u53d6\u503c\u200b\u7c7b\u578b\u200b\uff0c\u200b\u542b\u4e49\u200b\u548c\u200b\u9ed8\u8ba4\u503c\u200b\uff0c\u200b\u4ee5\u200b\u4f9b\u53c2\u8003\u200b</p>"},{"location":"reference/kube-ovn-pinger-args/#_1","title":"\u53c2\u6570\u200b\u63cf\u8ff0","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b \u200b\u9ed8\u8ba4\u503c\u200b port Int metrics \u200b\u7aef\u53e3\u200b 8080 kubeconfig String \u200b\u5177\u6709\u200b\u8ba4\u8bc1\u200b\u4fe1\u606f\u200b\u7684\u200b kubeconfig \u200b\u6587\u4ef6\u200b\u8def\u5f84\u200b\uff0c \u200b\u5982\u679c\u200b\u672a\u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u4f7f\u7528\u200b inCluster \u200b\u4ee4\u724c\u200b\u3002 \"\" ds-namespace String kube-ovn-pinger \u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b \"kube-system\" ds-name String kube-ovn-pinger \u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u540d\u5b57\u200b \"kube-ovn-pinger\" interval Int \u200b\u8fde\u7eed\u200b ping \u200b\u4e4b\u95f4\u200b\u7684\u200b\u95f4\u9694\u200b\u79d2\u6570\u200b 5 mode String \u200b\u670d\u52a1\u5668\u200b\u6216\u200b\u5de5\u4f5c\u200b\u6a21\u5f0f\u200b \"server\" exit-code Int \u200b\u5931\u8d25\u200b\u65f6\u200b\u9000\u51fa\u200b\u4ee3\u7801\u200b 0 internal-dns String \u200b\u4ece\u200b pod \u200b\u5185\u200b\u89e3\u6790\u200b\u5185\u90e8\u200b dns \"kubernetes.default\" external-dns String \u200b\u4ece\u200b pod \u200b\u5185\u200b\u89e3\u6790\u200b\u5916\u90e8\u200b dns \"\" external-address String \u200b\u68c0\u67e5\u200b\u4e0e\u200b\u5916\u90e8\u200b\u5730\u5740\u200b\u7684\u200b ping \u200b\u8fde\u901a\u200b \"114.114.114.114\" network-mode String \u200b\u5f53\u524d\u200b\u96c6\u7fa4\u200b\u4f7f\u7528\u200b\u7684\u200b cni \u200b\u63d2\u4ef6\u200b \"kube-ovn\" enable-metrics Bool \u200b\u662f\u5426\u200b\u652f\u6301\u200b metrics \u200b\u67e5\u8be2\u200b true ovs.timeout Int \u200b\u5bf9\u200b OVS \u200b\u7684\u200b JSON-RPC \u200b\u8bf7\u6c42\u200b\u8d85\u65f6\u200b\u3002 2 system.run.dir String OVS \u200b\u9ed8\u8ba4\u200b\u8fd0\u884c\u200b\u76ee\u5f55\u200b\u3002 \"/var/run/openvswitch\" database.vswitch.name String OVS \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u540d\u79f0\u200b\u3002 \"Open_vSwitch\" database.vswitch.socket.remote String JSON-RPC unix \u200b\u5957\u200b\u63a5\u5b57\u200b\u5230\u200b OVS \u200b\u6570\u636e\u5e93\u200b\u3002 \"unix:/var/run/openvswitch/db.sock\" database.vswitch.file.data.path String OVS \u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u3002 \"/etc/openvswitch/conf.db\" database.vswitch.file.log.path String OVS \u200b\u6570\u636e\u5e93\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u200b\u3002 \"/var/log/openvswitch/ovsdb-server.log\" database.vswitch.file.pid.path String OVS \u200b\u6570\u636e\u5e93\u200b\u8fdb\u7a0b\u200b ID \u200b\u6587\u4ef6\u200b\u3002 \"/var/run/openvswitch/ovsdb-server.pid\" database.vswitch.file.system.id.path String OVS \u200b\u7cfb\u7edf\u200b\u6807\u8bc6\u200b\u6587\u4ef6\u200b\u3002 \"/etc/openvswitch/system-id.conf\" service.vswitchd.file.log.path String OVS vswitchd \u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u200b\u3002 \"/var/log/openvswitch/ovs-vswitchd.log\" service.vswitchd.file.pid.path String OVS vswitchd \u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u8fdb\u7a0b\u200b ID \u200b\u6587\u4ef6\u200b\u3002 \"/var/run/openvswitch/ovs-vswitchd.pid\" service.ovncontroller.file.log.path String OVN \u200b\u63a7\u5236\u5668\u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u200b\u3002 \"/var/log/ovn/ovn-controller.log\" service.ovncontroller.file.pid.path String OVN \u200b\u63a7\u5236\u5668\u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u8fdb\u7a0b\u200b ID \u200b\u6587\u4ef6\u200b\u3002 \"/var/run/ovn/ovn-controller.pid\" <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/metrics/","title":"Kube-OVN \u200b\u76d1\u63a7\u200b\u6307\u6807","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u5217\u4e3e\u200b Kube-OVN \u200b\u6240\u200b\u63d0\u4f9b\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p>"},{"location":"reference/metrics/#ovn-monitor","title":"ovn-monitor","text":"<p>OVN \u200b\u81ea\u8eab\u200b\u72b6\u6001\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Gauge kube_ovn_ovn_status OVN \u200b\u89d2\u8272\u200b\u72b6\u6001\u200b\uff0c (2) \u200b\u4e3a\u200b follower\uff1b (1) \u200b\u4e3a\u200b leader, (0) \u200b\u4e3a\u200b\u5f02\u5e38\u200b\u72b6\u6001\u200b\u3002 Gauge kube_ovn_failed_req_count OVN \u200b\u5931\u8d25\u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_log_file_size_bytes OVN \u200b\u7ec4\u4ef6\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u5927\u5c0f\u200b\u3002 Gauge kube_ovn_db_file_size_bytes OVN \u200b\u7ec4\u4ef6\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u5927\u5c0f\u200b\u3002 Gauge kube_ovn_chassis_info OVN chassis \u200b\u72b6\u6001\u200b (1) \u200b\u8fd0\u884c\u200b\u4e2d\u200b\uff0c(0) \u200b\u505c\u6b62\u200b\u3002 Gauge kube_ovn_db_status OVN \u200b\u6570\u636e\u5e93\u200b\u72b6\u6001\u200b, (1) \u200b\u4e3a\u200b\u6b63\u5e38\u200b\uff1b (0) \u200b\u4e3a\u200b\u5f02\u5e38\u200b\u3002 Gauge kube_ovn_logical_switch_info OVN logical switch \u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b logical switch \u200b\u540d\u5b57\u200b\u3002 Gauge kube_ovn_logical_switch_external_id OVN logical switch external_id \u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b external-id \u200b\u5185\u5bb9\u200b\u3002 Gauge kube_ovn_logical_switch_port_binding OVN logical switch \u200b\u548c\u200b logical switch port \u200b\u5173\u8054\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u901a\u8fc7\u200b\u6807\u7b7e\u200b\u8fdb\u884c\u200b\u5173\u8054\u200b\u3002 Gauge kube_ovn_logical_switch_tunnel_key \u200b\u548c\u200b OVN logical switch \u200b\u5173\u8054\u200b\u7684\u200b tunnel key \u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_logical_switch_ports_num OVN logical switch \u200b\u4e0a\u200b logical port \u200b\u7684\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_logical_switch_port_info OVN logical switch port \u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5177\u4f53\u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_logical_switch_port_tunnel_key \u200b\u548c\u200b OVN logical switch port \u200b\u5173\u8054\u200b\u7684\u200b tunnel key \u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_cluster_enabled (1) OVN \u200b\u6570\u636e\u5e93\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u6a21\u5f0f\u200b\uff1b (0) OVN \u200b\u6570\u636e\u5e93\u200b\u4e3a\u200b\u975e\u200b\u96c6\u7fa4\u200b\u6a21\u5f0f\u200b\u3002 Gauge kube_ovn_cluster_role \u200b\u6bcf\u4e2a\u200b\u6570\u636e\u5e93\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u89d2\u8272\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u89d2\u8272\u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_cluster_status \u200b\u6bcf\u4e2a\u200b\u6570\u636e\u5e93\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u72b6\u6001\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u72b6\u6001\u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_cluster_term RAFT term \u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_cluster_leader_self \u200b\u5f53\u524d\u200b\u6570\u636e\u5e93\u200b\u5b9e\u4f8b\u200b\u662f\u5426\u200b\u4e3a\u200b leader (1) \u200b\u662f\u200b\uff0c (0) \u200b\u4e0d\u662f\u200b\u3002 Gauge kube_ovn_cluster_vote_self \u200b\u5f53\u524d\u200b\u6570\u636e\u5e93\u200b\u5b9e\u4f8b\u200b\u662f\u5426\u200b\u9009\u4e3e\u200b\u81ea\u5df1\u200b\u4e3a\u200b leader (1) \u200b\u662f\u200b\uff0c (0) \u200b\u4e0d\u662f\u200b\u3002 Gauge kube_ovn_cluster_election_timer \u200b\u5f53\u524d\u200b election timer \u200b\u503c\u200b\u3002 Gauge kube_ovn_cluster_log_not_committed \u200b\u672a\u200b commit \u200b\u7684\u200b RAFT \u200b\u65e5\u5fd7\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_log_not_applied \u200b\u672a\u200b apply \u200b\u7684\u200b RAFT \u200b\u65e5\u5fd7\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_log_index_start \u200b\u5f53\u524d\u200b RAFT \u200b\u65e5\u5fd7\u200b\u6761\u200b\u76ee\u7684\u200b\u8d77\u59cb\u503c\u200b\u3002 Gauge kube_ovn_cluster_log_index_next RAFT \u200b\u65e5\u5fd7\u200b\u6761\u200b\u76ee\u7684\u200b\u4e0b\u200b\u4e00\u4e2a\u200b\u503c\u200b\u3002 Gauge kube_ovn_cluster_inbound_connections_total \u200b\u5f53\u524d\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u5165\u200b\u5411\u200b\u8fde\u63a5\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_outbound_connections_total \u200b\u5f53\u524d\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u51fa\u200b\u5411\u200b\u8fde\u63a5\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_inbound_connections_error_total \u200b\u5f53\u524d\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u5165\u200b\u5411\u200b\u9519\u8bef\u200b\u8fde\u63a5\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_outbound_connections_error_total \u200b\u5f53\u524d\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u51fa\u200b\u5411\u200b\u9519\u8bef\u200b\u8fde\u63a5\u200b\u6570\u91cf\u200b\u3002"},{"location":"reference/metrics/#ovs-monitor","title":"ovs-monitor","text":"<p><code>ovsdb</code> \u200b\u548c\u200b <code>vswitchd</code> \u200b\u81ea\u8eab\u200b\u72b6\u6001\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Gauge ovs_status OVS \u200b\u5065\u5eb7\u200b\u72b6\u6001\u200b\uff0c (1) \u200b\u4e3a\u200b\u6b63\u5e38\u200b\uff0c(0) \u200b\u4e3a\u200b\u5f02\u5e38\u200b\u3002 Gauge ovs_info OVS \u200b\u57fa\u7840\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u4fe1\u606f\u200b\u3002 Gauge failed_req_count OVS \u200b\u5931\u8d25\u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Gauge log_file_size OVS \u200b\u7ec4\u4ef6\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u5927\u5c0f\u200b\u3002 Gauge db_file_size OVS \u200b\u7ec4\u4ef6\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u5927\u5c0f\u200b\u3002 Gauge datapath Datapath \u200b\u57fa\u7840\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u4fe1\u606f\u200b\u3002 Gauge dp_total \u200b\u5f53\u524d\u200b OVS \u200b\u4e2d\u200b datapath \u200b\u6570\u91cf\u200b\u3002 Gauge dp_if Datapath \u200b\u63a5\u53e3\u200b\u57fa\u7840\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u4fe1\u606f\u200b\u3002 Gauge dp_if_total \u200b\u5f53\u524d\u200b datapath \u200b\u4e2d\u200b port \u200b\u6570\u91cf\u200b\u3002 Gauge dp_flows_total Datapath \u200b\u4e2d\u200b flow \u200b\u6570\u91cf\u200b\u3002 Gauge dp_flows_lookup_hit Datapath \u200b\u4e2d\u200b\u547d\u4e2d\u200b\u5f53\u524d\u200b flow \u200b\u6570\u636e\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge dp_flows_lookup_missed Datapath \u200b\u4e2d\u672a\u200b\u547d\u4e2d\u200b\u5f53\u524d\u200b flow \u200b\u6570\u636e\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge dp_flows_lookup_lost Datapath \u200b\u4e2d\u200b\u9700\u8981\u200b\u53d1\u9001\u7ed9\u200b userspace \u200b\u5904\u7406\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge dp_masks_hit Datapath \u200b\u4e2d\u200b\u547d\u4e2d\u200b\u5f53\u524d\u200b mask \u200b\u6570\u636e\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge dp_masks_total Datapath \u200b\u4e2d\u200b mask \u200b\u7684\u200b\u6570\u91cf\u200b\u3002 Gauge dp_masks_hit_ratio Datapath \u200b\u4e2d\u200b \u200b\u6570\u636e\u5305\u200b\u547d\u4e2d\u200b mask \u200b\u7684\u200b\u6bd4\u7387\u200b\u3002 Gauge interface OVS \u200b\u63a5\u53e3\u200b\u57fa\u7840\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u4fe1\u606f\u200b\u3002 Gauge interface_admin_state \u200b\u63a5\u53e3\u200b\u7ba1\u7406\u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b (0) \u200b\u4e3a\u200b down, (1) \u200b\u4e3a\u200b up, (2) \u200b\u4e3a\u200b\u5176\u4ed6\u200b\u72b6\u6001\u200b\u3002 Gauge interface_link_state \u200b\u63a5\u53e3\u200b\u94fe\u8def\u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b (0) \u200b\u4e3a\u200b down, (1) \u200b\u4e3a\u200b up, (2) \u200b\u4e3a\u200b\u5176\u4ed6\u200b\u72b6\u6001\u200b\u3002 Gauge interface_mac_in_use OVS Interface \u200b\u4f7f\u7528\u200b\u7684\u200b MAC \u200b\u5730\u5740\u200b Gauge interface_mtu OVS Interface \u200b\u4f7f\u7528\u200b\u7684\u200b MTU\u3002 Gauge interface_of_port OVS Interface \u200b\u5173\u8054\u200b\u7684\u200b OpenFlow Port ID\u3002 Gauge interface_if_index OVS Interface \u200b\u5173\u8054\u200b\u7684\u200b Index\u3002 Gauge interface_tx_packets OVS Interface \u200b\u53d1\u9001\u200b\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge interface_tx_bytes OVS Interface \u200b\u53d1\u9001\u200b\u5305\u200b\u5927\u5c0f\u200b\u3002 Gauge interface_rx_packets OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_bytes OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u5927\u5c0f\u200b\u3002 Gauge interface_rx_crc_err OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u6821\u9a8c\u200b\u548c\u200b\u9519\u8bef\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_dropped OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u4e22\u5f03\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_errors OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u9519\u8bef\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_frame_err OVS Interface \u200b\u63a5\u6536\u200b\u5e27\u200b\u9519\u8bef\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_missed_err OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b miss \u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_over_err OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b overrun \u200b\u6570\u91cf\u200b\u3002 Gauge interface_tx_dropped OVS Interface \u200b\u53d1\u9001\u200b\u5305\u200b\u4e22\u5f03\u200b\u6570\u91cf\u200b\u3002 Gauge interface_tx_errors OVS Interface \u200b\u53d1\u9001\u200b\u5305\u200b\u9519\u8bef\u200b\u6570\u91cf\u200b\u3002 Gauge interface_collisions OVS interface \u200b\u51b2\u7a81\u200b\u6570\u91cf\u200b\u3002"},{"location":"reference/metrics/#kube-ovn-pinger","title":"kube-ovn-pinger","text":"<p>\u200b\u7f51\u7edc\u200b\u8d28\u91cf\u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Gauge pinger_ovs_up \u200b\u8282\u70b9\u200b OVS \u200b\u8fd0\u884c\u200b\u3002 Gauge pinger_ovs_down \u200b\u8282\u70b9\u200b OVS \u200b\u505c\u6b62\u200b\u3002 Gauge pinger_ovn_controller_up \u200b\u8282\u70b9\u200b ovn-controller \u200b\u8fd0\u884c\u200b\u3002 Gauge pinger_ovn_controller_down \u200b\u8282\u70b9\u200b ovn-controller \u200b\u505c\u6b62\u200b\u3002 Gauge pinger_inconsistent_port_binding OVN-SB \u200b\u91cc\u200b portbinding \u200b\u6570\u91cf\u200b\u548c\u200b\u4e3b\u673a\u200b OVS interface \u200b\u4e0d\u200b\u4e00\u81f4\u200b\u7684\u200b\u6570\u91cf\u200b\u3002 Gauge pinger_apiserver_healthy kube-ovn-pinger \u200b\u53ef\u4ee5\u200b\u8054\u901a\u200b apiserver\u3002 Gauge pinger_apiserver_unhealthy kube-ovn-pinger \u200b\u65e0\u6cd5\u200b\u8054\u901a\u200b apiserver\u3002 Histogram pinger_apiserver_latency_ms kube-ovn-pinger \u200b\u8bbf\u95ee\u200b apiserver \u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_internal_dns_healthy kube-ovn-pinger \u200b\u53ef\u4ee5\u200b\u89e3\u6790\u200b\u5185\u90e8\u200b\u57df\u540d\u200b\u3002 Gauge pinger_internal_dns_unhealthy kube-ovn-pinger \u200b\u65e0\u6cd5\u200b\u89e3\u6790\u200b\u5185\u90e8\u200b\u57df\u540d\u200b\u3002 Histogram pinger_internal_dns_latency_ms kube-ovn-pinger \u200b\u89e3\u6790\u200b\u5185\u90e8\u200b\u57df\u540d\u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_external_dns_health kube-ovn-pinger \u200b\u53ef\u4ee5\u200b\u89e3\u6790\u200b\u5916\u90e8\u200b\u57df\u540d\u200b\u3002 Gauge pinger_external_dns_unhealthy kube-ovn-pinger \u200b\u65e0\u6cd5\u200b\u89e3\u6790\u200b\u5916\u90e8\u200b\u57df\u540d\u200b\u3002 Histogram pinger_external_dns_latency_ms kube-ovn-pinger \u200b\u89e3\u6790\u200b\u5916\u90e8\u200b\u57df\u540d\u200b\u5ef6\u8fdf\u200b\u3002 Histogram pinger_pod_ping_latency_ms kube-ovn-pinger ping Pod \u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_pod_ping_lost_total kube-ovn-pinger ping Pod \u200b\u4e22\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge pinger_pod_ping_count_total kube-ovn-pinger ping Pod \u200b\u6570\u91cf\u200b\u3002 Histogram pinger_node_ping_latency_ms kube-ovn-pinger ping Node \u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_node_ping_lost_total kube-ovn-pinger ping Node \u200b\u4e22\u5305\u200b\u3002 Gauge pinger_node_ping_count_total kube-ovn-pinger ping Node \u200b\u6570\u91cf\u200b\u3002 Histogram pinger_external_ping_latency_ms kube-ovn-pinger ping \u200b\u5916\u90e8\u200b\u5730\u5740\u200b \u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_external_lost_total kube-ovn-pinger ping \u200b\u5916\u90e8\u200b\u4e22\u5305\u200b\u6570\u91cf\u200b\u3002"},{"location":"reference/metrics/#kube-ovn-controller","title":"kube-ovn-controller","text":"<p><code>kube-ovn-controller</code> \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Histogram rest_client_request_latency_seconds \u200b\u8bf7\u6c42\u200b apiserver \u200b\u5ef6\u8fdf\u200b\u3002 Counter rest_client_requests_total \u200b\u8bf7\u6c42\u200b apiserver \u200b\u6570\u91cf\u200b\u3002 Counter lists_total API list \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Summary list_duration_seconds API list \u200b\u8bf7\u6c42\u200b\u5ef6\u8fdf\u200b\u3002 Summary items_per_list API list \u200b\u8fd4\u56de\u200b\u7ed3\u679c\u200b\u6570\u91cf\u200b\u3002 Counter watches_total API watch \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Counter short_watches_total \u200b\u77ed\u65f6\u95f4\u200b API watch \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Summary watch_duration_seconds API watch \u200b\u6301\u7eed\u65f6\u95f4\u200b\u3002 Summary items_per_watch API watch \u200b\u8fd4\u56de\u200b\u7ed3\u679c\u200b\u6570\u91cf\u200b\u3002 Gauge last_resource_version \u200b\u6700\u65b0\u200b\u7684\u200b resource version\u3002 Histogram ovs_client_request_latency_milliseconds \u200b\u8bf7\u6c42\u200b OVN \u200b\u7ec4\u4ef6\u200b\u5ef6\u8fdf\u200b\u3002 Gauge subnet_available_ip_count \u200b\u5b50\u7f51\u200b\u53ef\u7528\u200b IP \u200b\u6570\u91cf\u200b\u3002 Gauge subnet_used_ip_count \u200b\u5b50\u7f51\u200b\u5df2\u200b\u7528\u200b IP \u200b\u6570\u91cf\u200b\u3002"},{"location":"reference/metrics/#kube-ovn-cni","title":"kube-ovn-cni","text":"<p><code>kube-ovn-cni</code> \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Histogram cni_op_latency_seconds CNI \u200b\u64cd\u4f5c\u200b\u5ef6\u8fdf\u200b\u3002 Counter cni_wait_address_seconds_total CNI \u200b\u7b49\u5f85\u200b\u5730\u5740\u200b\u5c31\u7eea\u200b\u65f6\u95f4\u200b\u3002 Counter cni_wait_connectivity_seconds_total CNI \u200b\u7b49\u5f85\u200b\u8fde\u63a5\u200b\u5c31\u7eea\u200b\u65f6\u95f4\u200b\u3002 Counter cni_wait_route_seconds_total CNI \u200b\u7b49\u5f85\u200b\u8def\u7531\u200b\u5c31\u7eea\u200b\u65f6\u95f4\u200b\u3002 Histogram rest_client_request_latency_seconds \u200b\u8bf7\u6c42\u200b apiserver \u200b\u5ef6\u8fdf\u200b\u3002 Counter rest_client_requests_total \u200b\u8bf7\u6c42\u200b apiserver \u200b\u6570\u91cf\u200b\u3002 Counter lists_total API list \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Summary list_duration_seconds API list \u200b\u8bf7\u6c42\u200b\u5ef6\u8fdf\u200b\u3002 Summary items_per_list API list \u200b\u8fd4\u56de\u200b\u7ed3\u679c\u200b\u6570\u91cf\u200b\u3002 Counter watches_total API watch \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Counter short_watches_total \u200b\u77ed\u65f6\u95f4\u200b API watch \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Summary watch_duration_seconds API watch \u200b\u6301\u7eed\u65f6\u95f4\u200b\u3002 Summary items_per_watch API watch \u200b\u8fd4\u56de\u200b\u7ed3\u679c\u200b\u6570\u91cf\u200b\u3002 Gauge last_resource_version \u200b\u6700\u65b0\u200b\u7684\u200b resource version\u3002 Histogram ovs_client_request_latency_milliseconds \u200b\u8bf7\u6c42\u200b OVN \u200b\u7ec4\u4ef6\u200b\u5ef6\u8fdf\u200b\u3002 <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/ovs-ovn-customized/","title":"\u5bf9\u200b\u4e0a\u6e38\u200b OVS/OVN \u200b\u4fee\u6539","text":"<p>\u200b\u4e0a\u6e38\u200b OVN/OVS \u200b\u6700\u521d\u200b\u8bbe\u8ba1\u200b\u76ee\u6807\u200b\u4e3a\u200b\u901a\u7528\u200b SDN \u200b\u63a7\u5236\u5668\u200b\u548c\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u3002\u200b\u7531\u4e8e\u200b Kubernetes \u200b\u7f51\u7edc\u200b\u5b58\u5728\u200b\u4e00\u4e9b\u200b\u7279\u6b8a\u200b\u7684\u200b\u7528\u6cd5\u200b\uff0c \u200b\u5e76\u4e14\u200b Kube-OVN \u200b\u53ea\u200b\u91cd\u70b9\u200b\u4f7f\u7528\u200b\u4e86\u200b\u90e8\u5206\u200b\u529f\u80fd\u200b\uff0c\u200b\u4e3a\u4e86\u200b \u200b\u8fbe\u5230\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u3001\u200b\u7a33\u5b9a\u6027\u200b\u548c\u200b\u7279\u5b9a\u200b\u7684\u200b\u529f\u80fd\u200b\uff0cKube-OVN \u200b\u5bf9\u200b\u4e0a\u6e38\u200b OVN/OVS \u200b\u505a\u200b\u4e86\u200b\u90e8\u5206\u200b\u4fee\u6539\u200b\u3002\u200b\u7528\u6237\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b\u81ea\u5df1\u200b\u7684\u200b OVN/OVS \u200b\u914d\u5408\u200b Kube-OVN \u200b\u7684\u200b\u63a7\u5236\u5668\u200b\u8fdb\u884c\u200b\u5de5\u4f5c\u200b\u65f6\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b \u200b\u4e0b\u8ff0\u200b\u7684\u200b\u6539\u52a8\u200b\u53ef\u80fd\u200b\u9020\u6210\u200b\u7684\u200b\u5f71\u54cd\u200b\u3002</p> <p>\u200b\u672a\u5408\u5165\u200b\u4e0a\u6e38\u200b\u4fee\u6539\u200b\uff1a</p> <ul> <li>38df6fa3f7 \u200b\u8c03\u6574\u200b\u9009\u4e3e\u200b timer\uff0c\u200b\u907f\u514d\u200b\u5927\u89c4\u6a21\u200b\u96c6\u7fa4\u200b\u9009\u4e3e\u200b\u6296\u52a8\u200b\u3002</li> <li>d4888c4e75 \u200b\u6dfb\u52a0\u200b fdb \u200b\u66f4\u65b0\u200b\u65e5\u5fd7\u200b\u3002</li> <li>d4888c4e75 \u200b\u4fee\u590d\u200b hairpin \u200b\u73af\u5883\u200b\u4e0b\u200b fdb \u200b\u5b66\u4e60\u200b\u9519\u8bef\u200b\u7684\u200b\u95ee\u9898\u200b\u3002</li> <li>9a81b91368 \u200b\u4e3a\u200b ovsdb-tool \u200b\u7684\u200b join-cluster \u200b\u5b50\u200b\u547d\u4ee4\u200b\u6dfb\u52a0\u200b Server ID \u200b\u53c2\u6570\u200b\u3002</li> <li>62d4969877 \u200b\u4fee\u590d\u200b\u5f00\u542f\u200b SSL \u200b\u540e\u200b OVSDB \u200b\u76d1\u542c\u200b\u5730\u5740\u200b\u9519\u8bef\u200b\u7684\u200b\u95ee\u9898\u200b\u3002</li> <li>0700cb90f9 \u200b\u76ee\u7684\u200b\u5730\u5740\u200b\u975e\u200b Service \u200b\u6d41\u91cf\u200b\u7ed5\u8fc7\u200b conntrack \u200b\u4ee5\u200b\u63d0\u9ad8\u200b\u7279\u5b9a\u200b\u6570\u636e\u94fe\u200b\u8def\u200b\u6027\u80fd\u200b\u3002</li> <li>c48049a64f ECMP \u200b\u7b97\u6cd5\u200b\u7531\u200b dp_hash \u200b\u8c03\u6574\u200b\u4e3a\u200b hash\uff0c\u200b\u907f\u514d\u200b\u90e8\u5206\u200b\u5185\u6838\u200b\u51fa\u73b0\u200b\u7684\u200b\u54c8\u5e0c\u200b\u9519\u8bef\u200b\u95ee\u9898\u200b\u3002</li> <li>64383c14a9 \u200b\u4fee\u590d\u200b Windows \u200b\u4e0b\u200b\u5185\u6838\u200b Crash \u200b\u95ee\u9898\u200b\u3002</li> <li>08a95db2ca \u200b\u652f\u6301\u200b Windows \u200b\u4e0b\u200b\u7684\u200b github action \u200b\u6784\u5efa\u200b\u3002</li> <li>680e77a190 Windows \u200b\u4e0b\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b tcp \u200b\u76d1\u542c\u200b\u3002</li> <li>05e57b3227 \u200b\u652f\u6301\u200b Windows \u200b\u7f16\u8bd1\u200b\u3002</li> <li>b3801ecb73 \u200b\u4fee\u6539\u200b\u6e90\u200b\u8def\u7531\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\u3002</li> <li>977e569539 \u200b\u4fee\u590d\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b Pod \u200b\u6570\u91cf\u200b\u8fc7\u591a\u200b\u5bfc\u81f4\u200b OVS \u200b\u6d41\u8868\u200b resubmit \u200b\u6b21\u6570\u200b\u8d85\u8fc7\u200b\u4e0a\u9650\u200b\u7684\u200b\u95ee\u9898\u200b\u3002</li> <li>45a4a22161 ovn-nbctl\uff1avips \u200b\u4e3a\u200b\u7a7a\u65f6\u200b\u4e0d\u200b\u5220\u9664\u200b Load Balancer\u3002</li> <li>540592b9ff DNAT \u200b\u540e\u200b\u66ff\u6362\u200b Mac \u200b\u5730\u5740\u200b\u4e3a\u200b\u76ee\u6807\u200b\u5730\u5740\u200b\uff0c\u200b\u51cf\u5c11\u200b\u989d\u5916\u200b\u6027\u80fd\u200b\u5f00\u9500\u200b\u3002</li> <li>10972d9632 \u200b\u4fee\u590d\u200b vswitchd ofport_usage \u200b\u5185\u5b58\u200b\u6cc4\u9732\u200b\u3002</li> </ul> <p>\u200b\u5df2\u5408\u5165\u200b\u4e0a\u6e38\u200b\u4fee\u6539\u200b\uff1a</p> <ul> <li>20626ea909 \u200b\u7ec4\u64ad\u200b\u6d41\u91cf\u200b\u7ed5\u8fc7\u200b LB \u200b\u548c\u200b ACL \u200b\u5904\u7406\u200b\u9636\u6bb5\u200b\uff0c\u200b\u4ee5\u200b\u63d0\u9ad8\u200b\u7279\u5b9a\u200b\u6570\u636e\u94fe\u200b\u8def\u200b\u6027\u80fd\u200b\u3002</li> <li>a2d9ff3ccd Deb \u200b\u6784\u5efa\u200b\u589e\u52a0\u200b\u7f16\u8bd1\u200b\u4f18\u5316\u200b\u9009\u9879\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/tunnel-protocol/","title":"\u96a7\u9053\u200b\u534f\u8bae\u200b\u8bf4\u660e","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b OVN/OVS \u200b\u4f5c\u4e3a\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u5b9e\u73b0\u200b\uff0c\u200b\u76ee\u524d\u200b\u652f\u6301\u200b <code>Geneve</code>\uff0c<code>Vxlan</code> \u200b\u548c\u200b <code>STT</code> \u200b\u4e09\u79cd\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\u3002 \u200b\u8fd9\u200b\u4e09\u79cd\u200b\u534f\u8bae\u200b\u5728\u200b\u529f\u80fd\u200b\uff0c\u200b\u6027\u80fd\u200b\u548c\u200b\u6613\u7528\u6027\u200b\u4e0a\u200b\u5b58\u5728\u200b\u7740\u200b\u533a\u522b\u200b\uff0c\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u200b\u4ecb\u7ecd\u200b\u4e09\u79cd\u200b\u534f\u8bae\u200b\u5728\u200b\u4f7f\u7528\u200b\u4e2d\u200b\u7684\u200b\u5dee\u5f02\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u200b\u6839\u636e\u200b\u81ea\u5df1\u200b\u7684\u200b\u60c5\u51b5\u200b\u8fdb\u884c\u200b\u9009\u62e9\u200b\u3002</p>"},{"location":"reference/tunnel-protocol/#geneve","title":"Geneve","text":"<p><code>Geneve</code> \u200b\u534f\u8bae\u200b\u4e3a\u200b Kube-OVN \u200b\u90e8\u7f72\u200b\u65f6\u200b\u9009\u62e9\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\uff0c\u200b\u4e5f\u200b\u662f\u200b OVN \u200b\u9ed8\u8ba4\u200b\u63a8\u8350\u200b\u7684\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\u3002\u200b\u8be5\u200b\u534f\u8bae\u200b\u5728\u200b\u5185\u6838\u200b\u4e2d\u200b\u5f97\u5230\u200b\u4e86\u200b\u5e7f\u6cdb\u200b\u7684\u200b\u652f\u6301\u200b\uff0c \u200b\u5e76\u200b\u53ef\u4ee5\u200b\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u7684\u200b\u901a\u7528\u200b Offload \u200b\u80fd\u529b\u200b\u8fdb\u884c\u200b\u52a0\u901f\u200b\u3002\u200b\u7531\u4e8e\u200b <code>Geneve</code> \u200b\u6709\u7740\u200b\u53ef\u53d8\u200b\u957f\u200b\u7684\u200b\u5934\u90e8\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b 24bit \u200b\u7a7a\u95f4\u200b\u6765\u200b\u6807\u5fd7\u200b\u4e0d\u540c\u200b\u7684\u200b datapath \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u521b\u5efa\u200b\u66f4\u200b\u591a\u200b\u6570\u91cf\u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b Mellanox \u200b\u6216\u200b\u82af\u542f\u6e90\u200b\u7684\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b OVS \u200b\u5378\u8f7d\u200b\uff0c<code>Geneve</code> \u200b\u9700\u8981\u200b\u8f83\u200b\u9ad8\u200b\u7248\u672c\u200b\u7684\u200b\u5185\u6838\u200b\u652f\u6301\u200b\uff0c\u200b\u9700\u8981\u200b\u9009\u62e9\u200b 5.4 \u200b\u4ee5\u4e0a\u200b\u7684\u200b\u4e0a\u6e38\u200b\u5185\u6838\u200b\uff0c \u200b\u6216\u200b backport \u200b\u4e86\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u5176\u4ed6\u200b\u517c\u5bb9\u200b\u5185\u6838\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u4f7f\u7528\u200b UDP \u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u8be5\u200b\u534f\u8bae\u200b\u5728\u200b\u5904\u7406\u200b TCP over UDP \u200b\u65f6\u200b\u4e0d\u80fd\u200b\u5f88\u200b\u597d\u200b\u7684\u200b\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u7684\u200b TCP \u200b\u76f8\u5173\u200b\u5378\u8f7d\u200b\uff0c\u200b\u5728\u200b\u5904\u7406\u200b\u5927\u5305\u200b\u65f6\u4f1a\u200b\u6d88\u8017\u200b\u8f83\u200b\u591a\u200b CPU \u200b\u8d44\u6e90\u200b\u3002</p>"},{"location":"reference/tunnel-protocol/#vxlan","title":"Vxlan","text":"<p><code>Vxlan</code> \u200b\u4e3a\u200b\u4e0a\u6e38\u200b OVN \u200b\u8fd1\u671f\u200b\u652f\u6301\u200b\u7684\u200b\u534f\u8bae\u200b\uff0c\u200b\u8be5\u200b\u534f\u8bae\u200b\u5728\u200b\u5185\u6838\u200b\u4e2d\u200b\u5f97\u5230\u200b\u4e86\u200b\u5e7f\u6cdb\u200b\u7684\u200b\u652f\u6301\u200b\uff0c \u200b\u5e76\u200b\u53ef\u4ee5\u200b\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u7684\u200b\u901a\u7528\u200b Offload \u200b\u80fd\u529b\u200b\u8fdb\u884c\u200b\u52a0\u901f\u200b\u3002 \u200b\u7531\u4e8e\u200b\u8be5\u200b\u534f\u8bae\u200b\u5934\u90e8\u200b\u957f\u5ea6\u200b\u6709\u9650\u200b\uff0c\u200b\u5e76\u4e14\u200b OVN \u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u7684\u200b\u7a7a\u95f4\u200b\u8fdb\u884c\u200b\u7f16\u6392\u200b\uff0cdatapath \u200b\u7684\u200b\u6570\u91cf\u200b\u5b58\u5728\u200b\u9650\u5236\u200b\uff0c\u200b\u6700\u200b\u591a\u200b\u53ea\u80fd\u200b\u521b\u5efa\u200b 4096 \u200b\u4e2a\u200b datapath\uff0c \u200b\u6bcf\u4e2a\u200b datapath \u200b\u4e0b\u200b\u6700\u200b\u591a\u200b 4096 \u200b\u4e2a\u200b\u7aef\u53e3\u200b\u3002\u200b\u540c\u65f6\u200b\u7531\u4e8e\u200b\u7a7a\u95f4\u200b\u6709\u9650\u200b\uff0c\u200b\u57fa\u4e8e\u200b <code>inport</code> \u200b\u7684\u200b ACL \u200b\u6ca1\u6709\u200b\u8fdb\u884c\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b Mellanox \u200b\u6216\u200b\u82af\u542f\u6e90\u200b\u7684\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b OVS \u200b\u5378\u8f7d\u200b\uff0c<code>Vxlan</code> \u200b\u7684\u200b\u5378\u8f7d\u200b\u5728\u200b\u5e38\u89c1\u200b\u5185\u6838\u200b\u4e2d\u200b\u5df2\u200b\u83b7\u5f97\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u4f7f\u7528\u200b UDP \u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u8be5\u200b\u534f\u8bae\u200b\u5728\u200b\u5904\u7406\u200b TCP over UDP \u200b\u65f6\u200b\u4e0d\u80fd\u200b\u5f88\u200b\u597d\u200b\u7684\u200b\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u7684\u200b TCP \u200b\u76f8\u5173\u200b\u5378\u8f7d\u200b\uff0c\u200b\u5728\u200b\u5904\u7406\u200b\u5927\u5305\u200b\u65f6\u4f1a\u200b\u6d88\u8017\u200b\u8f83\u200b\u591a\u200b CPU \u200b\u8d44\u6e90\u200b\u3002</p>"},{"location":"reference/tunnel-protocol/#stt","title":"STT","text":"<p><code>STT</code> \u200b\u534f\u8bae\u200b\u4e3a\u200b OVN \u200b\u8f83\u200b\u65e9\u200b\u652f\u6301\u200b\u7684\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\uff0c\u200b\u8be5\u200b\u534f\u8bae\u200b\u4f7f\u7528\u200b\u7c7b\u200b TCP \u200b\u7684\u200b\u5934\u90e8\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5145\u5206\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u901a\u7528\u200b\u7684\u200b TCP \u200b\u5378\u8f7d\u200b\u80fd\u529b\u200b\uff0c\u200b\u5927\u5e45\u200b\u63d0\u5347\u200b TCP \u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u3002\u200b\u540c\u65f6\u200b\u8be5\u200b\u534f\u8bae\u200b\u5934\u90e8\u200b\u8f83\u957f\u200b\u53ef\u200b\u652f\u6301\u200b\u5b8c\u6574\u200b\u7684\u200b OVN \u200b\u80fd\u529b\u200b\u548c\u200b\u5927\u89c4\u6a21\u200b\u7684\u200b datapath\u3002</p> <p>\u200b\u8be5\u200b\u534f\u8bae\u200b\u672a\u200b\u5728\u200b\u5185\u6838\u200b\u4e2d\u200b\u652f\u6301\u200b\uff0c\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u9700\u8981\u200b\u989d\u5916\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\uff0c\u200b\u5e76\u200b\u5728\u200b\u5347\u7ea7\u200b\u5185\u6838\u200b\u65f6\u200b\u5bf9\u5e94\u200b\u518d\u6b21\u200b\u7f16\u8bd1\u200b\u65b0\u200b\u7248\u672c\u200b\u5185\u6838\u6a21\u5757\u200b\u3002</p> <p>\u200b\u8be5\u200b\u534f\u8bae\u200b\u76ee\u524d\u200b\u672a\u200b\u88ab\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b\u652f\u6301\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b OVS \u200b\u7684\u200b\u5378\u8f7d\u200b\u80fd\u529b\u200b\u3002</p>"},{"location":"reference/tunnel-protocol/#_2","title":"\u53c2\u8003\u8d44\u6599","text":"<ul> <li>https://ipwithease.com/vxlan-vs-geneve-understand-the-difference/</li> <li>OVN FAQ</li> <li>What is Geneve</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/underlay-topology/","title":"Underlay \u200b\u6d41\u91cf\u200b\u62d3\u6251","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u6d41\u91cf\u200b\u5728\u200b\u4e0d\u540c\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u7684\u200b\u8f6c\u53d1\u200b\u8def\u5f84\u200b\u3002</p>"},{"location":"reference/underlay-topology/#_1","title":"\u540c\u200b\u8282\u70b9\u200b\u540c\u200b\u5b50\u7f51","text":"<p>\u200b\u5185\u90e8\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u76f4\u63a5\u200b\u4ea4\u6362\u200b\u6570\u636e\u5305\u200b\uff0c\u200b\u4e0d\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u3002</p> <p></p>"},{"location":"reference/underlay-topology/#_2","title":"\u8de8\u200b\u8282\u70b9\u200b\u540c\u200b\u5b50\u7f51","text":"<p>\u200b\u6570\u636e\u5305\u200b\u7ecf\u7531\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\uff0c\u200b\u7531\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u8fdb\u884c\u200b\u4ea4\u6362\u200b\u3002</p> <p></p>"},{"location":"reference/underlay-topology/#_3","title":"\u540c\u200b\u8282\u70b9\u200b\u4e0d\u540c\u200b\u5b50\u7f51","text":"<p>\u200b\u6570\u636e\u5305\u200b\u7ecf\u7531\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7531\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u53ca\u200b\u8def\u7531\u5668\u200b\u8fdb\u884c\u200b\u4ea4\u6362\u200b\u548c\u200b\u8def\u7531\u200b\u8f6c\u53d1\u200b\u3002</p> <p></p> <p>\u200b\u6b64\u5904\u200b br-provider-1 \u200b\u548c\u200b br-provider-2 \u200b\u53ef\u4ee5\u200b\u662f\u200b\u540c\u4e00\u4e2a\u200b OVS \u200b\u7f51\u6865\u200b\uff0c\u200b\u5373\u200b\u591a\u4e2a\u200b\u4e0d\u540c\u200b\u5b50\u7f51\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u540c\u4e00\u4e2a\u200b Provider Network\u3002</p>"},{"location":"reference/underlay-topology/#_4","title":"\u8de8\u200b\u8282\u70b9\u200b\u4e0d\u540c\u200b\u5b50\u7f51","text":"<p>\u200b\u6570\u636e\u5305\u200b\u7ecf\u7531\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7531\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u53ca\u200b\u8def\u7531\u5668\u200b\u8fdb\u884c\u200b\u4ea4\u6362\u200b\u548c\u200b\u8def\u7531\u200b\u8f6c\u53d1\u200b\u3002</p> <p></p>"},{"location":"reference/underlay-topology/#_5","title":"\u8bbf\u95ee\u200b\u5916\u90e8","text":"<p>\u200b\u6570\u636e\u5305\u200b\u7ecf\u7531\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7531\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u53ca\u200b\u8def\u7531\u5668\u200b\u8fdb\u884c\u200b\u4ea4\u6362\u200b\u548c\u200b\u8def\u7531\u200b\u8f6c\u53d1\u200b\u3002</p> <p></p> <p>\u200b\u8282\u70b9\u200b\u4e0e\u200b Pod \u200b\u4e4b\u95f4\u200b\u7684\u200b\u901a\u4fe1\u200b\u5927\u4f53\u4e0a\u200b\u4e5f\u200b\u9075\u5faa\u200b\u6b64\u200b\u903b\u8f91\u200b\u3002</p>"},{"location":"reference/underlay-topology/#vlan-tag","title":"\u65e0\u200b Vlan Tag \u200b\u4e0b\u200b\u603b\u89c8","text":""},{"location":"reference/underlay-topology/#vlan","title":"\u591a\u200b VLAN \u200b\u603b\u89c8","text":""},{"location":"reference/underlay-topology/#pod-service-ip","title":"Pod \u200b\u8bbf\u95ee\u200b Service IP","text":"<p>Kube-OVN \u200b\u4e3a\u200b\u6bcf\u4e2a\u200b Kubernetes Service \u200b\u5728\u200b\u6bcf\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u4e0a\u200b\u914d\u7f6e\u200b\u4e86\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u3002 \u200b\u5f53\u200b Pod \u200b\u901a\u8fc7\u200b\u8bbf\u95ee\u200b Service IP \u200b\u8bbf\u95ee\u200b\u5176\u5b83\u200b Pod \u200b\u65f6\u200b\uff0c\u200b\u4f1a\u200b\u6784\u9020\u200b\u4e00\u4e2a\u200b\u76ee\u7684\u200b\u5730\u5740\u200b\u4e3a\u200b Service IP\u3001\u200b\u76ee\u7684\u200b MAC \u200b\u5730\u5740\u200b\u4e3a\u200b\u7f51\u5173\u200b MAC \u200b\u5730\u5740\u200b\u7684\u200b\u7f51\u7edc\u200b\u5305\u200b\u3002 \u200b\u7f51\u7edc\u200b\u5305\u200b\u8fdb\u5165\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u540e\u200b\uff0c\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u4f1a\u200b\u5bf9\u200b\u7f51\u7edc\u200b\u5305\u200b\u8fdb\u884c\u200b\u62e6\u622a\u200b\u548c\u200b DNAT \u200b\u5904\u7406\u200b\uff0c\u200b\u5c06\u200b\u76ee\u7684\u200b IP \u200b\u548c\u200b\u7aef\u53e3\u200b\u4fee\u6539\u200b\u4e3a\u200b Service \u200b\u5bf9\u5e94\u200b\u7684\u200b\u67d0\u4e2a\u200b Endpoint \u200b\u7684\u200b IP \u200b\u548c\u200b\u7aef\u53e3\u200b\u3002 \u200b\u7531\u4e8e\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u5e76\u672a\u200b\u4fee\u6539\u200b\u7f51\u7edc\u200b\u5305\u200b\u7684\u200b\u4e8c\u5c42\u200b\u76ee\u7684\u200b MAC \u200b\u5730\u5740\u200b\uff0c\u200b\u7f51\u7edc\u200b\u5305\u200b\u5728\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u540e\u200b\u4ecd\u7136\u200b\u4f1a\u200b\u9001\u5230\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\uff0c\u200b\u6b64\u65f6\u200b\u9700\u8981\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u5bf9\u200b\u7f51\u7edc\u200b\u5305\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\u3002</p>"},{"location":"reference/underlay-topology/#service-pod","title":"Service \u200b\u540e\u7aef\u200b\u4e3a\u200b\u540c\u200b\u8282\u70b9\u200b\u540c\u200b\u5b50\u7f51\u200b Pod","text":""},{"location":"reference/underlay-topology/#service-pod_1","title":"Service \u200b\u540e\u7aef\u200b\u4e3a\u200b\u540c\u200b\u8282\u70b9\u200b\u4e0d\u540c\u200b\u5b50\u7f51\u200b Pod","text":"<p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/one-step-install/","title":"\u4e00\u952e\u200b\u5b89\u88c5","text":"<p>Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u4f60\u200b\u5feb\u901f\u200b\u5b89\u88c5\u200b\u4e00\u4e2a\u200b\u9ad8\u200b\u53ef\u7528\u200b\uff0c\u200b\u751f\u4ea7\u200b\u5c31\u7eea\u200b\u7684\u200b Kube-OVN \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u90e8\u7f72\u200b\u4e3a\u200b Overlay \u200b\u7c7b\u578b\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u4ece\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c\u200b\u652f\u6301\u200b Helm Chart \u200b\u5b89\u88c5\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u90e8\u7f72\u200b\u4e3a\u200b Overlay \u200b\u7c7b\u578b\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u9ed8\u8ba4\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u642d\u5efa\u200b Underlay/Vlan \u200b\u7f51\u7edc\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b Underlay \u200b\u7f51\u7edc\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u53c2\u8003\u200b\u51c6\u5907\u200b\u5de5\u4f5c\u200b\u786e\u8ba4\u200b\u73af\u5883\u200b\u914d\u7f6e\u200b\u6b63\u786e\u200b\u3002</p>"},{"location":"start/one-step-install/#_2","title":"\u811a\u672c\u200b\u5b89\u88c5","text":""},{"location":"start/one-step-install/#_3","title":"\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c","text":"<p>\u200b\u6211\u4eec\u200b\u63a8\u8350\u200b\u5728\u200b\u751f\u4ea7\u200b\u73af\u5883\u200b\u4f7f\u7528\u200b\u7a33\u5b9a\u200b\u7684\u200b release \u200b\u7248\u672c\u200b\uff0c\u200b\u8bf7\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u200b\u7a33\u5b9a\u200b\u7248\u672c\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u5982\u679c\u200b\u5bf9\u200b master \u200b\u5206\u652f\u200b\u7684\u200b\u6700\u65b0\u200b\u529f\u80fd\u200b\u611f\u5174\u8da3\u200b\uff0c\u200b\u60f3\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u200b\u5f00\u53d1\u200b\u7248\u672c\u200b\u90e8\u7f72\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre>"},{"location":"start/one-step-install/#_4","title":"\u4fee\u6539\u200b\u914d\u7f6e\u200b\u53c2\u6570","text":"<p>\u200b\u4f7f\u7528\u200b\u7f16\u8f91\u5668\u200b\u6253\u5f00\u200b\u811a\u672c\u200b\uff0c\u200b\u5e76\u200b\u4fee\u6539\u200b\u4e0b\u5217\u200b\u53d8\u91cf\u200b\u4e3a\u200b\u9884\u671f\u200b\u503c\u200b\uff1a</p> <pre><code>REGISTRY=\"kubeovn\"                     # \u200b\u955c\u50cf\u200b\u4ed3\u5e93\u200b\u5730\u5740\u200b\nVERSION=\"v1.13.0\"                      # \u200b\u955c\u50cf\u200b\u7248\u672c\u200b/Tag\nPOD_CIDR=\"10.16.0.0/16\"                # \u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u8981\u200b\u548c\u200b SVC/NODE/JOIN CIDR \u200b\u91cd\u53e0\u200b\nSVC_CIDR=\"10.96.0.0/12\"                # \u200b\u9700\u8981\u200b\u548c\u200b apiserver \u200b\u7684\u200b service-cluster-ip-range \u200b\u4fdd\u6301\u4e00\u81f4\u200b\nJOIN_CIDR=\"100.64.0.0/16\"              # Pod \u200b\u548c\u200b\u4e3b\u673a\u200b\u901a\u4fe1\u200b\u7f51\u7edc\u200b CIDR\uff0c\u200b\u4e0d\u8981\u200b\u548c\u200b SVC/NODE/POD CIDR \u200b\u91cd\u53e0\u200b \nLABEL=\"node-role.kubernetes.io/master\" # \u200b\u90e8\u7f72\u200b OVN DB \u200b\u8282\u70b9\u200b\u7684\u200b\u6807\u7b7e\u200b\nIFACE=\"\"                               # \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u6240\u200b\u4f7f\u7528\u200b\u7684\u200b\u7684\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u5982\u679c\u200b\u4e3a\u200b\u7a7a\u5219\u200b\u4f7f\u7528\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b Node IP \u200b\u6240\u5728\u200b\u7f51\u5361\u200b\nTUNNEL_TYPE=\"geneve\"                   # \u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\uff0c\u200b\u53ef\u200b\u9009\u200b geneve, vxlan \u200b\u6216\u200b stt\uff0cstt \u200b\u9700\u8981\u200b\u5355\u72ec\u200b\u7f16\u8bd1\u200b ovs \u200b\u5185\u6838\u6a21\u5757\u200b\n</code></pre> <p>\u200b\u53ef\u200b\u4f7f\u7528\u200b\u6b63\u5219\u8868\u8fbe\u5f0f\u200b\u6765\u200b\u5339\u914d\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u4f8b\u5982\u200b <code>IFACE=enp6s0f0,eth.*</code>\u3002</p>"},{"location":"start/one-step-install/#_5","title":"\u6267\u884c\u200b\u5b89\u88c5\u200b\u811a\u672c","text":"<p><code>bash install.sh</code></p> <p>\u200b\u7b49\u5f85\u200b\u5b89\u88c5\u200b\u5b8c\u6210\u200b\u3002</p>"},{"location":"start/one-step-install/#helm-chart","title":"Helm Chart \u200b\u5b89\u88c5","text":"<p>\u200b\u7531\u4e8e\u200b Kube-OVN \u200b\u7684\u200b\u5b89\u88c5\u200b\uff0c\u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e00\u4e9b\u200b\u53c2\u6570\u200b\uff0c\u200b\u56e0\u6b64\u200b\u4f7f\u7528\u200b Helm \u200b\u5b89\u88c5\u200b Kube-OVN\uff0c\u200b\u9700\u8981\u200b\u6309\u7167\u200b\u4ee5\u4e0b\u200b\u6b65\u9aa4\u200b\u6267\u884c\u200b\u3002</p>"},{"location":"start/one-step-install/#ip","title":"\u67e5\u770b\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740","text":"<pre><code>$ kubectl get node -o wide\nNAME                     STATUS     ROLES           AGE   VERSION   INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION      CONTAINER-RUNTIME\nkube-ovn-control-plane   NotReady   control-plane   20h   v1.26.0   172.18.0.3    &lt;none&gt;        Ubuntu 22.04.1 LTS   5.10.104-linuxkit   containerd://1.6.9\nkube-ovn-worker          NotReady   &lt;none&gt;          20h   v1.26.0   172.18.0.2    &lt;none&gt;        Ubuntu 22.04.1 LTS   5.10.104-linuxkit   containerd://1.6.9\n</code></pre>"},{"location":"start/one-step-install/#master","title":"\u53bb\u6389\u200b\u96c6\u7fa4\u200b master \u200b\u8282\u70b9\u200b\u6c61\u70b9","text":"<pre><code>$ kubectl taint node kube-ovn-control-plane node-role.kubernetes.io/control-plane:NoSchedule-\nnode/kube-ovn-control-plane untainted\n</code></pre> <p>\u200b\u5982\u679c\u200b\u786e\u5b9a\u200b\u4e0d\u200b\u9700\u8981\u200b\u5728\u200b master \u200b\u8282\u70b9\u200b\u8c03\u5ea6\u200b\u4e1a\u52a1\u200b Pod\uff0c\u200b\u8fd9\u200b\u4e00\u6b65\u200b\u53ef\u4ee5\u200b\u8df3\u8fc7\u200b\u3002</p>"},{"location":"start/one-step-install/#label","title":"\u7ed9\u200b\u8282\u70b9\u200b\u6dfb\u52a0\u200b label","text":"<pre><code>$ kubectl label node -lbeta.kubernetes.io/os=linux kubernetes.io/os=linux --overwrite\nnode/kube-ovn-control-plane not labeled\nnode/kube-ovn-worker not labeled\n\n$ kubectl label node -lnode-role.kubernetes.io/control-plane kube-ovn/role=master --overwrite\nnode/kube-ovn-control-plane labeled\n\n# \u200b\u4ee5\u4e0b\u200b label \u200b\u7528\u4e8e\u200b dpdk \u200b\u955c\u50cf\u200b\u7684\u200b\u5b89\u88c5\u200b\uff0c\u200b\u975e\u200b dpdk \u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5ffd\u7565\u200b\n$ kubectl label node -lovn.kubernetes.io/ovs_dp_type!=userspace ovn.kubernetes.io/ovs_dp_type=kernel --overwrite\nnode/kube-ovn-control-plane labeled\nnode/kube-ovn-worker labeled\n</code></pre>"},{"location":"start/one-step-install/#helm-repo","title":"\u6dfb\u52a0\u200b Helm Repo \u200b\u4fe1\u606f","text":"<pre><code>$ helm repo add kubeovn https://kubeovn.github.io/kube-ovn/\n\"kubeovn\" has been added to your repositories\n\n$ helm repo list\nNAME            URL\nkubeovn         https://kubeovn.github.io/kube-ovn/\n\n$ helm search repo kubeovn\nNAME                CHART VERSION   APP VERSION DESCRIPTION\nkubeovn/kube-ovn    0.1.0           1.12.0      Helm chart for Kube-OVN\n</code></pre>"},{"location":"start/one-step-install/#helm-install-kube-ovn","title":"\u6267\u884c\u200b helm install \u200b\u5b89\u88c5\u200b Kube-OVN","text":"<p>Node0IP\u3001Node1IP\u3001Node2IP \u200b\u53c2\u6570\u200b\u5206\u522b\u200b\u4e3a\u200b\u96c6\u7fa4\u200b master \u200b\u8282\u70b9\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002\u200b\u5176\u4ed6\u200b\u53c2\u6570\u200b\u7684\u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b values.yaml \u200b\u6587\u4ef6\u200b\u4e2d\u200b\u53d8\u91cf\u200b\u5b9a\u4e49\u200b\u3002</p> <pre><code># \u200b\u5355\u200b master \u200b\u8282\u70b9\u200b\u73af\u5883\u200b\u5b89\u88c5\u200b\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=${Node0IP}\n\n# \u200b\u4ee5\u4e0a\u200b\u8fb9\u200b\u7684\u200b node \u200b\u4fe1\u606f\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u6267\u884c\u200b\u5b89\u88c5\u200b\u547d\u4ee4\u200b\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=172.18.0.3\nNAME: kube-ovn\nLAST DEPLOYED: Fri Mar 31 12:43:43 2023\nNAMESPACE: default\nSTATUS: deployed\nREVISION: 1\nTEST SUITE: None\n\n# \u200b\u9ad8\u200b\u53ef\u7528\u200b\u96c6\u7fa4\u200b\u5b89\u88c5\u200b\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=${Node0IP}\\,${Node1IP}\\,${Node2IP}\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/prepare/","title":"\u51c6\u5907\u200b\u5de5\u4f5c","text":"<p>Kube-OVN \u200b\u662f\u200b\u4e00\u4e2a\u200b\u7b26\u5408\u200b CNI \u200b\u89c4\u8303\u200b\u7684\u200b\u7f51\u7edc\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u5176\u200b\u8fd0\u884c\u200b\u9700\u8981\u200b\u4f9d\u8d56\u200b Kubernetes \u200b\u73af\u5883\u200b\u53ca\u200b\u5bf9\u5e94\u200b\u7684\u200b\u5185\u6838\u200b\u7f51\u7edc\u200b\u6a21\u5757\u200b\u3002 \u200b\u4ee5\u4e0b\u200b\u662f\u200b\u901a\u8fc7\u200b\u6d4b\u8bd5\u200b\u7684\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u548c\u200b\u8f6f\u4ef6\u200b\u7248\u672c\u200b\uff0c\u200b\u73af\u5883\u200b\u914d\u7f6e\u200b\u548c\u200b\u6240\u200b\u9700\u8981\u200b\u5f00\u653e\u200b\u7684\u200b\u7aef\u53e3\u200b\u4fe1\u606f\u200b\u3002</p>"},{"location":"start/prepare/#_2","title":"\u8f6f\u4ef6\u200b\u7248\u672c","text":"<ul> <li>Kubernetes &gt;= 1.23\u3002</li> <li>Docker &gt;= 1.12.6, Containerd &gt;= 1.3.4\u3002</li> <li>\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b: CentOS 7/8, Ubuntu 16.04/18.04/20.04\u3002</li> <li>\u200b\u5176\u4ed6\u200b Linux \u200b\u53d1\u884c\u7248\u200b\uff0c\u200b\u9700\u8981\u200b\u68c0\u67e5\u4e00\u4e0b\u200b\u5185\u6838\u6a21\u5757\u200b\u662f\u5426\u200b\u5b58\u5728\u200b <code>geneve</code>, <code>openvswitch</code>, <code>ip_tables</code> \u200b\u548c\u200b <code>iptable_nat</code>\uff0cKube-OVN \u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\u4f9d\u8d56\u200b\u4e0a\u8ff0\u200b\u6a21\u5757\u200b\u3002</li> </ul> <p>\u200b\u6ce8\u610f\u4e8b\u9879\u200b\uff1a</p> <ol> <li>\u200b\u5982\u679c\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u4e3a\u200b 3.10.0-862 \u200b\u5185\u6838\u200b <code>netfilter</code> \u200b\u6a21\u5757\u200b\u5b58\u5728\u200b bug \u200b\u4f1a\u200b\u5bfc\u81f4\u200b Kube-OVN \u200b\u5185\u7f6e\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u65e0\u6cd5\u200b\u5de5\u4f5c\u200b\uff0c\u200b\u9700\u8981\u200b\u5bf9\u200b\u5185\u6838\u200b\u5347\u7ea7\u200b\uff0c\u200b\u5efa\u8bae\u200b\u4f7f\u7528\u200b CentOS \u200b\u5b98\u65b9\u200b\u5bf9\u5e94\u200b\u7248\u672c\u200b\u6700\u65b0\u200b\u5185\u6838\u200b\u4fdd\u8bc1\u7cfb\u7edf\u200b\u7684\u200b\u5b89\u5168\u200b\u3002\u200b\u76f8\u5173\u200b\u5185\u6838\u200b bug \u200b\u53c2\u8003\u200b Floating IPs broken after kernel upgrade to Centos/RHEL 7.5 - DNAT not working\u3002</li> <li>Rocky Linux 8.6 \u200b\u7684\u200b\u5185\u6838\u200b 4.18.0-372.9.1.el8.x86_64 \u200b\u5b58\u5728\u200b TCP \u200b\u901a\u4fe1\u200b\u95ee\u9898\u200b TCP connection failed in Rocky Linux 8.6\uff0c\u200b\u8bf7\u200b\u5347\u7ea7\u200b\u5185\u6838\u200b\u81f3\u200b 4.18.0-372.13.1.el8_6.x86_64 \u200b\u6216\u200b\u66f4\u200b\u9ad8\u200b\u7248\u672c\u200b\u3002</li> <li>\u200b\u5982\u679c\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u4e3a\u200b 4.4 \u200b\u5219\u200b\u5bf9\u5e94\u200b\u7684\u200b\u5185\u6838\u200b <code>openvswitch</code> \u200b\u6a21\u5757\u200b\u5b58\u5728\u200b\u95ee\u9898\u200b\uff0c\u200b\u5efa\u8bae\u200b\u5347\u7ea7\u200b\u6216\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b <code>openvswitch</code> \u200b\u65b0\u200b\u7248\u672c\u200b\u6a21\u5757\u200b\u8fdb\u884c\u200b\u66f4\u65b0\u200b</li> <li>Geneve \u200b\u96a7\u9053\u200b\u5efa\u7acb\u200b\u9700\u8981\u200b\u68c0\u67e5\u200b IPv6\uff0c\u200b\u53ef\u200b\u901a\u8fc7\u200b <code>cat /proc/cmdline</code> \u200b\u68c0\u67e5\u200b\u5185\u6838\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\uff0c \u200b\u76f8\u5173\u200b\u5185\u6838\u200b bug \u200b\u8bf7\u200b\u53c2\u8003\u200b Geneve tunnels don't work when ipv6 is disabled\u3002</li> </ol>"},{"location":"start/prepare/#_3","title":"\u73af\u5883\u200b\u914d\u7f6e","text":"<ul> <li>Kernel \u200b\u542f\u52a8\u200b\u9700\u8981\u200b\u5f00\u542f\u200b IPv6, \u200b\u5982\u679c\u200b kernel \u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u5305\u542b\u200b <code>ipv6.disable=1</code> \u200b\u9700\u8981\u200b\u5c06\u200b\u5176\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b 0\u3002</li> <li><code>kube-proxy</code> \u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\uff0cKube-OVN \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Service ClusterIP \u200b\u8bbf\u95ee\u200b\u5230\u200b <code>kube-apiserver</code>\u3002</li> <li>\u200b\u786e\u8ba4\u200b kubelet \u200b\u914d\u7f6e\u200b\u53c2\u6570\u200b\u5f00\u542f\u200b\u4e86\u200b CNI\uff0c\u200b\u5e76\u4e14\u200b\u914d\u7f6e\u200b\u5728\u200b\u6807\u51c6\u200b\u8def\u5f84\u200b\u4e0b\u200b, kubelet \u200b\u542f\u52a8\u200b\u65f6\u5e94\u200b\u5305\u542b\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b <code>--network-plugin=cni --cni-bin-dir=/opt/cni/bin --cni-conf-dir=/etc/cni/net.d</code>\u3002</li> <li>\u200b\u786e\u8ba4\u200b\u672a\u200b\u5b89\u88c5\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u6216\u8005\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u5df2\u7ecf\u200b\u88ab\u200b\u6e05\u9664\u200b\uff0c\u200b\u68c0\u67e5\u200b <code>/etc/cni/net.d/</code> \u200b\u8def\u5f84\u200b\u4e0b\u200b\u65e0\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u914d\u7f6e\u6587\u4ef6\u200b\u3002\u200b\u5982\u679c\u200b\u4e4b\u524d\u200b\u5b89\u88c5\u200b\u8fc7\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u5efa\u8bae\u200b\u5220\u9664\u200b\u540e\u200b\u91cd\u542f\u200b\u673a\u5668\u200b\u6e05\u7406\u200b\u6b8b\u7559\u200b\u7f51\u7edc\u8d44\u6e90\u200b\u3002</li> </ul>"},{"location":"start/prepare/#_4","title":"\u7aef\u53e3\u200b\u4fe1\u606f","text":"\u7ec4\u4ef6\u200b \u200b\u7aef\u53e3\u200b \u200b\u7528\u9014\u200b ovn-central 6641/tcp, 6642/tcp, 6643/tcp, 6644/tcp ovn-db \u200b\u548c\u200b raft server \u200b\u76d1\u542c\u200b\u7aef\u53e3\u200b ovs-ovn Geneve 6081/udp, STT 7471/tcp, Vxlan 4789/udp \u200b\u96a7\u9053\u200b\u7aef\u53e3\u200b kube-ovn-controller 10660/tcp \u200b\u76d1\u63a7\u200b\u76d1\u542c\u200b\u7aef\u53e3\u200b kube-ovn-daemon 10665/tcp \u200b\u76d1\u63a7\u200b\u76d1\u542c\u200b\u7aef\u53e3\u200b kube-ovn-monitor 10661/tcp \u200b\u76d1\u63a7\u200b\u76d1\u542c\u200b\u7aef\u53e3\u200b <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/sealos-install/","title":"\u4f7f\u7528\u200b sealos \u200b\u4e00\u952e\u200b\u90e8\u7f72\u200b Kubernetes \u200b\u548c\u200b Kube-OVN","text":"<p>sealos \u200b\u4f5c\u4e3a\u200b Kubernetes \u200b\u7684\u200b\u4e00\u4e2a\u200b\u53d1\u884c\u7248\u200b\uff0c\u200b\u901a\u8fc7\u200b\u6781\u7b80\u200b\u7684\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u548c\u200b\u56fd\u5185\u200b\u7684\u200b\u955c\u50cf\u200b\u4ed3\u5e93\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u7528\u6237\u200b\u5feb\u901f\u200b\u4ece\u200b\u96f6\u200b\u521d\u59cb\u5316\u200b\u4e00\u4e2a\u200b\u5bb9\u5668\u200b\u96c6\u7fa4\u200b\u3002 \u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b sealos \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4e00\u6761\u200b\u547d\u4ee4\u200b\u5728\u200b\u51e0\u5206\u949f\u200b\u5185\u200b\u90e8\u7f72\u200b\u51fa\u200b\u4e00\u4e2a\u200b\u5b89\u88c5\u200b\u597d\u200b Kube-OVN \u200b\u7684\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u3002</p>"},{"location":"start/sealos-install/#sealos","title":"\u4e0b\u8f7d\u5b89\u88c5\u200b sealos","text":"AMD64 ARM64 <pre><code>wget  https://github.com/labring/sealos/releases/download/v4.1.4/sealos_4.1.4_linux_amd64.tar.gz  &amp;&amp; \\\ntar -zxvf sealos_4.1.4_linux_amd64.tar.gz sealos &amp;&amp;  chmod +x sealos &amp;&amp; mv sealos /usr/bin\n</code></pre> <pre><code>wget  https://github.com/labring/sealos/releases/download/v4.1.4/sealos_4.1.4_linux_arm64.tar.gz  &amp;&amp; \\\ntar -zxvf sealos_4.1.4_linux_arm64.tar.gz sealos &amp;&amp;  chmod +x sealos &amp;&amp; mv sealos /usr/bin\n</code></pre>"},{"location":"start/sealos-install/#kubernetes-kube-ovn","title":"\u90e8\u7f72\u200b Kubernetes \u200b\u548c\u200b Kube-OVN","text":"<pre><code>```bash\nsealos run labring/kubernetes:v1.24.3 labring/kube-ovn:v1.10.5 \\\n  --masters [masters ips seperated by comma] \\\n  --nodes [nodes ips seperated by comma] -p [your-ssh-passwd]\n```\n</code></pre>"},{"location":"start/sealos-install/#_1","title":"\u7b49\u5f85\u200b\u90e8\u7f72\u200b\u5b8c\u6210","text":"<pre><code>```bash\n[Step 6/6] Finish\n\n                    ,,,,\n                    ,::,\n                   ,,::,,,,\n            ,,,,,::::::::::::,,,,,\n         ,,,::::::::::::::::::::::,,,\n       ,,::::::::::::::::::::::::::::,,\n     ,,::::::::::::::::::::::::::::::::,,\n    ,::::::::::::::::::::::::::::::::::::,\n   ,:::::::::::::,,   ,,:::::,,,::::::::::,\n ,,:::::::::::::,       ,::,     ,:::::::::,\n ,:::::::::::::,   :x,  ,::  :,   ,:::::::::,\n,:::::::::::::::,  ,,,  ,::, ,,  ,::::::::::,\n,:::::::::::::::::,,,,,,:::::,,,,::::::::::::,    ,:,   ,:,            ,xx,                            ,:::::,   ,:,     ,:: :::,    ,x\n,::::::::::::::::::::::::::::::::::::::::::::,    :x: ,:xx:        ,   :xx,                          :xxxxxxxxx, :xx,   ,xx:,xxxx,   :x\n,::::::::::::::::::::::::::::::::::::::::::::,    :xxxxx:,  ,xx,  :x:  :xxx:x::,  ::xxxx:           :xx:,  ,:xxx  :xx, ,xx: ,xxxxx:, :x\n,::::::::::::::::::::::::::::::::::::::::::::,    :xxxxx,   :xx,  :x:  :xxx,,:xx,:xx:,:xx, ,,,,,,,,,xxx,    ,xx:   :xx:xx:  ,xxx,:xx::x\n,::::::,,::::::::,,::::::::,,:::::::,,,::::::,    :x:,xxx:  ,xx,  :xx  :xx:  ,xx,xxxxxx:, ,xxxxxxx:,xxx:,  ,xxx,    :xxx:   ,xxx, :xxxx\n,::::,    ,::::,   ,:::::,   ,,::::,    ,::::,    :x:  ,:xx,,:xx::xxxx,,xxx::xx: :xx::::x: ,,,,,,   ,xxxxxxxxx,     ,xx:    ,xxx,  :xxx\n,::::,    ,::::,    ,::::,    ,::::,    ,::::,    ,:,    ,:,  ,,::,,:,  ,::::,,   ,:::::,            ,,:::::,        ,,      :x:    ,::\n,::::,    ,::::,    ,::::,    ,::::,    ,::::,\n ,,,,,    ,::::,    ,::::,    ,::::,    ,:::,             ,,,,,,,,,,,,,\n          ,::::,    ,::::,    ,::::,    ,:::,        ,,,:::::::::::::::,\n          ,::::,    ,::::,    ,::::,    ,::::,  ,,,,:::::::::,,,,,,,:::,\n          ,::::,    ,::::,    ,::::,     ,::::::::::::,,,,,\n           ,,,,     ,::::,     ,,,,       ,,,::::,,,,\n                    ,::::,\n                    ,,::,\n\nThanks for choosing Kube-OVN!\nFor more advanced features, please read https://github.com/kubeovn/kube-ovn#documents\nIf you have any question, please file an issue https://github.com/kubeovn/kube-ovn/issues/new/choose\n2022-08-10T16:31:34 info succeeded in creating a new cluster, enjoy it!\n2022-08-10T16:31:34 info\n      ___           ___           ___           ___       ___           ___\n     /\\  \\         /\\  \\         /\\  \\         /\\__\\     /\\  \\         /\\  \\\n    /::\\  \\       /::\\  \\       /::\\  \\       /:/  /    /::\\  \\       /::\\  \\\n   /:/\\ \\  \\     /:/\\:\\  \\     /:/\\:\\  \\     /:/  /    /:/\\:\\  \\     /:/\\ \\  \\\n  _\\:\\~\\ \\  \\   /::\\~\\:\\  \\   /::\\~\\:\\  \\   /:/  /    /:/  \\:\\  \\   _\\:\\~\\ \\  \\\n /\\ \\:\\ \\ \\__\\ /:/\\:\\ \\:\\__\\ /:/\\:\\ \\:\\__\\ /:/__/    /:/__/ \\:\\__\\ /\\ \\:\\ \\ \\__\\\n \\:\\ \\:\\ \\/__/ \\:\\~\\:\\ \\/__/ \\/__\\:\\/:/  / \\:\\  \\    \\:\\  \\ /:/  / \\:\\ \\:\\ \\/__/\n  \\:\\ \\:\\__\\    \\:\\ \\:\\__\\        \\::/  /   \\:\\  \\    \\:\\  /:/  /   \\:\\ \\:\\__\\\n   \\:\\/:/  /     \\:\\ \\/__/        /:/  /     \\:\\  \\    \\:\\/:/  /     \\:\\/:/  /\n    \\::/  /       \\:\\__\\         /:/  /       \\:\\__\\    \\::/  /       \\::/  /\n     \\/__/         \\/__/         \\/__/         \\/__/     \\/__/         \\/__/\n\n                  Website :https://www.sealos.io/\n                  Address :github.com/labring/sealos\n```\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/underlay/","title":"Underlay \u200b\u7f51\u7edc\u200b\u5b89\u88c5","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Kube-OVN \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b Geneve \u200b\u5bf9\u200b\u8de8\u200b\u4e3b\u673a\u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u5728\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u4e4b\u4e0a\u200b\u62bd\u8c61\u200b\u51fa\u200b\u4e00\u5c42\u200b\u865a\u62df\u200b\u7684\u200b Overlay \u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5bf9\u4e8e\u200b\u5e0c\u671b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\u7269\u7406\u200b\u7f51\u7edc\u5730\u5740\u200b\u6bb5\u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5c06\u200b Kube-OVN \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u5de5\u4f5c\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u7ed9\u200b\u5bb9\u5668\u200b\u5206\u914d\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u4e2d\u200b\u7684\u200b\u5730\u5740\u200b\u8d44\u6e90\u200b\uff0c\u200b\u8fbe\u5230\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u4ee5\u53ca\u200b\u548c\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u3002</p> <p></p>"},{"location":"start/underlay/#_1","title":"\u529f\u80fd\u200b\u9650\u5236","text":"<p>\u200b\u7531\u4e8e\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u8fdb\u884c\u200b\u4e8c\u5c42\u200b\u5305\u8f6c\u53d1\u200b\uff0cOverlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u7684\u200b SNAT/EIP\uff0c \u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b/\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u7b49\u200b L3 \u200b\u529f\u80fd\u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\uff0cVPC \u200b\u7ea7\u522b\u200b\u7684\u200b\u9694\u79bb\u200b\u4e5f\u200b\u65e0\u6cd5\u200b\u5bf9\u200b Underlay \u200b\u5b50\u7f51\u200b\u751f\u6548\u200b\u3002</p>"},{"location":"start/underlay/#macvlan","title":"\u548c\u200b Macvlan \u200b\u6bd4\u8f83","text":"<p>Kube-OVN \u200b\u7684\u200b Underlay \u200b\u6a21\u5f0f\u200b\u548c\u200b Macvlan \u200b\u5de5\u4f5c\u200b\u6a21\u5f0f\u200b\u5341\u5206\u200b\u7c7b\u4f3c\u200b\uff0c\u200b\u5728\u200b\u529f\u80fd\u200b\u548c\u200b\u6027\u80fd\u200b\u4e0a\u200b\u4e3b\u8981\u200b\u6709\u200b\u4ee5\u4e0b\u200b\u51e0\u4e2a\u200b\u533a\u522b\u200b\uff1a</p> <ol> <li>\u200b\u7531\u4e8e\u200b Macvlan \u200b\u7684\u200b\u5185\u6838\u200b\u8def\u5f84\u200b\u66f4\u200b\u77ed\u200b\uff0c\u200b\u5e76\u4e14\u200b\u4e0d\u200b\u9700\u8981\u200b OVS \u200b\u5bf9\u200b\u6570\u636e\u5305\u200b\u8fdb\u884c\u200b\u5904\u7406\u200b\uff0cMacvlan \u200b\u5728\u200b\u541e\u5410\u91cf\u200b\u548c\u200b\u5ef6\u8fdf\u200b\u6027\u80fd\u6307\u6807\u200b\u4e0a\u200b\u8868\u73b0\u200b\u4f1a\u200b\u66f4\u597d\u200b\u3002</li> <li>Kube-OVN \u200b\u901a\u8fc7\u200b\u6d41\u8868\u200b\u63d0\u4f9b\u200b\u4e86\u200b arp-proxy \u200b\u529f\u80fd\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u7f13\u89e3\u200b\u5927\u89c4\u6a21\u200b\u7f51\u7edc\u200b\u4e0b\u200b\u7684\u200b arp \u200b\u5e7f\u64ad\u200b\u98ce\u66b4\u200b\u98ce\u9669\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b Macvlan \u200b\u5de5\u4f5c\u200b\u5728\u200b\u5185\u6838\u200b\u5e95\u5c42\u200b\uff0c\u200b\u4f1a\u200b\u7ed5\u8fc7\u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b netfilter\uff0cService \u200b\u548c\u200b NetworkPolicy \u200b\u529f\u80fd\u200b\u9700\u8981\u200b\u989d\u5916\u200b\u5f00\u53d1\u200b\u3002Kube-OVN \u200b\u901a\u8fc7\u200b OVS \u200b\u6d41\u8868\u200b\u63d0\u4f9b\u200b\u4e86\u200b Service \u200b\u548c\u200b NetworkPolicy \u200b\u7684\u200b\u80fd\u529b\u200b\u3002</li> <li>Kube-OVN \u200b\u7684\u200b Underlay \u200b\u6a21\u5f0f\u200b\u76f8\u6bd4\u200b Macvlan \u200b\u989d\u5916\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u5730\u5740\u200b\u7ba1\u7406\u200b\uff0c\u200b\u56fa\u5b9a\u200b IP \u200b\u548c\u200b QoS \u200b\u7b49\u200b\u529f\u80fd\u200b\u3002</li> </ol>"},{"location":"start/underlay/#_2","title":"\u73af\u5883\u200b\u8981\u6c42","text":"<p>\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0cOVS \u200b\u5c06\u4f1a\u200b\u6865\u63a5\u200b\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u5230\u200b OVS \u200b\u7f51\u6865\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u6570\u636e\u5305\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b\u8be5\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u5bf9\u5916\u200b\u53d1\u9001\u200b\uff0cL2/L3 \u200b\u5c42\u9762\u200b\u7684\u200b\u8f6c\u53d1\u200b\u80fd\u529b\u200b\u9700\u8981\u200b\u4f9d\u8d56\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u3002 \u200b\u9700\u8981\u200b\u9884\u5148\u200b\u5728\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u914d\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b\u7f51\u5173\u200b\u3001Vlan \u200b\u548c\u200b\u5b89\u5168\u7b56\u7565\u200b\u7b49\u200b\u914d\u7f6e\u200b\u3002</p> <ol> <li>\u200b\u5bf9\u4e8e\u200b OpenStack \u200b\u7684\u200b VM \u200b\u73af\u5883\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b\u5bf9\u5e94\u200b\u7f51\u7edc\u200b\u7aef\u53e3\u200b\u7684\u200b <code>PortSecurity</code> \u200b\u5173\u95ed\u200b\u3002</li> <li>\u200b\u5bf9\u4e8e\u200b VMware \u200b\u7684\u200b vSwitch \u200b\u7f51\u7edc\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b <code>MAC Address Changes</code>, <code>Forged Transmits</code> \u200b\u548c\u200b <code>Promiscuous Mode Operation</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>allow</code>\u3002</li> <li>\u200b\u5bf9\u4e8e\u200b Hyper-V \u200b\u865a\u62df\u5316\u200b\uff0c\u200b\u9700\u8981\u200b\u5f00\u542f\u200b\u865a\u62df\u673a\u200b\u7f51\u5361\u200b\u9ad8\u7ea7\u200b\u529f\u80fd\u200b\u4e2d\u200b\u7684\u200b <code>MAC Address Spoofing</code>\u3002</li> <li>\u200b\u516c\u6709\u200b\u4e91\u200b\uff0c\u200b\u4f8b\u5982\u200b AWS\u3001GCE\u3001\u200b\u963f\u91cc\u200b\u4e91\u200b\u7b49\u200b\u7531\u4e8e\u200b\u4e0d\u200b\u652f\u6301\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b Mac \u200b\u65e0\u6cd5\u200b\u652f\u6301\u200b Underlay \u200b\u6a21\u5f0f\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u8fd9\u79cd\u200b\u573a\u666f\u200b\u4e0b\u200b\u5982\u679c\u200b\u60f3\u200b\u4f7f\u7528\u200b Underlay \u200b\u63a8\u8350\u200b\u4f7f\u7528\u200b\u5bf9\u5e94\u200b\u516c\u6709\u200b\u4e91\u200b\u5382\u5546\u200b\u63d0\u4f9b\u200b\u7684\u200b VPC-CNI\u3002</li> <li>\u200b\u6865\u63a5\u200b\u7f51\u5361\u200b\u4e0d\u80fd\u200b\u4e3a\u200b Linux Bridge\u3002</li> </ol> <p>\u200b\u5bf9\u4e8e\u200b\u7ba1\u7406\u200b\u7f51\u200b\u548c\u200b\u5bb9\u5668\u200b\u7f51\u200b\u4f7f\u7528\u200b\u540c\u4e00\u4e2a\u200b\u7f51\u5361\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0cKube-OVN \u200b\u4f1a\u200b\u5c06\u200b\u7f51\u5361\u200b\u7684\u200b Mac \u200b\u5730\u5740\u200b\u3001IP \u200b\u5730\u5740\u200b\u3001\u200b\u8def\u7531\u200b\u4ee5\u53ca\u200b MTU \u200b\u5c06\u200b\u8f6c\u79fb\u200b\u6216\u200b\u590d\u5236\u200b\u81f3\u200b\u5bf9\u5e94\u200b\u7684\u200b OVS Bridge\uff0c \u200b\u4ee5\u200b\u652f\u6301\u200b\u5355\u200b\u7f51\u5361\u200b\u90e8\u7f72\u200b Underlay \u200b\u7f51\u7edc\u200b\u3002OVS Bridge \u200b\u540d\u79f0\u200b\u683c\u5f0f\u200b\u4e3a\u200b <code>br-PROVIDER_NAME</code>\uff0c<code>PROVIDER_NAME</code> \u200b\u4e3a\u200b Provider \u200b\u7f51\u7edc\u200b\u540d\u79f0\u200b\uff08\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b provider\uff09\u3002</p>"},{"location":"start/underlay/#_3","title":"\u90e8\u7f72\u200b\u65f6\u200b\u6307\u5b9a\u200b\u7f51\u7edc\u200b\u6a21\u5f0f","text":"<p>\u200b\u8be5\u200b\u90e8\u7f72\u200b\u6a21\u5f0f\u200b\u5c06\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b Underlay \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u6240\u6709\u200b\u672a\u6307\u5b9a\u200b\u5b50\u7f51\u200b\u7684\u200b Pod \u200b\u5747\u4f1a\u200b\u9ed8\u8ba4\u200b\u8fd0\u884c\u200b\u5728\u200b Underlay \u200b\u7f51\u7edc\u200b\u4e2d\u200b\u3002</p>"},{"location":"start/underlay/#_4","title":"\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c","text":"<pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre>"},{"location":"start/underlay/#_5","title":"\u4fee\u6539\u200b\u811a\u672c\u200b\u4e2d\u200b\u76f8\u5e94\u200b\u914d\u7f6e","text":"<pre><code>ENABLE_ARP_DETECT_IP_CONFLICT # \u200b\u5982\u200b\u6709\u200b\u9700\u8981\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b\u5173\u95ed\u200b vlan \u200b\u7f51\u7edc\u200b arp \u200b\u51b2\u7a81\u68c0\u6d4b\u200b\nNETWORK_TYPE                  # \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b vlan\nVLAN_INTERFACE_NAME           # \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5bbf\u4e3b\u673a\u200b\u4e0a\u200b\u627f\u62c5\u200b\u5bb9\u5668\u200b\u6d41\u91cf\u200b\u7684\u200b\u7f51\u5361\u200b\uff0c\u200b\u4f8b\u5982\u200b eth1\nVLAN_ID                       # \u200b\u4ea4\u6362\u673a\u200b\u6240\u200b\u63a5\u53d7\u200b\u7684\u200b VLAN Tag\uff0c\u200b\u82e5\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b 0 \u200b\u5219\u200b\u4e0d\u200b\u505a\u200b VLAN \u200b\u5c01\u88c5\u200b\nPOD_CIDR                      # \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b CIDR\uff0c \u200b\u4f8b\u5982\u200b 192.168.1.0/24\nPOD_GATEWAY                   # \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u7f51\u5173\u200b\uff0c\u200b\u4f8b\u5982\u200b 192.168.1.1\nEXCLUDE_IPS                   # \u200b\u6392\u9664\u200b\u8303\u56f4\u200b\uff0c\u200b\u907f\u514d\u200b\u5bb9\u5668\u200b\u7f51\u6bb5\u200b\u548c\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u5df2\u200b\u7528\u200b IP \u200b\u51b2\u7a81\u200b\uff0c\u200b\u4f8b\u5982\u200b 192.168.1.1..192.168.1.100\nENABLE_LB                     # \u200b\u5982\u679c\u200b Underlay \u200b\u5b50\u7f51\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b Service \u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b true \nEXCHANGE_LINK_NAME            # \u200b\u662f\u5426\u200b\u4ea4\u6362\u200b\u9ed8\u8ba4\u200b provider-network \u200b\u4e0b\u200b OVS \u200b\u7f51\u6865\u200b\u548c\u200b\u6865\u63a5\u200b\u7f51\u5361\u200b\u7684\u200b\u540d\u5b57\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b false\nLS_DNAT_MOD_DL_DST            # DNAT \u200b\u65f6\u200b\u662f\u5426\u200b\u5bf9\u200b MAC \u200b\u5730\u5740\u200b\u8fdb\u884c\u200b\u8f6c\u6362\u200b\uff0c\u200b\u53ef\u200b\u52a0\u901f\u200b Service \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b true\n</code></pre>"},{"location":"start/underlay/#_6","title":"\u8fd0\u884c\u200b\u5b89\u88c5\u200b\u811a\u672c","text":"<pre><code>bash install.sh\n</code></pre>"},{"location":"start/underlay/#crd-underlay","title":"\u901a\u8fc7\u200b CRD \u200b\u52a8\u6001\u521b\u5efa\u200b Underlay \u200b\u7f51\u7edc","text":"<p>\u200b\u8be5\u200b\u65b9\u5f0f\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u52a8\u6001\u200b\u7684\u200b\u521b\u5efa\u200b\u67d0\u4e2a\u200b Underlay \u200b\u5b50\u7f51\u200b\u4f9b\u200b Pod \u200b\u4f7f\u7528\u200b\u3002\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b <code>ProviderNetwork</code>\uff0c<code>Vlan</code> \u200b\u548c\u200b <code>Subnet</code> \u200b\u4e09\u79cd\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u3002</p>"},{"location":"start/underlay/#providernetwork","title":"\u521b\u5efa\u200b ProviderNetwork","text":"<p>ProviderNetwork \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e3b\u673a\u200b\u7f51\u5361\u200b\u5230\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u6620\u5c04\u200b\u7684\u200b\u62bd\u8c61\u200b\uff0c\u200b\u5c06\u200b\u540c\u5c5e\u200b\u4e00\u4e2a\u200b\u7f51\u7edc\u200b\u7684\u200b\u7f51\u5361\u200b\u8fdb\u884c\u200b\u7edf\u4e00\u200b\u7ba1\u7406\u200b\uff0c \u200b\u5e76\u200b\u89e3\u51b3\u200b\u5728\u200b\u590d\u6742\u200b\u73af\u5883\u200b\u4e0b\u540c\u200b\u673a\u5668\u200b\u591a\u200b\u7f51\u5361\u200b\u3001\u200b\u7f51\u5361\u200b\u540d\u200b\u4e0d\u200b\u4e00\u81f4\u200b\u3001\u200b\u5bf9\u5e94\u200b Underlay \u200b\u7f51\u7edc\u200b\u4e0d\u200b\u4e00\u81f4\u200b\u7b49\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u7684\u200b\u914d\u7f6e\u200b\u95ee\u9898\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b\u5982\u4e0b\u200b ProviderNetwork \u200b\u5e76\u200b\u5e94\u7528\u200b:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: net1\nspec:\n  defaultInterface: eth1\n  customInterfaces:\n    - interface: eth2\n      nodes:\n        - node1\n  excludeNodes:\n    - node2\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1aProviderNetwork \u200b\u8d44\u6e90\u200b\u540d\u79f0\u200b\u7684\u200b\u957f\u5ea6\u200b\u4e0d\u5f97\u200b\u8d85\u8fc7\u200b 12\u3002</p> <ul> <li><code>defaultInterface</code>: \u200b\u4e3a\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b\u7684\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u540d\u79f0\u200b\u3002 ProviderNetwork \u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\uff0c\u200b\u5404\u200b\u8282\u70b9\u200b\uff08\u200b\u9664\u200b excludeNodes \u200b\u5916\u200b\uff09\u200b\u4e2d\u200b\u4f1a\u200b\u521b\u5efa\u200b\u540d\u4e3a\u200b br-net1\uff08\u200b\u683c\u5f0f\u200b\u4e3a\u200b <code>br-NAME</code>\uff09\u200b\u7684\u200b OVS \u200b\u7f51\u6865\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u6307\u5b9a\u200b\u7684\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u6865\u63a5\u200b\u81f3\u6b64\u200b\u7f51\u6865\u200b\u3002</li> <li><code>customInterfaces</code>: \u200b\u4e3a\u200b\u53ef\u9009\u9879\u200b\uff0c\u200b\u53ef\u200b\u9488\u5bf9\u200b\u7279\u5b9a\u200b\u8282\u70b9\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\u3002</li> <li><code>excludeNodes</code>: \u200b\u53ef\u9009\u9879\u200b\uff0c\u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b\u4e0d\u200b\u6865\u63a5\u200b\u7f51\u5361\u200b\u7684\u200b\u8282\u70b9\u200b\u3002\u200b\u8be5\u200b\u5217\u8868\u200b\u4e2d\u200b\u7684\u200b\u8282\u70b9\u200b\u4f1a\u200b\u88ab\u200b\u6dfb\u52a0\u200b <code>net1.provider-network.ovn.kubernetes.io/exclude=true</code> \u200b\u6807\u7b7e\u200b\u3002</li> </ul> <p>\u200b\u5176\u5b83\u200b\u8282\u70b9\u200b\u4f1a\u200b\u88ab\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b\u6807\u7b7e\u200b\uff1a</p> Key Value \u200b\u63cf\u8ff0\u200b net1.provider-network.ovn.kubernetes.io/ready true \u200b\u8282\u70b9\u200b\u4e2d\u200b\u7684\u200b\u6865\u63a5\u200b\u5de5\u4f5c\u200b\u5df2\u200b\u5b8c\u6210\u200b\uff0cProviderNetwork \u200b\u5728\u200b\u8282\u70b9\u200b\u4e2d\u200b\u53ef\u7528\u200b net1.provider-network.ovn.kubernetes.io/interface eth1 \u200b\u8282\u70b9\u200b\u4e2d\u200b\u88ab\u200b\u6865\u63a5\u200b\u7684\u200b\u7f51\u5361\u200b\u7684\u200b\u540d\u79f0\u200b net1.provider-network.ovn.kubernetes.io/mtu 1500 \u200b\u8282\u70b9\u200b\u4e2d\u200b\u88ab\u200b\u6865\u63a5\u200b\u7684\u200b\u7f51\u5361\u200b\u7684\u200b MTU <p>\u200b\u5982\u679c\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u4e0a\u200b\u5df2\u7ecf\u200b\u914d\u7f6e\u200b\u4e86\u200b IP\uff0c\u200b\u5219\u200b IP \u200b\u5730\u5740\u200b\u548c\u200b\u7f51\u5361\u200b\u4e0a\u200b\u7684\u200b\u8def\u7531\u200b\u4f1a\u200b\u88ab\u200b\u8f6c\u79fb\u200b\u81f3\u200b\u5bf9\u5e94\u200b\u7684\u200b OVS \u200b\u7f51\u6865\u200b\u3002</p>"},{"location":"start/underlay/#vlan","title":"\u521b\u5efa\u200b VLAN","text":"<p>Vlan \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u5c06\u200b Vlan Tag \u200b\u548c\u200b ProviderNetwork \u200b\u8fdb\u884c\u200b\u7ed1\u5b9a\u200b\u7684\u200b\u80fd\u529b\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b\u5982\u4e0b\u200b VLAN \u200b\u5e76\u200b\u5e94\u7528\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan1\nspec:\n  id: 0\n  provider: net1\n</code></pre> <ul> <li><code>id</code>: \u200b\u4e3a\u200b VLAN ID/Tag\uff0cKube-OVN \u200b\u4f1a\u200b\u5bf9\u200b\u5bf9\u200b\u8be5\u200b Vlan \u200b\u4e0b\u200b\u7684\u200b\u6d41\u91cf\u200b\u589e\u52a0\u200b Vlan \u200b\u6807\u7b7e\u200b\uff0c\u200b\u4e3a\u200b 0 \u200b\u65f6\u200b\u4e0d\u200b\u589e\u52a0\u200b\u4efb\u4f55\u200b\u6807\u7b7e\u200b\uff0cvlan \u200b\u6807\u7b7e\u200b\u4f5c\u7528\u200b\u5728\u200b\u4e00\u4e2a\u200b localnet \u200b\u7aef\u53e3\u200b\u3002</li> <li><code>provider</code>: \u200b\u4e3a\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u7684\u200b ProviderNetwork \u200b\u8d44\u6e90\u200b\u7684\u200b\u540d\u79f0\u200b\u3002\u200b\u591a\u4e2a\u200b VLAN \u200b\u53ef\u4ee5\u200b\u5f15\u7528\u200b\u540c\u4e00\u4e2a\u200b ProviderNetwork\u3002</li> </ul>"},{"location":"start/underlay/#subnet","title":"\u521b\u5efa\u200b Subnet","text":"<p>\u200b\u5c06\u200b Vlan \u200b\u548c\u200b\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  vlan: vlan1\n</code></pre> <p>\u200b\u5c06\u200b <code>vlan</code> \u200b\u7684\u200b\u503c\u200b\u6307\u5b9a\u200b\u4e3a\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u7684\u200b VLAN \u200b\u540d\u79f0\u200b\u5373\u53ef\u200b\u3002\u200b\u591a\u4e2a\u200b Subnet \u200b\u53ef\u4ee5\u200b\u5f15\u7528\u200b\u540c\u4e00\u4e2a\u200b VLAN\u3002</p>"},{"location":"start/underlay/#_7","title":"\u5bb9\u5668\u200b\u521b\u5efa","text":"<p>\u200b\u53ef\u200b\u6309\u200b\u6b63\u5e38\u200b\u5bb9\u5668\u200b\u521b\u5efa\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b\u521b\u5efa\u200b\uff0c\u200b\u67e5\u770b\u200b\u5bb9\u5668\u200b IP \u200b\u662f\u5426\u200b\u5728\u200b\u89c4\u5b9a\u200b\u8303\u56f4\u200b\u5185\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5bb9\u5668\u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u548c\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\u3002</p> <p>\u200b\u5982\u200b\u6709\u200b\u56fa\u5b9a\u200b IP \u200b\u9700\u6c42\u200b\uff0c\u200b\u53ef\u200b\u53c2\u8003\u200b Pod \u200b\u56fa\u5b9a\u200b IP \u200b\u548c\u200b Mac</p>"},{"location":"start/underlay/#_8","title":"\u4f7f\u7528\u200b\u903b\u8f91\u200b\u7f51\u5173","text":"<p>\u200b\u5bf9\u4e8e\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u4e0d\u200b\u5b58\u5728\u200b\u7f51\u5173\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0cKube-OVN \u200b\u652f\u6301\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u914d\u7f6e\u200b\u4f7f\u7528\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\u3002 \u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u6b64\u200b\u529f\u80fd\u200b\uff0c\u200b\u8bbe\u7f6e\u200b\u5b50\u7f51\u200b\u7684\u200b <code>spec.logicalGateway</code> \u200b\u4e3a\u200b <code>true</code> \u200b\u5373\u53ef\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  vlan: vlan1\n  logicalGateway: true\n</code></pre> <p>\u200b\u5f00\u542f\u200b\u6b64\u200b\u529f\u80fd\u200b\u540e\u200b\uff0cPod \u200b\u4e0d\u200b\u4f7f\u7528\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\uff0c\u200b\u800c\u662f\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u521b\u5efa\u200b\u7684\u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\uff08Logical Router\uff09\u200b\u5bf9\u4e8e\u200b\u8de8\u200b\u7f51\u6bb5\u200b\u901a\u4fe1\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\u3002</p>"},{"location":"start/underlay/#underlay-overlay","title":"Underlay \u200b\u548c\u200b Overlay \u200b\u7f51\u7edc\u200b\u4e92\u901a","text":"<p>\u200b\u5982\u679c\u200b\u4e00\u4e2a\u200b\u96c6\u7fa4\u200b\u540c\u65f6\u200b\u5b58\u5728\u200b Underlay \u200b\u548c\u200b Overlay \u200b\u5b50\u7f51\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Overlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u7f51\u5173\u200b\u4ee5\u200b NAT \u200b\u7684\u200b\u65b9\u5f0f\u200b\u8bbf\u95ee\u200b Underlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod IP\u3002 \u200b\u5728\u200b Underlay \u200b\u5b50\u7f51\u200b\u7684\u200b Pod \u200b\u770b\u6765\u200b Overlay \u200b\u5b50\u7f51\u200b\u7684\u200b\u5730\u5740\u200b\u662f\u200b\u4e00\u4e2a\u200b\u5916\u90e8\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b\u5e95\u5c42\u200b\u7269\u7406\u200b\u8bbe\u5907\u200b\u53bb\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u4f46\u200b\u5e95\u5c42\u200b\u7269\u7406\u200b\u8bbe\u5907\u200b\u5e76\u200b\u4e0d\u200b\u6e05\u695a\u200b Overlay \u200b\u5b50\u7f51\u200b\u7684\u200b\u5730\u5740\u200b\u65e0\u6cd5\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\u3002 \u200b\u56e0\u6b64\u200b Underlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u65e0\u6cd5\u200b\u901a\u8fc7\u200b Pod IP \u200b\u76f4\u63a5\u200b\u8bbf\u95ee\u200b Overlay \u200b\u5b50\u7f51\u200b\u7684\u200b Pod\u3002</p> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b Underlay \u200b\u548c\u200b Overlay \u200b\u4e92\u901a\u200b\u9700\u8981\u200b\u5c06\u200b\u5b50\u7f51\u200b\u7684\u200b <code>u2oInterconnection</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>true</code>\uff0c\u200b\u5728\u200b\u8fd9\u4e2a\u200b\u60c5\u51b5\u200b\u4e0b\u200b Kube-OVN \u200b\u4f1a\u200b\u989d\u5916\u200b\u4f7f\u7528\u200b\u4e00\u4e2a\u200b Underlay IP \u200b\u5c06\u200b Underlay \u200b\u5b50\u7f51\u200b \u200b\u548c\u200b <code>ovn-cluster</code> \u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\u8fde\u63a5\u200b\uff0c\u200b\u5e76\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u5b9e\u73b0\u200b\u4e92\u901a\u200b\u3002 \u200b\u548c\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\u4e0d\u540c\u200b\uff0c\u200b\u8be5\u200b\u65b9\u6848\u200b\u53ea\u4f1a\u200b\u8fde\u63a5\u200b Kube-OVN \u200b\u5185\u90e8\u200b\u7684\u200b Underlay \u200b\u548c\u200b Overlay \u200b\u5b50\u7f51\u200b\uff0c\u200b\u5176\u4ed6\u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u7684\u200b\u6d41\u91cf\u200b\u8fd8\u662f\u200b\u4f1a\u200b\u901a\u8fc7\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\u3002</p>"},{"location":"start/underlay/#ip","title":"\u6307\u5b9a\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b IP","text":"<p>\u200b\u5f00\u542f\u200b\u4e92\u901a\u200b\u529f\u80fd\u200b\u540e\u200b\uff0c\u200b\u4f1a\u200b\u968f\u673a\u200b\u4ece\u200b subnet \u200b\u5185\u200b\u7684\u200b\u53d6\u200b\u4e00\u4e2a\u200b IP \u200b\u4f5c\u4e3a\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b Underlay Subnet \u200b\u7684\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\u53ef\u4ee5\u200b\u6307\u5b9a\u200b\u5b57\u200b\u6bb5\u200b <code>u2oInterconnectionIP</code>\u3002</p>"},{"location":"start/underlay/#underlay-subnet-vpc","title":"\u6307\u5b9a\u200b Underlay Subnet \u200b\u8fde\u63a5\u200b\u7684\u200b\u81ea\u5b9a\u4e49\u200b VPC","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Underlay Subnet \u200b\u4f1a\u200b\u548c\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0a\u200b\u7684\u200b Overlay Subnet \u200b\u4e92\u901a\u200b\uff0c\u200b\u5982\u679c\u200b\u8981\u200b\u6307\u5b9a\u200b\u548c\u200b\u67d0\u4e2a\u200b VPC \u200b\u4e92\u901a\u200b\uff0c\u200b\u5728\u200b <code>u2oInterconnection</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>true</code> \u200b\u540e\u200b\uff0c\u200b\u6307\u5b9a\u200b <code>subnet.spec.vpc</code> \u200b\u5b57\u6bb5\u200b\u4e3a\u200b\u8be5\u200b VPC \u200b\u540d\u5b57\u200b\u5373\u53ef\u200b\u3002</p>"},{"location":"start/underlay/#_9","title":"\u6ce8\u610f\u4e8b\u9879","text":"<p>\u200b\u5982\u679c\u200b\u60a8\u200b\u4f7f\u7528\u200b\u7684\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u4e0a\u200b\u914d\u7f6e\u200b\u6709\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u4e14\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u901a\u8fc7\u200b Netplan \u200b\u914d\u7f6e\u200b\u7f51\u7edc\u200b\uff08\u200b\u5982\u200b Ubuntu\uff09\uff0c\u200b\u5efa\u8bae\u60a8\u200b\u5c06\u200b Netplan \u200b\u7684\u200b renderer \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b NetworkManager\uff0c\u200b\u5e76\u200b\u4e3a\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b\u9759\u6001\u200b IP \u200b\u5730\u5740\u200b\uff08\u200b\u5173\u95ed\u200b DHCP\uff09\uff1a</p> <pre><code>network:\n  renderer: NetworkManager\n  ethernets:\n    eth0:\n      dhcp4: no\n      addresses:\n        - 172.16.143.129/24\n  version: 2\n</code></pre> <p>\u200b\u5982\u679c\u200b\u60a8\u200b\u8981\u200b\u4fee\u6539\u200b\u7f51\u5361\u200b\u7684\u200b IP \u200b\u6216\u200b\u8def\u7531\u200b\u914d\u7f6e\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u4fee\u6539\u200b netplan \u200b\u914d\u7f6e\u200b\u540e\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>netplan generate\n\nnmcli connection reload netplan-eth0\nnmcli device set eth0 managed yes\n</code></pre> <p>\u200b\u6267\u884c\u200b\u4ee5\u4e0a\u200b\u547d\u4ee4\u200b\u540e\u200b\uff0cKube-OVN \u200b\u4f1a\u200b\u5c06\u200b\u7f51\u5361\u200b\u4e0a\u200b\u7684\u200b IP \u200b\u53ca\u200b\u8def\u7531\u200b\u91cd\u65b0\u200b\u8f6c\u79fb\u200b\u81f3\u200b OVS \u200b\u7f51\u6865\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u60a8\u200b\u4f7f\u7528\u200b\u7684\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u901a\u8fc7\u200b NetworkManager \u200b\u7ba1\u7406\u7f51\u7edc\u200b\uff08\u200b\u5982\u200b CentOS\uff09\uff0c\u200b\u5728\u200b\u4fee\u6539\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b\u540e\u200b\u9700\u8981\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>nmcli connection reload eth0\nnmcli device set eth0 managed yes\nnmcli -t -f GENERAL.STATE device show eth0 | grep -qw unmanaged || nmcli device reapply eth0\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b\u7684\u200b\u52a8\u6001\u200b\u4fee\u6539\u200b\u4ec5\u200b\u652f\u6301\u200b IP \u200b\u548c\u200b\u8def\u7531\u200b\uff0c\u200b\u4e0d\u200b\u652f\u6301\u200b MAC \u200b\u5730\u5740\u200b\u7684\u200b\u4fee\u6539\u200b\u3002</p>"},{"location":"start/underlay/#_10","title":"\u5df2\u77e5\u200b\u95ee\u9898","text":""},{"location":"start/underlay/#hairpin-pod","title":"\u7269\u7406\u200b\u7f51\u7edc\u200b\u5f00\u542f\u200b hairpin \u200b\u65f6\u200b Pod \u200b\u7f51\u7edc\u200b\u5f02\u5e38","text":"<p>\u200b\u5f53\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u5f00\u542f\u200b hairpin \u200b\u6216\u200b\u7c7b\u4f3c\u200b\u884c\u4e3a\u200b\u65f6\u200b\uff0c\u200b\u53ef\u80fd\u200b\u51fa\u73b0\u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\u7f51\u5173\u200b\u68c0\u67e5\u200b\u5931\u8d25\u200b\u3001Pod \u200b\u7f51\u7edc\u901a\u4fe1\u200b\u5f02\u5e38\u200b\u7b49\u200b\u95ee\u9898\u200b\u3002\u200b\u8fd9\u200b\u662f\u56e0\u4e3a\u200b OVS \u200b\u7f51\u6865\u200b\u9ed8\u8ba4\u200b\u7684\u200b MAC \u200b\u5b66\u4e60\u200b\u529f\u80fd\u200b\u4e0d\u200b\u652f\u6301\u200b\u8fd9\u79cd\u200b\u7f51\u7edc\u200b\u73af\u5883\u200b\u3002</p> <p>\u200b\u8981\u200b\u89e3\u51b3\u200b\u6b64\u200b\u95ee\u9898\u200b\uff0c\u200b\u9700\u8981\u200b\u5173\u95ed\u200b hairpin\uff08\u200b\u6216\u200b\u4fee\u6539\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u7684\u200b\u76f8\u5173\u200b\u914d\u7f6e\u200b\uff09\uff0c\u200b\u6216\u200b\u66f4\u65b0\u200b Kube-OVN \u200b\u7248\u672c\u200b\u3002</p>"},{"location":"start/underlay/#pod-pod","title":"Pod \u200b\u6570\u91cf\u200b\u8f83\u591a\u65f6\u200b\u65b0\u5efa\u200b Pod \u200b\u7f51\u5173\u200b\u68c0\u67e5\u200b\u5931\u8d25","text":"<p>\u200b\u82e5\u200b\u540c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u8fd0\u884c\u200b\u7684\u200b Pod \u200b\u6570\u91cf\u200b\u8f83\u200b\u591a\u200b\uff08\u200b\u5927\u4e8e\u200b 300\uff09\uff0c\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u51fa\u73b0\u200b ARP \u200b\u5e7f\u64ad\u200b\u5305\u200b\u7684\u200b OVS \u200b\u6d41\u8868\u200b resubmit \u200b\u6b21\u6570\u200b\u8d85\u8fc7\u200b\u4e0a\u9650\u200b\u5bfc\u81f4\u200b\u4e22\u5305\u200b\u7684\u200b\u73b0\u8c61\u200b\uff1a</p> <pre><code>2022-11-13T08:43:46.782Z|00222|ofproto_dpif_upcall(handler5)|WARN|Flow: arp,in_port=331,vlan_tci=0x0000,dl_src=00:00:00:25:eb:39,dl_dst=ff:ff:ff:ff:ff:ff,arp_spa=10.213.131.240,arp_tpa=10.213.159.254,arp_op=1,arp_sha=00:00:00:25:eb:39,arp_tha=ff:ff:ff:ff:ff:ff\n\nbridge(\"br-int\")\n----------------\n 0. No match.\n     &gt;&gt;&gt;&gt; received packet on unknown port 331 &lt;&lt;&lt;&lt;\n    drop\n\nFinal flow: unchanged\nMegaflow: recirc_id=0,eth,arp,in_port=331,dl_src=00:00:00:25:eb:39\nDatapath actions: drop\n2022-11-13T08:44:34.077Z|00224|ofproto_dpif_xlate(handler5)|WARN|over 4096 resubmit actions on bridge br-int while processing arp,in_port=13483,vlan_tci=0x0000,dl_src=00:00:00:59:ef:13,dl_dst=ff:ff:ff:ff:ff:ff,arp_spa=10.213.152.3,arp_tpa=10.213.159.254,arp_op=1,arp_sha=00:00:00:59:ef:13,arp_tha=ff:ff:ff:ff:ff:ff\n</code></pre> <p>\u200b\u8981\u200b\u89e3\u51b3\u200b\u6b64\u200b\u95ee\u9898\u200b\uff0c\u200b\u53ef\u200b\u4fee\u6539\u200b OVN NB \u200b\u9009\u9879\u200b <code>bcast_arp_req_flood</code> \u200b\u4e3a\u200b <code>false</code>\uff1a</p> <pre><code>kubectl ko nbctl set NB_Global . options:bcast_arp_req_flood=false\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/uninstall/","title":"\u5378\u8f7d","text":"<p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u5220\u9664\u200b Kube-OVN \u200b\u5e76\u200b\u66f4\u6362\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u8bf7\u200b\u6309\u7167\u200b\u4e0b\u5217\u200b\u7684\u200b\u6b65\u9aa4\u200b\u5220\u9664\u200b\u5bf9\u5e94\u200b\u7684\u200b Kube-OVN \u200b\u7ec4\u4ef6\u200b\u4ee5\u53ca\u200b OVS \u200b\u914d\u7f6e\u200b\uff0c\u200b\u4ee5\u200b\u907f\u514d\u200b\u5bf9\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u4ea7\u751f\u200b\u5e72\u6270\u200b\u3002 \u200b\u4e5f\u200b\u6b22\u8fce\u200b\u63d0\u200b issue \u200b\u8054\u7cfb\u200b\u6211\u4eec\u200b\u53cd\u9988\u200b\u4e0d\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u7684\u200b\u539f\u56e0\u200b\u5e2e\u52a9\u200b\u6211\u4eec\u200b\u6539\u8fdb\u200b\u3002</p>"},{"location":"start/uninstall/#kubernetes","title":"\u5220\u9664\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u521b\u5efa\u200b\u7684\u200b\u8d44\u6e90","text":"<p>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u6267\u884c\u200b\u811a\u672c\u200b\u5220\u9664\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u521b\u5efa\u200b\u7684\u200b\u8d44\u6e90\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/cleanup.sh\nbash cleanup.sh\n</code></pre>"},{"location":"start/uninstall/#_2","title":"\u6e05\u7406\u200b\u4e3b\u673a\u200b\u4e0a\u200b\u7684\u200b\u65e5\u5fd7\u200b\u548c\u200b\u914d\u7f6e\u6587\u4ef6","text":"<p>\u200b\u5728\u200b\u6bcf\u53f0\u200b\u673a\u5668\u200b\u4e0a\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u6e05\u7406\u200b ovsdb \u200b\u4ee5\u53ca\u200b openvswitch \u200b\u4fdd\u5b58\u200b\u7684\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>rm -rf /var/run/openvswitch\nrm -rf /var/run/ovn\nrm -rf /etc/origin/openvswitch/\nrm -rf /etc/origin/ovn/\nrm -rf /etc/cni/net.d/00-kube-ovn.conflist\nrm -rf /etc/cni/net.d/01-kube-ovn.conflist\nrm -rf /var/log/openvswitch\nrm -rf /var/log/ovn\nrm -fr /var/log/kube-ovn\n</code></pre>"},{"location":"start/uninstall/#_3","title":"\u91cd\u542f\u200b\u8282\u70b9","text":"<p>\u200b\u91cd\u542f\u200b\u673a\u5668\u200b\u786e\u4fdd\u200b\u5bf9\u5e94\u200b\u7684\u200b\u7f51\u5361\u200b\u4fe1\u606f\u200b\uff0ciptable/ipset \u200b\u89c4\u5219\u200b\u5f97\u4ee5\u200b\u6e05\u9664\u200b\uff0c\u200b\u907f\u514d\u200b\u5bf9\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u7684\u200b\u5f71\u54cd\u200b\uff1a</p> <pre><code>reboot\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/","title":"Kube-OVN","text":"<p>Kube-OVN, a CNCF Sandbox Project, bridges the SDN into Cloud Native. It offers an advanced Container Network Fabric for Enterprises with the most functions, extreme performance and the easiest operation.</p> <p>Most Functions:</p> <p>If you miss the rich networking capabilities of the SDN age but are struggling to find them in the cloud-native age, Kube-OVN should be your best choice.</p> <p>Leveraging the proven capabilities of OVS/OVN in the SDN, Kube-OVN brings the rich capabilities of network virtualization to the cloud-native space. It currently supports Subnet Management, Static IP Allocation, Distributed/Centralized Gateways, Underlay/Overlay Hybrid Networks, VPC Multi-Tenant Networks, Cross-Cluster Interconnect, QoS Management, Multi-NIC Management, ACL, Traffic Mirroring, ARM Support, Windows Support, and many more.</p> <p>Extreme Performance:</p> <p>If you're concerned about the additional performance loss associated with container networks, then take a look at How Kube-OVN is doing everything it can to optimize performance.</p> <p>In the data plane, through a series of carefully optimized flow and kernel optimizations, and with emerging technologies such as eBPF, DPDK and SmartNIC Offload, Kube-OVN can approximate or exceed host network performance in terms of latency and throughput.</p> <p>In the control plane, Kube-OVN can support large-scale clusters of thousands of nodes and tens of thousands of Pods through the tailoring of OVN upstream flow tables and the use and tuning of various caching techniques.</p> <p>In addition, Kube-OVN is continuously optimizing the usage of resources such as CPU and memory to accommodate resource-limited scenarios such as the edge.</p> <p>Easiest Operation:</p> <p>If you're worried about container network operations, Kube-OVN has a number of built-in tools to help you simplify your operations.</p> <p>Kube-OVN provides one-click installation scripts to help users quickly build production-ready container networks. Also built-in rich monitoring metrics and Grafana dashboard help users to quickly set up monitoring system.</p> <p>Powerful command line tools simplify daily operations and maintenance for users. By combining with Cilium, users can enhance the observability of their networks with eBPF capabilities. In addition, the ability to mirror traffic makes it easy to customize traffic monitoring and interface with traditional NPM systems.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/contact/","title":"Contact US","text":"<p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/accelerate-intra-node-tcp-with-ebpf/","title":"Accelerate TCP Communication in Node with eBPF","text":"<p>At some edge and 5G scenarios, there will be a lot of TCP communication between Pods on the same node. By using the open source istio-tcpip-bypass project from Intel, Pods can use the ability of eBPF to bypass the host's TCP/IP protocol stack and communicate directly through sockets, thereby greatly reducing latency and improving throughput.</p>"},{"location":"en/advance/accelerate-intra-node-tcp-with-ebpf/#basic-principle","title":"Basic Principle","text":"<p>At present, two Pods on the same host need to go through a lot of network stacks, including TCP/IP, netfilter, OVS, etc., as shown in the following figure:</p> <p></p> <p>istio-tcpip-bypass plugin can automatically analyze and identify TCP communication within the same host, and bypass the complex kernel stack so that socket data transmission can be performed directly to reduce network stack processing overhead, as shown in the following figure:</p> <p></p> <p>Due to the fact that this component can automatically identify TCP communication within the same host and optimize it. In the Service Mesh environment based on the proxy mode, this component can also enhance the performance of Service Mesh.</p> <p>For more technical implementation details, please refer to Tanzu Service Mesh Acceleration using eBPF.</p>"},{"location":"en/advance/accelerate-intra-node-tcp-with-ebpf/#prerequisites","title":"Prerequisites","text":"<p>eBPF requires a kernel version of at least 5.4.0-74-generic. It is recommended to use Ubuntu 20.04 and Linux 5.4.0-74-generic kernel version for testing.</p>"},{"location":"en/advance/accelerate-intra-node-tcp-with-ebpf/#experimental-steps","title":"Experimental Steps","text":"<p>Deploy two performance test Pods on the same node. If there are multiple machines in the cluster, you need to specify <code>nodeSelector</code>:</p> <pre><code># kubectl create deployment perf --image=kubeovn/perf:dev --replicas=2\ndeployment.apps/perf created\n# kubectl get pod -o wide\nNAME                    READY   STATUS    RESTARTS   AGE   IP           NODE     NOMINATED NODE   READINESS GATES\nperf-7697bc6ddf-b2cpv   1/1     Running   0          28s   100.64.0.3   sealos   &lt;none&gt;           &lt;none&gt;\nperf-7697bc6ddf-p2xpt   1/1     Running   0          28s   100.64.0.2   sealos   &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>Enter one of the Pods to start the qperf server, and start the qperf client in another Pod for performance testing:</p> <pre><code># kubectl exec -it perf-7697bc6ddf-b2cpv sh\n/ # qperf\n\n# kubectl exec -it perf-7697bc6ddf-p2xpt sh\n/ # qperf -t 60 100.64.0.3 -ub -oo msg_size:1:16K:*4 -vu tcp_lat tcp_bw\n</code></pre> <p>Deploy the istio-tcpip-bypass plugin:</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/intel/istio-tcpip-bypass/main/bypass-tcpip-daemonset.yaml\n</code></pre> <p>Enter the perf client container again for performance testing:</p> <pre><code># kubectl exec -it perf-7697bc6ddf-p2xpt sh\n/ # qperf -t 60 100.64.0.3 -ub -oo msg_size:1:16K:*4 -vu tcp_lat tcp_bw\n</code></pre>"},{"location":"en/advance/accelerate-intra-node-tcp-with-ebpf/#test-results","title":"Test Results","text":"<p>According to the test results, the TCP latency will decrease by 40% ~ 60% under different packet sizes, and the throughput will increase by 40% ~ 80% when the packet size is greater than 1024 bytes.</p> Packet Size (byte) eBPF tcp_lat (us) Default tcp_lat (us) eBPF tcp_bw (Mb/s) Default tcp_bw(Mb/s) 1 20.2 44.5 1.36 4.27 4 20.2 48.7 5.48 16.7 16 19.6 41.6 21.7 63.5 64 18.8 41.3 96.8 201 256 19.2 36 395 539 1024 18.3 42.4 1360 846 4096 16.5 62.6 4460 2430 16384 20.2 58.8 9600 6900 <p>In the hardware environment under test, when the packet size is less than 512 bytes, the throughput indicator optimized by eBPF is lower than the throughput under the default configuration. This situation may be related to the TCP aggregation optimization of the network card under the default configuration. If the application scenario is sensitive to small packet throughput, you need to test in the corresponding environment Determine whether to enable eBPF optimization. We will also optimize the throughput of eBPF TCP small packet scenarios in the future.</p>"},{"location":"en/advance/accelerate-intra-node-tcp-with-ebpf/#references","title":"References","text":"<ol> <li>istio-tcpip-bypass</li> <li>Deep Dive TCP/IP Bypass with eBPF in Service Mesh</li> <li>Tanzu Service Mesh Acceleration using eBPF</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/cilium-hubble-observe/","title":"Cilium Network Traffic Observation","text":"<p>Kube-OVN supports Cilium integration, please refer to Cilium integration for details.</p> <p>Cilium provides rich network traffic observation capabilities, and the flow observability is provided by Hubble. Hubble can observe the traffic across nodes, clusters, and even multi-cluster scenarios.</p>"},{"location":"en/advance/cilium-hubble-observe/#install-hubble","title":"Install Hubble","text":"<p>In the default Cilium integration installation, the Hubble related components are not installed, so to support traffic observation, you need to supplement the installation of Hubble on the environment.</p> <p>Execute the following command to install Hubble using helm:</p> <pre><code>helm upgrade cilium cilium/cilium --version 1.11.6 \\\n   --namespace kube-system \\\n   --reuse-values \\\n   --set hubble.relay.enabled=true \\\n   --set hubble.ui.enabled=true\n</code></pre> <p>After installing Hubble, execute <code>cilium status</code> to check the status of the component and confirm that the installation is successful.</p> <pre><code># cilium status\n    /\u00af\u00af\\\n /\u00af\u00af\\__/\u00af\u00af\\    Cilium:         OK\n \\__/\u00af\u00af\\__/    Operator:       OK\n /\u00af\u00af\\__/\u00af\u00af\\    Hubble:         OK\n \\__/\u00af\u00af\\__/    ClusterMesh:    disabled\n    \\__/\n\nDeployment        hubble-relay       Desired: 1, Ready: 1/1, Available: 1/1\nDeployment        cilium-operator    Desired: 2, Ready: 2/2, Available: 2/2\nDaemonSet         cilium             Desired: 2, Ready: 2/2, Available: 2/2\nDeployment        hubble-ui          Desired: 1, Ready: 1/1, Available: 1/1\nContainers:       cilium             Running: 2\n                  hubble-ui          Running: 1\n                  hubble-relay       Running: 1\n                  cilium-operator    Running: 2\nCluster Pods:     16/17 managed by Cilium\nImage versions    hubble-relay       quay.io/cilium/hubble-relay:v1.11.6@sha256:fd9034a2d04d5b973f1e8ed44f230ea195b89c37955ff32e34e5aa68f3ed675a: 1\n                  cilium-operator    quay.io/cilium/operator-generic:v1.11.6@sha256:9f6063c7bcaede801a39315ec7c166309f6a6783e98665f6693939cf1701bc17: 2\n                  cilium             quay.io/cilium/cilium:v1.11.6@sha256:f7f93c26739b6641a3fa3d76b1e1605b15989f25d06625260099e01c8243f54c: 2\n                  hubble-ui          quay.io/cilium/hubble-ui:v0.9.0@sha256:0ef04e9a29212925da6bdfd0ba5b581765e41a01f1cc30563cef9b30b457fea0: 1\n                  hubble-ui          quay.io/cilium/hubble-ui-backend:v0.9.0@sha256:000df6b76719f607a9edefb9af94dfd1811a6f1b6a8a9c537cba90bf12df474b: 1\napple@bogon cilium %\n</code></pre> <p>After installing the Hubble component, you need to install the command line to view the traffic information in the environment. Execute the following command to install Hubble CLI:</p> <pre><code>curl -L --fail --remote-name-all https://github.com/cilium/hubble/releases/download/v0.10.0/hubble-linux-amd64.tar.gz\nsudo tar xzvfC hubble-linux-amd64.tar.gz /usr/local/bin\n</code></pre>"},{"location":"en/advance/cilium-hubble-observe/#deploy-and-test","title":"Deploy and test","text":"<p>Cilium offers a traffic test deployment solution, you can directly use the official deployment solution to deploy the test.</p> <p>Execute the command <code>cilium connectivity test</code>, Cilium will automatically create the <code>cilium-test</code> namespace, and deploy the test under cilium-test.</p> <p>After the normal deployment, you can view the resource information under the <code>cilium-test</code> namespace, as follows:</p> <pre><code># kubectl get all -n cilium-test\nNAME                                  READY   STATUS    RESTARTS   AGE\npod/client-7df6cfbf7b-z5t2j           1/1     Running   0          21s\npod/client2-547996d7d8-nvgxg          1/1     Running   0          21s\npod/echo-other-node-d79544ccf-hl4gg   2/2     Running   0          21s\npod/echo-same-node-5d466d5444-ml7tc   2/2     Running   0          21s\n\nNAME                      TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE\nservice/echo-other-node   NodePort   10.109.58.126   &lt;none&gt;        8080:32269/TCP   21s\nservice/echo-same-node    NodePort   10.108.70.32    &lt;none&gt;        8080:32490/TCP   21s\n\nNAME                              READY   UP-TO-DATE   AVAILABLE   AGE\ndeployment.apps/client            1/1     1            1           21s\ndeployment.apps/client2           1/1     1            1           21s\ndeployment.apps/echo-other-node   1/1     1            1           21s\ndeployment.apps/echo-same-node    1/1     1            1           21s\n\nNAME                                        DESIRED   CURRENT   READY   AGE\nreplicaset.apps/client-7df6cfbf7b           1         1         1       21s\nreplicaset.apps/client2-547996d7d8          1         1         1       21s\nreplicaset.apps/echo-other-node-d79544ccf   1         1         1       21s\nreplicaset.apps/echo-same-node-5d466d5444   1         1         1       21s\n</code></pre>"},{"location":"en/advance/cilium-hubble-observe/#use-the-command-line-to-observe-traffic","title":"Use the command line to observe traffic","text":"<p>By default, the network traffic observation only provides the traffic observed by the Cilium agent on each node.</p> <p>Execute the <code>hubble observe</code> command in the Cilium agent pod under the <code>kube-system namespace</code> to view the traffic information on the node.</p> <pre><code># kubectl get pod -n kube-system -o wide\nNAME                                             READY   STATUS    RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES\ncilium-d6h56                                     1/1     Running   0          2d20h   172.18.0.2   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\ncilium-operator-5887f78bbb-c7sb2                 1/1     Running   0          2d20h   172.18.0.2   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\ncilium-operator-5887f78bbb-wj8gt                 1/1     Running   0          2d20h   172.18.0.3   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\ncilium-tq5xb                                     1/1     Running   0          2d20h   172.18.0.3   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\nkube-ovn-pinger-7lgk8                            1/1     Running   0          21h     10.16.0.19   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\nkube-ovn-pinger-msvcn                            1/1     Running   0          21h     10.16.0.18   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\n\n# kubectl exec -it -n kube-system cilium-d6h56 -- bash\nroot@kube-ovn-worker:/home/cilium# hubble observe --from-namespace kube-system\nJul 29 03:24:25.551: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.561: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: RST)\nJul 29 03:24:25.561: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, RST)\nJul 29 03:24:25.572: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: SYN)\nJul 29 03:24:25.572: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.651: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.661: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: RST)\nJul 29 03:24:25.661: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, RST)\nJul 29 03:24:25.761: kube-system/kube-ovn-pinger-msvcn:52004 -&gt; 172.18.0.3:6443 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.779: kube-system/kube-ovn-pinger-msvcn -&gt; kube-system/kube-ovn-pinger-7lgk8 to-stack FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:25.779: kube-system/kube-ovn-pinger-msvcn &lt;- kube-system/kube-ovn-pinger-7lgk8 to-endpoint FORWARDED (ICMPv4 EchoReply)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 &lt;- kube-system/hubble-relay-959988db5-zc5vv:4245 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 &lt;- kube-system/hubble-relay-959988db5-zc5vv:80 to-endpoint FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 -&gt; kube-system/hubble-relay-959988db5-zc5vv:4245 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 -&gt; kube-system/hubble-relay-959988db5-zc5vv:4245 to-endpoint FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.975: kube-system/kube-ovn-pinger-7lgk8 -&gt; kube-system/kube-ovn-pinger-msvcn to-endpoint FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:25.975: kube-system/kube-ovn-pinger-7lgk8 &lt;- kube-system/kube-ovn-pinger-msvcn to-stack FORWARDED (ICMPv4 EchoReply)\nJul 29 03:24:25.979: kube-system/kube-ovn-pinger-msvcn -&gt; 172.18.0.3 to-stack FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:26.037: kube-system/coredns-6d4b75cb6d-lbgjg:36430 -&gt; 172.18.0.3:6443 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:26.282: kube-system/kube-ovn-pinger-msvcn -&gt; 172.18.0.2 to-stack FORWARDED (ICMPv4 EchoRequest)\n</code></pre> <p>After deploying Hubble Relay, Hubble can provide complete cluster-wide network traffic observation.</p>"},{"location":"en/advance/cilium-hubble-observe/#configure-port-forwarding","title":"Configure port forwarding","text":"<p>In order to access the Hubble API normally, you need to create a port forwarding to forward the local request to the Hubble Service. You can execute the <code>kubectl port-forward deployment/hubble-relay -n kube-system 4245:4245</code> command to open the port forwarding in the current terminal.</p> <p>The port forwarding configuration can refer to Port Forwarding.</p> <p><code>kubectl port-forward</code> is a blocking command, you can open a new terminal to execute the following command to observe the traffic information.</p> <p>After configuring the port forwarding, execute the <code>hubble status</code> command in the terminal. If there is an output similar to the following, the port forwarding configuration is correct, and you can use the command line to observe the traffic.</p> <pre><code># hubble status\nHealthcheck (via localhost:4245): Ok\nCurrent/Max Flows: 8,190/8,190 (100.00%)\nFlows/s: 22.86\nConnected Nodes: 2/2\n</code></pre>"},{"location":"en/advance/cilium-hubble-observe/#use-the-command-line-to-observe-traffic_1","title":"Use the command line to observe traffic","text":"<p>Execute the <code>hubble observe</code> command in the terminal to view the traffic information of the cluster.</p> <p>The traffic observed by the <code>cilium-test</code> namespace is as follows:</p> <p></p> <p>Pay attention to the <code>hubble observe</code> command display result, which is the traffic information queried when the current command line is executed. Executing the command line multiple times can view different traffic information. For more detailed observation information, you can execute the <code>hubble help observe</code> command to view the detailed usage of Hubble CLI.</p>"},{"location":"en/advance/cilium-hubble-observe/#use-ui-to-observe-traffic","title":"Use UI to observe traffic","text":"<p>Execute the <code>cilium status</code> command to confirm that the Hubble UI has been successfully installed. In the second step of the Hubble installation, the installation of the UI has been supplemented.</p> <p>Execute the command <code>cilium hubble ui</code> to automatically create port forwarding and map the <code>hubble-ui service</code> to the local port.</p> <p>When the command is executed normally, the local browser will be automatically opened and jump to the Hubble UI interface. If it does not jump automatically, enter <code>http://localhost:12000</code> in the browser to open the UI observation interface.</p> <p>On the top left of the UI, select the <code>cilium-test</code> namespace to view the test traffic information provided by Cilium. </p>"},{"location":"en/advance/cilium-hubble-observe/#hubble-traffic-monitoring","title":"Hubble Traffic Monitoring","text":"<p>Hubble component provides monitoring of Pod network behavior in the cluster. In order to support viewing the monitoring data provided by Hubble, you need to enable monitoring statistics.</p> <p>Refer to the following command to supplement the <code>hubble.metrics.enabled</code> configuration item:</p> <pre><code>helm upgrade cilium cilium/cilium --version 1.11.6 \\\n   --namespace kube-system \\\n   --reuse-values \\\n   --set hubble.relay.enabled=true \\\n   --set hubble.ui.enabled=true \\\n   --set hubble.metrics.enabled=\"{dns,drop,tcp,flow,icmp,http}\"\n</code></pre> <p>After the deployment is completed, you can view the monitoring data provided by Hubble through the <code>hubble-metrics</code> service. Execute the following command to view the monitoring data:</p> <pre><code># curl 172.18.0.2:9091/metrics\n# HELP hubble_drop_total Number of drops\n# TYPE hubble_drop_total counter\nhubble_drop_total{protocol=\"ICMPv6\",reason=\"Unsupported L3 protocol\"} 2\n# HELP hubble_flows_processed_total Total number of flows processed\n# TYPE hubble_flows_processed_total counter\nhubble_flows_processed_total{protocol=\"ICMPv4\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 335\nhubble_flows_processed_total{protocol=\"ICMPv4\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 335\nhubble_flows_processed_total{protocol=\"ICMPv6\",subtype=\"\",type=\"Drop\",verdict=\"DROPPED\"} 2\nhubble_flows_processed_total{protocol=\"TCP\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 8282\nhubble_flows_processed_total{protocol=\"TCP\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 6767\nhubble_flows_processed_total{protocol=\"UDP\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 1642\nhubble_flows_processed_total{protocol=\"UDP\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 1642\n# HELP hubble_icmp_total Number of ICMP messages\n# TYPE hubble_icmp_total counter\nhubble_icmp_total{family=\"IPv4\",type=\"EchoReply\"} 335\nhubble_icmp_total{family=\"IPv4\",type=\"EchoRequest\"} 335\nhubble_icmp_total{family=\"IPv4\",type=\"RouterSolicitation\"} 2\n# HELP hubble_tcp_flags_total TCP flag occurrences\n# TYPE hubble_tcp_flags_total counter\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"FIN\"} 2043\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"RST\"} 301\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"SYN\"} 1169\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"SYN-ACK\"} 1169\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/cilium-networkpolicy/","title":"Cilium NetworkPolicy Support","text":"<p>Kube-OVN currently supports integration with Cilium, and the specific operation can refer to Cilium integration.</p> <p>After integrating Cilium, you can use Cilium's excellent network policy capabilities to control the access of Pods in the cluster.The following documents provide integration verification of Cilium L3 and L4 network policy capabilities.</p>"},{"location":"en/advance/cilium-networkpolicy/#verification-steps","title":"Verification Steps","text":""},{"location":"en/advance/cilium-networkpolicy/#create-test-pod","title":"Create test Pod","text":"<p>Create namespace <code>test</code>. Refer to the following yaml, create Pod with label <code>app=test</code> in namespace <code>test</code> as the destination Pod for testing access.</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: test\n  name: test\n  namespace: test\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: test\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      labels:\n        app: test\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n</code></pre> <p>Similarly, refer to the following yaml, create Pod with label <code>app=dynamic</code> in namespace <code>default</code> as the Pod for testing access.</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: dynamic\n  name: dynamic\n  namespace: default\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: dynamic\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      creationTimestamp: null\n      labels:\n        app: dynamic\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n</code></pre> <p>View the test Pod and Label information:</p> <pre><code># kubectl get pod -o wide --show-labels\nNAME                         READY   STATUS    RESTARTS   AGE   IP           NODE                     NOMINATED NODE   READINESS GATES   LABELS\ndynamic-7d8d7874f5-9v5c4     1/1     Running   0          28h   10.16.0.35   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\ndynamic-7d8d7874f5-s8z2n     1/1     Running   0          28h   10.16.0.36   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\n# kubectl get pod -o wide -n test --show-labels\nNAME                           READY   STATUS    RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES   LABELS\ndynamic-7d8d7874f5-6dsg6       1/1     Running   0          7h20m   10.16.0.2    kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\ndynamic-7d8d7874f5-tjgtp       1/1     Running   0          7h46m   10.16.0.42   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\nlabel-test1-77b6764857-swq4k   1/1     Running   0          3h43m   10.16.0.12   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=test1,pod-template-hash=77b6764857\n\n// As the destination Pod for testing access.\ntest-54c98bc466-mft5s          1/1     Running   0          8h      10.16.0.41   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=test,pod-template-hash=54c98bc466\n</code></pre>"},{"location":"en/advance/cilium-networkpolicy/#l3-network-policy-test","title":"L3 Network Policy Test","text":"<p>Refer to the following yaml, create <code>CiliumNetworkPolicy</code> resource:</p> <pre><code>apiVersion: \"cilium.io/v2\"\nkind: CiliumNetworkPolicy\nmetadata:\n  name: \"l3-rule\"\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n</code></pre> <p>At this point, the test Pod in the default namespace cannot access the destination Pod, but the test Pod to the destination Pod in the test namespace is accessible.</p> <p>Test results in the default namespace:</p> <pre><code># kubectl exec -it dynamic-7d8d7874f5-9v5c4 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\n</code></pre> <p>Test results in the test namespace:</p> <pre><code># kubectl exec -it -n test dynamic-7d8d7874f5-6dsg6 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n64 bytes from 10.16.0.41: seq=0 ttl=64 time=2.558 ms\n64 bytes from 10.16.0.41: seq=1 ttl=64 time=0.223 ms\n64 bytes from 10.16.0.41: seq=2 ttl=64 time=0.304 ms\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.223/1.028/2.558 ms\n</code></pre> <p>Look at the Cilium official document explanation, the <code>CiliumNetworkPolicy</code> resource limits the control at the <code>namespace</code> level. For more information, please refer to Cilium Limitations.</p> <p>If there is a network policy rule match, only the Pod in the same namespace can access according to the rule, and the Pod in the other namespace is denied access by default.</p> <p>If you want to implement cross-namespace access, you need to specify the namespace information in the rule.</p> <p>Refer to the document, modify the <code>CiliumNetworkPolicy</code> resource, and add namespace information:</p> <pre><code>  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n        k8s:io.kubernetes.pod.namespace: default    // control the Pod access in other namespace\n</code></pre> <p>Look at the modified <code>CiliumNetworkPolicy</code> resource information:</p> <pre><code># kubectl get cnp -n test  -o yaml l3-rule\napiVersion: cilium.io/v2\nkind: CiliumNetworkPolicy\nmetadata:\n  name: l3-rule\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n    - matchLabels:\n        app: dynamic\n        k8s:io.kubernetes.pod.namespace: default\n</code></pre> <p>Test the Pod access in the default namespace again, and the destination Pod access is normal:</p> <pre><code># kubectl exec -it dynamic-7d8d7874f5-9v5c4 -n test -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n64 bytes from 10.16.0.41: seq=0 ttl=64 time=2.383 ms\n64 bytes from 10.16.0.41: seq=1 ttl=64 time=0.115 ms\n64 bytes from 10.16.0.41: seq=2 ttl=64 time=0.142 ms\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.115/0.880/2.383 ms\n</code></pre> <p>Using the standard Kubernetes network policy networkpolicy, the test results show that Cilium also restricts access within the same namespace, and cross-namespace access is prohibited.</p> <p>It is different from Kube-OVN implementation. Kube-OVN supports standard k8s network policy, which restricts the destination Pod in a specific namespace, but there is no namespace restriction on the source Pod. Any Pod that meets the restriction rules in any namespace can access the destination Pod.</p>"},{"location":"en/advance/cilium-networkpolicy/#l4-network-policy-test","title":"L4 Network Policy Test","text":"<p>Refer to the following yaml, create <code>CiliumNetworkPolicy</code> resource:</p> <pre><code>apiVersion: \"cilium.io/v2\"\nkind: CiliumNetworkPolicy\nmetadata:\n  name: \"l4-rule\"\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n    toPorts:\n    - ports:\n      - port: \"80\"\n        protocol: TCP\n</code></pre> <p>Test the access of the Pod that meets the network policy rules in the same namespace</p> <pre><code># kubectl exec -it -n test dynamic-7d8d7874f5-6dsg6 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\nbash-5.0#\nbash-5.0# curl 10.16.0.41:80\n&lt;html&gt;\n&lt;head&gt;\n        &lt;title&gt;Hello World!&lt;/title&gt;\n        &lt;link href='//fonts.googleapis.com/css?family=Open+Sans:400,700' rel='stylesheet' type='text/css'&gt;\n        &lt;style&gt;\n        body {\n                background-color: white;\n                text-align: center;\n                padding: 50px;\n                font-family: \"Open Sans\",\"Helvetica Neue\",Helvetica,Arial,sans-serif;\n        }\n        #logo {\n                margin-bottom: 40px;\n        }\n        &lt;/style&gt;\n&lt;/head&gt;\n&lt;body&gt;\n                &lt;h1&gt;Hello World!&lt;/h1&gt;\n                                &lt;h3&gt;Links found&lt;/h3&gt;\n        &lt;h3&gt;I am on  test-54c98bc466-mft5s&lt;/h3&gt;\n        &lt;h3&gt;Cookie                  =&lt;/h3&gt;\n                                        &lt;b&gt;KUBERNETES&lt;/b&gt; listening in 443 available at tcp://10.96.0.1:443&lt;br /&gt;\n                                                &lt;h3&gt;my name is hanhouchao!&lt;/h3&gt;\n                        &lt;h3&gt; RequestURI='/'&lt;/h3&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre> <p>The Pod that does not meet the network policy rules in the same namespace cannot access</p> <pre><code># kubectl exec -it -n test label-test1-77b6764857-swq4k -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\nbash-5.0#\nbash-5.0# curl -v 10.16.0.41:80 --connect-timeout 10\n*   Trying 10.16.0.41:80...\n* After 10000ms connect time, move on!\n* connect to 10.16.0.41 port 80 failed: Operation timed out\n* Connection timeout after 10001 ms\n* Closing connection 0\ncurl: (28) Connection timeout after 10001 ms\n</code></pre> <p>After the network policy takes effect, cross-namespace access is still prohibited, which is consistent with the L3 network policy test results.</p> <p>After the L4 network policy takes effect, ping cannot be used, but TCP access that meets the policy rules can be executed normally.</p> <p>About the restriction of ICMP, please refer to the official description L4 Limitation Description.</p>"},{"location":"en/advance/cilium-networkpolicy/#l7-network-policy-test","title":"L7 Network Policy Test","text":"<p>chaining mode, L7 network policy currently has problems. In the Cilium official document, there is an explanation for this situation, please refer to Generic Veth Chaining.</p> <p>This problem is tracked using issue 12454, and it has not been resolved yet.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/dhcp/","title":"DHCP","text":"<p>When using SR-IOV or DPDK type networks, KubeVirt's built-in DHCP does not work in this network mode. Kube-OVN can use the DHCP capabilities of OVN to set DHCP options at the subnet level to help KubeVirt VMs of these network types to properly use DHCP to obtain assigned IP addresses. Kube-OVN supports both DHCPv4 and DHCPv6.</p> <p>The subnet DHCP is configured as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sn-dual\nspec:\n  cidrBlock: \"10.0.0.0/24,240e::a00/120\"\n  default: false\n  disableGatewayCheck: true\n  disableInterConnection: false\n  excludeIps:\n    - 10.0.0.1\n    - 240e::a01\n  gateway: 10.0.0.1,240e::a01\n  gatewayNode: ''\n  gatewayType: distributed\n  natOutgoing: false\n  private: false\n  protocol: Dual\n  provider: ovn\n  vpc: vpc-test\n  enableDHCP: true\n  dhcpV4Options: \"lease_time=3600,router=10.0.0.1,server_id=169.254.0.254,server_mac=00:00:00:2E:2F:B8\"\n  dhcpV6Options: \"server_id=00:00:00:2E:2F:C5\"\n  enableIPv6RA: true\n  ipv6RAConfigs: \"address_mode=dhcpv6_stateful,max_interval=30,min_interval=5,send_periodic=true\"\n</code></pre> <ul> <li><code>enableDHCP</code>: Whether to enable the DHCP function for the subnet.</li> <li><code>dhcpV4Options</code>,<code>dhcpV6Options</code>: This field directly exposes DHCP-related options within ovn-nb, please reade DHCP Options for more detail. The default value is  <code>\"lease_time=3600, router=$ipv4_gateway, server_id=169.254.0.254, server_mac=$random_mac\"</code> and <code>server_id=$random_mac</code>\u3002</li> <li><code>enableIPv6RA</code>: Whether to enable the route broadcast function of DHCPv6.</li> <li><code>ipv6RAConfigs</code>\uff1aThis field directly exposes DHCP-related options within ovn-nb Logical_Router_Port, please read Logical Router Port for more detail. The default value is <code>address_mode=dhcpv6_stateful, max_interval=30, min_interval=5, send_periodic=true</code>\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/dpdk/","title":"DPDK Support","text":"<p>This document describes how Kube-OVN combines with OVS-DPDK to provide a DPDK-type network interface to KubeVirt's virtual machines.</p> <p>Upstream KubeVirt does not currently support OVS-DPDK, users need to use the downstream patch Vhostuser implementation to build KubeVirt by themselves or KVM Device Plugin to use OVS-DPDK.</p>"},{"location":"en/advance/dpdk/#prerequisites","title":"Prerequisites","text":"<ul> <li>The node needs to provide a dedicated NIC for the DPDK driver to run.</li> <li>The node needs to have Hugepages enabled.</li> </ul>"},{"location":"en/advance/dpdk/#set-dpdk-driver","title":"Set DPDK driver","text":"<p>Here we use <code>driverctl</code> for example, please refer to the DPDK documentation for specific parameters and other driver usage:</p> <pre><code>driverctl set-override 0000:00:0b.0 uio_pci_generic\n</code></pre>"},{"location":"en/advance/dpdk/#configure-nodes","title":"Configure Nodes","text":"<p>Labeling OVS-DPDK-enabled nodes for Kube-OVN to recognize:</p> <pre><code>kubectl label nodes &lt;node&gt; ovn.kubernetes.io/ovs_dp_type=\"userspace\"\n</code></pre> <p>Create the configuration file <code>ovs-dpdk-config</code> in the <code>/opt/ovs-config</code> directory on nodes that support DPDK.</p> <pre><code>ENCAP_IP=192.168.122.193/24\nDPDK_DEV=0000:00:0b.0\n</code></pre> <ul> <li><code>ENCAP_IP</code>: The tunnel endpoint address.</li> <li><code>DPDK_DEV</code>: The PCI ID of the device.</li> </ul>"},{"location":"en/advance/dpdk/#install-kube-ovn","title":"Install Kube-OVN","text":"<p>Download scripts:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>Enable the DPDK installation option:</p> <pre><code>bash install.sh --with-hybrid-dpdk\n</code></pre>"},{"location":"en/advance/dpdk/#usage","title":"Usage","text":"<p>Here we verify the OVS-DPDK functionality by creating a virtual machine with a vhostuser type NIC.</p> <p>Here we use the KVM Device Plugin to create virtual machines. For more information on how to use it, please refer to [KVM Device Plugin].(https://github.com/kubevirt/kubernetes-device-plugins/blob/master/docs/README.kvm.md).</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/kubevirt/kubernetes-device-plugins/master/manifests/kvm-ds.yml\n</code></pre> <p>Create NetworkAttachmentDefinition:</p> <pre><code>apiVersion: k8s.cni.cncf.io/v1\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-dpdk\n  namespace: default\nspec:\n  config: &gt;-\n    {\n        \"cniVersion\": \"0.3.0\", \n        \"type\": \"kube-ovn\", \n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\", \n        \"provider\": \"ovn-dpdk.default.ovn\",\n        \"vhost_user_socket_volume_name\": \"vhostuser-sockets\",\n        \"vhost_user_socket_name\": \"sock\"\n    }\n</code></pre> <p>Create a VM image using the following Dockerfile:</p> <pre><code>FROM quay.io/kubevirt/virt-launcher:v0.46.1\n\n# wget http://cloud.centos.org/centos/7/images/CentOS-7-x86_64-GenericCloud.qcow2\nCOPY CentOS-7-x86_64-GenericCloud.qcow2 /var/lib/libvirt/images/CentOS-7-x86_64-GenericCloud.qcow2\n</code></pre> <p>Create a virtual machine:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vm-config\ndata:\n  start.sh: |\n    chmod u+w /etc/libvirt/qemu.conf\n    echo \"hugetlbfs_mount = \\\"/dev/hugepages\\\"\" &gt;&gt; /etc/libvirt/qemu.conf\n    virtlogd &amp;\n    libvirtd &amp;\n\n    mkdir /var/lock\n\n    sleep 5\n\n    virsh define /root/vm/vm.xml\n    virsh start vm\n\n    tail -f /dev/null\n  vm.xml: |\n    &lt;domain type='kvm'&gt;\n      &lt;name&gt;vm&lt;/name&gt;\n      &lt;uuid&gt;4a9b3f53-fa2a-47f3-a757-dd87720d9d1d&lt;/uuid&gt;\n      &lt;memory unit='KiB'&gt;2097152&lt;/memory&gt;\n      &lt;currentMemory unit='KiB'&gt;2097152&lt;/currentMemory&gt;\n      &lt;memoryBacking&gt;\n        &lt;hugepages&gt;\n          &lt;page size='2' unit='M' nodeset='0'/&gt;\n        &lt;/hugepages&gt;\n      &lt;/memoryBacking&gt;\n      &lt;vcpu placement='static'&gt;2&lt;/vcpu&gt;\n      &lt;cputune&gt;\n        &lt;shares&gt;4096&lt;/shares&gt;\n        &lt;vcpupin vcpu='0' cpuset='4'/&gt;\n        &lt;vcpupin vcpu='1' cpuset='5'/&gt;\n        &lt;emulatorpin cpuset='1,3'/&gt;\n      &lt;/cputune&gt;\n      &lt;os&gt;\n        &lt;type arch='x86_64' machine='pc'&gt;hvm&lt;/type&gt;\n        &lt;boot dev='hd'/&gt;\n      &lt;/os&gt;\n      &lt;features&gt;\n        &lt;acpi/&gt;\n        &lt;apic/&gt;\n      &lt;/features&gt;\n      &lt;cpu mode='host-model'&gt;\n        &lt;model fallback='allow'/&gt;\n        &lt;topology sockets='1' cores='2' threads='1'/&gt;\n        &lt;numa&gt;\n          &lt;cell id='0' cpus='0-1' memory='2097152' unit='KiB' memAccess='shared'/&gt;\n        &lt;/numa&gt;\n      &lt;/cpu&gt;\n      &lt;on_reboot&gt;restart&lt;/on_reboot&gt;\n      &lt;devices&gt;\n        &lt;emulator&gt;/usr/libexec/qemu-kvm&lt;/emulator&gt;\n        &lt;disk type='file' device='disk'&gt;\n          &lt;driver name='qemu' type='qcow2' cache='none'/&gt;\n          &lt;source file='/var/lib/libvirt/images/CentOS-7-x86_64-GenericCloud.qcow2'/&gt;\n          &lt;target dev='vda' bus='virtio'/&gt;\n        &lt;/disk&gt;\n\n        &lt;interface type='vhostuser'&gt;\n          &lt;mac address='00:00:00:0A:30:89'/&gt;\n          &lt;source type='unix' path='/var/run/vm/sock' mode='server'/&gt;\n           &lt;model type='virtio'/&gt;\n          &lt;driver queues='2'&gt;\n            &lt;host mrg_rxbuf='off'/&gt;\n          &lt;/driver&gt;\n        &lt;/interface&gt;\n        &lt;serial type='pty'&gt;\n          &lt;target type='isa-serial' port='0'&gt;\n            &lt;model name='isa-serial'/&gt;\n          &lt;/target&gt;\n        &lt;/serial&gt;\n        &lt;console type='pty'&gt;\n          &lt;target type='serial' port='0'/&gt;\n        &lt;/console&gt;\n        &lt;channel type='unix'&gt;\n          &lt;source mode='bind' path='/var/lib/libvirt/qemu/channel/target/domain-1-vm/org.qemu.guest_agent.0'/&gt;\n          &lt;target type='virtio' name='org.qemu.guest_agent.0' state='connected'/&gt;\n          &lt;alias name='channel0'/&gt;\n          &lt;address type='virtio-serial' controller='0' bus='0' port='1'/&gt;\n        &lt;/channel&gt;\n\n      &lt;/devices&gt;\n    &lt;/domain&gt;\n---\napiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: vm-deployment\n  labels:\n    app: vm\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: vm\n  template:\n    metadata:\n      labels:\n        app: vm\n      annotations:\n        k8s.v1.cni.cncf.io/networks: default/ovn-dpdk\n        ovn-dpdk.default.ovn.kubernetes.io/ip_address: 10.16.0.96\n        ovn-dpdk.default.ovn.kubernetes.io/mac_address: 00:00:00:0A:30:89\n    spec:\n      nodeSelector:\n        ovn.kubernetes.io/ovs_dp_type: userspace\n      securityContext:\n        runAsUser: 0\n      volumes:\n        - name: vhostuser-sockets\n          emptyDir: {}\n        - name: xml\n          configMap:\n            name: vm-config\n        - name: hugepage\n          emptyDir:\n            medium: HugePages-2Mi\n        - name: libvirt-runtime\n          emptyDir: {}\n      containers:\n        - name: vm\n          image: vm-vhostuser:latest\n          command: [\"bash\", \"/root/vm/start.sh\"]\n          securityContext:\n            capabilities:\n              add:\n                - NET_BIND_SERVICE\n                - SYS_NICE\n                - NET_RAW\n                - NET_ADMIN\n            privileged: false\n            runAsUser: 0\n          resources:\n            limits:\n              cpu: '2'\n              devices.kubevirt.io/kvm: '1'\n              memory: '8784969729'\n              hugepages-2Mi: 2Gi\n            requests:\n              cpu: 666m\n              devices.kubevirt.io/kvm: '1'\n              ephemeral-storage: 50M\n              memory: '4490002433'\n          volumeMounts:\n            - name: vhostuser-sockets\n              mountPath: /var/run/vm\n            - name: xml\n              mountPath: /root/vm/\n            - mountPath: /dev/hugepages\n              name: hugepage\n            - name: libvirt-runtime\n              mountPath: /var/run/libvirt\n</code></pre> <p>Wait for the virtual machine to be created successfully and then go to the Pod to configure the virtual machine:</p> <pre><code># virsh set-user-password vm root 12345\nPassword set successfully for root in vm\n\n# virsh console vm\nConnected to domain 'vm'\nEscape character is ^] (Ctrl + ])\n\nCentOS Linux 7 (Core)\nKernel 3.10.0-1127.el7.x86_64 on an x86_64\n\nlocalhost login: root\nPassword:\nLast login: Fri Feb 25 09:52:54 on ttyS0\n</code></pre> <p>Next, you can log into the virtual machine for network configuration and test:</p> <pre><code>ip link set eth0 mtu 1400\nip addr add 10.16.0.96/16 dev eth0\nip ro add default via 10.16.0.1\nping 114.114.114.114\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/external-gateway/","title":"External Gateway","text":"<p>In some scenarios, all container traffic access to the outside needs to be managed and audited through an external gateway. Kube-OVN can forward outbound traffic to the corresponding external gateway by configuring the appropriate routes in the subnet.</p>"},{"location":"en/advance/external-gateway/#usage","title":"Usage","text":"<pre><code>kind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: external\nspec:\n  cidrBlock: 172.31.0.0/16\n  gatewayType: centralized\n  natOutgoing: false\n  externalEgressGateway: 192.168.0.1\n  policyRoutingTableID: 1000\n  policyRoutingPriority: 1500\n</code></pre> <ul> <li><code>natOutgoing</code>: needs to be set to <code>false</code>.</li> <li><code>externalEgressGateway</code>: Set to the address of the external gateway, which needs to be in the same Layer 2 reachable domain as the gateway node.</li> <li><code>policyRoutingTableID</code>: The TableID of the local policy routing table used needs to be different for each subnet to avoid conflicts.</li> <li><code>policyRoutingPriority</code>: Route priority, in order to avoid subsequent user customization of other routing operations conflict, here you can specify the route priority. If no special needs, you can fill in any value.</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/fastpath/","title":"Compile FastPath Module","text":"<p>After a data plane performance profile, <code>netfilter</code> consumes about 20% of CPU resources for related processing within the container and on the host. The FastPath module can bypass <code>netfilter</code> to reduce CPU consumption and latency, and increase throughput. This document will describe how to compile the FastPath module manually.</p>"},{"location":"en/advance/fastpath/#download-related-code","title":"Download Related Code","text":"<pre><code>git clone --depth=1 https://github.com/kubeovn/kube-ovn.git\n</code></pre>"},{"location":"en/advance/fastpath/#install-dependencies","title":"Install Dependencies","text":"<p>Here is an example of CentOS dependencies to download:</p> <pre><code>yum install -y kernel-devel-$(uname -r) gcc elfutils-libelf-devel\n</code></pre>"},{"location":"en/advance/fastpath/#compile-the-module","title":"Compile the Module","text":"<p>For the 3.x kernel:</p> <pre><code>cd kube-ovn/fastpath\nmake all\n</code></pre> <p>For the 4.x kernel:</p> <pre><code>cd kube-ovn/fastpath/4.18\ncp ../Makefile .\nmake all\n</code></pre>"},{"location":"en/advance/fastpath/#instal-the-kernel-module","title":"Instal the Kernel Module","text":"<p>Copy <code>kube_ovn_fastpath.ko</code> to each node that needs performance optimization, and run the following command:</p> <pre><code>insmod kube_ovn_fastpath.ko\n</code></pre> <p>Use <code>dmesg</code> to confirm successful installation:</p> <pre><code># dmesg\n[619631.323788] init_module,kube_ovn_fastpath_local_out\n[619631.323798] init_module,kube_ovn_fastpath_post_routing\n[619631.323800] init_module,kube_ovn_fastpath_pre_routing\n[619631.323801] init_module,kube_ovn_fastpath_local_in\n</code></pre> <p>To uninstall a module, use the following command.</p> <pre><code>rmmod kube_ovn_fastpath.ko\n</code></pre> <p>This module will not be loaded automatically after machine reboot. If you want to load it automatically, please write the corresponding autostart script according to the system configuration.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/multi-nic/","title":"Manage Multiple Interface","text":"<p>Kube-OVN can provide cluster-level IPAM capabilities for other CNI network plugins such as macvlan, vlan, host-device, etc. Other network plugins can then use the subnet and fixed IP capabilities in Kube-OVN.</p> <p>Kube-OVN also supports address management when multiple NICs are all of Kube-OVN type.</p>"},{"location":"en/advance/multi-nic/#working-principle","title":"Working Principle","text":"<p>Multi-nic management:</p> <p>Here's an illustration of the network interfaces attached to a pod, as provisioned by Multus CNI. The diagram shows the pod with three interfaces: eth0, net0 and net1. eth0 connects kubernetes cluster network to connect with kubernetes server/services (e.g. kubernetes api-server, kubelet and so on). net0 and net1 are additional network attachments and connect to other networks by using other CNI plugins (e.g. vlan/vxlan/ptp).</p> <p></p> <p>IPAM\uff1a</p> <p>By using Multus CNI, we can add multiple NICs of different networks to a Pod. However, we still lack the ability to manage the IP addresses of different networks within a cluster. In Kube-OVN, we have been able to perform advanced IP management such as subnet management, IP reservation, random assignment, fixed assignment, etc. through CRD of Subnet and IP. Now Kube-OVN extend the subnet to integrate with other different network plugins, so that other network plugins can also use the IPAM functionality of Kube-OVN.</p>"},{"location":"en/advance/multi-nic/#workflow","title":"Workflow","text":"<p>The above diagram shows how to manage the IP addresses of other network plugins via Kube-OVN. The eth0 NIC of the container is connected to the OVN network and the net1 NIC is connected to other CNI networks. The network definition for the net1 network is taken from the NetworkAttachmentDefinition resource definition in multus-cni.</p> <p>When a Pod is created, <code>kube-ovn-controller</code> will get the Pod add event, find the corresponding Subnet according to the annotation in the Pod, then manage the address from it, and write the address information assigned to the Pod back to the Pod annotation.</p> <p>The CNI on the container machine can configure <code>kube-ovn-cni</code> as the ipam plugin. <code>kube-ovn-cni</code> will read the Pod annotation and return the address information to the corresponding CNI plugin using the standard format of the CNI protocol.</p>"},{"location":"en/advance/multi-nic/#usage","title":"Usage","text":""},{"location":"en/advance/multi-nic/#install-kube-ovn-and-multus","title":"Install Kube-OVN and Multus","text":"<p>Please refer One-Click Installation and Multus how to use to install Kube-OVN and Multus-CNI.</p>"},{"location":"en/advance/multi-nic/#provide-ipam-for-other-types-of-cni","title":"Provide IPAM for other types of CNI","text":""},{"location":"en/advance/multi-nic/#create-networkattachmentdefinition","title":"Create NetworkAttachmentDefinition","text":"<p>Here we use macvlan as the second network of the container network and set its ipam to <code>kube-ovn</code>:</p> <pre><code># load macvlan module\nsudo modprobe macvlan\n</code></pre> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: macvlan\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth0\",\n      \"mode\": \"bridge\",\n      \"ipam\": {\n        \"type\": \"kube-ovn\",\n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n        \"provider\": \"macvlan.default\"\n      }\n    }'\n</code></pre> <ul> <li><code>spec.config.ipam.type</code>: Need to be set to <code>kube-ovn</code> to call the kube-ovn plugin to get the address information.</li> <li><code>server_socket</code>: The socket file used for communication to Kube-OVN. The default location is <code>/run/openvswitch/kube-ovn-daemon.sock</code>.</li> <li><code>provider</code>: The current NetworkAttachmentDefinition's <code>&lt;name&gt;. &lt;namespace&gt;</code> , Kube-OVN will use this information to find the corresponding Subnet resource.</li> <li><code>master</code>: the host\u2019s physical network card</li> </ul>"},{"location":"en/advance/multi-nic/#create-a-kube-ovn-subnet","title":"Create a Kube-OVN Subnet","text":"<p>Create a Kube-OVN Subnet, set the corresponding <code>cidrBlock</code> and <code>exclude_ips</code>, the <code>provider</code> should be set to the <code>&lt;name&gt;. &lt;namespace&gt;</code> of corresponding NetworkAttachmentDefinition. For example, to provide additional NICs with macvlan, create a Subnet as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: macvlan\nspec:\n  protocol: IPv4\n  provider: macvlan.default\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre> <p><code>gateway</code>, <code>private</code>, <code>nat</code> are only valid for networks with <code>provider</code> type ovn, not for attachment networks.</p>"},{"location":"en/advance/multi-nic/#create-a-pod-with-multiple-nic","title":"Create a Pod with Multiple NIC","text":"<p>For Pods with randomly assigned addresses, simply add the following annotation <code>k8s.v1.cni.cncf.io/networks</code>, taking the value <code>&lt;namespace&gt;/&lt;name&gt;</code> of the corresponding NetworkAttachmentDefinition.\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"en/advance/multi-nic/#create-pod-with-a-fixed-ip","title":"Create Pod with a Fixed IP","text":"<p>For Pods with fixed IPs, add <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/ip_address</code> annotation\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: static-ip\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\n    ovn.kubernetes.io/ip_address: 10.16.0.15\n    ovn.kubernetes.io/mac_address: 00:00:00:53:6B:B6\n    macvlan.default.kubernetes.io/ip_address: 172.17.0.100\n    macvlan.default.kubernetes.io/mac_address: 00:00:00:53:6B:BB\nspec:\n  containers:\n  - name: static-ip\n    image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"en/advance/multi-nic/#create-workloads-with-fixed-ips","title":"Create Workloads with Fixed IPs","text":"<p>For workloads that use ippool, add <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/ip_pool</code> annotations:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  namespace: default\n  name: static-workload\n  labels:\n    app: static-workload\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: static-workload\n  template:\n    metadata:\n      labels:\n        app: static-workload\n      annotations:\n        k8s.v1.cni.cncf.io/networks: default/macvlan\n        ovn.kubernetes.io/ip_pool: 10.16.0.15,10.16.0.16,10.16.0.17\n        macvlan.default.kubernetes.io/ip_pool: 172.17.0.200,172.17.0.201,172.17.0.202\n    spec:\n      containers:\n      - name: static-workload\n        image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"en/advance/multi-nic/#create-a-pod-using-macvlan-as-default-route","title":"Create a Pod using macvlan as default route","text":"<p>For Pods that use macvlan as an accessory network card, if you want to use the accessory network card as the default route of the Pod, you only need to add the following annotation, <code>default-route</code> is the gateway address:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod-route\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: '[{\n      \"name\": \"macvlan\",\n      \"namespace\": \"default\",\n      \"default-route\": [\"172.17.0.1\"]\n    }]'\nspec:\n  containers:\n  - name: samplepod-route\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"en/advance/multi-nic/#create-a-pod-using-macvlan-as-the-main-nic","title":"Create a Pod using macvlan as the main nic","text":"<p>For Pods that use macvlan as the main network card, you only need to add the following annotation <code>v1.multus-cni.io/default-network</code>, whose value is <code>&lt;namespace&gt;/&lt;name&gt;</code> of the corresponding NetworkAttachmentDefinition:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod-macvlan\n  namespace: default\n  annotations:\n    v1.multus-cni.io/default-network: default/macvlan\nspec:\n  containers:\n  - name: samplepod-macvlan\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"en/advance/multi-nic/#create-a-kube-ovn-subnet-provider-ovn","title":"Create a Kube-OVN Subnet (Provider ovn)","text":"<p>Create a Kube-OVN Subnet, set the corresponding <code>cidrBlock</code> and <code>exclude_ips</code>, <code>provider</code> is ovn, and create the Subnet as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: macvlan\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"en/advance/multi-nic/#create-a-pod-with-multiple-nic_1","title":"Create a Pod with Multiple NIC","text":"<p>For Pods that need to obtain IP from the subnet with <code>provider</code> type ovn, you need to combine the annotation <code>k8s.v1.cni.cncf.io/networks</code> and <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/logical_switch</code> use:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\n    macvlan.default.kubernetes.io/logical_switch: macvlan\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre> <ul> <li><code>k8s.v1.cni.cncf.io/networks</code>: The value is <code>&lt;namespace&gt;/&lt;name&gt;</code> of the corresponding NetworkAttachmentDefinition</li> <li><code>macvlan.default.kubernetes.io/logical_switch</code>: The value is the subnet name</li> </ul> <p>Note: Specifying a subnet through <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/logical_switch</code> has a higher priority than specifying a subnet through provider. Subnets based on ovn type provide ipam and also support the creation of fixed IP Pods and the creation of fixed IP pods. IP workload, create a Pod with the default route as macvlan, but creating a Pod with the main network card as macvlan is not supported.</p>"},{"location":"en/advance/multi-nic/#the-attached-nic-is-a-kube-ovn-type-nic","title":"The attached NIC is a Kube-OVN type NIC","text":"<p>At this point, the multiple NICs are all Kube-OVN type NICs.</p>"},{"location":"en/advance/multi-nic/#create-networkattachmentdefinition_1","title":"Create NetworkAttachmentDefinition","text":"<p>Set the <code>provider</code> suffix to <code>ovn</code>:</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: attachnet\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"attachnet.default.ovn\"\n    }'\n</code></pre> <ul> <li><code>spec.config.ipam.type</code>: Need to be set to <code>kube-ovn</code> to call the kube-ovn plugin to get the address information.</li> <li><code>server_socket</code>: The socket file used for communication to Kube-OVN. The default location is <code>/run/openvswitch/kube-ovn-daemon.sock</code>.</li> <li><code>provider</code>: The current NetworkAttachmentDefinition's <code>&lt;name&gt;. &lt;namespace&gt;</code> , Kube-OVN will use this information to find the corresponding Subnet resource. It should have the suffix <code>ovn</code> here.</li> </ul>"},{"location":"en/advance/multi-nic/#create-a-kube-ovn-subnet_1","title":"Create a Kube-OVN Subnet","text":"<p>If you are using Kube-OVN as an attached NIC, <code>provider</code> should be set to the <code>&lt;name&gt;. &lt;namespace&gt;.ovn</code> of the corresponding NetworkAttachmentDefinition, and should end with <code>ovn</code> as a suffix.</p> <p>An example of creating a Subnet with an additional NIC provided by Kube-OVN is as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attachnet\nspec:\n  protocol: IPv4\n  provider: attachnet.default.ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"en/advance/multi-nic/#create-a-pod-with-multiple-nic_2","title":"Create a Pod with Multiple NIC","text":"<p>For Pods with randomly assigned addresses, simply add the following annotation <code>k8s.v1.cni.cncf.io/networks</code>, taking the value <code>&lt;namespace&gt;/&lt;name&gt;</code> of the corresponding NetworkAttachmentDefinition.\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"en/advance/multi-nic/#create-a-kube-ovn-subnet-provider-ovn_1","title":"Create a Kube-OVN Subnet (Provider ovn)","text":"<p>Create a Kube-OVN Subnet, set the corresponding <code>cidrBlock</code> and <code>exclude_ips</code>, <code>provider</code> is ovn, and create the Subnet as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attachnet\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"en/advance/multi-nic/#create-a-pod-with-multiple-nic_3","title":"Create a Pod with Multiple NIC","text":"<p>For Pods that need to obtain IP from the subnet whose <code>provider</code> type is ovn, the annotation <code>k8s.v1.cni.cncf.io/networks</code> and <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.ovn.kubernetes.io/logical_switch</code> need to be used in conjunction with:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\n    attachnet.default.ovn.kubernetes.io/logical_switch: attachnet\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre> <ul> <li><code>k8s.v1.cni.cncf.io/networks</code>: The value is <code>&lt;namespace&gt;/&lt;name&gt;</code> of the corresponding NetworkAttachmentDefinition</li> <li><code>attachnet.default.ovn.kubernetes.io/logical_switch</code>: The value is the subnet name</li> </ul> <p>Note: Specifying a subnet through <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.ovn.kubernetes.io/logical_switch</code> has a higher priority than specifying a subnet through provider. For Pods with Kube-OVN attached network cards, the creation of fixed IPs is supported. Pod, create a workload using a fixed IP, create a Pod with the default route as macvlan, and also support the creation of a Pod with the main network card as Kube-OVN type. For the configuration method, please refer to the previous section.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/nat-policy-rule/","title":"Default VPC NAT Policy Rule","text":""},{"location":"en/advance/nat-policy-rule/#purpose","title":"Purpose","text":"<p>In the Overlay Subnet under the default VPC, when the <code>natOutgoing</code> switch is turned on, all Pods in the subnet need to do SNAT to access the external network, but in some scenarios we do not want all Pods in the subnet to access the external network by SNAT.</p> <p>So the NAT Policy Rule is to provide a way for users to decide which CIDRs or IPs in the subnet to access the external network need SNAT.</p>"},{"location":"en/advance/nat-policy-rule/#how-to-use-nat-policy-rules","title":"How to use NAT Policy Rules","text":"<p>Enable the <code>natOutgoing</code> switch in <code>subnet.Spec</code>, and add the field <code>natOutgoingPolicyRules</code> as follows:</p> <pre><code>spec:\n  natOutgoing: true\n  natOutgoingPolicyRules:\n    - action: forward\n      match:\n        srcIPs: 10.0.11.0/30,10.0.11.254\n    - action: nat\n      match:\n        srcIPs: 10.0.11.128/26\n        dstIPs: 114.114.114.114,8.8.8.8\n</code></pre> <p>The above case shows that there are two NAT policy rules:</p> <ol> <li>Packets with source IP 10.0.11.0/30 or 10.0.11.254 will not perform SNAT when accessing the external network.</li> <li>When a packet with source IP 10.0.11.128/26 and destination IP 114.114.114.114 or 8.8.8.8 accesses the external network, SNAT will be performed.</li> </ol> <p>Field description:</p> <p><code>action</code>: The action that will be executed for packets that meets the corresponding conditions of the <code>match</code>. The action is divided into two types: <code>forward</code> and <code>nat</code>. When natOutgoingPolicyRules is not configured, packets are still SNAT by default.</p> <p><code>match</code>: Indicates the matching segment of the message, the matching segment includes <code>srcIPs</code> and <code>dstIPs</code>, here indicates the source IP and destination IP of the message from the subnet to the external network. <code>match.srcIPs</code> and <code>match.dstIPs</code> support multiple cidr and ip, separated by commas. If multiple match rules overlap, the action that is matched first will be executed according to the order of the <code>natOutgoingPolicyRules</code> array.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/node-local-dns/","title":"NodeLocal DNSCache and Kube-OVN adaptation","text":"<p>NodeLocal DNSCache improves cluster DNS performance by running DNS cache as a DaemonSet on cluster nodes. This function can also be adapted to Kube-OVN.</p>"},{"location":"en/advance/node-local-dns/#nodelocal-dnscache-deployment","title":"Nodelocal DNSCache deployment","text":""},{"location":"en/advance/node-local-dns/#deploy-kubernetes-nodelocal-dnscache","title":"Deploy Kubernetes NodeLocal DNScache","text":"<p>This step refers to Kubernetes official website configuration nodelocaldnscache.</p> <p>Deploy with the following script:</p> <pre><code>#!bin/bash\n\nlocaldns=169.254.20.10\ndomain=cluster.local\nkubedns=10.96.0.10\n\nwget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/dns/nodelocaldns/nodelocaldns.yaml\nsed -i \"s/__PILLAR__LOCAL__DNS__/$localdns/g; s/__PILLAR__DNS__DOMAIN__/$domain/g; s/,__PILLAR__DNS__SERVER__//g; s/__PILLAR__CLUSTER__DNS__/$kubedns/g\" nodelocaldns.yaml\n\nkubectl apply -f nodelocaldns.yaml\n</code></pre> <p>Modify the kubelet configuration file on each node, modify the clusterDNS field in <code>/var/lib/kubelet/config.yaml</code> to the local DNS IP 169.254.20.10, and then restart the kubelet service.</p>"},{"location":"en/advance/node-local-dns/#kube-ovn-corresponding-dns-configuration","title":"Kube-OVN corresponding DNS configuration","text":"<p>After deploying the Nodelocal DNScache component of Kubernetes, Kube-OVN needs to make the following modifications:</p>"},{"location":"en/advance/node-local-dns/#underlay-subnet-enable-u2o-switch","title":"Underlay subnet enable U2O switch","text":"<p>If the underlay subnet needs to use the local DNS function, you need to enable the U2O function, that is, configure <code>spec.u2oInterconnection = true</code> in <code>kubectl edit subnet {your subnet}</code>. If it is an overlay subnet, this step is not required.</p>"},{"location":"en/advance/node-local-dns/#specify-the-corresponding-local-dns-ip-for-kube-ovn-controller","title":"Specify the corresponding local DNS IP for kube-ovn-controller","text":"<pre><code>kubectl edit deployment kube-ovn-controller -n kube-system\n</code></pre> <p>Add field to spec.template.spec.containers.args <code>--node-local-dns-ip=169.254.20.10</code></p>"},{"location":"en/advance/node-local-dns/#rebuild-the-created-pods","title":"Rebuild the created Pods","text":"<p>The reason for this step is to let the Pod regenerate <code>/etc/resolv.conf</code> so that the nameserver points to the local DNS IP. If the nameserver of the Pod is not rebuilt, it will still use the DNS ClusterIP of the cluster. At the same time, if the u2o switch is turned on, the Pod needs to be rebuilt to regenerate the Pod gateway.</p>"},{"location":"en/advance/node-local-dns/#validator-local-dns-cache-function","title":"Validator local DNS cache function","text":"<p>After the above configuration is completed, you can find the Pod verification as follows. You can see that the Pod's DNS server points to the local 169.254.20.10 and successfully resolves the domain name:</p> <pre><code># kubectl exec -it pod1 -- nslookup github.com\nServer:         169.254.20.10\nAddress:        169.254.20.10:53\n\n\nName:   github.com\nAddress: 20.205.243.166\n</code></pre> <p>You can also capture packets at the node and verify as follows. You can see that the DNS query message reaches the local DNS service through the ovn0 network card, and the DNS response message returns in the same way:</p> <pre><code># tcpdump -i any port 53\n\n06:20:00.441889 659246098c56_h P   ifindex 17 00:00:00:73:f1:06 ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1291+ A? baidu.com. (27)\n06:20:00.441889 ovn0  In  ifindex 7 00:00:00:50:32:cd ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1291+ A? baidu.com. (27)\n06:20:00.441950 659246098c56_h P   ifindex 17 00:00:00:73:f1:06 ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1611+ AAAA? baidu.com. (27)\n06:20:00.441950 ovn0  In  ifindex 7 00:00:00:50:32:cd ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1611+ AAAA? baidu.com. (27)\n06:20:00.442203 ovn0  Out ifindex 7 00:00:00:52:99:d8 ethertype IPv4 (0x0800), length 145: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1611* 0/1/0 (97)\n06:20:00.442219 659246098c56_h Out ifindex 17 00:00:00:ea:b3:5e ethertype IPv4 (0x0800), length 145: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1611* 0/1/0 (97)\n06:20:00.442273 ovn0  Out ifindex 7 00:00:00:52:99:d8 ethertype IPv4 (0x0800), length 125: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1291* 2/0/0 A 39.156.66.10, A 110.242.68.66 (77)\n06:20:00.442278 659246098c56_h Out ifindex 17 00:00:00:ea:b3:5e ethertype IPv4 (0x0800), length 125: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1291* 2/0/0 A 39.156.66.10, A 110.242.68.66 (77)\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/offload-corigine/","title":"Offload with Corigine","text":"<p>Kube-OVN uses OVS for traffic forwarding in the final data plane, and the associated flow table matching, tunnel encapsulation and other functions are CPU-intensive, which consumes a lot of CPU resources and leads to higher latency and lower throughput under heavy traffic. Corigine Agilio CX series SmartNIC can offload OVS-related operations to the hardware. This technology can shorten the data path without modifying the OVS control plane, avoiding the use of host CPU resources, which dramatically reduce latency and significantly increase the throughput.</p> <p></p>"},{"location":"en/advance/offload-corigine/#prerequisites","title":"Prerequisites","text":"<ul> <li>Corigine Agilio CX series SmartNIC.</li> <li>CentOS 8 Stream or Linux 5.7 above.</li> <li>Since the current NIC does not support <code>dp_hash</code> and <code>hash</code> operation offload, OVN LB function should be disabled.</li> </ul>"},{"location":"en/advance/offload-corigine/#setup-sr-iov","title":"Setup SR-IOV","text":"<p>Please read Agilio Open vSwitch TC User Guide for the detail usage of this SmartNIC.</p> <p>The following scripts are saved for subsequent execution of firmware-related operations:</p> <pre><code>#!/bin/bash\nDEVICE=${1}\nDEFAULT_ASSY=scan\nASSY=${2:-${DEFAULT_ASSY}}\nAPP=${3:-flower}\n\nif [ \"x${DEVICE}\" = \"x\" -o ! -e /sys/class/net/${DEVICE} ]; then\n    echo Syntax: ${0} device [ASSY] [APP]\n    echo\n    echo This script associates the TC Offload firmware\n    echo with a Netronome SmartNIC.\n    echo\n    echo device: is the network device associated with the SmartNIC\n    echo ASSY: defaults to ${DEFAULT_ASSY}\n    echo APP: defaults to flower. flower-next is supported if updated\n    echo      firmware has been installed.\n    exit 1\nfi\n\n# It is recommended that the assembly be determined by inspection\n# The following code determines the value via the debug interface\nif [ \"${ASSY}x\" = \"scanx\" ]; then\n    ethtool -W ${DEVICE} 0\n    DEBUG=$(ethtool -w ${DEVICE} data /dev/stdout | strings)\n    SERIAL=$(echo \"${DEBUG}\" | grep \"^SN:\")\n    ASSY=$(echo ${SERIAL} | grep -oE AMDA[0-9]{4})\nfi\n\nPCIADDR=$(basename $(readlink -e /sys/class/net/${DEVICE}/device))\nFWDIR=\"/lib/firmware/netronome\"\n\n# AMDA0081 and AMDA0097 uses the same firmware\nif [ \"${ASSY}\" = \"AMDA0081\" ]; then\n    if [ ! -e ${FWDIR}/${APP}/nic_AMDA0081.nffw ]; then\n       ln -sf nic_AMDA0097.nffw ${FWDIR}/${APP}/nic_AMDA0081.nffw\n   fi\nfi\n\nFW=\"${FWDIR}/pci-${PCIADDR}.nffw\"\nln -sf \"${APP}/nic_${ASSY}.nffw\" \"${FW}\"\n\n# insert distro-specific initramfs section here...\n</code></pre> <p>Switching firmware options and reloading the driver:</p> <pre><code>./agilio-tc-fw-select.sh ens47np0 scan\nrmmod nfp\nmodprobe nfp\n</code></pre> <p>Check the number of available VFs and create VFs.</p> <pre><code># cat /sys/class/net/ens3/device/sriov_totalvfs\n65\n\n# echo 4 &gt; /sys/class/net/ens47/device/sriov_numvfs\n</code></pre>"},{"location":"en/advance/offload-corigine/#install-sr-iov-device-plugin","title":"Install SR-IOV Device Plugin","text":"<p>Since each machine has a limited number of VFs and each Pod that uses acceleration will take up VF resources, we need to use the SR-IOV Device Plugin to manage the corresponding resources so that the scheduler knows how to schedule.</p> <p>Create SR-IOV Configmap:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: sriovdp-config\n  namespace: kube-system\ndata:\n  config.json: |\n    {\n      \"resourceList\": [{\n          \"resourcePrefix\": \"corigine.com\",\n          \"resourceName\": \"agilio_sriov\",\n          \"selectors\": {\n                  \"vendors\": [\"19ee\"],\n                  \"devices\": [\"6003\"],\n                  \"drivers\": [\"nfp_netvf\"]\n              }\n      }\n      ]\n    }\n</code></pre> <p>Please read the SR-IOV device plugin to deploy:</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/intel/sriov-network-device-plugin/master/deployments/k8s-v1.16/sriovdp-daemonset.yaml\n</code></pre> <p>Check if SR-IOV resources have been registered to Kubernetes Node:</p> <pre><code>kubectl describe no containerserver  | grep corigine\n\ncorigine.com/agilio_sriov:  4\ncorigine.com/agilio_sriov:  4\ncorigine.com/agilio_sriov  0           0\n</code></pre>"},{"location":"en/advance/offload-corigine/#install-multus-cni","title":"Install Multus-CNI","text":"<p>The device IDs obtained during SR-IOV Device Plugin scheduling need to be passed to Kube-OVN via Multus-CNI, so Multus-CNI needs to be configured to perform the related tasks.</p> <p>Please read Multus-CNI Document to deploy\uff1a</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/multus-cni/master/deployments/multus-daemonset.yml\n</code></pre> <p>Create <code>NetworkAttachmentDefinition</code>\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: default\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/resourceName: corigine.com/agilio_sriov\nspec:\n  config: '{\n    \"cniVersion\": \"0.3.1\",\n    \"name\": \"kube-ovn\",\n    \"plugins\":[\n        {\n            \"type\":\"kube-ovn\",\n            \"server_socket\":\"/run/openvswitch/kube-ovn-daemon.sock\",\n            \"provider\": \"default.default.ovn\"\n        },\n        {\n            \"type\":\"portmap\",\n            \"capabilities\":{\n                \"portMappings\":true\n            }\n        }\n    ]\n}'\n</code></pre> <ul> <li><code>provider</code>: the format should be {name}.{namespace}.ovn of related <code>NetworkAttachmentDefinition</code>.</li> </ul>"},{"location":"en/advance/offload-corigine/#enable-offload-in-kube-ovn","title":"Enable Offload in Kube-OVN","text":"<p>Download the scripts:</p> <pre><code>wget https://raw.githubusercontent.com/alauda/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>Change the related options\uff0c<code>IFACE</code> should be the physic NIC and has an IP:</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"ensp01\"\n</code></pre> <p>Install Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"en/advance/offload-corigine/#create-pods-with-vf-nics","title":"Create Pods with VF NICs","text":"<p>Pods that use VF for network offload acceleration can be created using the following yaml:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx\n  namespace: default\n  annotations:\n    v1.multus-cni.io/default-network: default/default\nspec:\n  containers:\n    - name: nginx\n      image: docker.io/library/nginx:alpine\n      resources:\n        requests:\n          corigine.com/agilio_sriov: '1'\n        limits:\n          corigine.com/agilio_sriov: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: should be the {namespace}/{name} of related <code>NetworkAttachmentDefinition</code>.</li> </ul> <p>Running the following command in the <code>ovs-ovn</code> container of the Pod run node to observe if offload success.</p> <pre><code># ovs-appctl dpctl/dump-flows -m type=offloaded\nufid:91cc45de-e7e9-4935-8f82-1890430b0f66, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(5b45c61b307e_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:c5:6d:4e,dst=00:00:00:e7:16:ce),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:941539, bytes:62142230, used:0.260s, offloaded:yes, dp:tc, actions:54235e5753b8_h\nufid:e00768d7-e652-4d79-8182-3291d852b791, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(54235e5753b8_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:e7:16:ce,dst=00:00:00:c5:6d:4e),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:82386659, bytes:115944854173, used:0.260s, offloaded:yes, dp:tc, actions:5b45c61b307e_h\n</code></pre> <p>If there is <code>offloaded:yes, dp:tc</code> content, the offloading is successful.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/offload-mellanox/","title":"Offload with Mellanox","text":"<p>Kube-OVN uses OVS for traffic forwarding in the final data plane, and the associated flow table matching, tunnel encapsulation and other functions are CPU-intensive, which consumes a lot of CPU resources and leads to higher latency and lower throughput under heavy traffic. Mellanox Accelerated Switching And Packet Processing (ASAP\u00b2) technology offloads OVS-related operations to an eSwitch within the eSwitch in the hardware. This technology can shorten the data path without modifying the OVS control plane, avoiding the use of host CPU resources, which dramatically reduce latency and significantly increase the throughput.</p> <p></p>"},{"location":"en/advance/offload-mellanox/#prerequisites","title":"Prerequisites","text":"<ul> <li>Mellanox CX5/CX6/BlueField that support ASAP\u00b2.</li> <li>CentOS 8 Stream or Linux 5.7 above.</li> <li>Since the current NIC does not support <code>dp_hash</code> and <code>hash</code> operation offload, OVN LB function should be disabled.</li> <li>In order to configure offload mode, the network card cannot be bound to a bond.</li> </ul>"},{"location":"en/advance/offload-mellanox/#configure-sr-iov-and-device-plugin","title":"Configure SR-IOV and Device Plugin","text":"<p>Mellanox network card supports two ways to configure offload, one is to manually configure the network card SR-IOV and Device Plugin, and the other is to use sriov-network-operator Perform automatic configuration.</p>"},{"location":"en/advance/offload-mellanox/#manually-configure-sr-iov-and-device-plugin","title":"Manually configure SR-IOV and Device Plugin","text":""},{"location":"en/advance/offload-mellanox/#configure-sr-iov","title":"Configure SR-IOV","text":"<p>Query the device ID of the network card, in the following example it is <code>84:00.0</code> and <code>84.00.1</code>:</p> <pre><code># lspci -nn | grep ConnectX-5\n84:00.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n84:00.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n</code></pre> <p>Find the corresponding NIC by its device ID:</p> <pre><code># ls -l /sys/class/net/ | grep 84:00.0\nlrwxrwxrwx 1 root root 0 Feb 4 16:16 enp132s0f0np0 -&gt; ../../devices/pci0000:80/0000:80:08.0/0000:84:00.0/net/enp132s0f0np0\n# ls -l /sys/class/net/ | grep 84:00.1\nlrwxrwxrwx 1 root root 0 Feb 4 16:16 enp132s0f1np1 -&gt; ../../devices/pci0000:80/0000:80:08.0/0000:84:00.1/net/enp132s0f1np1\n</code></pre> <p>Check whether the network card is bound to bond:</p> <p>In this example, the network cards enp132s0f0np0 and enp132s0f1np1 are bound to bond1</p> <pre><code># ip link show enp132s0f0np0 | grep bond\n160: enp132s0f0np0: &lt;BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP&gt; mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000\n# ip link show enp132s0f1np1 | grep bond\n169: enp132s0f1np1: &lt;BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP&gt; mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000\n</code></pre> <p>Remove bond and existing VF:</p> <pre><code>ifenslave -d bond1 enp132s0f0np0\nifenslave -d bond1 enp132s0f1np1\necho 0 &gt; /sys/class/net/enp132s0f0np0/device/sriov_numvfs\necho 0 &gt; /sys/class/net/enp132s0f1np1/device/sriov_numvfs\nip link set enp132s0f0np0 down\nip link set enp132s0f1np1 down\n</code></pre> <p>Steering Mode:</p> <p>OVS-kernel supports two steering modes for rule insertion into hardware:</p> <ul> <li>SMFS (software-managed flow steering): default mode; rules are inserted directly to the hardware by the software (driver). This mode is optimized for rule insertion.</li> <li>DMFS (device-managed flow steering): rule insertion is done using firmware commands. This mode is optimized for throughput with a small amount of rules in the system.</li> </ul> <p>The steering mode can be configured via sysfs or devlink API in kernels that support it:</p> <pre><code># Configure via sysfs\necho &lt;smfs|dmfs&gt; &gt; /sys/class/net/enp132s0f0np0/compat/devlink/steering_mode\necho &lt;smfs|dmfs&gt; &gt; /sys/class/net/enp132s0f1np1/compat/devlink/steering_mode\n# Configure via devlink\ndevlink dev param set pci/84:00.0 name flow_steering_mode value smfs cmode runtime\ndevlink dev param set pci/84:00.1 name flow_steering_mode value smfs cmode runtime\n</code></pre> <p>Note: If you don\u2019t know which mode to choose, you can use the default mode without configuration.</p> <p>Check the number of available VFs:</p> <pre><code># cat /sys/class/net/enp132s0f0np0/device/sriov_totalvfs\n127\n# cat /sys/class/net/enp132s1f0np1/device/sriov_totalvfs\n127\n</code></pre> <p>Create VFs and do not exceeding the number found above:</p> <pre><code># echo '4' &gt; /sys/class/net/enp132s0f0np0/device/sriov_numvfs\n# echo '4' &gt; /sys/class/net/enp132s1f0np1/device/sriov_numvfs\n# ip link show enp132s0f0np0\n160: enp132s0f0np0: &lt;NO-CARRIER,BROADCAST,MULTICAST,UP&gt; mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000\n    link/ether 08:c0:eb:74:c3:4a brd ff:ff:ff:ff:ff:ff\n    vf 0 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 1 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 2 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 3 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n# ip link show enp132s0f1np1\n169: enp132s0f1np1: &lt;NO-CARRIER,BROADCAST,MULTICAST,UP&gt; mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000\n    link/ether 08:c0:eb:74:c3:4b brd ff:ff:ff:ff:ff:ff\n    vf 0 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 1 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 2 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 3 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n# ip link set enp132s0f0np0 up\n# ip link set enp132s0f1np1 up\n</code></pre> <p>Find the device IDs corresponding to the above VFs:</p> <pre><code># lspci -nn | grep ConnectX-5 | grep Virtual\n84:00.2 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.3 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.4 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.5 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.6 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.7 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:01.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:01.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n</code></pre> <p>Unbound the VFs from the driver:</p> <pre><code>echo 0000:84:00.2 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.3 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.4 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.5 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.6 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.7 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:01.0 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:01.1 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\n</code></pre> <p>Enable eSwitch mode and set up hardware offload:</p> <pre><code>devlink dev eswitch set pci/0000:84:00.0 mode switchdev\ndevlink dev eswitch set pci/0000:84:00.1 mode switchdev\nethtool -K enp132s0f0np0 hw-tc-offload on\nethtool -K enp132s0f1np1 hw-tc-offload on\n</code></pre> <p>SR-IOV VF LAG:</p> <p>SR-IOV VF LAG allows the NIC's physical functions (PFs) to get the rules that the OVS tries to offload to the bond net-device, and to offload them to the hardware e-switch.The supported bond modes are as follows:</p> <ul> <li>Active-backup</li> <li>XOR</li> <li>LACP</li> </ul> <p>SR-IOV VF LAG enables complete offload of the LAG functionality to the hardware. The bonding creates a single bonded PF port. Packets from the up-link can arrive from any of the physical ports and are forwarded to the bond device.When hardware offload is used, packets from both ports can be forwarded to any of the VFs. Traffic from the VF can be forwarded to both ports according to the bonding state. This means that when in active-backup mode, only one PF is up, and traffic from any VF goes through this PF. When in XOR or LACP mode, if both PFs are up, traffic from any VF is split between these two PFs.</p> <p>In this example, LACP mode will be used, and the configuration is as follows:</p> <pre><code>modprobe bonding mode=802.3ad\nip link set enp132s0f0np0 master bond1\nip link set enp132s0f1np1 master bond1\nip link set enp132s0f0np0 up\nip link set enp132s0f1np1 up\nip link set bond1 up\n</code></pre> <p>Note: If you do not need to bind bond, please ignore the above operation.</p> <p>Rebind the driver and complete the VF setup:</p> <pre><code>echo 0000:84:00.2 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.3 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.4 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.5 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.6 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.7 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:01.0 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:01.1 &gt; /sys/bus/pci/drivers/mlx5_core/bind\n</code></pre> <p>Some behaviors of <code>NetworkManager</code> may cause driver exceptions, if offloading problems occur we recommended to close <code>NetworkManager</code> and try again.</p> <pre><code>systemctl stop NetworkManager\nsystemctl disable NetworkManager\n</code></pre>"},{"location":"en/advance/offload-mellanox/#configure-device-plugin","title":"Configure Device Plugin","text":"<p>Since each machine has a limited number of VFs and each Pod that uses acceleration will take up VF resources, we need to use the SR-IOV Device Plugin to manage the corresponding resources so that the scheduler knows how to schedule.</p> <p>Create SR-IOV Configmap:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: sriovdp-config\n  namespace: kube-system\ndata:\n  config.json: |\n    {\n      \"resourceList\": [{\n          \"resourcePrefix\": \"mellanox.com\",\n          \"resourceName\": \"cx5_sriov_switchdev\",\n          \"selectors\": {\n                  \"vendors\": [\"15b3\"],\n                  \"devices\": [\"1018\"],\n                  \"drivers\": [\"mlx5_core\"]\n              }\n      }\n      ]\n    }\n</code></pre> <p>This plugin creates device plugin endpoints based on the configurations given in the config map associated with the SR-IOV Network Device Plugin.</p> <ul> <li><code>selectors</code>: VF selectors</li> <li><code>vendors</code>: Target device's vendor Hex code as string</li> <li><code>devices</code>: Target Devices' device Hex code as string</li> <li><code>drivers</code>: Target device driver names as string</li> </ul> <p><code>selectors</code> also supports VF selection based on <code>pciAddresses</code>, <code>acpiIndexes</code> and other parameters. For more detailed configuration, please refer to SR-IOV ConfigMap configuration</p> <p>Please read the SR-IOV device plugin to deploy:</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/sriov-network-device-plugin/v3.6.2/deployments/sriovdp-daemonset.yaml\n</code></pre> <p>Check if SR-IOV resources have been registered to Kubernetes Node:</p> <pre><code>kubectl describe node kube-ovn-01  | grep mellanox\n\nmellanox.com/cx5_sriov_switchdev:  8\nmellanox.com/cx5_sriov_switchdev:  8\nmellanox.com/cx5_sriov_switchdev  0           0\n</code></pre>"},{"location":"en/advance/offload-mellanox/#configure-sr-iov-and-device-plugin-using-sriov-network-operator","title":"Configure SR-IOV and Device Plugin using sriov-network-operator","text":"<p>Install node-feature-discovery to automatically detect hardware functions and system configuration:</p> <pre><code>kubectl apply -k https://github.com/kubernetes-sigs/node-feature-discovery/deployment/overlays/default?ref=v0.11.3\n</code></pre> <p>Or use the following command to manually add annotation to the network card with offload capability:</p> <pre><code>kubectl label nodes [offloadNicNode] feature.node.kubernetes.io/network-sriov.capable=true\n</code></pre> <p>Clone the code repository and install the Operator:</p> <pre><code>git clone --depth=1 https://github.com/kubeovn/sriov-network-operator.git\nkubectl apply -k sriov-network-operator/deploy\n</code></pre> <p>Check if the Operator component is working properly:</p> <pre><code># kubectl get -n kube-system all | grep sriov\nNAME                                          READY   STATUS    RESTARTS   AGE\npod/sriov-network-config-daemon-bf9nt         1/1     Running   0          8s\npod/sriov-network-operator-54d7545f65-296gb   1/1     Running   0          10s\n\nNAME                                         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                                                 AGE\ndaemonset.apps/sriov-network-config-daemon   1         1         1       1            1           beta.kubernetes.io/os=linux,feature.node.kubernetes.io/network-sriov.capable=true   8s\n\nNAME                                     READY   UP-TO-DATE   AVAILABLE   AGE\ndeployment.apps/sriov-network-operator   1/1     1            1           10s\n\nNAME                                                DESIRED   CURRENT   READY   AGE\nreplicaset.apps/sriov-network-operator-54d7545f65   1         1         1       10s\n</code></pre> <p>Check <code>SriovNetworkNodeState</code>, taking the <code>node1</code> node as an example, there are two Mellanox network cards on this node:</p> <pre><code># kubectl get sriovnetworknodestates.sriovnetwork.openshift.io -n kube-system node1 -o yaml\napiVersion: sriovnetwork.openshift.io/v1\nkind: SriovNetworkNodeState\nspec: ...\nstatus:\n  interfaces:\n  - deviceID: \"1017\"\n    driver: mlx5_core\n    mtu: 1500\n    pciAddress: \"0000:5f:00.0\"\n    totalvfs: 8\n    vendor: \"15b3\"\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    name: ens41f0np0\n  - deviceID: \"1017\"\n    driver: mlx5_core\n    mtu: 1500\n    pciAddress: \"0000:5f:00.1\"\n    totalvfs: 8\n    vendor: \"15b3\"\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    name: ens41f1np1\n</code></pre> <p>Create the <code>SriovNetworkNodePolicy</code> resource and select the network card to be managed through <code>nicSelector</code>:</p> <pre><code>apiVersion: sriovnetwork.openshift.io/v1\nkind: SriovNetworkNodePolicy\nmetadata:\n  name: policy\n  namespace: kube-system\nspec:\n  nodeSelector:\n    feature.node.kubernetes.io/network-sriov.capable: \"true\"\n  eSwitchMode: switchdev\n  numVfs: 3\n  nicSelector:\n    pfNames:\n    - ens41f0np0\n    - ens41f1np1\n  resourceName: cx_sriov_switchdev\n</code></pre> <p>Check the <code>status</code> field of <code>SriovNetworkNodeState</code> again:</p> <pre><code># kubectl get sriovnetworknodestates.sriovnetwork.openshift.io -n kube-system node1 -o yaml\n\n...\nspec:\n  interfaces:\n  - eSwitchMode: switchdev\n    name: ens41f0np0\n    numVfs: 3\n    pciAddress: 0000:5f:00.0\n    vfGroups:\n    - policyName: policy\n      vfRange: 0-2\n      resourceName: cx_sriov_switchdev\n  - eSwitchMode: switchdev\n    name: ens41f1np1\n    numVfs: 3\n    pciAddress: 0000:5f:00.1\n    vfGroups:\n    - policyName: policy\n      vfRange: 0-2\n      resourceName: cx_sriov_switchdev\nstatus:\n  interfaces\n  - Vfs:\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.2\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.3\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.4\n      vendor: \"15b3\"\n    deviceID: \"1017\"\n    driver: mlx5_core\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:ab\n    mtu: 1500\n    name: ens41f0np0\n    numVfs: 3\n    pciAddress: 0000:5f:00.0\n    totalvfs: 3\n    vendor: \"15b3\"\n  - Vfs:\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.5\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.6\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.7\n      vendor: \"15b3\"\n    deviceID: \"1017\"\n    driver: mlx5_core\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    mtu: 1500\n    name: ens41f1np1\n    numVfs: 3\n    pciAddress: 0000:5f:00.1\n    totalvfs: 3\n    vendor: \"15b3\"\n</code></pre> <p>Check the status of VF:</p> <pre><code># lspci -nn | grep ConnectX\n5f:00.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n5f:00.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n5f:00.2 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.3 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.4 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.5 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.6 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.7 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n</code></pre> <p>Check PF working mode:</p> <pre><code># cat /sys/class/net/ens41f0np0/compat/devlink/mode\nswitchdev\n</code></pre>"},{"location":"en/advance/offload-mellanox/#install-multus-cni","title":"Install Multus-CNI","text":"<p>The device IDs obtained during SR-IOV Device Plugin scheduling need to be passed to Kube-OVN via Multus-CNI, so Multus-CNI needs to be configured to perform the related tasks.</p> <p>Please read Multus-CNI Document to deploy\uff1a</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/multus-cni/v4.0.2/deployments/multus-daemonset-thick.yml\n</code></pre> <p>Note: multus provides Thin and Thick versions of the plug-in. To support SR-IOV, you need to install the Thick version.</p> <p>Create <code>NetworkAttachmentDefinition</code>\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: sriov\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/resourceName: mellanox.com/cx5_sriov_switchdev\nspec:\n  config: '{\n    \"cniVersion\": \"0.3.1\",\n    \"name\": \"kube-ovn\",\n    \"plugins\":[\n        {\n            \"type\":\"kube-ovn\",\n            \"server_socket\":\"/run/openvswitch/kube-ovn-daemon.sock\",\n            \"provider\": \"sriov.default.ovn\"\n        },\n        {\n            \"type\":\"portmap\",\n            \"capabilities\":{\n                \"portMappings\":true\n            }\n        }\n    ]\n}'\n</code></pre> <ul> <li><code>provider</code>: the format should be {name}.{namespace}.ovn of related <code>NetworkAttachmentDefinition</code>.</li> </ul>"},{"location":"en/advance/offload-mellanox/#overlay-offload","title":"Overlay offload","text":""},{"location":"en/advance/offload-mellanox/#enable-offload-in-kube-ovn","title":"Enable Offload in Kube-OVN","text":"<p>Download the scripts:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>Change the related options\uff0c<code>IFACE</code> should be the physic NIC and has an IP:</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"bond1\"\n# Take manual configuration of the network card in SR-IOV and Device Plugin as an example. If bond is bound, set IFACE to bond1. If bond is not bound, set IFACE to enp132s0f0np0 or enp132s0f1np1.\n</code></pre> <p>Install Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"en/advance/offload-mellanox/#create-pods-with-vf-nics","title":"Create Pods with VF NICs","text":"<p>Pods that use VF for network offload acceleration can be created using the following yaml:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-overlay\n  annotations:\n    v1.multus-cni.io/default-network: default/sriov\n    sriov.default.ovn.kubernetes.io/logical_switch: ovn-default\nspec:\n  containers:\n  - name: nginx-overlay\n    image: docker.io/library/nginx:alpine\n    resources:\n      requests:\n        mellanox.com/cx5_sriov_switchdev: '1'\n      limits:\n        mellanox.com/cx5_sriov_switchdev: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: is the {namespace}/{name} of <code>NetworkAttachmentDefinition</code> in the previous step.</li> <li><code>sriov.default.ovn.kubernetes.io/logical_switch</code>: Specify the Subnet to which the Pod belongs. If you want the subnet to which the Pod belongs to be the default subnet, this line annotation can be omitted.</li> </ul>"},{"location":"en/advance/offload-mellanox/#underlay-offload","title":"Underlay offload","text":""},{"location":"en/advance/offload-mellanox/#enable-offload-in-kube-ovn_1","title":"Enable Offload in Kube-OVN","text":"<p>Download the scripts:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>Change the related options\uff0c<code>IFACE</code> should be the physic NIC and has an IP:</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"\"\n# If Underlay uninstallation is required, IFACE needs to be set to other non-PF network cards. (When IFACE is empty, the K8s cluster communication network card will be used by default. Note that this network card cannot be a PF network card)\n</code></pre> <p>Install Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"en/advance/offload-mellanox/#create-pods-with-vf-nics_1","title":"Create Pods with VF NICs","text":"<p>Pods that use VF for network offload acceleration can be created using the following yaml:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: underlay-offload\nspec:\n  defaultInterface: bond1\n\n---\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan0\nspec:\n  id: 0\n  provider: underlay-offload\n\n---\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vlan0\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 10.10.204.0/24\n  gateway: 10.10.204.254\n  vlan: vlan0\n  excludeIps:\n  - 10.10.204.1..10.10.204.100\n\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-underlay\n  annotations:\n    k8s.v1.cni.cncf.io/networks: '[{\n      \"name\": \"sriov\",\n      \"namespace\": \"default\",\n      \"default-route\": [\"10.10.204.254\"]\n    }]'\n    sriov.default.ovn.kubernetes.io/logical_switch: vlan0\nspec:\n  containers:\n  - name: nginx-underlay\n    image: docker.io/library/nginx:alpine\n    resources:\n      requests:\n        mellanox.com/cx5_sriov_switchdev: '1'\n      limits:\n        mellanox.com/cx5_sriov_switchdev: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: is the {namespace}/{name} of <code>NetworkAttachmentDefinition</code> in the previous step.</li> </ul> <p>Note: In the above example, multus is used to create a Pod using VF as the secondary network card, and VF is used as the default route of the Pod. You can also use VF as the main network card of the Pod. For more details on multus configuration, see Multiple Network Card Management.</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-underlay-noVF\n  annotations:\n    ovn.kubernetes.io/logical_switch: vlan0\nspec:\n  containers:\n  - name: nginx-underlay-noVF\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>The above example will create a Pod that does not use VF for network offload acceleration, and its flow table will still be delivered to ovs-kernel but not to e-switch.</p>"},{"location":"en/advance/offload-mellanox/#offload-verification","title":"offload verification","text":"<p>Running the following command in the <code>ovs-ovn</code> container of the Pod run node to observe if offload success.</p> <pre><code># ovs-appctl dpctl/dump-flows -m type=offloaded\nufid:91cc45de-e7e9-4935-8f82-1890430b0f66, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(5b45c61b307e_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:c5:6d:4e,dst=00:00:00:e7:16:ce),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:941539, bytes:62142230, used:0.260s, offloaded:yes, dp:tc, actions:54235e5753b8_h\nufid:e00768d7-e652-4d79-8182-3291d852b791, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(54235e5753b8_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:e7:16:ce,dst=00:00:00:c5:6d:4e),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:82386659, bytes:115944854173, used:0.260s, offloaded:yes, dp:tc, actions:5b45c61b307e_h\n</code></pre> <p>If there is <code>offloaded:yes, dp:tc</code> content, the offloading is successful.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/overlay-with-route/","title":"Interconnection with Routes in Overlay Mode","text":"<p>In some scenarios, the network environment does not support Underlay mode, but still need Pods and external devices directly access through IP, then you can use the routing method to connect the container network and the external.</p> <p>Only Overlay Subnets in default VPC support this method. In this case, the Pod IP goes directly to the underlying network, which needs to disable IP checks for source and destination addresses.</p>"},{"location":"en/advance/overlay-with-route/#prerequisites","title":"Prerequisites","text":"<ul> <li>In this mode, the host needs to open the <code>ip_forward</code>.</li> <li>Check if there is a <code>Drop</code> rule in the forward chain in the host iptables that should be modified for container-related traffic.</li> <li>Due to the possibility of asymmetric routing, the host needs to allow packets with a ct status of <code>INVALID</code>.</li> </ul>"},{"location":"en/advance/overlay-with-route/#steps","title":"Steps","text":"<p>For subnets that require direct external routing, you need to set <code>natOutgoing</code> of the subnet to <code>false</code> to turn off nat mapping and make the Pod IP directly accessible to the external network.</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: routed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: distributed\n  natOutgoing: false\n</code></pre> <p>At this point, the Pod's packets can reach the peer node via the host route, but the peer node does not yet know where the return packets should be sent to and needs to add a return route.</p> <p>If the peer host and the container host are on the same Layer 2 network, we can add a static route directly to the peer host to point the next hop of the container network to any machine in the Kubernetes cluster.</p> <pre><code>ip route add 10.166.0.0/16 via 192.168.2.10 dev eth0\n</code></pre> <p><code>10.166.0.0/16</code> is the container subnet CIDR, and <code>192.168.2.10</code> is one node in the Kubernetes cluster.</p> <p>If the peer host and the container host are not in the same layer 2 network, you need to configure the corresponding rules on the router.</p> <p>Note: Specifying an IP for a single node may lead to single point of failure. To achieve fast failover, Keepalived can be used to set up a VIP for multiple nodes, and the next hop of the route can be directed to the VIP.</p> <p>In some virtualized environments, the virtual network identifies asymmetric traffic as illegal traffic and drops it. In this case, you need to adjust the <code>gatewayType</code> of the Subnet to <code>centralized</code> and set the next hop to the IP of the <code>gatewayNode</code> node during route setup.</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: routed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: centralized\n  gatewayNode: \"node1\"\n  natOutgoing: false\n</code></pre> <p>If you still want to perform NAT processing for some traffic, such as traffic accessing the Internet, please refer to the Default VPC NAT Policy Rule.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/ovn-eip-fip-snat/","title":"Support OVN EIP,FIP and SNAT","text":"<pre><code>\ngraph LR\n\npod--&gt;subnet--&gt;vpc--&gt;lrp--bind--&gt;gw-chassis--&gt;snat--&gt;lsp--&gt;external-subnet\nlrp-.-peer-.-lsp\n</code></pre> <p>The pod access the public network based on the snat</p> <p>Pod uses a centralized gateway based on Fip, and the path is similar.</p> <pre><code>\ngraph LR\n\n\npod--&gt;subnet--&gt;vpc--&gt;lrp--bind--&gt;local-chassis--&gt;snat--&gt;lsp--&gt;external-subnet\n\n\nlrp-.-peer-.-lsp\n</code></pre> <p>Pod is based on the general flow of distributed gateway FIP (dnat_and_snat) to exit the public network. Finally, POD can exit the public network based on the public network NIC of the local node.</p> <p>The CRD supported by this function is basically the same as the iptable nat gw public network solution.</p> <ul> <li>ovn eip: occupies a public ip address and is allocated from the underlay provider network vlan subnet</li> <li>ovn fip: one-to-one dnat snat, which provides direct public network access for ip addresses and vip in a vpc</li> <li>ovn snat: a subnet cidr or a single vpc ip or vip can access public networks based on snat</li> <li>ovn dnat: based router lb, which enables direct access to a group of endpoints in a vpc based on a public endpoint</li> </ul>"},{"location":"en/advance/ovn-eip-fip-snat/#1-deployment","title":"1. Deployment","text":"<p>Currently allows all vpcs to share the same default provider vlan subnet resources, custom vpcs support extending provider vlan subnet to enable the use of multiple public networks. similar to neutron ovn mode. Compatible with previous scenarios default VPC EIP/SNAT.</p> <p>During the deployment phase, you may need to specify a default public network logical switch based on actual conditions. If no vlan is in use (vlan 0 is used), the following startup parameters do not need to be configured.</p> <pre><code># When deploying you need to refer to the above scenario and specify the following parameters as needed according to the actual situation\n# 1. kube-ovn-controller Startup parameters to be configured\uff1a\n          - --external-gateway-vlanid=204\n          - --external-gateway-switch=external204\n\n# 2. kube-ovn-cni Startup parameters to be configured:\n          - --external-gateway-switch=external204 \n\n# The above configuration is consistent with the following public network configuration vlan id and resource name, \n# currently only support to specify one underlay public network as the default external public network.\n</code></pre> <p>The design and use of this configuration item takes into account the following factors\uff1a</p> <ul> <li>Based on this configuration item can be docked to the provider network, vlan, subnet resources.</li> <li>Based on this configuration item, the default vpc enable_eip_snat function can be docked to the existing vlan, subnet resources, while supporting the ipam</li> <li>If only the default vpc's enable_eip_snat mode is used with the old pod annotaion based eip fip snat, then the following configuration is not required.</li> <li>Based on this configuration you can not use the default vpc enable_eip_snat process, only by corresponding to vlan, subnet process, can be compatible with only custom vpc use eip snat usage scenarios.</li> </ul> <p>The neutron ovn mode also has a certain static file configuration designation that is, for now, generally consistent.</p>"},{"location":"en/advance/ovn-eip-fip-snat/#11-create-the-underlay-public-network","title":"1.1 Create the underlay public network","text":"<pre><code># provider-network\uff0c vlan\uff0c subnet\n# cat 01-provider-network.yaml\n\napiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: external204\nspec:\n  defaultInterface: vlan\n\n# cat 02-vlan.yaml\n\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan204\nspec:\n  id: 204\n  provider: external204\n\n# cat 03-vlan-subnet.yaml\n\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: external204\nspec:\n  protocol: IPv4\n  cidrBlock: 10.5.204.0/24\n  gateway: 10.5.204.254\n  vlan: vlan204\n  excludeIps:\n  - 10.5.204.1..10.5.204.100\n</code></pre>"},{"location":"en/advance/ovn-eip-fip-snat/#12-default-vpc-enable-eip_snat","title":"1.2 Default vpc enable eip_snat","text":"<pre><code># Enable the default vpc and the above underlay public provider subnet interconnection\n\ncat 00-centralized-external-gw-no-ip.yaml\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-external-gw-config\n  namespace: kube-system\ndata:\n  enable-external-gw: \"true\"\n  external-gw-nodes: \"pc-node-1,pc-node-2,pc-node-3\" \n  type: \"centralized\"  \n  external-gw-nic: \"vlan\"\n  external-gw-addr: \"10.5.204.254/24\"\n</code></pre> <p>This feature currently supports the ability to create lrp type ovn eip resources without specifying the lrp ip and mac, which is already supported for automatic acquisition. If specified, it is equivalent to specifying the ip to create an ovn-eip of type lrp. Of course, you can also manually create the lrp type ovn eip in advance.</p>"},{"location":"en/advance/ovn-eip-fip-snat/#13-custom-vpc-enable-eip-snat-fip-function","title":"1.3 Custom vpc enable eip snat fip function","text":"<p>Clusters generally require multiple gateway nodes to achieve high availability. The configuration is as follows:</p> <pre><code># First specify external-gw-nodes by adding label\nkubectl label nodes pc-node-1 pc-node-2 pc-node-3 ovn.kubernetes.io/external-gw=true\n</code></pre> <pre><code># cat 00-ns.yml\n\napiVersion: v1\nkind: Namespace\nmetadata:\n  name: vpc1\n\n# cat 01-vpc-ecmp-enable-external-bfd.yml\n\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true\n# vpc enableExternal will automatically create an lrp association to the public network specified above\n\n# cat 02-subnet.yml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vpc1-subnet1\nspec:\n  cidrBlock: 192.168.0.0/24\n  default: false\n  disableGatewayCheck: false\n  disableInterConnection: true\n  enableEcmp: true\n  gatewayNode: \"\"\n  gatewayType: distributed\n  #gatewayType: centralized\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n  provider: ovn\n  vpc: vpc1\n  namespaces:\n  - vpc1\n</code></pre> <p>After the above template is applied, you should see the following resources exist</p> <pre><code># k ko nbctl show vpc1\n\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 21d853b0-f7b4-40bd-9a53-31d2e2745739\n        external ip: \"10.5.204.115\"\n        logical ip: \"192.168.0.0/24\"\n        type: \"snat\"\n</code></pre> <pre><code># k ko nbctl lr-route-list vpc1\n\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0              10.5.204.254 dst-ip\n# The route currently supports automatic maintenance\n</code></pre>"},{"location":"en/advance/ovn-eip-fip-snat/#14-use-additional-public-network","title":"1.4 Use additional public network","text":""},{"location":"en/advance/ovn-eip-fip-snat/#141-create-additional-underlay-public-network","title":"1.4.1 Create additional underlay public network","text":"<p>Additional public network functions will be enabled after the default eip snat fip function is enabled. If there is only 1 public network card, please use the default eip snat fip function.</p> <pre><code># provider-network, vlan, subnet\n# cat 01-extra-provider-network.yaml\napiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: extra\nspec:\n  defaultInterface: vlan\n# cat 02-extra-vlan.yaml\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan0\nspec:\n  id: 0\n  provider: extra\n# cat 03-extra-vlan-subnet.yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: extra\nspec:\n  protocol: IPv4\n  cidrBlock: 10.10.204.0/24\n  gateway: 10.10.204.254\n  vlan: vlan0\n  excludeIps:\n  - 10.10.204.1..10.10.204.100\n</code></pre>"},{"location":"en/advance/ovn-eip-fip-snat/#142-custom-vpc-configuration","title":"1.4.2 Custom vpc configuration","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vpc\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true  # vpc enableExternal will automatically create an lrp association to the public network specified above\n  addExternalSubnets: # configure addExternalSubnets to support connecting multiple additional public networks\n  - extra\n</code></pre> <p>After the above template is applied, you should see the following resources exist</p> <pre><code># k ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    port vpc1-extra\n        mac: \"00:00:00:EF:6A:C7\"\n        networks: [\"10.10.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n</code></pre>"},{"location":"en/advance/ovn-eip-fip-snat/#2-ovn-eip","title":"2. ovn-eip","text":"<p>This function is designed and used in the same way as iptables-eip, ovn-eip currently has three types</p> <ul> <li>nat: indicates ovn dnat, fip, and snat.</li> <li>lrp: indicates the resource used to connect a vpc to the public network</li> <li>lsp: In the ovn BFD-based ecmp static route scenario, an ovs internal port is provided on the gateway node as the next hop of the ecmp route</li> </ul> <pre><code>---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: external204\n  type: nat\n\n# Dynamically allocate an eip resource that is reserved for fip dnat_and_snat scenarios\n</code></pre> <p>The externalSubnet field does not need to be configured. If not configured, the default public network will be used. In the above configuration, the default public network is external204.</p> <p>If you want to use an additional public network, you need to explicitly specify the public network to be extended through externalSubnet. In the above configuration, the extended public network is extra.</p>"},{"location":"en/advance/ovn-eip-fip-snat/#21-create-an-fip-for-pod","title":"2.1 Create an fip for pod","text":"<pre><code># k get po -o wide -n vpc1 vpc-1-busybox01\nNAME              READY   STATUS    RESTARTS   AGE     IP            NODE\nvpc-1-busybox01   1/1     Running   0          3d15h   192.168.0.2   pc-node-2\n\n# k get ip vpc-1-busybox01.vpc1\nNAME                   V4IP          V6IP   MAC                 NODE        SUBNET\nvpc-1-busybox01.vpc1   192.168.0.2          00:00:00:0A:DD:27   pc-node-2   vpc1-subnet1\n\n---\n\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  ovnEip: eip-static\n  ipName: vpc-1-busybox01.vpc1  # the name of the ip crd, which is unique\n\n--\n# Alternatively, you can specify a vpc or Intranet ip address\n\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  ovnEip: eip-static\n  vpc: vpc1\n  v4Ip: 192.168.0.2\n</code></pre> <pre><code># k get ofip\nNAME          VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-for-vip   vpc1   10.5.204.106   192.168.0.3   true    vip      test-fip-vip\neip-static    vpc1   10.5.204.101   192.168.0.2   true             vpc-1-busybox01.vpc1\n# k get ofip eip-static\nNAME         VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-static   vpc1   10.5.204.101   192.168.0.2   true             vpc-1-busybox01.vpc1\n\n[root@pc-node-1 03-cust-vpc]# ping 10.5.204.101\nPING 10.5.204.101 (10.5.204.101) 56(84) bytes of data.\n64 bytes from 10.5.204.101: icmp_seq=2 ttl=62 time=1.21 ms\n64 bytes from 10.5.204.101: icmp_seq=3 ttl=62 time=0.624 ms\n64 bytes from 10.5.204.101: icmp_seq=4 ttl=62 time=0.368 ms\n^C\n--- 10.5.204.101 ping statistics ---\n4 packets transmitted, 3 received, 25% packet loss, time 3049ms\nrtt min/avg/max/mdev = 0.368/0.734/1.210/0.352 ms\n[root@pc-node-1 03-cust-vpc]#\n\n# pod &lt;--&gt; node ping is working\n</code></pre> <pre><code># The key resources that this public ip can pass include the following ovn nb resources\n\n# k ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 813523e7-c68c-408f-bd8c-cba30cb2e4f4\n        external ip: \"10.5.204.101\"\n        logical ip: \"192.168.0.2\"\n        type: \"dnat_and_snat\"\n</code></pre>"},{"location":"en/advance/ovn-eip-fip-snat/#22-create-an-fip-for-vip","title":"2.2 Create an fip for vip","text":"<p>In order to facilitate the use of some vip scenarios, such as inside kubevirt VM, keepalived use vip, kube-vip use vip, etc. the vip need public network access.</p> <pre><code># First create vip, eip, then bind eip to vip\n# cat vip.yaml\n\napiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: test-fip-vip\nspec:\n  subnet: vpc1-subnet1\n\n# cat 04-fip.yaml\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  ovnEip: eip-for-vip\n  ipType: vip         # By default fip is for pod ip, here you need to specify the docking to vip resources\n  ipName: test-fip-vip\n\n---\n# Alternatively, you can specify a vpc or Intranet ip address\n\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  ovnEip: eip-for-vip\n  ipType: vip         # By default fip is for pod ip, here you need to specify the docking to vip resources\n  vpc: vpc1\n  v4Ip: 192.168.0.3\n</code></pre> <pre><code># k get ofip\nNAME          VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-for-vip   vpc1   10.5.204.106   192.168.0.3   true    vip      test-fip-vip\n\n\n[root@pc-node-1 fip-vip]# ping  10.5.204.106\nPING 10.5.204.106 (10.5.204.106) 56(84) bytes of data.\n64 bytes from 10.5.204.106: icmp_seq=1 ttl=62 time=0.694 ms\n64 bytes from 10.5.204.106: icmp_seq=2 ttl=62 time=0.436 ms\n\n# node &lt;--&gt; pod fip is working\n\n# The way ip is used inside the pod is roughly as follows\n\n[root@pc-node-1 fip-vip]# k -n vpc1 exec -it vpc-1-busybox03 -- bash\n[root@vpc-1-busybox03 /]#\n[root@vpc-1-busybox03 /]#\n[root@vpc-1-busybox03 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1568: eth0@if1569: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:56:40:e5 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.5/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet 192.168.0.3/24 scope global secondary eth0  # vip here\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe56:40e5/64 scope link\n       valid_lft forever preferred_lft forever\n\n[root@vpc-1-busybox03 /]# tcpdump -i eth0 host  192.168.0.3 -netvv\ntcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes\n00:00:00:ed:8e:c7 &gt; 00:00:00:56:40:e5, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 62, id 44830, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.32.51 &gt; 192.168.0.3: ICMP echo request, id 177, seq 1, length 64\n00:00:00:56:40:e5 &gt; 00:00:00:ed:8e:c7, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 64, id 43962, offset 0, flags [none], proto ICMP (1), length 84)\n    192.168.0.3 &gt; 10.5.32.51: ICMP echo reply, id 177, seq 1, length 64\n\n# pod internal can catch fip related icmp packets\n</code></pre>"},{"location":"en/advance/ovn-eip-fip-snat/#31-ovn-snat-corresponds-to-the-cidr-of-a-subnet","title":"3.1 ovn-snat corresponds to the CIDR of a subnet","text":"<p>This feature is designed and used in much the same way as iptables-snat</p> <pre><code># cat 03-subnet-snat.yaml\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpcSubnet: vpc1-subnet1 # eip corresponds to the entire network segment\n\n---\n# Alternatively, you can specify a vpc and subnet cidr on an Intranet\n\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpc: vpc1\n  v4IpCidr: 192.168.0.0/24 # vpc subnet cidr or ip address\n</code></pre> <p>If you want to use an additional public network, you need to explicitly specify the public network to be extended through externalSubnet. In the above configuration, the extended public network is extra.</p>"},{"location":"en/advance/ovn-eip-fip-snat/#32-ovn-snat-corresponds-to-a-pod-ip","title":"3.2 ovn-snat corresponds to a pod IP","text":"<p>This feature is designed and used in much the same way as iptables-snat</p> <pre><code># cat 03-pod-snat.yaml\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-pod-vpc-ip\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat01\nspec:\n  ovnEip: snat-for-pod-vpc-ip\n  ipName: vpc-1-busybox02.vpc1 # eip corresponds to a single pod ip\n\n---\n# Alternatively, you can specify a vpc or Intranet ip address\n\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpc: vpc1\n  v4IpCidr: 192.168.0.4\n</code></pre> <p>If you want to use an additional public network, you need to explicitly specify the public network to be extended through externalSubnet. In the above configuration, the extended public network is extra.</p> <p>After the above resources are created, you can see the following resources that the snat public network feature depends on.</p> <pre><code># kubectl ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 21d853b0-f7b4-40bd-9a53-31d2e2745739\n        external ip: \"10.5.204.115\"\n        logical ip: \"192.168.0.0/24\"\n        type: \"snat\"\n    nat da77a11f-c523-439c-b1d1-72c664196a0f\n        external ip: \"10.5.204.116\"\n        logical ip: \"192.168.0.4\"\n        type: \"snat\"\n</code></pre> <pre><code>[root@pc-node-1 03-cust-vpc]# k get po -A -o wide  | grep busy\nvpc1            vpc-1-busybox01                                 1/1     Running   0                3d15h   192.168.0.2   pc-node-2   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox02                                 1/1     Running   0                17h     192.168.0.4   pc-node-1   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox03                                 1/1     Running   0                17h     192.168.0.5   pc-node-1   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox04                                 1/1     Running   0                17h     192.168.0.6   pc-node-3   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox05                                 1/1     Running   0                17h     192.168.0.7   pc-node-1   &lt;none&gt;           &lt;none&gt;\n\n# k exec -it -n vpc1            vpc-1-busybox04   bash\nkubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.\n[root@vpc-1-busybox04 /]#\n[root@vpc-1-busybox04 /]#\n[root@vpc-1-busybox04 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n17095: eth0@if17096: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:76:94:55 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.6/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe76:9455/64 scope link\n       valid_lft forever preferred_lft forever\n[root@vpc-1-busybox04 /]# ping 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=1 ttl=114 time=22.2 ms\n64 bytes from 223.5.5.5: icmp_seq=2 ttl=114 time=21.8 ms\n\n[root@pc-node-1 03-cust-vpc]# k exec -it -n vpc1            vpc-1-busybox02   bash\nkubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1566: eth0@if1567: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:0b:e9:d0 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.4/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe0b:e9d0/64 scope link\n       valid_lft forever preferred_lft forever\n[root@vpc-1-busybox02 /]# ping 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=2 ttl=114 time=22.7 ms\n64 bytes from 223.5.5.5: icmp_seq=3 ttl=114 time=22.6 ms\n64 bytes from 223.5.5.5: icmp_seq=4 ttl=114 time=22.1 ms\n^C\n--- 223.5.5.5 ping statistics ---\n4 packets transmitted, 3 received, 25% packet loss, time 3064ms\nrtt min/avg/max/mdev = 22.126/22.518/22.741/0.278 ms\n\n# the two pods can access the external network based on these two type snat resources respectively\n</code></pre>"},{"location":"en/advance/ovn-eip-fip-snat/#41-ovn-dnat-binds-a-dnat-to-a-pod","title":"4.1 ovn-dnat binds a DNAT to a pod","text":"<pre><code>kind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: underlay\n  type: nat\n---\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ovnEip: eip-dnat\n  ipName: vpc-1-busybox01.vpc1 # Note that this is the name of the pod IP CRD and it is unique\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n\n---\n# Alternatively, you can specify a vpc or Intranet ip address\n\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ovnEip: eip-dnat\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n  vpc: vpc1\n  v4Ip: 192.168.0.3\n</code></pre> <p>If you want to use an additional public network, you need to explicitly specify the public network to be extended through externalSubnet. In the above configuration, the extended public network is extra.</p> <p>The configuration of OvnDnatRule is similar to that of IptablesDnatRule.</p> <pre><code># kubectl get oeip eip-dnat\nNAME       V4IP        V6IP   MAC                 TYPE   READY\neip-dnat   10.5.49.4          00:00:00:4D:CE:49   dnat   true\n\n# kubectl get odnat\nNAME                   EIP                    PROTOCOL   V4EIP        V4IP           INTERNALPORT   EXTERNALPORT   IPNAME                                READY\neip-dnat               eip-dnat               tcp        10.5.49.4    192.168.0.3    22             22             vpc-1-busybox01.vpc1                  true\n</code></pre>"},{"location":"en/advance/ovn-eip-fip-snat/#42-ovn-dnat-binds-a-dnat-to-a-vip","title":"4.2 ovn-dnat binds a DNAT to a VIP","text":"<pre><code>kind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ipType: vip  # By default, Dnat is oriented towards pod IPs. Here, it is necessary to specify that it is connected to VIP resources\n  ovnEip: eip-dnat\n  ipName: test-dnat-vip\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n\n\n---\n# Alternatively, you can specify a vpc or Intranet ip address\n\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ipType: vip  # By default, Dnat is oriented towards pod IPs. Here, it is necessary to specify that it is connected to VIP resources\n  ovnEip: eip-dnat\n  ipName: test-dnat-vip\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n  vpc: vpc1\n  v4Ip: 192.168.0.4\n</code></pre> <p>The configuration of OvnDnatRule is similar to that of IptablesDnatRule.</p> <pre><code># kubectl get vip test-dnat-vip\nNAME            V4IP          PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET         READY\ntest-dnat-vip   192.168.0.4           00:00:00:D0:C0:B5                         vpc1-subnet1   true\n\n# kubectl get oeip eip-dnat\nNAME       V4IP        V6IP   MAC                 TYPE   READY\neip-dnat   10.5.49.4          00:00:00:4D:CE:49   dnat   true\n\n# kubectl get odnat eip-dnat \nNAME       EIP        PROTOCOL   V4EIP       V4IP          INTERNALPORT   EXTERNALPORT   IPNAME          READY\neip-dnat   eip-dnat   tcp        10.5.49.4   192.168.0.4   22             22             test-dnat-vip   true\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/ovn-ipsec/","title":"Encrypt inter-node communication using IPsec","text":"<p>This function is supported after v1.10.11 and v1.11.4, the kernel version is at least 3.10.0 or above, and UDP ports 500 and 4500 are available.</p>"},{"location":"en/advance/ovn-ipsec/#start-ipsec","title":"Start IPsec","text":"<p>Copy the script from the Kube-OVN source code ipsec.sh, execute the command as follows, the script will call ovs-pki to generate and distribute the certificate required for encryption:</p> <pre><code>bash ipsec.sh init\n</code></pre> <p>After the execution is completed, the nodes will negotiate for a period of time to establish an IPsec tunnel. The experience value is between ten seconds and one minute.You can check the IPsec status with the following command:</p> <pre><code># bash ipsec.sh status\n Pod {ovs-ovn-d7hdt} ipsec status...\nInterface name: ovn-a4718e-0 v1 (CONFIGURED)\n  Tunnel Type:    geneve\n  Local IP:       172.18.0.2\n  Remote IP:      172.18.0.4\n  Address Family: IPv4\n  SKB mark:       None\n  Local cert:     /etc/ipsec.d/certs/8aebd9df-46ef-47b9-85e3-73e9a765296d-cert.pem\n  Local name:     8aebd9df-46ef-47b9-85e3-73e9a765296d\n  Local key:      /etc/ipsec.d/private/8aebd9df-46ef-47b9-85e3-73e9a765296d-privkey.pem\n  Remote cert:    None\n  Remote name:    a4718e55-5b85-4f46-90e6-63527d080590\n  CA cert:        /etc/ipsec.d/cacerts/cacert.pem\n  PSK:            None\n  Custom Options: {}\n  Ofport:         2\n  CFM state:      Disabled\nKernel policies installed:\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\nKernel security associations installed:\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\nIPsec connections that are active:\n\n Pod {ovs-ovn-fvbbj} ipsec status...\nInterface name: ovn-8aebd9-0 v1 (CONFIGURED)\n  Tunnel Type:    geneve\n  Local IP:       172.18.0.4\n  Remote IP:      172.18.0.2\n  Address Family: IPv4\n  SKB mark:       None\n  Local cert:     /etc/ipsec.d/certs/a4718e55-5b85-4f46-90e6-63527d080590-cert.pem\n  Local name:     a4718e55-5b85-4f46-90e6-63527d080590\n  Local key:      /etc/ipsec.d/private/a4718e55-5b85-4f46-90e6-63527d080590-privkey.pem\n  Remote cert:    None\n  Remote name:    8aebd9df-46ef-47b9-85e3-73e9a765296d\n  CA cert:        /etc/ipsec.d/cacerts/cacert.pem\n  PSK:            None\n  Custom Options: {}\n  Ofport:         1\n  CFM state:      Disabled\nKernel policies installed:\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\nKernel security associations installed:\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\nIPsec connections that are active:\n</code></pre> <p>After the establishment is complete, you can capture packets and observe that the packets have been encrypted:</p> <pre><code># tcpdump -i eth0 -nel esp\n10:01:40.349896 IP kube-ovn-worker &gt; kube-ovn-control-plane.kind: ESP(spi=0xcc91322a,seq=0x13d0), length 156\n10:01:40.350015 IP kube-ovn-control-plane.kind &gt; kube-ovn-worker: ESP(spi=0xc8df4221,seq=0x1d37), length 156\n</code></pre> <p>After executing the script, you can turn off IPsec by executing the command:</p> <pre><code># bash ipsec.sh stop\n</code></pre> <p>Or execute the command to open it again:</p> <pre><code># bash ipsec.sh start\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/ovn-l3-ha-based-ecmp-with-bfd/","title":"Support OVN SNAT L3 HA Based ECMP and BFD Static Route","text":"<p>Custom vpc based on ovn snat after ecmp based static route hash to multiple gw node ovnext0 NICs out of the public network</p> <ul> <li>Supports bfd-based high availability</li> <li>Only supports hash load balancing</li> </ul> <pre><code>graph LR\n\npod--&gt;vpc-subnet--&gt;vpc--&gt;snat--&gt;ecmp--&gt;external-subnet--&gt;gw-node1-ovnext0--&gt; node1-external-switch\nexternal-subnet--&gt;gw-node2-ovnext0--&gt; node2-external-switch\nexternal-subnet--&gt;gw-node3-ovnext0--&gt; node3-external-switch</code></pre> <p>This functions basically the same as ovn-eip-fip-snat.md .</p> <p>As for the different parts, which will be specified in the following sections, mainly including the creation of ovn-eip of lsp type and the automatic maintenance of bfd as well as ecmp static routes based on vpc enable_bfd.</p>"},{"location":"en/advance/ovn-l3-ha-based-ecmp-with-bfd/#1-deployment","title":"1. Deployment","text":""},{"location":"en/advance/ovn-l3-ha-based-ecmp-with-bfd/#11-create-the-underlay-public-network","title":"1.1 Create the underlay public network","text":""},{"location":"en/advance/ovn-l3-ha-based-ecmp-with-bfd/#12-default-vpc-enable-eip_snat","title":"1.2 Default vpc enable eip_snat","text":""},{"location":"en/advance/ovn-l3-ha-based-ecmp-with-bfd/#13-custom-vpc-enable-eip-snat-fip-function","title":"1.3 Custom vpc enable eip snat fip function","text":"<p>The above section is exactly the same with ovn-eip-fip-snat.md.</p> <p>After these functions are verified, the vpc can be switched directly to the ecmp-based bfd static route based on the following way, or of course, switched directly back.</p> <p>Before customizing vpc to use this feature, you need to provide some gateway nodes, at least 2. Note that the name of the current implementation of ovn-eip must be consistent with the gateway node name, no automated maintenance is currently done for this resource.</p> <pre><code># cat gw-node-eip.yaml\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-1\nspec:\n  externalSubnet: external204\n  type: lsp\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-2\nspec:\n  externalSubnet: external204\n  type: lsp\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-3\nspec:\n  externalSubnet: external204\n  type: lsp\n</code></pre> <p>Since this scenario is currently designed for vpc ecmp out of the public network, the gateway node above will not trigger the creation of a gateway NIC when there is no vpc enabled bfd, i.e. when there is no ovn eip (lrp) with enable bfd labeled, and will not be able to successfully start listening to the bfd session on the other side.</p>"},{"location":"en/advance/ovn-l3-ha-based-ecmp-with-bfd/#2-custom-vpc-enable-ecmp-bfd-l3-ha-public-network-function","title":"2. Custom vpc enable ecmp bfd L3 HA public network function","text":"<pre><code># cat 01-vpc-ecmp-enable-external-bfd.yml\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true\n  enableBfd: true # bfd switch can be switched at will\n  #enableBfd: false \n\n\n# cat 02-subnet.yml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vpc1-subnet1\nspec:\n  cidrBlock: 192.168.0.0/24\n  default: false\n  disableGatewayCheck: false\n  disableInterConnection: true\n  enableEcmp: true  # enable ecmp\n  gatewayNode: \"\"\n  gatewayType: distributed\n  #gatewayType: centralized\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n  provider: ovn\n  vpc: vpc1\n  namespaces:\n  - vpc1\n</code></pre> <p>note:</p> <ol> <li>Customize ecmp under vpc to use only static ecmp bfd routes. vpc enableBfd and subnet enableEcmp will only take effect if they are enabled at the same time, before static ecmp bfd routes are automatically managed.</li> <li>If the above configuration is turned off, it will automatically switch back to the regular default static route.</li> <li>This feature is not available for the default vpc, only custom vpc is supported, the default vpc has more complex policy routing.</li> <li>The enableEcmp of the subnet of the custom vpc uses only static routes, the gateway type gatewayType has no effect.</li> <li>When EnableExternal is turned off in vpc, the external network cannot be passed inside vpc.</li> <li>When EnableExternal is enabled on vpc, when EnableBfd is turned off, it will be based on the normal default route to the external network and will not have high availability.</li> </ol> <pre><code># After the above template is applied the ovn logic layer should see the following resources\n# k get vpc\nNAME          ENABLEEXTERNAL   ENABLEBFD   STANDBY   SUBNETS                                NAMESPACES\novn-cluster   true                         true      [\"external204\",\"join\",\"ovn-default\"]\nvpc1          true             true        true      [\"vpc1-subnet1\"]                       [\"vpc1\"]\n\n# Default vpc does not support ENABLEBFD\n# Custom vpc is supported and enabled\n\n# 1. bfd table created\n# k ko nbctl list bfd\n_uuid               : be7df545-2c4c-4751-878f-b3507987f050\ndetect_mult         : 3\ndst_ip              : \"10.5.204.121\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n_uuid               : 684c4489-5b59-4693-8d8c-3beab93f8093\ndetect_mult         : 3\ndst_ip              : \"10.5.204.109\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n_uuid               : f0f62077-2ae9-4e79-b4f8-a446ec6e784c\ndetect_mult         : 3\ndst_ip              : \"10.5.204.108\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n### Note that all statuses should normally be up\n\n# 2. bfd ecmp static routes table created\n# k ko nbctl lr-route-list vpc1\nIPv4 Routes\nRoute Table &lt;main&gt;:\n           192.168.0.0/24              10.5.204.108 src-ip ecmp ecmp-symmetric-reply bfd\n           192.168.0.0/24              10.5.204.109 src-ip ecmp ecmp-symmetric-reply bfd\n           192.168.0.0/24              10.5.204.121 src-ip ecmp ecmp-symmetric-reply bfd\n\n# 3. Static Route Details\n# k ko nbctl find Logical_Router_Static_Route  policy=src-ip options=ecmp_symmetric_reply=\"true\"\n_uuid               : 3aacb384-d5ee-4b14-aebf-59e8c11717ba\nbfd                 : 684c4489-5b59-4693-8d8c-3beab93f8093\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.109\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n\n_uuid               : 18bcc585-bc05-430b-925b-ef673c8e1aef\nbfd                 : f0f62077-2ae9-4e79-b4f8-a446ec6e784c\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.108\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n\n_uuid               : 7d0a4e6b-cde0-4110-8176-fbaf19738498\nbfd                 : be7df545-2c4c-4751-878f-b3507987f050\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.121\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n</code></pre> <pre><code># Also, the following resources should be available at all gateway nodes\n\n[root@pc-node-1 ~]# ip netns exec ovnext bash ip a\n/usr/sbin/ip: /usr/sbin/ip: cannot execute binary file\n[root@pc-node-1 ~]#\n[root@pc-node-1 ~]# ip netns exec ovnext ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1541: ovnext0: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1400 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/ether 00:00:00:ab:bd:87 brd ff:ff:ff:ff:ff:ff\n    inet 10.5.204.108/24 brd 10.5.204.255 scope global ovnext0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:feab:bd87/64 scope link\n       valid_lft forever preferred_lft forever\n[root@pc-node-1 ~]#\n[root@pc-node-1 ~]# ip netns exec ovnext route -n\nKernel IP routing table\nDestination     Gateway         Genmask         Flags Metric Ref    Use Iface\n0.0.0.0         10.5.204.254    0.0.0.0         UG    0      0        0 ovnext0\n10.5.204.0      0.0.0.0         255.255.255.0   U     0      0        0 ovnext0\n\n\n[root@pc-node-1 ~]# ip netns exec ovnext bfdd-control status\nThere are 1 sessions:\nSession 1\n id=1 local=10.5.204.108 (p) remote=10.5.204.122 state=Up\n\n## This is the other end of the lrp bfd session and one of the next hops of the lrp ecmp\n\n\n[root@pc-node-1 ~]# ip netns exec ovnext ping -c1 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=1 ttl=115 time=21.6 ms\n\n# No problem to the public network\n</code></pre> <p>catch outgoing packets within the ovnext ns of a gateway node</p> <pre><code># tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n^C\n0 packets captured\n0 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-1 ~]# exit\n[root@pc-node-1 ~]# ssh pc-node-2\nLast login: Thu Feb 23 09:21:08 2023 from 10.5.32.51\n[root@pc-node-2 ~]# ip netns exec ovnext bash\n[root@pc-node-2 ~]# tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n^C\n0 packets captured\n0 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-2 ~]# exit\n[root@pc-node-2 ~]# logout\nConnection to pc-node-2 closed.\n[root@pc-node-1 ~]# ssh pc-node-3\nLast login: Thu Feb 23 08:32:41 2023 from 10.5.32.51\n[root@pc-node-3 ~]#  ip netns exec ovnext bash\n[root@pc-node-3 ~]# tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n00:00:00:2d:f8:ce &gt; 00:00:00:fd:b2:a4, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 63, id 57978, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.204.102 &gt; 223.5.5.5: ICMP echo request, id 22, seq 71, length 64\n00:00:00:fd:b2:a4 &gt; dc:ef:80:5a:44:1a, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 62, id 57978, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.204.102 &gt; 223.5.5.5: ICMP echo request, id 22, seq 71, length 64\n^C\n2 packets captured\n2 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-3 ~]#\n</code></pre>"},{"location":"en/advance/ovn-l3-ha-based-ecmp-with-bfd/#3-turn-off-bfd-mode","title":"3. Turn off bfd mode","text":"<p>In some scenarios, you may want to use a (centralized) single gateway directly out of the public network, which is the same as the default vpc enable_eip_snat usage pattern</p> <pre><code># cat 01-vpc-ecmp-enable-external-bfd.yml\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc2\nspec:\n  namespaces:\n  - vpc2\n  enableExternal: true\n  #enableBfd: true\n  enableBfd: false\n\n## set it false add apply\n\n# k ko nbctl lr-route-list vpc2\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0              10.5.204.254 dst-ip\n\n# After application the route will switch back to the normal default static route\n# nbctl list bfd, the bfd session associated with lrp has been removed\n# And the opposite side of the bfd session in ovnext ns is automatically removed\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/ovn-remote-port-mirroring/","title":"OVN Remote Port Mirroring","text":"<p>This feature provides ability to mirror the traffic of the specified Pod and direction, and to send the mirrored traffic to a remote destination.</p> <p>This feature requires Kube-OVN version not lower than v1.12.</p>"},{"location":"en/advance/ovn-remote-port-mirroring/#install-multus-cni","title":"Install Multus-CNI","text":"<p>Install Multus-CNI by referring the Multus-CNI Document.</p>"},{"location":"en/advance/ovn-remote-port-mirroring/#create-networkattachmentdefinition","title":"Create NetworkAttachmentDefinition","text":"<p>Create the following NetworkAttachmentDefinition:</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: attachnet\n  namespace: default\nspec:\n  config: |\n    {\n      \"cniVersion\": \"0.3.1\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"attachnet.default.ovn\"\n    }\n</code></pre> <p>Format of the <code>provider</code> field is <code>&lt;NAME&gt;.&lt;NAMESPACE&gt;.ovn</code>.</p>"},{"location":"en/advance/ovn-remote-port-mirroring/#create-underlay-network","title":"Create Underlay Network","text":"<p>The mirrored traffic is encapsulated before transmition, so MTU of the network used to transmit the traffic should be greater than the mirrored LSP/Pod. Here we are using an underlay network.</p> <p>Create the following underlay network:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: net1\nspec:\n  defaultInterface: eth1\n---\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan1\nspec:\n  id: 0\n  provider: net1\n---\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 172.19.0.0/16\n  excludeIps:\n  - 172.19.0.2..172.19.0.20\n  gateway: 172.19.0.1\n  vlan: vlan1\n  provider: attachnet.default.ovn\n</code></pre> <p>The subnet's <code>provider</code> MUST be the same as the <code>provider</code> of the NetworkAttachmentDefinition created above.</p>"},{"location":"en/advance/ovn-remote-port-mirroring/#create-receiving-pod","title":"Create Receiving Pod","text":"<p>Create the following Pod\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: pod1\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\nspec:\n  containers:\n  - name: bash\n    image: docker.io/kubeovn/kube-ovn:v1.13.0\n    args:\n    - bash\n    - -c\n    - sleep infinity\n    securityContext:\n      privileged: true\n</code></pre> <p>After the Pod has been created, checkout the IP addresses:</p> <pre><code>$ kubectl get ips | grep pod1\npod1.default                        10.16.0.12   00:00:00:FF:34:24  kube-ovn-worker  ovn-default\npod1.default.attachnet.default.ovn  172.19.0.21  00:00:00:A0:30:68  kube-ovn-worker  subnet1\n</code></pre> <p>The IP address <code>172.19.0.21</code> will be used later.</p>"},{"location":"en/advance/ovn-remote-port-mirroring/#create-ovn-remote-port-mirroring","title":"Create OVN Remote Port Mirroring","text":"<p>Create the following OVN remote port mirroring\uff1a</p> <pre><code>kubectl ko nbctl mirror-add mirror1 gre 99 from-lport 172.19.0.21\nkubectl ko nbctl lsp-attach-mirror coredns-787d4945fb-gpnkb.kube-system mirror1\n</code></pre> <p><code>coredns-787d4945fb-gpnkb.kube-system</code> is the OVN LSP name with a format <code>&lt;POD_NAME&gt;.&lt;POD_NAMESPACE&gt;</code>.</p> <p>Here is the OVN command usage:</p> <pre><code>ovn-nbctl mirror-add &lt;NAME&gt; &lt;TYPE&gt; &lt;INDEX&gt; &lt;FILTER&gt; &lt;IP&gt;\n\nNAME   - add a mirror with given name\nTYPE   - specify TYPE 'gre' or 'erspan'\nINDEX  - specify the tunnel INDEX value\n         (indicates key if GRE, erpsan_idx if ERSPAN)\nFILTER - specify FILTER for mirroring selection\n         ('to-lport' / 'from-lport')\nIP     - specify Sink / Destination i.e. Remote IP\n\novn-nbctl mirror-del [NAME]         remove mirrors\novn-nbctl mirror-list               print mirrors\n\novn-nbctl lsp-attach-mirror PORT MIRROR   attach source PORT to MIRROR\novn-nbctl lsp-detach-mirror PORT MIRROR   detach source PORT from MIRROR\n</code></pre>"},{"location":"en/advance/ovn-remote-port-mirroring/#configure-receiving-pod","title":"Configure Receiving Pod","text":"<p>Execute the following commands in the Pod:</p> <pre><code>root@pod1:/kube-ovn# ip link add mirror1 type gretap local 172.19.0.21 key 99 dev net1\nroot@pod1:/kube-ovn# ip link set mirror1 up\n</code></pre> <p>Now you can capture the mirrored packets:</p> <pre><code>root@pod1:/kube-ovn# tcpdump -i mirror1 -nnve\ntcpdump: listening on mirror1, link-type EN10MB (Ethernet), snapshot length 262144 bytes\n05:13:30.328808 00:00:00:a3:f5:e2 &gt; 00:00:00:97:0f:6e, ethertype ARP (0x0806), length 42: Ethernet (len 6), IPv4 (len 4), Request who-has 10.16.0.7 tell 10.16.0.4, length 28\n05:13:30.559167 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 212: (tos 0x0, ttl 64, id 57364, offset 0, flags [DF], proto UDP (17), length 198)\n    10.16.0.4.53 &gt; 10.16.0.6.50472: 34511 NXDomain*- 0/1/1 (170)\n05:13:30.559343 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 212: (tos 0x0, ttl 64, id 57365, offset 0, flags [DF], proto UDP (17), length 198)\n    10.16.0.4.53 &gt; 10.16.0.6.45177: 1659 NXDomain*- 0/1/1 (170)\n05:13:30.560625 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 200: (tos 0x0, ttl 64, id 57367, offset 0, flags [DF], proto UDP (17), length 186)\n    10.16.0.4.53 &gt; 10.16.0.6.43848: 2636*- 0/1/1 (158)\n05:13:30.562774 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 191: (tos 0x0, ttl 64, id 57368, offset 0, flags [DF], proto UDP (17), length 177)\n    10.16.0.4.53 &gt; 10.16.0.6.37755: 48737 NXDomain*- 0/1/1 (149)\n05:13:30.563523 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 187: (tos 0x0, ttl 64, id 57369, offset 0, flags [DF], proto UDP (17), length 173)\n    10.16.0.4.53 &gt; 10.16.0.6.53887: 45519 NXDomain*- 0/1/1 (145)\n05:13:30.564940 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 201: (tos 0x0, ttl 64, id 57370, offset 0, flags [DF], proto UDP (17), length 187)\n    10.16.0.4.53 &gt; 10.16.0.6.40846: 25745 NXDomain*- 0/1/1 (159)\n05:13:30.565140 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 201: (tos 0x0, ttl 64, id 57371, offset 0, flags [DF], proto UDP (17), length 187)\n    10.16.0.4.53 &gt; 10.16.0.6.45214: 61875 NXDomain*- 0/1/1 (159)\n05:13:30.566023 00:00:00:a3:f5:e2 &gt; 00:00:00:55:e4:4e, ethertype IPv4 (0x0800), length 80: (tos 0x0, ttl 64, id 45937, offset 0, flags [DF], proto UDP (17), length 66)\n    10.16.0.4.44116 &gt; 172.18.0.1.53: 16025+ [1au] AAAA? alauda.cn. (38)\n</code></pre>"},{"location":"en/advance/ovn-remote-port-mirroring/#notice","title":"Notice","text":"<ol> <li>If you are using ERSPAN as the encapsulation protocol, the Linux kernel version of the OVN nodes and remote devices must not be lower than 4.14. If you are using ERSPAN as the encapsulation protocol and using IPv6 as the transport network, the Linux kernel version must not be lower than 4.16.</li> <li>The transmission of mirrored traffic is unidirectional, so you only need to ensure that the OVN node can access the remote device.</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/performance-tuning/","title":"Performance Tuning","text":"<p>To keep the installation simple and feature-complete, the default installation script for Kube-OVN does not have performance-specific optimizations. If the applications are sensitive to latency and throughput, administrators can use this document to make specific performance optimizations.</p> <p>The community will continue to iterate on the performance. Some general performance optimizations have been integrated into the latest version, so it is recommended to use the latest version to get better default performance.</p> <p>For more on the process and methodology of performance optimization, please watch the video Kube-OVN \u200b\u5bb9\u5668\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u4e4b\u65c5\u200b\u3002</p>"},{"location":"en/advance/performance-tuning/#benchmarking","title":"Benchmarking","text":"<p>Because the hardware and software environments vary greatly, the performance test data provided here can only be used as a reference, and the actual test results may differ significantly from the results in this document. It is recommended to compare the performance test results before and after optimization, and the performance comparison between the host network and the container network.</p>"},{"location":"en/advance/performance-tuning/#overlay-performance-comparison-before-and-after-optimization","title":"Overlay Performance Comparison before and after Optimization","text":"<p>Environment:</p> <ul> <li>Kubernetes: 1.22.0</li> <li>OS: CentOS 7</li> <li>Kube-OVN: 1.8.0 Overlay Mode</li> <li>CPU: Intel(R) Xeon(R) E-2278G</li> <li>Network: 2*10Gbps, xmit_hash_policy=layer3+4</li> </ul> <p>We use <code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1 -vu tcp_lat tcp_bw udp_lat udp_bw</code> to test bandwidth and latency of tcp/udp in 1-byte packets and the host network, respectively.</p> Type tcp_lat (us) udp_lat (us) tcp_bw (Mb/s) udp_bw(Mb/s) Kube-OVN Default 25.7 22.9 27.1 1.59 Kube-OVN Optimized 13.9 12.9 27.6 5.57 HOST Network 13.1 12.4 28.2 6.02"},{"location":"en/advance/performance-tuning/#overlay-underlay-and-calico-comparison","title":"Overlay\uff0c Underlay and Calico Comparison","text":"<p>Next, we compare the overlay and underlay performance of the optimized Kube-OVN at different packet sizes with Calico's <code>IPIP Always</code>, <code>IPIP never</code> and the host network.</p> <p>Environment:</p> <ul> <li>Kubernetes: 1.22.0</li> <li>OS: CentOS 7</li> <li>Kube-OVN: 1.8.0</li> <li>CPU: AMD EPYC 7402P 24-Core Processor</li> <li>Network: Intel Corporation Ethernet Controller XXV710 for 25GbE SFP28</li> </ul> <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1 -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Mb/s) udp_bw(Mb/s) Kube-OVN Overlay 15.2 14.6 23.6 2.65 Kube-OVN Underlay 14.3 13.8 24.2 3.46 Calico IPIP 21.4 20.2 23.6 1.18 Calico NoEncap 19.3 16.9 23.6 1.76 HOST Network 16.6 15.4 24.8 2.64 <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1K -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Gb/s) udp_bw(Gb/s) Kube-OVN Overlay 16.5 15.8 10.2 2.77 Kube-OVN Underlay 15.9 14.5 9.6 3.22 Calico IPIP 22.5 21.5 1.45 1.14 Calico NoEncap 19.4 18.3 3.76 1.63 HOST Network 18.1 16.6 9.32 2.66 <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:4K -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Gb/s) udp_bw(Gb/s) Kube-OVN Overlay 34.7 41.6 16.0 9.23 Kube-OVN Underlay 32.6 44 15.1 6.71 Calico IPIP 44.8 52.9 2.94 3.26 Calico NoEncap 40 49.6 6.56 4.19 HOST Network 35.9 45.9 14.6 5.59 <p>In some cases the container network outperforms the host network, this is because the container network path is optimized to completely bypass netfilter. Due to the existence of <code>kube-proxy</code>, all packets in host network have to go through netfilter, which will lead to more CPU consumption, so that container network in some environments has better performance.</p>"},{"location":"en/advance/performance-tuning/#dataplane-performance-optimization-methods","title":"Dataplane performance optimization methods","text":"<p>The optimization methods described here are related to the hardware and software environment and the desired functionality, so please carefully understand the prerequisites for optimization before attempting it.</p>"},{"location":"en/advance/performance-tuning/#cpu-performance-mode-tuning","title":"CPU Performance Mode Tuning","text":"<p>In some environments the CPU is running in power saving mode, performance in this mode will be unstable and latency will increase significantly, it is recommended to use the CPU's performance mode for more stable performance.</p> <pre><code>cpupower frequency-set -g performance\n</code></pre>"},{"location":"en/advance/performance-tuning/#nic-hardware-queue-adjustment","title":"NIC Hardware Queue Adjustment","text":"<p>In the case of increased traffic, a small buffer queue may lead to significant performance degradation due to a high packet loss rate and needs to be tuned.</p> <p>Check the current NIC queue length:</p> <pre><code># ethtool -g eno1\n Ring parameters for eno1:\n Pre-set maximums:\n RX:             4096\n RX Mini:        0\n RX Jumbo:       0\n TX:             4096\n Current hardware settings:\n RX:             255\n RX Mini:        0\n RX Jumbo:       0\n TX:             255\n</code></pre> <p>Increase the queue length to the maximum:</p> <pre><code>ethtool -G eno1 rx 4096\nethtool -G eno1 tx 4096\n</code></pre>"},{"location":"en/advance/performance-tuning/#optimize-with-tuned","title":"Optimize with tuned","text":"<p>tuned can use a series of preconfigured profile files to perform system optimizations for a specific scenario.</p> <p>For latency-first scenarios:</p> <pre><code>tuned-adm profile network-latency\n</code></pre> <p>For throughput-first scenarios:</p> <pre><code>tuned-adm profile network-throughput\n</code></pre>"},{"location":"en/advance/performance-tuning/#interrupt-binding","title":"Interrupt Binding","text":"<p>We recommend disabling <code>irqbalance</code> and binding NIC interrupts to specific CPUs to avoid performance fluctuations caused by switching between multiple CPUs.</p>"},{"location":"en/advance/performance-tuning/#disable-ovn-lb","title":"Disable OVN LB","text":"<p>The L2 LB implementation of OVN requires calling the kernel's <code>conntrack</code> module and recirculate, resulting in a significant CPU overhead, which is tested to be around 20%. For Overlay networks you can use <code>kube-proxy</code> to complete the service forwarding function for better Pod-to-Pod performance. This can be turned off in <code>kube-ovn-controller</code> args:</p> <pre><code>command:\n- /kube-ovn/start-controller.sh\nargs:\n...\n- --enable-lb=false\n...\n</code></pre> <p>In Underlay mode <code>kube-proxy</code> cannot use iptables or ipvs to control container network traffic, if you want to disable the LB function, you need to confirm whether you do not need the Service function.</p>"},{"location":"en/advance/performance-tuning/#fastpath-kernel-module","title":"FastPath Kernel Module","text":"<p>Since the container network and the host network are on different network ns, the packets will pass through the netfilter module several times when they are transmitted across the host, which results in a CPU overhead of nearly 20%. The <code>FastPath</code> module can reduce CPU overhead by bypassing netfilter, since in most cases applications within a container network do not need to use the functionality of the netfilter module.</p> <p>If you need to use the functions provided by netfilter such as iptables, ipvs, nftables, etc. in the container network, this module will disable the related functions.</p> <p>Since kernel modules are kernel version dependent, it is not possible to provide a single kernel module artifact that adapts to all kernels. We pre-compiled the <code>FastPath</code> module for part of the kernels, which can be accessed by tunning-package.</p> <p>You can also compile it manually, see Compiling FastPath Module</p> <p>After obtaining the kernel module, you can load the <code>FastPath</code> module on each node using <code>insmod kube_ovn_fastpath.ko</code> and verify that the module was loaded successfully using <code>dmesg</code>:</p> <pre><code># dmesg\n...\n[619631.323788] init_module,kube_ovn_fastpath_local_out\n[619631.323798] init_module,kube_ovn_fastpath_post_routing\n[619631.323800] init_module,kube_ovn_fastpath_pre_routing\n[619631.323801] init_module,kube_ovn_fastpath_local_in\n...\n</code></pre>"},{"location":"en/advance/performance-tuning/#ovs-kernel-module-optimization","title":"OVS Kernel Module Optimization","text":"<p>OVS flow processing including hashing, matching, etc. consumes about 10% of the CPU resources. Some instruction sets on modern x86 CPUs such as <code>popcnt</code> and <code>sse4.2</code> can speed up the computation process, but the kernel is not compiled with these options enabled. It has been tested that the CPU consumption of flow-related operations is reduced to about 5% when the corresponding instruction set optimizations are enabled.</p> <p>Similar to the compilation of the <code>FastPath</code> module, it is not possible to provide a single kernel module artifact for all kernels. Users need to compile manually or go to tunning-package to see if a compiled package is available for download.</p> <p>Before using this kernel module, please check if the CPU supports the following instruction set:</p> <pre><code>cat /proc/cpuinfo  | grep popcnt\ncat /proc/cpuinfo  | grep sse4_2\n</code></pre>"},{"location":"en/advance/performance-tuning/#compile-and-install-in-centos","title":"Compile and Install in CentOS","text":"<p>Install the relevant compilation dependencies and kernel headers:</p> <pre><code>yum install -y gcc kernel-devel-$(uname -r) python3 autoconf automake libtool rpm-build openssl-devel\n</code></pre> <p>Compile the OVS kernel module and generate the corresponding RPM:</p> <pre><code>git clone -b branch-2.17 --depth=1 https://github.com/openvswitch/ovs.git\ncd ovs\ncurl -s  https://github.com/kubeovn/ovs/commit/2d2c83c26d4217446918f39d5cd5838e9ac27b32.patch |  git apply\n./boot.sh\n./configure --with-linux=/lib/modules/$(uname -r)/build CFLAGS=\"-g -O2 -mpopcnt -msse4.2\"\nmake rpm-fedora-kmod\ncd rpm/rpmbuild/RPMS/x86_64/\n</code></pre> <p>Copy the RPM to each node and install:</p> <pre><code>rpm -i openvswitch-kmod-2.15.2-1.el7.x86_64.rpm\n</code></pre> <p>If you have previously started Kube-OVN and the older version of the OVS module has been loaded into the kernel. It is recommended to reboot the machine to reload the new version of the kernel module.</p>"},{"location":"en/advance/performance-tuning/#compile-and-install-in-ubuntu","title":"Compile and Install in Ubuntu","text":"<p>Install the relevant compilation dependencies and kernel headers:</p> <pre><code>apt install -y autoconf automake libtool gcc build-essential libssl-dev\n</code></pre> <p>Compile the OVS kernel module and install:</p> <pre><code>apt install -y autoconf automake libtool gcc build-essential libssl-dev\n\ngit clone -b branch-2.17 --depth=1 https://github.com/openvswitch/ovs.git\ncd ovs\ncurl -s  https://github.com/kubeovn/ovs/commit/2d2c83c26d4217446918f39d5cd5838e9ac27b32.patch |  git apply\n./boot.sh\n./configure --prefix=/usr/ --localstatedir=/var --enable-ssl --with-linux=/lib/modules/$(uname -r)/build\nmake -j `nproc`\nmake install\nmake modules_install\n\ncat &gt; /etc/depmod.d/openvswitch.conf &lt;&lt; EOF\noverride openvswitch * extra\noverride vport-* * extra\nEOF\n\ndepmod -a\ncp debian/openvswitch-switch.init /etc/init.d/openvswitch-switch\n/etc/init.d/openvswitch-switch force-reload-kmod\n</code></pre> <p>If you have previously started Kube-OVN and the older version of the OVS module has been loaded into the kernel. It is recommended to reboot the machine to reload the new version of the kernel module.</p>"},{"location":"en/advance/performance-tuning/#using-stt-type-tunnel","title":"Using STT Type Tunnel","text":"<p>Common tunnel encapsulation protocols such as Geneve and Vxlan use the UDP protocol to encapsulate packets and are well supported in the kernel. However, when TCP packets are encapsulated using UDP, the optimization and offload features of modern operating systems and network cards for the TCP protocol do not work well, resulting in a significant drop in TCP throughput. In some virtualization scenarios, due to CPU limitations, TCP packet throughput may even be a tenth of that of the host network.</p> <p>STT provides an innovative tunneling protocol that uses TCP formatted header for encapsulation. This encapsulation only emulates the TCP protocol header format without actually establishing a TCP connection, but can take full advantage of the TCP optimization capabilities of modern operating systems and network cards. In our tests TCP packet throughput can be improved several times, reaching performance levels close to those of the host network.</p> <p>The STT tunnel is not pre-installed in the kernel and needs to be installed by compiling the OVS kernel module, which can be found in the previous section.</p> <p>Enable STT tunnel:</p> <pre><code>kubectl set env daemonset/ovs-ovn -n kube-system TUNNEL_TYPE=stt\n\nkubectl delete pod -n kube-system -lapp=ovs\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/security-group/","title":"SecurityGroup Usage","text":"<p>Kube-OVN has supported the configuration of security-groups, and the CRD used to configure security-groups is SecurityGroup.</p>"},{"location":"en/advance/security-group/#securitygroup-example","title":"SecurityGroup Example","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: SecurityGroup\nmetadata:\n  name: sg-example\nspec:\n  allowSameGroupTraffic: true\n  egressRules:\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: all\n    remoteAddress: 10.16.0.13 # 10.16.0.0/16 Configure network segment\n    remoteType: address\n  ingressRules:\n  - ipVersion: ipv4\n    policy: deny\n    priority: 1\n    protocol: icmp\n    remoteAddress: 10.16.0.14\n    remoteType: address\n</code></pre> <p>The specific meaning of each field of the SecurityGroup can be found in the Kube-OVN API Reference.</p> <p>Pods bind security-groups by adding annotations, two annotations are used.</p> <pre><code>    ovn.kubernetes.io/port_security: \"true\"\n    ovn.kubernetes.io/security_groups: sg-example\n</code></pre>"},{"location":"en/advance/security-group/#caution","title":"Caution","text":"<ul> <li> <p>Security-groups are finally restricted by setting ACL rules, and as mentioned in the OVN documentation, if two ACL rules match with the same priority, it is uncertain which ACL will actually work. Therefore, when setting up security-group rules, you need to be careful to differentiate the priority.</p> </li> <li> <p>When adding a security-group, it is important to know what restrictions are being added. As a CNI, Kube-OVN will perform a Pod-to-Gateway connectivity test after creating a Pod.</p> </li> </ul>"},{"location":"en/advance/security-group/#actual-test","title":"Actual test","text":"<p>Create a Pod using the following yaml, and specify the security-group in the annotation for the pod.</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  labels:\n    app: static\n  annotations:\n    ovn.kubernetes.io/port_security: 'true'\n    ovn.kubernetes.io/security_groups: 'sg-example'\n  name: sg-test-pod\n  namespace: default\nspec:\n  nodeName: kube-ovn-worker\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>The actual test results show as follows:</p> <pre><code># kubectl get pod -o wide\nNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES\nsg-test-pod 0/1 ContainerCreating 0 5h32m &lt;none&gt; kube-ovn-worker &lt;none&gt; &lt;none&gt;\ntest-99fff7f86-52h9r 1/1 Running 0 5h41m 10.16.0.14 kube-ovn-control-plane &lt;none&gt; &lt;none&gt;\ntest-99fff7f86-qcgjw 1/1 Running 0 5h43m 10.16.0.13 kube-ovn-worker &lt;none&gt; &lt;none&gt;\n</code></pre> <p>Execute <code>kubectl describe pod</code> to see information about the pod, and you can see the error message:</p> <pre><code># kubectl describe pod sg-test-pod\nName: sg-test-pod\nNamespace: default\nPriority: 0\nNode: kube-ovn-worker/172.18.0.2\nStart Time: Tue, 28 Feb 2023 10:29:36 +0800\nLabels: app=static\nAnnotations: ovn.kubernetes.io/allocated: true\n              ovn.kubernetes.io/cidr: 10.16.0.0/16\n              ovn.kubernetes.io/gateway: 10.16.0.1\n              ovn.kubernetes.io/ip_address: 10.16.0.15\n              ovn.kubernetes.io/logical_router: ovn-cluster\n              ovn.kubernetes.io/logical_switch: ovn-default\n              ovn.kubernetes.io/mac_address: 00:00:00:FA:17:97\n              ovn.kubernetes.io/pod_nic_type: veth-pair\n              ovn.kubernetes.io/port_security: true\n              ovn.kubernetes.io/routed: true\n              ovn.kubernetes.io/security_groups: sg-allow-reject\nStatus: Pending\nIP:\nIPs: &lt;none&gt;\n-\n- -\n- -\nEvents:\n  Type Reason Age From Message\n  ---- ------ ---- ---- -------\n  Warning FailedCreatePodSandBox 5m3s (x70 over 4h59m) kubelet (combined from similar events): Failed to create pod sandbox: rpc error: code = Unknown desc = failed to setup network for sandbox \"40636e0c7f1ade5500fa958486163d74f2e2300051a71522a9afd7ba0538afb6\": plugin type=\"kube-ovn\" failed ( add): RPC failed; request ip return 500 configure nic failed 10.16.0.15 network not ready after 200 ping 10.16.0.1\n</code></pre> <p>Modify the rules for the security group to add access rules to the gateway, refer to the following:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SecurityGroup\nmetadata:\n  name: sg-gw-both\nspec:\n  allowSameGroupTraffic: true\n  egressRules:\n  - ipVersion: ipv4\n    policy: allow\n    priority: 2\n    protocol: all\n    remoteAddress: 10.16.0.13\n    remoteType: address\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: all\n    remoteAddress: 10.16.0.1\n    remoteType: address\n  ingressRules:\n  - ipVersion: ipv4\n    policy: deny\n    priority: 2\n    protocol: icmp\n    remoteAddress: 10.16.0.14\n    remoteType: address\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: icmp\n    remoteAddress: 10.16.0.1\n    remoteType: address\n</code></pre> <p>In the inbound and outbound rules respectively, add a rule to allow access to the gateway, and set the rule to have the highest priority.</p> <p>Deploying with the following yaml to bind security group, confirm that the Pod is operational:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  labels:\n    app: static\n  annotations:\n    ovn.kubernetes.io/port_security: 'true'\n    ovn.kubernetes.io/security_groups: 'sg-gw-both'\n  name: sg-gw-both\n  namespace: default\nspec:\n  nodeName: kube-ovn-worker\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>To view Pod information after deployment:</p> <pre><code># kubectl get pod -o wide\nNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES\nsg-test-pod 0/1 ContainerCreating 0 5h41m &lt;none&gt; kube-ovn-worker &lt;none&gt; &lt;none&gt;\nsg-gw-both 1/1 Running 0 5h37m 10.16.0.19 kube-ovn-worker &lt;none&gt; &lt;none&gt;\n</code></pre> <p>So for the use of security groups, be particularly clear about the effect of the added restriction rules. If it is simply to restrict traffic access, consider using a network policy instead.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/vip/","title":"VIP reserved IP","text":"<p>VIP Virtual IP addresses are reserved for IP addresses. The reason for the design of VIP is that the IP and POD of kube-ovn are directly related in naming, so the function of reserving IP can not be realized directly based on IP. At the beginning of the design, VIP refers to the function of Openstack neutron Allowed-Address-Pairs\uff08AAP\uff09, which can be used for Openstack octavia load balancer projects. It can also be used to provide in-machine application (POD) IP, as seen in the aliyun terway project. In addition, because neutron has the function of reserving IP, VIP has been extended to a certain extent, so that VIP can be directly used to reserve IP for POD, but this design will lead to the function of VIP and IP become blurred, which is not an elegant way to achieve, so it is not recommended to use in production. In addition, since the Switch LB of OVN can provide a function of using the internal IP address of the subnet as the front-end VIP of the LB, the scenario of using the OVN Switch LB Rule in the subnet for the VIP is extended. In short, there are only three use cases for VIP design at present:</p> <ul> <li>Allowed-Address-Pairs VIP</li> <li>Switch LB rule VIP</li> <li>Pod uses VIP to fix IP</li> </ul>"},{"location":"en/advance/vip/#1-allowed-address-pairs-vip","title":"1. Allowed-Address-Pairs VIP","text":"<p>In this scenario, we want to dynamically reserve a part of the IP but not allocate it to Pods but to other infrastructure enables, such as:</p> <ul> <li>Kubernetes nesting scenarios In which the upper-layer Kubernetes uses the Underlay network, the underlying Subnet addresses are used.</li> <li>LB or other network infrastructure needs to use an IP within a Subnet, but does not have a separate Pod.</li> </ul> <p>In addition, VIP can reserve IP for Allowed-Address-Pairs to support the scenario in which a single NIC is configured with multiple IP addresses, for example:</p> <ul> <li>Keepalived can help with fast failover and flexible load balancing architecture by configuring additional IP address pairs</li> </ul>"},{"location":"en/advance/vip/#11-automatically-assign-addresses-to-vip","title":"1.1 Automatically assign addresses to VIP","text":"<p>If you just want to reserve a number of IP addresses without requiring the IP address itself, you can use the following yaml to create:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: vip-dynamic-01\nspec:\n  subnet: ovn-default\n  type: \"\"\n</code></pre> <ul> <li><code>subnet</code>: The IP address is reserved from the Subnet.</li> <li><code>type</code>: Currently, two types of ip addresses are supported. If the value is empty, it indicates that the ip address is used only for ipam ip addresses. switch_lb_vip indicates that the IP address is used only for switch lb.</li> </ul> <p>Query the VIP after it is created:</p> <pre><code># kubectl get vip\nNAME             V4IP         PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET        READY\nvip-dynamic-01   10.16.0.12           00:00:00:F0:DB:25                         ovn-default   true\n</code></pre> <p>It can be seen that the VIP is assigned an IP address of '10.16.0.12', which can be used by other network infrastructures later.</p>"},{"location":"en/advance/vip/#12-use-fixed-address-vip","title":"1.2 Use fixed address VIP","text":"<p>If there is a need for the reserved VIP IP address, the following yaml can be used for fixed allocation:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: static-vip01\nspec:\n  subnet: ovn-default \n  v4ip: \"10.16.0.121\"\n</code></pre> <ul> <li><code>subnet</code>: The IP address is reserved from the Subnet.</li> <li><code>v4ip</code>: Fixed assigned IP address, which must be within the CIDR range of 'subnet'.</li> </ul> <p>Query the VIP after it is created:</p> <pre><code># kubectl get vip\nNAME             V4IP         PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET        READY\nstatic-vip01   10.16.0.121           00:00:00:F0:DB:26                         ovn-default   true\n</code></pre>"},{"location":"en/advance/vip/#13-pod-uses-vip-to-enable-aap","title":"1.3 Pod Uses VIP to enable AAP","text":"<p>Pod can use annotation to specify VIP to enable AAP function. labels must meet the condition of node selector in VIP.</p> <p>Pod annotation supports specifying multiple VIPs. The configuration format is\uff1aovn.kubernetes.io/aaps: vip-aap,vip-aap2,vip-aap3</p> <p>AAP support multi nic\uff0cIf a Pod is configured with multiple nics, AAP will configure the Port corresponding to the same subnet of the Pod and VIP.</p>"},{"location":"en/advance/vip/#131-create-vip-support-aap","title":"1.3.1 Create VIP support AAP","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: vip-aap\nspec:\n  subnet: ovn-default\n  namespace: default\n  selector:\n    - \"app: aap1\"\n</code></pre> <p>VIP also supports the assignment of fixed and random addresses, as described above.</p> <ul> <li><code>namespace</code>: In AAP scenarios, a VIP needs to specify a namespace explicitly. Only resources in the same namespace can enable the AAP function.</li> <li><code>selector</code>: In the AAP scenario, the node selector used to select the Pod attached to the VIP has the same format as the NodeSelector format in Kubernetes.</li> </ul> <p>Query the Port corresponding to the VIP\uff1a</p> <pre><code># kubectl ko nbctl show ovn-default\nswitch e32e1d3b-c539-45f4-ab19-be4e33a061f6 (ovn-default)\n    port aap-vip\n        type: virtual\n</code></pre> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: busybox\n  annotations:\n    ovn.kubernetes.io/aaps: vip-aap\n  labels:\n    app: aap1\nspec:\n  containers:\n    - name: busybox\n      image: busybox\n      command: [\"sleep\", \"3600\"]\n      securityContext: \n        capabilities:\n          add:\n            - NET_ADMIN\n</code></pre> <p>Query the configuration of the AAP after the AAP is created\uff1a</p> <pre><code># kubectl ko nbctl list logical_switch_port aap-vip\n_uuid               : cd930750-0533-4f06-a6c0-217ddac73272\naddresses           : []\ndhcpv4_options      : []\ndhcpv6_options      : []\ndynamic_addresses   : []\nenabled             : []\nexternal_ids        : {ls=ovn-default, vendor=kube-ovn}\nha_chassis_group    : []\nmirror_rules        : []\nname                : aap-vip\noptions             : {virtual-ip=\"10.16.0.100\", virtual-parents=\"busybox.default\"}\nparent_name         : []\nport_security       : []\ntag                 : []\ntag_request         : []\ntype                : virtual\nup                  : false\n</code></pre> <p>virtual-ip is set to the IP address reserved for the VIP, and virtual-parents is set to the Port of the Pod whose AAP function is enabled.</p> <p>Query the configuration of the Pod after the POD is created:</p> <pre><code># kubectl exec -it busybox -- ip addr add 10.16.0.100/16 dev eth0\n# kubectl exec -it busybox01 -- ip addr show eth0\n35: eth0@if36: &lt;BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN&gt; mtu 1400 qdisc noqueue \n    link/ether 00:00:00:e2:ab:0c brd ff:ff:ff:ff:ff:ff\n    inet 10.16.0.7/16 brd 10.16.255.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet 10.16.0.100/16 scope global secondary eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fee2:ab0c/64 scope link \n       valid_lft forever preferred_lft forever\n</code></pre> <p>In addition to the IP assigned automatically when the Pod is created, the IP of the VIP is also successfully bound, and other Pods in the current subnet can communicate with these two IP addresses.</p>"},{"location":"en/advance/vip/#2-switch-lb-rule-vip","title":"2. Switch LB rule vip","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: slr-01\nspec:\n  subnet: ovn-default\n  type: switch_lb_vip\n</code></pre> <ul> <li><code>subnet</code>: The IP address is reserved from the Subnet.</li> <li><code>type</code>: Currently, two types of ip addresses are supported. If the value is empty, it indicates that the ip address is used only for ipam ip addresses. switch_lb_vip indicates that the IP address is used only for switch lb.</li> </ul>"},{"location":"en/advance/vip/#3-pod-use-vip-to-reserve-ip-address","title":"3. POD Use VIP to reserve IP address","text":"<p>It is not recommended to use this function in production because the distinction between this function and IP function is not clear.</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: pod-use-vip\nspec:\n  subnet: ovn-default\n  type: \"\"\n</code></pre> <p>This feature has been supported since v1.12.</p> <p>You can use annotations to assign a VIP to a Pod, then the pod will use the vip's ip address\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: static-ip\n  annotations:\n    ovn.kubernetes.io/vip: pod-use-vip # use vip name\n  namespace: default\nspec:\n  containers:\n    - name: static-ip\n      image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"en/advance/vip/#31-statefulset-and-kubevirt-vm-retain-vip","title":"3.1 StatefulSet and Kubevirt VM retain VIP","text":"<p>Due to the particularity of 'StatefulSet' and 'VM', after their Pod is destroyed and pulled up, it will re-use the previously set VIP.</p> <p>VM retention VIP needs to ensure that 'kube-ovn-controller' 'keep-vm-ip' parameter is' true '. Please refer to Kubevirt VM enable keep its ip</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/vpc-internal-dns/","title":"Custom VPC Internal DNS","text":"<p>Due to the isolation of the user-defined VPC and the default VPC network, the coredns deployed in the default VPC cannot be accessed from within the custom VPC. If you wish to use the intra-cluster domain name resolution capability provided by Kubernetes within your custom VPC, you can refer to this document and utilize the vpc-dns CRD to do so.</p> <p>This CRD eventually deploys a coredns that has two NICs, one in the user-defined VPC and the other in the default VPC to enable network interoperability and provide an internal load balancing within the custom VPC through the custom VPC internal load balancing.</p>"},{"location":"en/advance/vpc-internal-dns/#deployment-of-vpc-dns-dependent-resources","title":"Deployment of vpc-dns dependent resources","text":"<pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: system:vpc-dns\nrules:\n  - apiGroups:\n    - \"\"\n    resources:\n    - endpoints\n    - services\n    - pods\n    - namespaces\n    verbs:\n    - list\n    - watch\n  - apiGroups:\n    - discovery.k8s.io\n    resources:\n    - endpointslices\n    verbs:\n    - list\n    - watch\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  annotations:\n    rbac.authorization.kubernetes.io/autoupdate: \"true\"\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: vpc-dns\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: system:vpc-dns\nsubjects:\n- kind: ServiceAccount\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-corefile\n  namespace: kube-system\ndata:\n  Corefile: |\n    .:53 {\n        errors\n        health {\n          lameduck 5s\n        }\n        ready\n        kubernetes cluster.local in-addr.arpa ip6.arpa {\n          pods insecure\n          fallthrough in-addr.arpa ip6.arpa\n        }\n        prometheus :9153\n        forward . /etc/resolv.conf {\n          prefer_udp\n        }\n        cache 30\n        loop\n        reload\n        loadbalance\n    }\n</code></pre> <p>In addition to the above resources, the feature relies on the nat-gw-pod image for routing configuration.</p>"},{"location":"en/advance/vpc-internal-dns/#configuring-additional-network","title":"Configuring Additional Network","text":"<pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-nad\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"ovn-nad.default.ovn\"\n    }'\n</code></pre>"},{"location":"en/advance/vpc-internal-dns/#configuring-configmap-for-vpc-dns","title":"Configuring Configmap for vpc-dns","text":"<p>Create a configmap under the kube-system namespace to configure the vpc-dns usage parameters that will be used later to start the vpc-dns function:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-config\n  namespace: kube-system\ndata:\n  coredns-vip: 10.96.0.3\n  enable-vpc-dns: \"true\"\n  nad-name: ovn-nad\n  nad-provider: ovn-nad.default.ovn\n</code></pre> <ul> <li><code>enable-vpc-dns</code>\uff1aenable vpc dns feature, true as default</li> <li><code>coredns-image</code>\uff1adns deployment image. Defaults to the clustered coredns deployment version</li> <li><code>coredns-vip</code>\uff1aThe vip that provides lb services for coredns.</li> <li><code>coredns-template</code>\uff1aThe URL where the coredns deployment template is located. defaults to the current version of the ovn directory. <code>coredns-template.yaml</code> default is <code>https://raw.githubusercontent.com/kubeovn/kube-ovn/&lt;kube-ovn version&gt;/yamls/coredns-template.yaml</code>.</li> <li><code>nad-name</code>\uff1aConfigured network-attachment-definitions Resource name.</li> <li><code>nad-provider</code>\uff1aThe name of the provider to use.</li> <li><code>k8s-service-host</code>\uff1aThe ip used for coredns to access the k8s apiserver service, defaults to the apiserver address within the cluster.</li> <li><code>k8s-service-port</code>\uff1aThe port used for coredns to access the k8s apiserver service, defaults to the apiserver port within the cluster.</li> </ul>"},{"location":"en/advance/vpc-internal-dns/#deploying-vpc-dns","title":"Deploying vpc-dns","text":"<p>configure vpc-dns yaml\uff1a</p> <pre><code>kind: VpcDns\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-cjh1\nspec:\n  vpc: cjh-vpc-1\n  subnet: cjh-subnet-1\n  replicas: 2\n</code></pre> <ul> <li><code>vpc</code> \uff1a The name of the vpc used to deploy the dns component.</li> <li><code>subnet</code>\uff1aSub-name for deploying dns components.</li> <li><code>replicas</code>: vpc dns deployment replicas</li> </ul> <p>View information about deployed resources:</p> <pre><code># kubectl get vpc-dns\nNAME        ACTIVE   VPC         SUBNET   \ntest-cjh1   false    cjh-vpc-1   cjh-subnet-1   \ntest-cjh2   true     cjh-vpc-1   cjh-subnet-2 \n</code></pre> <p>ACTIVE : true Customized dns component deployed, false No deployment.</p> <p>Restrictions: only one custom dns component will be deployed under a VPC</p> <ul> <li>When multiple vpc-dns resources are configured under a VPC (i.e., different subnets for the same VPC), only one vpc-dns resource is in the state <code>true``, and the others are</code>fasle`.</li> <li>When the <code>true</code> vpc-dns is removed, the other <code>false</code> vpc-dns will be obtained for deployment.</li> </ul>"},{"location":"en/advance/vpc-internal-dns/#validate-deployment-results","title":"Validate deployment results","text":"<p>To view vpc-dns Pod status, use label app=vpc-dns to view all vpc-dns pod status:</p> <pre><code># kubectl -n kube-system get pods -l app=vpc-dns\nNAME                                 READY   STATUS    RESTARTS   AGE\nvpc-dns-test-cjh1-7b878d96b4-g5979   1/1     Running   0          28s\nvpc-dns-test-cjh1-7b878d96b4-ltmf9   1/1     Running   0          28s\n</code></pre> <p>View switch lb rule status information:</p> <pre><code># kubectl -n kube-system get slr\nNAME                VIP         PORT(S)                  SERVICE                             AGE\nvpc-dns-test-cjh1   10.96.0.3   53/UDP,53/TCP,9153/TCP   kube-system/slr-vpc-dns-test-cjh1   113s\n</code></pre> <p>Go to the Pod under this VPC and test the dns resolution:</p> <pre><code>nslookup kubernetes.default.svc.cluster.local 10.96.0.3\n</code></pre> <p>The subnet where the switch lb rule under this VPC is located and the pods under other subnets under the same VPC can be resolved.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/vpc-internal-lb/","title":"Customize VPC Internal Load Balancing","text":"<p>The Service provided by Kubernetes can be used for load balancing within the cluster. However, there are several issues with using Service as internal load balancing in customize VPC mode:</p> <ol> <li>The Service IP range is a cluster resource, shared by all customize VPCs, and cannot overlap.</li> <li>Users cannot set internal load balancing IP addresses according to their own preferences.</li> </ol> <p>To address the above issues, Kube OVN introduced the <code>SwitchLBRule</code> CRD in 1.11, allowing users to set internal load balancing rules within customize VPCs.</p> <p><code>SwitchLBRule</code> support the following two ways to set internal load balancing rules within a customize VPC.</p>"},{"location":"en/advance/vpc-internal-lb/#automatically-generate-load-balancing-rules-by-selector","title":"Automatically Generate Load Balancing Rules by <code>Selector</code>","text":"<p>Load balancing rules can be generated by <code>selector</code> automatic association with <code>pod</code> configuration through <code>label</code>.</p> <p>example of <code>SwitchLBRule</code> is as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  cjh-slr-nginx\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  selector:\n    - app:nginx\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\n\n  ```\n\n- usage of `selector`, `sessionAffinity`, and `port` is the same as Kubernetes Service.\n- `vip`\uff1acustomize load balancing IP address.\n- `namespace`\uff1anamespace of the `pod` selected by `selector`.\n\nKube OVN will determine the VPC of the selected `pod` based on the `SwitchLBRule` definition and set the corresponding L2 LB.\n\n## Manually Defined Load Balancing Rules by `Endpoints`\n\nLoad balancing rules can be customized configured by   `endpoints`, to support scenarios where load balancing rules cannot be automatically generated through `selector`.  For example, the load balancing backend is `vm` created by `kubevirt`.\n\nexample of `SwitchLBRule` is as follows:\n\n```yaml\napiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  cjh-slr-nginx\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  endpoints:\n    - 192.168.0.101\n    - 192.168.0.102\n    - 192.168.0.103\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\n</code></pre> <p>usage of <code>sessionAffinity</code>, and <code>port</code> is the same as Kubernetes Service.</p> <ul> <li><code>vip</code>\uff1acustomize load balancing IP address.</li> <li><code>namespace</code>\uff1anamespace of the <code>pod</code> selected by <code>selector</code>.</li> <li><code>endpoints</code>\uff1aload balancing backend IP list.</li> </ul> <p>If both <code>selector</code> and <code>endpoints</code> are configured, the <code>selector</code> configuration will be automatically ignored.</p>"},{"location":"en/advance/vpc-internal-lb/#health-check","title":"Health Check","text":"<p><code>OVN</code> supports health checks for load balancer endpoints, for IPv4 load balancers only. When health checks are enabled, the load balancer uses only healthy endpoints.</p> <p>[Health Checks](https://www.ovn.org/support/dist-docs/ovn-nb.5.html)</p> <p>Add a health check to <code>SwitchLBRule</code> based on the health check of the <code>ovn</code> load balancer.While creating the <code>SwitchLBRule</code>, obtain a reusable <code>vip</code> from the corresponding <code>VPC</code> and <code>subnet</code> as the detection endpoint and associate the corresponding <code>IP_Port_Mappings</code> and <code>Load_Balancer_Health_Check</code> to the corresponding load balancer.</p> <ul> <li>The detection endpoint <code>vip</code> will be automatically determined whether it exists in the corresponding <code>subnet</code> with the same name of the <code>subnet</code>. If it does not exist, it will be automatically created and deleted after all associated <code>SwitchLBRule</code> are deleted.</li> <li>Currently, only <code>SwitchLBRule</code> automatically generated through <code>Selector</code> are supported.</li> </ul>"},{"location":"en/advance/vpc-internal-lb/#create-switchlbrule","title":"Create <code>SwitchLBRule</code>","text":"<pre><code>root@server:~# kubectl get po -o wide -n vulpecula\nNAME                     READY   STATUS    RESTARTS   AGE     IP          NODE     NOMINATED NODE   READINESS GATES\nnginx-78d9578975-f4qn4   1/1     Running   3          4d16h   10.16.0.4   worker   &lt;none&gt;           &lt;none&gt;\nnginx-78d9578975-t8tm5   1/1     Running   3          4d16h   10.16.0.6   worker   &lt;none&gt;           &lt;none&gt;\n\n# create slr\n\nroot@server:~# cat &lt;&lt; END &gt; slr.yaml\napiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  nginx\n  namespace:  vulpecula\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  selector:\n    - app:nginx\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\nEND\n\nroot@server:~# kubectl apply -f slr.yaml\nroot@server:~# kubectl get slr\nNAME              VIP       PORT(S)    SERVICE                       AGE\nvulpecula-nginx   1.1.1.1   8888/TCP   default/slr-vulpecula-nginx   3d21h\n</code></pre> <p>The <code>vip</code> with the same name of the <code>subnet</code> has been created.</p> <pre><code># vip for check\n\nroot@server:~# kubectl get vip\nNAME          NS    V4IP        MAC                 V6IP    PMAC   SUBNET        READY   TYPE\nvulpecula-subnet    10.16.0.2   00:00:00:39:95:C1   &lt;nil&gt;          vulpecula-subnet   true   \n</code></pre> <p>Query the <code>Load_Balancer_Health_Check</code> and <code>Service_Monitor</code> by commands.</p> <pre><code>root@server:~# kubectl ko nbctl list Load_Balancer\n_uuid               : 3cbb6d43-44aa-4028-962f-30d2dba9f0b8\nexternal_ids        : {}\nhealth_check        : [5bee3f12-6b54-411c-9cc8-c9def8f67356]\nip_port_mappings    : {\"10.16.0.4\"=\"nginx-78d9578975-f4qn4.default:10.16.0.2\", \"10.16.0.6\"=\"nginx-78d9578975-t8tm5.default:10.16.0.2\"}\nname                : cluster-tcp-session-loadbalancer\noptions             : {affinity_timeout=\"10800\"}\nprotocol            : tcp\nselection_fields    : [ip_src]\nvips                : {\"1.1.1.1:8888\"=\"10.16.0.4:80,10.16.0.6:80\"}\n\nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\n_uuid               : 5bee3f12-6b54-411c-9cc8-c9def8f67356\nexternal_ids        : {switch_lb_subnet=vulpecula-subnet}\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nvip                 : \"1.1.1.1:8888\"\n\nroot@server:~# kubectl ko sbctl list Service_Monitor\n_uuid               : 1bddc541-cc49-44ea-9935-a4208f627a91\nexternal_ids        : {}\nip                  : \"10.16.0.4\"\nlogical_port        : nginx-78d9578975-f4qn4.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n\n_uuid               : 84dd24c5-e1b4-4e97-9daa-13687ed59785\nexternal_ids        : {}\nip                  : \"10.16.0.6\"\nlogical_port        : nginx-78d9578975-t8tm5.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n</code></pre> <p>At this point, the service response can be successfully obtained through load balancer <code>vip</code>.</p> <pre><code>root@server:~# kubectl exec -it -n vulpecula nginx-78d9578975-t8tm5 -- curl 1.1.1.1:8888\n&lt;!DOCTYPE html&gt;\n&lt;html&gt;\n&lt;head&gt;\n&lt;title&gt;Welcome to nginx!&lt;/title&gt;\n&lt;p&gt;&lt;em&gt;Thank you for using nginx.&lt;/em&gt;&lt;/p&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre>"},{"location":"en/advance/vpc-internal-lb/#update-load-balance-service-endpoints","title":"Update load balance service endpoints","text":"<p>Update the service endpoints of the load balancer by deleting the <code>pod</code>.</p> <pre><code>kubectl delete po nginx-78d9578975-f4qn4\nkubectl get po -o wide -n vulpecula\nNAME                     READY   STATUS    RESTARTS   AGE     IP          NODE     NOMINATED NODE   READINESS GATES\nnginx-78d9578975-lxmvh   1/1     Running   0          31s     10.16.0.8   worker   &lt;none&gt;           &lt;none&gt;\nnginx-78d9578975-t8tm5   1/1     Running   3          4d16h   10.16.0.6   worker   &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>Query the <code>Load_Balancer_Health_Check</code> and <code>Service_Monitor</code> by commands, the results have undergone corresponding changes.</p> <pre><code>root@server:~# kubectl ko nbctl list Load_Balancer\n_uuid               : 3cbb6d43-44aa-4028-962f-30d2dba9f0b8\nexternal_ids        : {}\nhealth_check        : [5bee3f12-6b54-411c-9cc8-c9def8f67356]\nip_port_mappings    : {\"10.16.0.4\"=\"nginx-78d9578975-f4qn4.default:10.16.0.2\", \"10.16.0.6\"=\"nginx-78d9578975-t8tm5.default:10.16.0.2\", \"10.16.0.8\"=\"nginx-78d9578975-lxmvh.default:10.16.0.2\"}\nname                : cluster-tcp-session-loadbalancer\noptions             : {affinity_timeout=\"10800\"}\nprotocol            : tcp\nselection_fields    : [ip_src]\nvips                : {\"1.1.1.1:8888\"=\"10.16.0.6:80,10.16.0.8:80\"}\n\nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\n_uuid               : 5bee3f12-6b54-411c-9cc8-c9def8f67356\nexternal_ids        : {switch_lb_subnet=vulpecula-subnet}\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nvip                 : \"1.1.1.1:8888\"\n\nroot@server:~# kubectl ko sbctl list Service_Monitor\n_uuid               : 84dd24c5-e1b4-4e97-9daa-13687ed59785\nexternal_ids        : {}\nip                  : \"10.16.0.6\"\nlogical_port        : nginx-78d9578975-t8tm5.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n\n_uuid               : 5917b7b7-a999-49f2-a42d-da81f1eeb28f\nexternal_ids        : {}\nip                  : \"10.16.0.8\"\nlogical_port        : nginx-78d9578975-lxmvh.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n</code></pre> <p>Delete <code>SwitchLBRule</code> and confirm the resource status, <code>Load_Balancer_Health_Check</code> adn <code>Service_Monitor</code> has been deleted, and the corresponding <code>vip</code> has also been deleted.</p> <pre><code>root@server:~# kubectl delete -f slr.yaml \nswitchlbrule.kubeovn.io \"vulpecula-nginx\" deleted\nroot@server:~# kubectl get vip\nNo resources found\nroot@server:~# kubectl ko sbctl list Service_Monitor\nroot@server:~# \nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\nroot@server:~# \n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/vpc-peering/","title":"VPC Peering","text":"<p>VPC peering provides a mechanism for bridging two VPC networks through logical routes so that workloads within two VPCs can access each other through private addresses as if they were on the same private network, without the need for NAT forwarding through a gateway.</p>"},{"location":"en/advance/vpc-peering/#prerequisites","title":"Prerequisites","text":"<ol> <li>This feature is only available for customized VPCs.</li> <li>To avoid route overlap the subnet CIDRs within the two VPCs cannot overlap.</li> <li>Currently, only interconnection of two VPCs is supported.</li> </ol>"},{"location":"en/advance/vpc-peering/#usage","title":"Usage","text":"<p>First create two non-interconnected VPCs with one Subnet under each VPC, and the CIDRs of the Subnets do not overlap with each other.</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-1\nspec: {}\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net1\nspec:\n  vpc: vpc-1\n  cidrBlock: 10.0.0.0/16\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-2\nspec: {}\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: vpc-2\n  cidrBlock: 172.31.0.0/16\n</code></pre> <p>Add <code>vpcPeerings</code> and the corresponding static routes within each VPC:</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-1\nspec: \n  vpcPeerings:\n    - remoteVpc: vpc-2\n      localConnectIP: 169.254.0.1/30\n  staticRoutes:\n    - cidr: 172.31.0.0/16\n      nextHopIP: 169.254.0.2\n      policy: policyDst\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-2\nspec:\n  vpcPeerings:\n    - remoteVpc: vpc-1\n      localConnectIP: 169.254.0.2/30\n  staticRoutes:\n    - cidr: 10.0.0.0/16\n      nextHopIP: 169.254.0.1\n      policy: policyDst\n</code></pre> <ul> <li><code>remoteVpc</code>: The name of another peering VPC.</li> <li><code>localConnectIP</code>: As the IP address and CIDR of the interconnection endpoint. Note that both IPs should belong to the same CIDR and should not conflict with existing subnets.</li> <li><code>cidr</code>\uff1aCIDR of the peering Subnet.</li> <li><code>nextHopIP</code>\uff1aThe <code>localConnectIP</code> on the other end of the peering VPC.</li> </ul> <p>Create Pods under the two Subnets</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net1\n  name: vpc-1-pod\nspec:\n  containers:\n    - name: vpc-1-pod\n      image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net2\n  name: vpc-2-pod\nspec:\n  containers:\n    - name: vpc-2-pod\n      image: docker.io/library/nginx:alpine\n</code></pre> <p>Test the network connectivity</p> <pre><code># kubectl exec -it vpc-1-pod -- ping $(kubectl get pod vpc-2-pod -o jsonpath='{.status.podIP}')\nPING 172.31.0.2 (172.31.0.2): 56 data bytes\n64 bytes from 172.31.0.2: seq=0 ttl=62 time=0.655 ms\n64 bytes from 172.31.0.2: seq=1 ttl=62 time=0.086 ms\n64 bytes from 172.31.0.2: seq=2 ttl=62 time=0.098 ms\n^C\n--- 172.31.0.2 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.086/0.279/0.655 ms\n# kubectl exec -it vpc-2-pod -- ping $(kubectl get pod vpc-1-pod -o jsonpath='{.status.podIP}')\nPING 10.0.0.2 (10.0.0.2): 56 data bytes\n64 bytes from 10.0.0.2: seq=0 ttl=62 time=0.594 ms\n64 bytes from 10.0.0.2: seq=1 ttl=62 time=0.093 ms\n64 bytes from 10.0.0.2: seq=2 ttl=62 time=0.088 ms\n^C\n--- 10.0.0.2 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.088/0.258/0.594 ms\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/windows/","title":"Windows Support","text":"<p>Kube-OVN supports Kubernetes cluster networks that include Windows system nodes, allowing unified containers network management.</p>"},{"location":"en/advance/windows/#prerequisites","title":"Prerequisites","text":"<ul> <li>Read Adding Windows nodes to add Windows nodes.</li> <li>Windows nodes must have the KB4489899 patch installed for Overlay/VXLAN networks to work properly, and it is recommended to update your system to the latest version.</li> <li>Hyper-V and management tools must be installed on the Windows node.</li> <li>Due to Windows restrictions tunnel encapsulation can only be used in Vxlan mode.</li> <li>SSL, IPv6, dual-stack, QoS features are not supported at this time.</li> <li>Dynamic subnet and dynamic tunnel interface are not supported at this time. You need to create the subnet and select the network interface before installing the Windows node.</li> <li>Multiple <code>ProviderNetwork</code>s are not supported, and the bridge interface configuration cannot be dynamically adjusted.</li> </ul>"},{"location":"en/advance/windows/#install-ovs-on-windows","title":"Install OVS on Windows","text":"<p>Due to some issues with upstream OVN and OVS support for Windows containers, a modified installation package provided by Kube-OVN is required.</p> <p>Use the following command to enable the <code>TESTSIGNING</code> startup item on the Windows node, which requires a system reboot to take effect.</p> <pre><code>bcdedit /set LOADOPTIONS DISABLE_INTEGRITY_CHECKS\nbcdedit /set TESTSIGNING ON\nbcdedit /set nointegritychecks ON\n</code></pre> <p>Download Windows package on Windows node and install.</p> <p>Confirm that the service is running properly after installation:</p> <pre><code>PS &gt; Get-Service | findstr ovs\nRunning  ovsdb-server  Open vSwitch DB Service\nRunning  ovs-vswitchd  Open vSwitch Service\n</code></pre>"},{"location":"en/advance/windows/#install-kube-ovn","title":"Install Kube-OVN","text":"<p>Download the installation script in the Windows node install.ps1.</p> <p>Add relevant parameters and run:</p> <pre><code>.\\install.ps1 -KubeConfig C:\\k\\admin.conf -ApiServer https://192.168.140.180:6443 -ServiceCIDR 10.96.0.0/12\n</code></pre> <p>By default, Kube-OVN uses the NIC where the node IP is located as the tunnel interface. If you need to use another NIC, you need to add the specified annotation to the Node before installation, e.g. <code>ovn.kubernetes.io/tunnel_interface=Ethernet1</code>.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/with-bgp/","title":"BGP Support","text":"<p>Kube-OVN supports broadcasting the IP address of the Pod or Subnet to the outside world via BGP protocol, so that the outside world can access the Pod directly through the Pod IP. To use this feature, you need to install <code>kube-ovn-speaker</code> on specific nodes and add the corresponding annotation to the Pod or Subnet that needs to be exposed to the outside world.</p>"},{"location":"en/advance/with-bgp/#install-kube-ovn-speaker","title":"Install kube-ovn-speaker","text":"<p><code>kube-ovn-speaker</code> use GoBGP to publish routing information to the outside world and set the next-hop route to itself.</p> <p>Since the node where <code>kube-ovn-speaker</code> is deployed needs to carry return traffic, specific labeled nodes need to be selected for deployment:</p> <pre><code>kubectl label nodes speaker-node-1 ovn.kubernetes.io/bgp=true\nkubectl label nodes speaker-node-2 ovn.kubernetes.io/bgp=true\n</code></pre> <p>When there are multiple instances of kube-ovn-speaker, each of them will publish routes to the outside world, the upstream router needs to support multi-path ECMP.</p> <p>Download the corresponding yaml:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/yamls/speaker.yaml\n</code></pre> <p>Modify the corresponding configuration in yaml:</p> <pre><code>--neighbor-address=10.32.32.1\n--neighbor-as=65030\n--cluster-as=65000\n</code></pre> <ul> <li><code>neighbor-address</code>: The address of the BGP Peer, usually the router gateway address.</li> <li><code>neighbor-as</code>: The AS number of the BGP Peer.</li> <li><code>cluster-as</code>: The AS number of the container network.</li> </ul> <p>Deploy yaml:</p> <pre><code>kubectl apply -f speaker.yaml\n</code></pre>"},{"location":"en/advance/with-bgp/#publish-podsubnet-routes","title":"Publish Pod/Subnet Routes","text":"<p>To use BGP for external routing, first set <code>natOutgoing</code> to <code>false</code> for the corresponding Subnet to allow the Pod IP to enter the underlying network directly.</p> <p>Add annotation to publish routes:</p> <pre><code>kubectl annotate pod sample ovn.kubernetes.io/bgp=true\nkubectl annotate subnet ovn-default ovn.kubernetes.io/bgp=true\n</code></pre> <p>Delete annotation to disable the publishing:</p> <pre><code>kubectl annotate pod perf-ovn-xzvd4 ovn.kubernetes.io/bgp-\nkubectl annotate subnet ovn-default ovn.kubernetes.io/bgp-\n</code></pre>"},{"location":"en/advance/with-bgp/#bgp-advance-options","title":"BGP Advance Options","text":"<p><code>kube-ovn-speaker</code> supports more BGP parameters for advanced configuration, which can be adjusted by users according to their network environment:</p> <ul> <li><code>announce-cluster-ip</code>: Whether to publish Service routes to the public, default is <code>false</code>.</li> <li><code>auth-password</code>: The access password for the BGP peer.</li> <li><code>holdtime</code>: The heartbeat detection time between BGP neighbors. Neighbors with no messages after the change time will be removed, the default is 90 seconds.</li> <li><code>graceful-restart</code>: Whether to enable BGP Graceful Restart.</li> <li><code>graceful-restart-time</code>: BGP Graceful restart time refer to RFC4724 3.</li> <li><code>graceful-restart-deferral-time</code>: BGP Graceful restart deferral time refer to RFC4724 4.1.</li> <li><code>passivemode</code>: The Speaker runs in Passive mode and does not actively connect to the peer.</li> <li><code>ebgp-multihop</code>: The TTL value of EBGP Peer, default is 1.</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/with-cilium/","title":"Integration with Cilium","text":"<p>Cilium is an eBPF-based networking and security component. Kube-OVN uses the CNI Chaining mode to enhance existing features. Users can use both the rich network abstraction capabilities of Kube-OVN and the monitoring and security capabilities that come with eBPF.</p> <p>By integrating Cilium, Kube-OVN users can have the following gains:</p> <ul> <li>Richer and more efficient security policies.</li> <li>Hubble-based monitoring and UI.</li> </ul> <p></p>"},{"location":"en/advance/with-cilium/#prerequisites","title":"Prerequisites","text":"<ol> <li>Linux kernel version above 4.19 or other compatible kernel for full eBPF capability support.</li> <li>Install Helm in advance to prepare for the installation of Cilium, please refer to Installing Helm to deploy Helm.</li> </ol>"},{"location":"en/advance/with-cilium/#configure-kube-ovn","title":"Configure Kube-OVN","text":"<p>In order to fully utilize the security capabilities of Cilium, you need to disable the <code>networkpolicy</code> feature within Kube-OVN and adjust the CNI configuration priority.</p> <p>Change the following variables in the <code>install.sh</code> script:</p> <pre><code>ENABLE_NP=false\nCNI_CONFIG_PRIORITY=10\n</code></pre> <p>If the deployment is complete, you can adjust the args of <code>kube-ovn-controller</code>:</p> <pre><code>args:\n- --enable-np=false\n</code></pre> <p>Modify the <code>kube-ovn-cni</code> args to adjust the CNI configuration priority:</p> <pre><code>args:\n- --cni-conf-name=10-kube-ovn.conflist\n</code></pre> <p>Adjust the Kube-OVN cni configuration name on each node:</p> <pre><code>mv /etc/cni/net.d/01-kube-ovn.conflist /etc/cni/net.d/10-kube-ovn.conflist\n</code></pre>"},{"location":"en/advance/with-cilium/#deploy-cilium","title":"Deploy Cilium","text":"<p>Create the <code>chaining.yaml</code> configuration file to use Cilium's <code>generic-veth</code> mode:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: cni-configuration\n  namespace: kube-system\ndata:\n  cni-config: |-\n    {\n      \"name\": \"generic-veth\",\n      \"cniVersion\": \"0.3.1\",\n      \"plugins\": [\n        {\n          \"type\": \"kube-ovn\",\n          \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n          \"ipam\": {\n              \"type\": \"kube-ovn\",\n              \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\"\n          }\n        },\n        {\n          \"type\": \"portmap\",\n          \"snat\": true,\n          \"capabilities\": {\"portMappings\": true}\n        },\n        {\n          \"type\": \"cilium-cni\"\n        }\n      ]\n    }\n</code></pre> <p>Installation the chaining config:</p> <pre><code>kubectl apply -f chaining.yaml\n</code></pre> <p>Deploying Cilium with Helm:</p> <pre><code>helm repo add cilium https://helm.cilium.io/\nhelm install cilium cilium/cilium --version 1.11.6 \\\n    --namespace kube-system \\\n    --set cni.chainingMode=generic-veth \\\n    --set cni.customConf=true \\\n    --set cni.configMap=cni-configuration \\\n    --set tunnel=disabled \\\n    --set enableIPv4Masquerade=false \\\n    --set enableIdentityMark=false \n</code></pre> <p>Confirm that the Cilium installation was successful:</p> <pre><code># cilium  status\n    /\u00af\u00af\\\n /\u00af\u00af\\__/\u00af\u00af\\    Cilium:         OK\n \\__/\u00af\u00af\\__/    Operator:       OK\n /\u00af\u00af\\__/\u00af\u00af\\    Hubble:         disabled\n \\__/\u00af\u00af\\__/    ClusterMesh:    disabled\n    \\__/\n\nDaemonSet         cilium             Desired: 2, Ready: 2/2, Available: 2/2\nDeployment        cilium-operator    Desired: 2, Ready: 2/2, Available: 2/2\nContainers:       cilium             Running: 2\n                  cilium-operator    Running: 2\nCluster Pods:     8/11 managed by Cilium\nImage versions    cilium             quay.io/cilium/cilium:v1.10.5@sha256:0612218e28288db360c63677c09fafa2d17edda4f13867bcabf87056046b33bb: 2\n                  cilium-operator    quay.io/cilium/operator-generic:v1.10.5@sha256:2d2f730f219d489ff0702923bf24c0002cd93eb4b47ba344375566202f56d972: 2\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/with-openstack/","title":"Integration with OpenStack","text":"<p>In some cases, users need to run virtual machines with OpenStack and containers with Kubernetes, and need the network to interoperate between containers and virtual machines and be under a unified control plane. If the OpenStack Neutron side also uses OVN as the underlying network, then Kube-OVN can use either cluster interconnection or shared underlying OVN to connect the OpenStack and Kubernetes networks.</p>"},{"location":"en/advance/with-openstack/#cluster-interconnection","title":"Cluster Interconnection","text":"<p>This pattern is similar to Cluster Inter-Connection with OVN-IC to connect two Kubernetes cluster networks, except that the two ends of the cluster are replaced with OpenStack and Kubernetes\u3002</p>"},{"location":"en/advance/with-openstack/#prerequisites","title":"Prerequisites","text":"<ol> <li>The subnet CIDRs within OpenStack and Kubernetes cannot overlap with each other in auto-route mode.</li> <li>A set of machines needs to exist that can be accessed by each cluster over the network and used to deploy controllers that interconnect across clusters.</li> <li>Each cluster needs to have a set of machines that can access each other across clusters via IP as the gateway nodes.</li> <li>This solution only connects to the Kubernetes default subnet with selected VPC in OpenStack.</li> </ol>"},{"location":"en/advance/with-openstack/#deploy-ovn-ic-db","title":"Deploy OVN-IC DB","text":"<p>Start the <code>OVN-IC</code> DB with the following command:</p> <pre><code>docker run --name=ovn-ic-db -d --network=host -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre>"},{"location":"en/advance/with-openstack/#kubernetes-side-operations","title":"Kubernetes Side Operations","text":"<p>Create <code>ovn-ic-config</code> ConfigMap in <code>kube-system</code> Namespace \uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre> <ul> <li><code>enable-ic</code>: Whether to enable cluster interconnection.</li> <li><code>az-name</code>: Distinguish the cluster names of different clusters, each interconnected cluster needs to be different.</li> <li><code>ic-db-host</code>: Address of the node where the <code>OVN-IC</code> DB is deployed.</li> <li><code>ic-nb-port</code>: <code>OVN-IC</code> Northbound Database port, default 6645.</li> <li><code>ic-sb-port</code>: <code>OVN-IC</code> Southbound Database port, default 6645.</li> <li><code>gw-nodes</code>: The name of the nodes in the cluster interconnection that takes on the work of the gateways, separated by commas.</li> <li><code>auto-route</code>: Whether to automatically publish and learn routes.</li> </ul>"},{"location":"en/advance/with-openstack/#openstack-side-operations","title":"OpenStack Side Operations","text":"<p>Create logical routers that interconnect with Kubernetes:</p> <pre><code># openstack router create router0\n# openstack router list\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| ID                                   | Name    | Status | State | Project                          |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| d5b38655-249a-4192-8046-71aa4d2b4af1 | router0 | ACTIVE | UP    | 98a29ab7388347e7b5ff8bdd181ba4f9 |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n</code></pre> <p>Set the availability zone name in the OVN northbound database within OpenStack, which needs to be different from the other interconnected clusters:</p> <pre><code>ovn-nbctl set NB_Global . name=op-az\n</code></pre> <p>Start the <code>OVN-IC</code> controller at a node that has access to the <code>OVN-IC</code> DB:</p> <pre><code>/usr/share/ovn/scripts/ovn-ctl --ovn-ic-nb-db=tcp:192.168.65.3:6645 \\\n  --ovn-ic-sb-db=tcp:192.168.65.3:6646 \\\n  --ovn-northd-nb-db=unix:/run/ovn/ovnnb_db.sock \\\n  --ovn-northd-sb-db=unix:/run/ovn/ovnsb_db.sock \\\n  start_ic\n</code></pre> <ul> <li><code>ovn-ic-nb-db</code>\uff0c<code>ovn-ic-sb-db</code>: OVN-IC Northbound database and southbound database addresses.</li> <li><code>ovn-northd-nb-db</code>\uff0c <code>ovn-northd-sb-db</code>: Current cluster OVN northbound database and southbound data address.</li> </ul> <p>Configuration gateway nodes:</p> <pre><code>ovs-vsctl set open_vswitch . external_ids:ovn-is-interconn=true\n</code></pre> <p>The next step is to create a logical topology by operating the OVN in OpenStack.</p> <p>Connect the <code>ts</code> interconnect switch and the <code>router0</code> logical router, and set the relevant rules:</p> <pre><code>ovn-nbctl lrp-add router0 lrp-router0-ts 00:02:ef:11:39:4f 169.254.100.73/24\novn-nbctl lsp-add ts lsp-ts-router0 -- lsp-set-addresses lsp-ts-router0 router \\\n  -- lsp-set-type lsp-ts-router0 router \\\n  -- lsp-set-options lsp-ts-router0  router-port=lrp-router0-ts\novn-nbctl lrp-set-gateway-chassis lrp-router0-ts {gateway chassis} 1000\novn-nbctl set NB_Global . options:ic-route-adv=true options:ic-route-learn=true\n</code></pre> <p>Verify that OpenStack has learned the Kubernetes routing rules:</p> <pre><code># ovn-nbctl lr-route-list router0\nIPv4 Routes\n                10.0.0.22            169.254.100.34 dst-ip (learned)\n             10.16.0.0/16            169.254.100.34 dst-ip (learned)\n</code></pre> <p>Next, you can create a virtual machine under the <code>router0</code> network to verify that it can interconnect with Pods under Kubernetes.</p>"},{"location":"en/advance/with-openstack/#shared-underlay-ovn","title":"Shared Underlay OVN","text":"<p>In this scenario, OpenStack and Kubernetes share the same OVN, so concepts such as VPC and Subnet can be pulled together for better control and interconnection.</p> <p>In this mode we deploy the OVN normally using Kube-OVN, and OpenStack modifies the Neutron configuration to connect to the same OVN DB. OpenStack requires networking-ovn as a Neutron backend implementation.</p>"},{"location":"en/advance/with-openstack/#neutron-modification","title":"Neutron Modification","text":"<p>Modify the Neutron configuration file <code>/etc/neutron/plugins/ml2/ml2_conf.ini</code>\uff1a</p> <pre><code>[ovn]\n...\novn_nb_connection = tcp:[192.168.137.176]:6641,tcp:[192.168.137.177]:6641,tcp:[192.168.137.178]:6641\novn_sb_connection = tcp:[192.168.137.176]:6642,tcp:[192.168.137.177]:6642,tcp:[192.168.137.178]:6642\novn_l3_scheduler = OVN_L3_SCHEDULER\n</code></pre> <ul> <li><code>ovn_nb_connection</code>\uff0c <code>ovn_sb_connection</code>: The address needs to be changed to the address of the <code>ovn-central</code> nodes deployed by Kube-OVN.</li> </ul> <p>Modify the OVS configuration for each node:</p> <pre><code>ovs-vsctl set open . external-ids:ovn-remote=tcp:[192.168.137.176]:6642,tcp:[192.168.137.177]:6642,tcp:[192.168.137.178]:6642\novs-vsctl set open . external-ids:ovn-encap-type=geneve\novs-vsctl set open . external-ids:ovn-encap-ip=192.168.137.200\n</code></pre> <ul> <li><code>external-ids:ovn-remote</code>: The address needs to be changed to the address of the <code>ovn-central</code> nodes deployed by Kube-OVN.</li> <li><code>ovn-encap-ip</code>: Change to the IP address of the current node.</li> </ul>"},{"location":"en/advance/with-openstack/#using-openstack-internal-resources-in-kubernetes","title":"Using OpenStack Internal Resources in Kubernetes","text":"<p>The next section describes how to query OpenStack's network resources in Kubernetes and create Pods in the subnet from OpenStack.</p> <p>Query the existing network resources in OpenStack for the following resources that have been pre-created.</p> <pre><code># openstack router list\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| ID                                   | Name    | Status | State | Project                          |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| 22040ed5-0598-4f77-bffd-e7fd4db47e93 | router0 | ACTIVE | UP    | 62381a21d569404aa236a5dd8712449c |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n# openstack network list\n+--------------------------------------+----------+--------------------------------------+\n| ID                                   | Name     | Subnets                              |\n+--------------------------------------+----------+--------------------------------------+\n| cd59e36a-37db-4c27-b709-d35379a7920f | provider | 01d73d9f-fdaa-426c-9b60-aa34abbfacae |\n+--------------------------------------+----------+--------------------------------------+\n# openstack subnet list\n+--------------------------------------+-------------+--------------------------------------+----------------+\n| ID                                   | Name        | Network                              | Subnet         |\n+--------------------------------------+-------------+--------------------------------------+----------------+\n| 01d73d9f-fdaa-426c-9b60-aa34abbfacae | provider-v4 | cd59e36a-37db-4c27-b709-d35379a7920f | 192.168.1.0/24 |\n+--------------------------------------+-------------+--------------------------------------+----------------+\n# openstack server list\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n| ID                                   | Name              | Status | Networks              | Image  | Flavor |\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n| 8433d622-a8d6-41a7-8b31-49abfd64f639 | provider-instance | ACTIVE | provider=192.168.1.61 | ubuntu | m1     |\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n</code></pre> <p>On the Kubernetes side, query the VPC resources from OpenStack:</p> <pre><code># kubectl get vpc\nNAME                                           STANDBY   SUBNETS\nneutron-22040ed5-0598-4f77-bffd-e7fd4db47e93   true      [\"neutron-cd59e36a-37db-4c27-b709-d35379a7920f\"]\novn-cluster                                    true      [\"join\",\"ovn-default\"]\n</code></pre> <p><code>neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93</code> is the VPC resources synchronized from OpenStack.</p> <p>Next, you can create Pods and run them according to Kube-OVN's native VPC and Subnet operations.</p> <p>Bind VPC, Subnet to Namespace <code>net2</code> and create Pod:</p> <pre><code>apiVersion: v1\nkind: Namespace\nmetadata:\n  name: net2\n---\napiVersion: kubeovn.io/v1\nkind: Vpc\nmetadata:\n  creationTimestamp: \"2021-06-20T13:34:11Z\"\n  generation: 2\n  labels:\n    ovn.kubernetes.io/vpc_external: \"true\"\n  name: neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93\n  resourceVersion: \"583728\"\n  uid: 18d4c654-f511-4def-a3a0-a6434d237c1e\nspec:\n  namespaces:\n  - net2\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93\n  namespaces:\n    - net2\n  cidrBlock: 12.0.1.0/24\n  natOutgoing: false\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: ubuntu\n  namespace: net2\nspec:\n  containers:\n    - image: docker.io/kubeovn/kube-ovn:v1.8.0\n      command:\n        - \"sleep\"\n        - \"604800\"\n      imagePullPolicy: IfNotPresent\n      name: ubuntu\n  restartPolicy: Always\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/with-ovn-ic/","title":"Cluster Inter-Connection with OVN-IC","text":"<p>Kube-OVN supports interconnecting two Kubernetes cluster Pod networks via OVN-IC, and the Pods in the two clusters can communicate directly via Pod IPs . Kube-OVN uses tunnels to encapsulate cross-cluster traffic, allowing container networks to interconnect between two clusters as long as there is a set of IP reachable machines.</p> <p>This mode of multi-cluster interconnection is for Overlay network. For Underlay network, it needs the underlying infrastructure to do the inter-connection work.</p> <p></p>"},{"location":"en/advance/with-ovn-ic/#prerequisites","title":"Prerequisites","text":"<ol> <li> <p>Clusters configured in versions after 1.11.16 have the cluster interconnection switch turned off by default. You need to mark the following in the configuration script <code>install.sh</code>:</p> <pre><code>ENABLE_IC=true\n</code></pre> </li> </ol> <p>After opening the switch and deploying the cluster, the component deployment ovn-ic-controller will appear. 2. The subnet CIDRs within OpenStack and Kubernetes cannot overlap with each other in auto-interconnect mode.    If there is overlap, you need to refer to the subsequent manual interconnection process, which can only connect non-overlapping Subnets. 3. A set of machines needs to exist that can be accessed by each cluster over the network and used to deploy controllers that interconnect across clusters. 4. Each cluster needs to have a set of machines that can access each other across clusters via IP as the gateway nodes. 5. This solution only connects to the Kubernetes default VPCs.</p>"},{"location":"en/advance/with-ovn-ic/#deploy-a-single-node-ovn-ic-db","title":"Deploy a single-node OVN-IC DB","text":""},{"location":"en/advance/with-ovn-ic/#single-node-deployment-solution-1","title":"Single node deployment solution 1","text":"<p>Solution 1 is recommended first, supported after Kube-OVN v1.11.16.</p> <p>This method does not distinguish between \"single node\" or \"multi-node high availability\" deployment. The controller will be deployed on the master node in the form of Deployment. The cluster master node is 1, which is a single node deployment, and the number of master nodes is multiple, that is, multi-node. Highly available deployment.</p> <p>First get the script <code>install-ovn-ic.sh</code> and use the following command:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install-ic-server.sh\n</code></pre> <p>Execute the command installation, where <code>TS_NUM</code> represents the number of ECMP Paths connected to the cluster:</p> <pre><code>sed 's/VERSION=.*/VERSION=v1.13.0/' dist/images/install-ic-server.sh | TS_NUM=3 bash\n</code></pre> <p>The output of successful execution is as follows:</p> <pre><code>deployment.apps/ovn-ic-server created\nWaiting for deployment spec update to be observed...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 0 out of 3 new replicas have been updated...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 0 of 3 updated replicas are available...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"ovn-ic-server\" successfully rolled out\nOVN IC Server installed Successfully\n</code></pre> <p>You can view the status of the current interconnected controller through the <code>kubectl ko icsbctl show</code> command. The command is as follows:</p> <pre><code>kubectl ko icsbctl show\navailability-zone az0\n    gateway 059b5c54-c540-4d77-b009-02d65f181a02\n        hostname: kube-ovn-worker\n        type: geneve\n            ip: 172.18.0.3\n        port ts-az0\n            transit switch: ts\n            address: [\"00:00:00:B4:8E:BE 169.254.100.97/24\"]\n    gateway 74ee4b9a-ba48-4a07-861e-1a8e4b9f905f\n        hostname: kube-ovn-worker2\n        type: geneve\n            ip: 172.18.0.2\n        port ts1-az0\n            transit switch: ts1\n            address: [\"00:00:00:19:2E:F7 169.254.101.90/24\"]\n    gateway 7e2428b6-344c-4dd5-a0d5-972c1ccec581\n        hostname: kube-ovn-control-plane\n        type: geneve\n            ip: 172.18.0.4\n        port ts2-az0\n            transit switch: ts2\n            address: [\"00:00:00:EA:32:BA 169.254.102.103/24\"]\navailability-zone az1\n    gateway 034da7cb-3826-4318-81ce-6a877a9bf285\n        hostname: kube-ovn1-worker\n        type: geneve\n            ip: 172.18.0.6\n        port ts-az1\n            transit switch: ts\n            address: [\"00:00:00:25:3A:B9 169.254.100.51/24\"]\n    gateway 2531a683-283e-4fb8-a619-bdbcb33539b8\n        hostname: kube-ovn1-worker2\n        type: geneve\n            ip: 172.18.0.5\n        port ts1-az1\n            transit switch: ts1\n            address: [\"00:00:00:52:87:F4 169.254.101.118/24\"]\n    gateway b0efb0be-e5a7-4323-ad4b-317637a757c4\n        hostname: kube-ovn1-control-plane\n        type: geneve\n            ip: 172.18.0.8\n        port ts2-az1\n            transit switch: ts2\n            address: [\"00:00:00:F6:93:1A 169.254.102.17/24\"]\n</code></pre>"},{"location":"en/advance/with-ovn-ic/#single-node-deployment-solution-2","title":"Single node deployment solution 2","text":"<p>Deploy the <code>OVN-IC</code> DB on a machine accessible by <code>kube-ovn-controller</code>, This DB will hold the network configuration information synchronized up from each cluster.</p> <p>An environment deploying <code>docker</code> can start the <code>OVN-IC</code> DB with the following command.</p> <pre><code>docker run --name=ovn-ic-db -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --network=host --privileged  -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>For deploying a <code>containerd</code> environment instead of <code>docker</code> you can use the following command:</p> <pre><code>ctr -n k8s.io run -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre>"},{"location":"en/advance/with-ovn-ic/#automatic-routing-mode","title":"Automatic Routing Mode","text":"<p>In auto-routing mode, each cluster synchronizes the CIDR information of the Subnet under its own default VPC to <code>OVN-IC</code>, so make sure there is no overlap between the Subnet CIDRs of the two clusters.</p> <p>Create <code>ovn-ic-config</code> ConfigMap in <code>kube-system</code> Namespace:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre> <ul> <li><code>enable-ic</code>: Whether to enable cluster interconnection.</li> <li><code>az-name</code>: Distinguish the cluster names of different clusters, each interconnected cluster needs to be different.</li> <li><code>ic-db-host</code>: Address of the node where the <code>OVN-IC</code> DB is deployed.</li> <li><code>ic-nb-port</code>: <code>OVN-IC</code> Northbound Database port, default 6645.</li> <li><code>ic-sb-port</code>: <code>OVN-IC</code> Southbound Database port, default 6645.</li> <li><code>gw-nodes</code>: The name of the nodes in the cluster interconnection that takes on the work of the gateways, separated by commas.</li> <li><code>auto-route</code>: Whether to automatically publish and learn routes.</li> </ul> <p>Note: To ensure the correct operation, the ConfigMap <code>ovn-ic-config</code> is not allowed to be modified. If any parameter needs to be changed, please delete this ConfigMap, modify it and then apply it again.</p> <p>Check if the interconnected logical switch <code>ts</code> has been established in the <code>ovn-ic</code> container with the following command\uff1a</p> <pre><code># ovn-ic-sbctl show\navailability-zone az1\n    gateway deee03e0-af16-4f45-91e9-b50c3960f809\n        hostname: az1-gw\n        type: geneve\n            ip: 192.168.42.145\n        port ts-az1\n            transit switch: ts\n            address: [\"00:00:00:50:AC:8C 169.254.100.45/24\"]\navailability-zone az2\n    gateway e94cc831-8143-40e3-a478-90352773327b\n        hostname: az2-gw\n        type: geneve\n            ip: 192.168.42.149\n        port ts-az2\n            transit switch: ts\n            address: [\"00:00:00:07:4A:59 169.254.100.63/24\"]\n</code></pre> <p>At each cluster observe if logical routes have learned peer routes:</p> <pre><code># kubectl ko nbctl lr-route-list ovn-cluster\nIPv4 Routes\n                10.42.1.1            169.254.100.45 dst-ip (learned)\n                10.42.1.3                100.64.0.2 dst-ip\n                10.16.0.2                100.64.0.2 src-ip\n                10.16.0.3                100.64.0.2 src-ip\n                10.16.0.4                100.64.0.2 src-ip\n                10.16.0.6                100.64.0.2 src-ip\n             10.17.0.0/16            169.254.100.45 dst-ip (learned)\n            100.65.0.0/16            169.254.100.45 dst-ip (learned)\n</code></pre> <p>Next, you can try <code>ping</code> a Pod IP in Cluster 1 directly from a Pod in Cluster 2 to see if you can work.</p> <p>For a subnet that does not want to automatically publish routes to the other end, you can disable route broadcasting by modifying <code>disableInterConnection</code> in the Subnet spec.</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: no-advertise\nspec:\n  cidrBlock: 10.199.0.0/16\n  disableInterConnection: true\n</code></pre>"},{"location":"en/advance/with-ovn-ic/#manual-routing-mode","title":"Manual Routing Mode","text":"<p>For cases where there are overlapping CIDRs between clusters, and you only want to do partial subnet interconnection, you can manually publish subnet routing by following the steps below.</p> <p>Create <code>ovn-ic-config</code> ConfigMap in <code>kube-system</code> Namespace, and set <code>auto-route</code> to <code>false</code>:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"false\"\n</code></pre> <p>Find the address of the remote logical ports in each cluster separately, for later manual configuration of the route:</p> <pre><code>[root@az1 ~]# kubectl ko nbctl show\nswitch a391d3a1-14a0-4841-9836-4bd930c447fb (ts)\n    port ts-az1\n        type: router\n        router-port: az1-ts\n    port ts-az2\n        type: remote\n        addresses: [\"00:00:00:4B:E2:9F 169.254.100.31/24\"]\n\n[root@az2 ~]# kubectl ko nbctl show\nswitch da6138b8-de81-4908-abf9-b2224ec4edf3 (ts)\n    port ts-az2\n        type: router\n        router-port: az2-ts\n    port ts-az1\n        type: remote\n        addresses: [\"00:00:00:FB:2A:F7 169.254.100.79/24\"]        \n</code></pre> <p>The output above shows that the remote address from cluster <code>az1</code> to cluster <code>az2</code> is <code>169.254.100.31</code> and the remote address from <code>az2</code> to <code>az1</code> is <code>169.254.100.79</code>.</p> <p>In this example, the subnet CIDR within cluster <code>az1</code> is <code>10.16.0.0/24</code> and the subnet CIDR within cluster <code>az2</code> is <code>10.17.0.0/24</code>.</p> <p>Set up a route from cluster <code>az1</code> to cluster <code>az2</code> in cluster <code>az1</code>:</p> <pre><code>kubectl ko nbctl lr-route-add ovn-cluster 10.17.0.0/24 169.254.100.31\n</code></pre> <p>Set up a route to cluster <code>az1</code> in cluster <code>az2</code>:</p> <pre><code>kubectl ko nbctl lr-route-add ovn-cluster 10.16.0.0/24 169.254.100.79\n</code></pre>"},{"location":"en/advance/with-ovn-ic/#highly-available-ovn-ic-db-installation","title":"Highly Available OVN-IC DB Installation","text":""},{"location":"en/advance/with-ovn-ic/#high-availability-deployment-solution-1","title":"High availability deployment solution 1","text":"<p>Solution 1 is recommended first, supported after Kube-OVN v1.11.16.</p> <p>The method is the same as Single node deployment solution 1</p>"},{"location":"en/advance/with-ovn-ic/#high-availability-deployment-solution-2","title":"High availability deployment solution 2","text":"<p>A highly available cluster can be formed between <code>OVN-IC</code> DB via the Raft protocol, which requires a minimum of 3 nodes for this deployment model.</p> <p>First start the leader of the <code>OVN-IC</code> DB on the first node.</p> <p>Users deploying a <code>docker</code> environment can use the following command:</p> <pre><code>docker run --name=ovn-ic-db -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --network=host --privileged -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn -e LOCAL_IP=\"192.168.65.3\"  -e NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"   kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>If you are  using <code>containerd</code> you can use the following command:</p> <pre><code>ctr -n k8s.io run -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\"  --env=\"NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"\" --env=\"LOCAL_IP=\"192.168.65.3\"\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre> <ul> <li><code>LOCAL_IP</code>\uff1a The IP address of the node where the current container is located.</li> <li><code>NODE_IPS</code>\uff1a The IP addresses of the three nodes running the <code>OVN-IC</code> database, separated by commas.</li> </ul> <p>Next, deploy the follower of the <code>OVN-IC</code> DB on the other two nodes.</p> <p><code>docker</code> environment can use the following command.</p> <pre><code>docker run --name=ovn-ic-db -d --network=host --privileged -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn -e LOCAL_IP=\"192.168.65.2\"  -e NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\" -e LEADER_IP=\"192.168.65.3\"  kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>If using <code>containerd</code> you can use the following command:</p> <pre><code>ctr -n k8s.io run -d --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\"  --env=\"NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"\" --env=\"LOCAL_IP=\"192.168.65.2\"\" --env=\"LEADER_IP=\"192.168.65.3\"\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre> <ul> <li><code>LOCAL_IP</code>\uff1a The IP address of the node where the current container is located.</li> <li><code>NODE_IPS</code>\uff1a The IP addresses of the three nodes running the <code>OVN-IC</code> database, separated by commas.</li> <li><code>LEADER_IP</code>: The IP address of the <code>OVN-IC</code> DB leader node.</li> </ul> <p>Specify multiple <code>OVN-IC</code> database node addresses when creating <code>ovn-ic-config</code> for each cluster:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3,192.168.65.2,192.168.65.1\"\n  ic-nb-port: \"6645\"\n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre>"},{"location":"en/advance/with-ovn-ic/#support-cluster-interconnection-ecmp","title":"Support cluster interconnection ECMP","text":"<p>The premise controller is deployed according to Single Node Deployment Solution 1</p> <p>This solution supports cluster interconnection ECMP by default. The default ECMP path is 3. It also supports modifying the number of ECMP paths. Use the command:</p> <pre><code>kubectl edit deployment ovn-ic-server -n kube-system\n</code></pre> <p>Just modify the value of the environment variable 'TS_NUM'. <code>TS_NUM</code> represents the number of ECMP Paths accessed between the two clusters.</p>"},{"location":"en/advance/with-ovn-ic/#manual-reset","title":"Manual Reset","text":"<p>In some cases, the entire interconnection configuration needs to be cleaned up due to configuration errors, you can refer to the following steps to clean up your environment.</p> <p>Delete the current <code>ovn-ic-config</code> Configmap:</p> <pre><code>kubectl -n kube-system delete cm ovn-ic-config\n</code></pre> <p>Delete <code>ts</code> logical switch:</p> <pre><code>kubectl ko nbctl ls-del ts\n</code></pre> <p>Repeat the same steps at the peer cluster.</p>"},{"location":"en/advance/with-ovn-ic/#clean-ovn-ic","title":"Clean OVN-IC","text":"<p>Delete the <code>ovn-ic-config</code> Configmap for all clusters:</p> <pre><code>kubectl -n kube-system delete cm ovn-ic-config\n</code></pre> <p>Delete all clusters' <code>ts</code> logical switches:</p> <pre><code>kubectl ko nbctl ls-del ts\n</code></pre> <p>Delete the cluster interconnect controller. If it is a high-availability OVN-IC database deployment, all need to be cleaned up.</p> <p>If the controller is <code>docker</code> deploy execute command:</p> <pre><code>docker stop ovn-ic-db \ndocker rm ovn-ic-db\n</code></pre> <p>If the controller is <code>containerd</code> deploy the command:</p> <pre><code>ctr -n k8s.io task kill ovn-ic-db\nctr -n k8s.io containers rm ovn-ic-db\n</code></pre> <p>If the controller is deployed using deployment <code>ovn-ic-server</code>:</p> <pre><code>kubectl delete deployment ovn-ic-server -n kube-system\n</code></pre> <p>Then clean up the interconnection-related DB on each master node. The command is as follows:</p> <pre><code>rm -f /etc/origin/ovn/ovn_ic_nb_db.db\nrm -f /etc/origin/ovn/ovn_ic_sb_db.db\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/with-submariner/","title":"Cluster Inter-Connection with Submariner","text":"<p>Submariner is an open source networking component that connects multiple Kubernetes cluster Pod and Service networks which can help Kube-OVN interconnect multiple clusters.</p> <p>Compared to OVN-IC, Submariner can connect Kube-OVN and non-Kube-OVN cluster networks, and Submariner can provide cross-cluster capability for services. However, Submariner currently only enables the default subnets to be connected, and cannot selectively connect multiple subnets.</p>"},{"location":"en/advance/with-submariner/#prerequisites","title":"Prerequisites","text":"<ul> <li>The Service CIDRs of the two clusters and the CIDR of the default Subnet cannot overlap.</li> </ul>"},{"location":"en/advance/with-submariner/#install-submariner","title":"Install Submariner","text":"<p>Download the <code>subctl</code> binary and deploy it to the appropriate path:</p> <pre><code>curl -Ls https://get.submariner.io | bash\nexport PATH=$PATH:~/.local/bin\necho export PATH=\\$PATH:~/.local/bin &gt;&gt; ~/.profile\n</code></pre> <p>Change <code>kubeconfig</code> context to the cluster that need to deploy <code>submariner-broker</code>:</p> <pre><code>subctl deploy-broker\n</code></pre> <p>In this document the default subnet CIDR for <code>cluster0</code> is <code>10.16.0.0/16</code> and the join subnet CIDR for <code>cluster0</code> is <code>100.64.0.0/16</code>, the default subnet CIDR for <code>cluster1</code> is <code>11.16.0.0/16</code> and the join subnet CIDR for <code>cluster1</code> is <code>100.68.0.0/16</code>.</p> <p>Switch <code>kubeconfig</code> to <code>cluster0</code> to register the cluster to the broker, and register the gateway node:</p> <pre><code>subctl  join broker-info.subm --clusterid  cluster0 --clustercidr 100.64.0.0/16,10.16.0.0/16  --natt=false --cable-driver vxlan --health-check=false\nkubectl label nodes cluster0 submariner.io/gateway=true\n</code></pre> <p>Switch <code>kubeconfig</code> to <code>cluster1</code> to register the cluster to the broker, and register the gateway node:</p> <pre><code>subctl  join broker-info.subm --clusterid  cluster1 --clustercidr 100.68.0.0/16,11.16.0.0/16  --natt=false --cable-driver vxlan --health-check=false\nkubectl label nodes cluster1 submariner.io/gateway=true\n</code></pre> <p>Next, you can start Pods in each of the two clusters and try to access each other using IPs.</p> <p>Network communication problems can be diagnosed by using the <code>subctl</code> command:</p> <pre><code>subctl show all\nsubctl diagnose all\n</code></pre> <p>For more Submariner operations please read Submariner Usage.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/custom-routes/","title":"Custom Routes","text":"<p>Custom routes can be configured via Pod's annotations. Here is an example:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: custom-routes\n  annotations:\n    ovn.kubernetes.io/routes: |\n      [{\n        \"dst\": \"192.168.0.101/24\",\n        \"gw\": \"10.16.0.254\"\n      }, {\n        \"gw\": \"10.16.0.254\"\n      }]\nspec:\n  containers:\n  - name: nginx\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>Do not set the <code>dst</code> field if you want to configure the default route.</p> <p>For workloads such as Deployment, DaemonSet and StatefulSet, custom routes must be configured via <code>.spec.template.metadata.annotations</code>:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: custom-routes\n  labels:\n    app: nginx\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: nginx\n  template:\n    metadata:\n      labels:\n        app: nginx\n      annotations:\n        ovn.kubernetes.io/routes: |\n          [{\n            \"dst\": \"192.168.0.101/24\",\n            \"gw\": \"10.16.0.254\"\n          }, {\n            \"gw\": \"10.16.0.254\"\n          }]\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/library/nginx:alpine\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/dual-stack/","title":"DualStack","text":"<p>Different subnets in Kube-OVN can support different IP protocols. IPv4, IPv6 and dual-stack types of subnets can exist within one cluster. However, it is recommended to use a uniform protocol type within a cluster to simplify usage and maintenance.</p> <p>In order to support dual-stack, the host network needs to meet the dual-stack requirements, and the Kubernetes-related parameters need to be adjusted, please refer to official guide to dual-stack.</p>"},{"location":"en/guide/dual-stack/#create-dual-stack-subnet","title":"Create dual-stack Subnet","text":"<p>When configuring a dual stack Subnet, you only need to set the corresponding subnet CIDR format as <code>cidr=&lt;IPv4 CIDR&gt;,&lt;IPv6 CIDR&gt;</code>.</p> <p>The CIDR order requires IPv4 to come first and IPv6 to come second, as follows.</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata: \n  name: ovn-test\nspec:\n  cidrBlock: 10.16.0.0/16,fd00:10:16::/64\n  excludeIps:\n  - 10.16.0.1\n  - fd00:10:16::1\n  gateway: 10.16.0.1,fd00:10:16::1\n</code></pre> <p>If you need to use a dual stack for the default subnet during installation, you need to change the following parameters in the installation script:</p> <pre><code>POD_CIDR=\"10.16.0.0/16,fd00:10:16::/64\"\nJOIN_CIDR=\"100.64.0.0/16,fd00:100:64::/64\"\n</code></pre>"},{"location":"en/guide/dual-stack/#check-pod-address","title":"Check Pod Address","text":"<p>Pods configured for dual-stack networks will be assigned both IPv4 and IPv6 addresses from that subnet, and the results will be displayed in the annotation of the Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/allocated: \"true\"\n    ovn.kubernetes.io/cidr: 10.16.0.0/16,fd00:10:16::/64\n    ovn.kubernetes.io/gateway: 10.16.0.1,fd00:10:16::1\n    ovn.kubernetes.io/ip_address: 10.16.0.9,fd00:10:16::9\n    ovn.kubernetes.io/logical_switch: ovn-default\n    ovn.kubernetes.io/mac_address: 00:00:00:14:88:09\n    ovn.kubernetes.io/network_types: geneve\n    ovn.kubernetes.io/routed: \"true\"\n...\npodIP: 10.16.0.9\n  podIPs:\n  - ip: 10.16.0.9\n  - ip: fd00:10:16::9\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/eip-snat/","title":"EIP and SNAT","text":"<p>This configuration is for the network under default VPC, for custom VPC please refer to VPC Gateway</p> <p>Kube-OVN supports SNAT and EIP functionality at the Pod level using the L3 Gateway feature in OVN. By using SNAT, a group of Pods can share an IP address for external access. With the EIP feature, a Pod can be directly associated with an external IP. External services can access the Pod directly through the EIP, and the Pod will also access external services through this EIP.</p> <p></p>"},{"location":"en/guide/eip-snat/#preparation","title":"Preparation","text":"<ul> <li>In order to use the OVN's L3 Gateway capability, a separate NIC must be bridged into the OVS bridge for overlay and underlay network communication.   The host must have other NICs for management.</li> <li>Since packets passing through NAT will go directly to the Underlay network, it is important to confirm that such packets can pass safely on the current network architecture.</li> <li>Currently, there is no conflict detection for EIP and SNAT addresses, and an administrator needs to manually assign them to avoid address conflicts.</li> </ul>"},{"location":"en/guide/eip-snat/#create-config","title":"Create Config","text":"<p>Create ConfigMap <code>ovn-external-gw-config</code> in <code>kube-system</code> Namespace:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-external-gw-config\n  namespace: kube-system\ndata:\n  enable-external-gw: \"true\"\n  external-gw-nodes: \"kube-ovn-worker\"\n  external-gw-nic: \"eth1\"\n  external-gw-addr: \"172.56.0.1/16\"\n  nic-ip: \"172.56.0.254/16\"\n  nic-mac: \"16:52:f3:13:6a:25\"\n</code></pre> <ul> <li><code>enable-external-gw</code>: Whether to enable SNAT and EIP functions.</li> <li><code>type</code>: <code>centrailized</code> or <code>distributed</code>\uff0c Default is <code>centralized</code> If <code>distributed</code> is used, all nodes of the cluster need to have the same name NIC to perform the gateway function.</li> <li><code>external-gw-nodes</code>: In <code>centralized</code> mode\uff0cThe names of the node performing the gateway role, comma separated.</li> <li><code>external-gw-nic</code>: The name of the NIC that performs the role of a gateway on the node.</li> <li><code>external-gw-addr</code>: The IP and mask of the physical network gateway.</li> <li><code>nic-ip</code>,<code>nic-mac</code>: The IP and Mac assigned to the logical gateway port needs to be an unoccupied IP and Mac for the physical subnet.</li> </ul>"},{"location":"en/guide/eip-snat/#confirm-the-configuration-take-effect","title":"Confirm the Configuration Take Effect","text":"<p>Check the OVN-NB status to confirm that the <code>ovn-external</code> logical switch exists and that the correct address and chassis are bound to the <code>ovn-cluster-ovn-external</code> logical router port.</p> <pre><code># kubectl ko nbctl show\nswitch 3de4cea7-1a71-43f3-8b62-435a57ef16a6 (ovn-external)\n    port ln-ovn-external\n        type: localnet\n        addresses: [\"unknown\"]\n    port ovn-external-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-external\nrouter e1eb83ad-34be-4ed5-9a02-fcc8b1d357c4 (ovn-cluster)\n    port ovn-cluster-ovn-external\n        mac: \"ac:1f:6b:2d:33:f1\"\n        networks: [\"172.56.0.100/16\"]\n        gateway chassis: [a5682814-2e2c-46dd-9c1c-6803ef0dab66]\n</code></pre> <p>Check the OVS status to confirm that the corresponding NIC is bridged into the <code>br-external</code> bridge:</p> <pre><code># kubectl ko vsctl ${gateway node name} show\ne7d81150-7743-4d6e-9e6f-5c688232e130\n    Bridge br-external\n        Port br-external\n            Interface br-external\n                type: internal\n        Port eno2\n            Interface eno2\n        Port patch-ln-ovn-external-to-br-int\n            Interface patch-ln-ovn-external-to-br-int\n                type: patch\n                options: {peer=patch-br-int-to-ln-ovn-external}\n</code></pre>"},{"location":"en/guide/eip-snat/#config-eip-amd-snat-on-pod","title":"Config EIP amd SNAT on Pod","text":"<p>SNAT and EIP can be configured by adding the <code>ovn.kubernetes.io/snat</code> or <code>ovn.kubernetes.io/eip</code> annotation to the Pod, respectively:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: pod-gw\n  annotations:\n    ovn.kubernetes.io/snat: 172.56.0.200\nspec:\n  containers:\n  - name: snat-pod\n    image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: pod-gw\n  annotations:\n    ovn.kubernetes.io/eip: 172.56.0.233\nspec:\n  containers:\n  - name: eip-pod\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>The EIP or SNAT rules configured by the Pod can be dynamically adjusted via kubectl or other tools, remember to remove the <code>ovn.kubernetes.io/routed</code> annotation to trigger the routing change.</p> <pre><code>kubectl annotate pod pod-gw ovn.kubernetes.io/eip=172.56.0.221 --overwrite\nkubectl annotate pod pod-gw ovn.kubernetes.io/routed-\n</code></pre> <p>When the EIP or SNAT takes into effect, the <code>ovn.kubernetes.io/routed</code> annotation will be added back.</p>"},{"location":"en/guide/eip-snat/#advanced-configuration","title":"Advanced Configuration","text":"<p>Some args of <code>kube-ovn-controller</code> allow for advanced configuration of SNAT and EIP:</p> <ul> <li><code>--external-gateway-config-ns</code>: The Namespace of Configmap <code>ovn-external-gw-config</code>, default is <code>kube-system</code>\u3002</li> <li><code>--external-gateway-net</code>: The name of the bridge to which the physical NIC is bridged, default is <code>external</code>.</li> <li><code>--external-gateway-vlanid</code>: Physical network Vlan Tag number, default is 0, i.e. no Vlan is used.</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/ip/","title":"Reserved IP for Specific Resources","text":"<p>IP is used to maintain the IP address of Pod or VirtualMachine (VM). The lifecycle maintenance of IP includes the following business scenarios:</p> <ul> <li> <ol> <li>IP is created with Pod and deleted with Pod.</li> </ol> </li> <li> <ol> <li>VM IP is retained by configuring ENABLE_KEEP_VM_IP. This type of IP is created with VM Pod, but not deleted with VM Pod.</li> </ol> </li> <li> <ol> <li>Statefulset Pod IP will automatically decide whether to retain Pod IP based on the capacity of Statefulset and the sequence number of Pod.</li> </ol> </li> </ul> <p>In actual business use, it is often necessary to reserve IP resources in advance. The business scenarios for reserving IP include the following two types:</p> <ul> <li> <ol> <li>Pod or VM has been created and needs to reserve IP</li> </ol> </li> <li> <ol> <li>Pod or VM has not been created yet and needs to reserve IP</li> </ol> </li> </ul> <p>In the above scenarios, the naming correspondence between IP and Pod remains consistent:</p> <ul> <li>Naming format of Pod IP: Pod-name.Pod-namespace(.subnet-provider)</li> <li>Naming format of VM Pod IP: vm-name.Pod-namespace.(subnet-provider)</li> </ul> <p>If you are unsure about these parameters and just want to simply reserve IP, please use IP Pool.</p> <p>Specifically, this function is to reserve IP for specific Pod or VM. In the creation process of reserved IP, it is necessary to specify resource name, resource type, namespace, subnet and other necessary parameters. For fixed IP reservation, it is necessary to specify IP address and MAC address (if necessary).</p> <p>Note: The previous implementation of Pod using vip to occupy IP is deprecated. (These two functions overlap)</p>"},{"location":"en/guide/ip/#1-create-reserved-ip","title":"1. Create Reserved IP","text":"<ul> <li>Pod or VM has been created and needs to reserve IP</li> <li>Pod or VM has not been created yet and needs to reserve IP</li> </ul> <p>Reserving IP is just an extended function, which supports Pod to use the reserved IP, but the usage method, naming rules and business logic of IP created with Pod are consistent. Therefore, when creating a reserved IP, it is necessary to clearly know what resources will use this IP in the future, and the type, Pod name or VM name, namespace, subnet and other information must be accurately filled in. When using this IP, the business needs to verify whether the Pod and VM bound to the IP are consistent with the attributes of the IP itself, otherwise the Pod or VM cannot use this IP.</p> <p>The creation process of IP CR controller only handles the business scenario of reserving IP, and does not handle the IP resources created with Pod. In the process of IP resources created with Pod, the creation of LSP is before the creation of IP CR, so it can be judged based on whether LSP exists. In the processing process of IP CR controller, it will first judge whether LSP exists. If it exists, it will not handle this business logic: the business logic of IP created with Pod. The creation of reserved IP supports automatic allocation of IP and manual specification of IP. The creation process of IP will only implement IP occupation, but will not create LSP. The creation of LSP is still maintained in the process of Pod creation. The creation process of IP CR is just to reserve IP. This kind of IP will automatically add a keep-ip label, indicating that it is permanently reserved and will not be cleaned up with the deletion of Pod. This kind of reserved IP needs to be managed by the business or administrator, and GC will not automatically handle this IP.</p>"},{"location":"en/guide/ip/#11-auto-allocate-address-for-reserved-ip","title":"1.1 Auto Allocate Address for Reserved IP","text":"<p>If you just want to reserve some IPs and have no requirements for the IP address itself, you can use the following yaml to create:</p> <pre><code># cat 01-dynamic.yaml\n\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  name: vm-dynamic-01.default\nspec:\n  subnet: ovn-default\n  podType: \"VirtualMachine\"\n  namespace: default\n  podName: vm-dynamic-01\n</code></pre> <ul> <li><code>subnet</code>: The IP address is reserved from the Subnet.</li> <li><code>podType</code>: Used to specify the Owner type of the Pod: \"StatefulSet\", \"VirtualMachine\".</li> <li><code>podName</code>: Pod name or VirtualMachine name.</li> <li><code>namespace</code>: Used to specify the namespace where the IP resource resides\uff0cPod namespace or VirtualMachine namespace.</li> </ul> <p>Note: These IP properties are not allowed to change</p> <p>Query the IP address after the IP address is created:</p> <pre><code># kubectl get subnet ovn-default\nNAME          PROVIDER   VPC           PROTOCOL   CIDR           PRIVATE   NAT    DEFAULT   GATEWAYTYPE   V4USED   V4AVAILABLE   V6USED   V6AVAILABLE   EXCLUDEIPS      U2OINTERCONNECTIONIP\novn-default   ovn        ovn-cluster   IPv4       10.16.0.0/16   false     true   true      distributed   7        65526         0        0             [\"10.16.0.1\"]\n\n# kubectl get ip vm-dynamic-01.default -o yaml\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  annotations:\n    kubectl.kubernetes.io/last-applied-configuration: |\n      {\"apiVersion\":\"kubeovn.io/v1\",\"kind\":\"IP\",\"metadata\":{\"annotations\":{},\"name\":\"vm-dynamic-01.default\"},\"spec\":{\"namespace\":\"default\",\"podName\":\"vm-dynamic-01\",\"podType\":\"VirtualMachine\",\"subnet\":\"ovn-default\"}}\n  creationTimestamp: \"2024-01-29T03:05:40Z\"\n  finalizers:\n  - kube-ovn-controller\n  generation: 2\n  labels:\n    ovn.kubernetes.io/ip_reserved: \"true\" # reserved ip\n    ovn.kubernetes.io/node-name: \"\"\n    ovn.kubernetes.io/subnet: ovn-default\n  name: vm-dynamic-01.default\n  resourceVersion: \"1571\"\n  uid: 89d05a26-294a-450b-ab63-1eaa957984d7\nspec:\n  attachIps: []\n  attachMacs: []\n  attachSubnets: []\n  containerID: \"\"\n  ipAddress: 10.16.0.13\n  macAddress: 00:00:00:86:C6:36\n  namespace: default\n  nodeName: \"\"\n  podName: vm-dynamic-01\n  podType: VirtualMachine\n  subnet: ovn-default\n  v4IpAddress: 10.16.0.13\n  v6IpAddress: \"\"\n\n# kubectl ko nbctl show ovn-default | grep vm-dynamic-01.default\n# The reserved IP address is assigned only in the IPAM, and the LSP is not created. Therefore, you cannot view the IP address\n</code></pre>"},{"location":"en/guide/ip/#12-specifies-the-reserved-ip-address","title":"1.2 Specifies the reserved IP address","text":"<p>If there is a need for the IP address of the reserved IP, the following yaml can be used for fixed allocation:</p> <pre><code># cat  02-static.yaml\n\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  name: pod-static-01.default\nspec:\n  subnet: ovn-default\n  podType: \"\"\n  namespace: default\n  podName: pod-static-01\n  v4IpAddress: 10.16.0.3\n  v6IpAddress:\n\n# kubectl get ip pod-static-01.default -o yaml\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  annotations:\n    kubectl.kubernetes.io/last-applied-configuration: |\n      {\"apiVersion\":\"kubeovn.io/v1\",\"kind\":\"IP\",\"metadata\":{\"annotations\":{},\"name\":\"pod-static-01.default\"},\"spec\":{\"namespace\":\"default\",\"podName\":\"pod-static-01\",\"podType\":\"\",\"subnet\":\"ovn-default\",\"v4IpAddress\":\"10.16.0.3\",\"v6IpAddress\":null}}\n  creationTimestamp: \"2024-01-29T03:08:28Z\"\n  finalizers:\n  - kube-ovn-controller\n  generation: 2\n  labels:\n    ovn.kubernetes.io/ip_reserved: \"true\"\n    ovn.kubernetes.io/node-name: \"\"\n    ovn.kubernetes.io/subnet: ovn-default\n  name: pod-static-01.default\n  resourceVersion: \"1864\"\n  uid: 11fc767d-f57d-4520-89f9-448f9b272bca\nspec:\n  attachIps: []\n  attachMacs: []\n  attachSubnets: []\n  containerID: \"\"\n  ipAddress: 10.16.0.3\n  macAddress: 00:00:00:4D:B4:36\n  namespace: default\n  nodeName: \"\"\n  podName: pod-static-01\n  podType: \"\"\n  subnet: ovn-default\n  v4IpAddress: 10.16.0.3\n  v6IpAddress: \"\"\n</code></pre> <ul> <li><code>v4IpAddress</code>: Specify an IPv4 address that is within the CIDR range of the subnet.</li> <li><code>v6IpAddress</code>: Specify an IPv6 address that is within the CIDR range of the subnet.</li> </ul>"},{"location":"en/guide/ip/#pod-use-reserved-ip","title":"Pod use reserved IP","text":"<p>Note: The Pod(VMS) name and namespace must be the same as the reserved IP address, otherwise the Pod(VMS) cannot use the IP address.</p> <p>After a Pod or VM is deleted, the IP CR remains.</p> <pre><code>root@base:~/test/ip# kubectl get po -n default -o wide\nNAME            READY   STATUS    RESTARTS   AGE   IP          NODE              NOMINATED NODE   READINESS GATES\npod-static-01   1/1     Running   0          30s   10.16.0.3   kube-ovn-worker   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"en/guide/ip/#2-delete","title":"2. Delete","text":"<p>The kube-ovn-controller GC process does not clean up individual IP resources. To clear an IP address and its LSPS, delete the IP CR resource.</p> <p>The IP deletion process formats the ipam key and LSP name based on the podName, namespace, and subnet provider in the IP attribute, releases the IPAM slot, deletes the LSP, and clears the Finalizer of the IP.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/ippool/","title":"Configure IPPool","text":"<p>IPPool is a more granular IPAM management unit than Subnet. You can subdivide the subnet segment into multiple units through IPPool, and each unit is bound to one or more namespaces.</p>"},{"location":"en/guide/ippool/#instructions","title":"Instructions","text":"<p>Below is an example\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: IPPool\nmetadata:\n  name: pool-1\nspec:\n  subnet: ovn-default\n  ips:\n  - \"10.16.0.201\"\n  - \"10.16.0.210/30\"\n  - \"10.16.0.220..10.16.0.230\"\n  namespaces:\n  - ns-1\n</code></pre> <p>Field description:</p> Field Usage Comment subnet Specify the subnet to which it belongs Required ips Specify IP ranges Support three formats: ,  and ... Support IPv6. namespaces Specifies the bound namespaces Optional"},{"location":"en/guide/ippool/#precautions","title":"Precautions","text":"<ol> <li>To ensure compatibility with Workload Universal IP Pool Fixed Address, the name of the IP pool cannot be an IP address;</li> <li>The <code>.spec.ips</code> of the IP pool can specify an IP address beyond the scope of the subnet, but the actual effective IP address is the intersection of <code>.spec.ips</code> and the CIDR of the subnet;</li> <li>Different IP pools of the same subnet cannot contain the same (effective) IP address;</li> <li>The <code>.spec.ips</code> of the IP pool can be modified dynamically;</li> <li>The IP pool will inherit the reserved IP of the subnet. When randomly assigning an IP address from the IP pool, the reserved IP included in the IP pool will be skipped;</li> <li>When randomly assigning an IP address from a subnet, it will only be assigned from a range other than all IP pools in the subnet.</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/loadbalancer-service/","title":"LoadBalancer Type Service","text":"<p>Kube-OVN supports the implementation of VPC and VPC gateway. For specific configurations, please refer to the VPC configuration.</p> <p>Due to the complexity of using VPC gateways, the implementation based on VPC gateways has been simplified. It supports creating LoadBalancer type Services in the default VPC, allowing access to Services in the default VPC through LoadBalancerIP.</p> <p>First, make sure the following conditions are met in the environment:</p> <ol> <li>Install <code>multus-cni</code> and <code>macvlan cni</code>\u3002</li> <li>LoadBalancer Service support relies on simplified implementation of VPC gateway code, still utilizing the vpc-nat-gw image and depending on macvlan for multi-interface functionality support.</li> <li>Currently, it only supports configuration in the default VPC. Support for LoadBalancers in custom VPCs can be referred to in the VPC configuration.</li> </ol>"},{"location":"en/guide/loadbalancer-service/#steps-to-configure-default-vpc-loadbalancer-service","title":"Steps to Configure Default VPC LoadBalancer Service","text":""},{"location":"en/guide/loadbalancer-service/#enable-feature-flag","title":"Enable Feature Flag","text":"<p>Modify the deployment <code>kube-ovn-controller</code> under the kube-system namespace and add the parameter <code>--enable-lb-svc=true</code> to the <code>args</code> section to enable the feature (by default it's set to false).</p> <pre><code>containers:\n- args:\n  - /kube-ovn/start-controller.sh\n  - --default-cidr=10.16.0.0/16\n  - --default-gateway=10.16.0.1\n  - --default-gateway-check=true\n  - --enable-lb-svc=true                  // parameter is set to true\n</code></pre>"},{"location":"en/guide/loadbalancer-service/#create-networkattachmentdefinition-crd-resource","title":"Create NetworkAttachmentDefinition CRD Resource","text":"<p>Refer to the following YAML and create the <code>net-attach-def</code> resource:</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: lb-svc-attachment\n  namespace: kube-system\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth0\",                            //Physical network card, configure according to the actual situation\n      \"mode\": \"bridge\"\n    }'\n</code></pre> <p>By default, the physical NIC <code>eth0</code> is used to implement the multi-interface functionality. If another physical NIC is needed, modify the <code>master</code> value to specify the name of the desired physical NIC.</p>"},{"location":"en/guide/loadbalancer-service/#create-subnet","title":"Create Subnet","text":"<p>The created Subnet is used to allocate LoadBalancerIP for the LoadBalancer Service, which should normally  be accessible from outside the cluster. An Underlay Subnet can be configured for address allocation.</p> <p>Refer to the following YAML to create a new subnet:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attach-subnet\nspec:\n  protocol: IPv4\n  provider: lb-svc-attachment.kube-system          //The provider format is fixed and consists of the Name.Namespace of the net-attach-def resource created in the previous step\n  cidrBlock: 172.18.0.0/16\n  gateway: 172.18.0.1\n  excludeIps:\n  - 172.18.0.0..172.18.0.10\n</code></pre> <p>In the <code>provider</code> parameter of the Subnet, <code>ovn</code> or <code>.ovn</code> suffix is used to indicate that the subnet is managed by Kube-OVN and requires corresponding logical switch records to be created.</p> <p>If <code>provider</code> is neither <code>ovn</code> nor ends with <code>.ovn</code>, Kube-OVN only provides the IPAM functionality to record IP address allocation without handling business logic for the subnet.</p>"},{"location":"en/guide/loadbalancer-service/#create-loadbalancer-service","title":"Create LoadBalancer Service","text":"<p>Refer to the following YAML to create a LoadBalancer Service:</p> <pre><code>apiVersion: v1\nkind: Service\nmetadata:\n   annotations:\n     lb-svc-attachment.kube-system.kubernetes.io/logical_switch: attach-subnet #Optional\n     ovn.kubernetes.io/attachmentprovider: lb-svc-attachment.kube-system #Required\n   labels:\n     app: dynamic\n   name: test-service\n   namespace: default\nspec:\n   loadBalancerIP: 172.18.0.18 #Optional\n   ports:\n     - name: test\n       protocol: TCP\n       port: 80\n       targetPort: 80\n   selector:\n     app: dynamic\n   sessionAffinity: None\n   type: LoadBalancer\n</code></pre> <p>In the yaml, the annotation <code>ovn.kubernetes.io/attachmentprovider</code> is required, and its value is composed of the Name.Namespace of the <code>net-attach-def</code> resource created in the first step. This annotation is used to find the <code>net-attach-def</code> resources when creating Pods.</p> <p>The subnet used for multi-interface address allocation can be specified through an annotation. The annotation key format is <code>net-attach-def</code> resource's <code>Name.Namespace.kubernetes.io/logical_switch</code>. This configuration is <code>optional</code> and if LoadBalancerIP address is not specified, addresses will be dynamically allocated from this subnet and filled into the LoadBalancerIP field.</p> <p>If a static LoadBalancerIP address is required, the <code>spec.loadBalancerIP</code> field can be configured. The address must be within the specified subnet's address range.</p> <p>After creating the Service using the YAML, you can see the Pod startup information in the same namespace as the Service:</p> <pre><code># kubectl get pod\nNAME READY STATUS RESTARTS AGE\nlb-svc-test-service-6869d98dd8-cjvll 1/1 Running 0 107m\n# kubectl get svc\nNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE\ntest-service LoadBalancer 10.109.201.193 172.18.0.18 80:30056/TCP 107m\n</code></pre> <p>When specifying the <code>service.spec.loadBalancerIP</code> parameter, it will be assigned to the service's external IP field. If not specified, the parameter will be assigned a random value.</p> <p>View the YAML output of the test Pod to see the assigned multi-interface addresses:</p> <pre><code># kubectl get pod -o yaml lb-svc-test-service-6869d98dd8-cjvll\napiVersion: v1\nkind: Pod\nmetadata:\n   annotations:\n     k8s.v1.cni.cncf.io/network-status: |-\n       [{\n           \"name\": \"kube-ovn\",\n           \"ips\": [\n               \"10.16.0.2\"\n           ],\n           \"default\": true,\n           \"dns\": {}\n       },{\n           \"name\": \"default/test-service\",\n           \"interface\": \"net1\",\n           \"mac\": \"ba:85:f7:02:9f:42\",\n           \"dns\": {}\n       }]\n     k8s.v1.cni.cncf.io/networks: default/test-service\n     k8s.v1.cni.cncf.io/networks-status: |-\n       [{\n           \"name\": \"kube-ovn\",\n           \"ips\": [\n               \"10.16.0.2\"\n           ],\n           \"default\": true,\n           \"dns\": {}\n       },{\n           \"name\": \"default/test-service\",\n           \"interface\": \"net1\",\n           \"mac\": \"ba:85:f7:02:9f:42\",\n           \"dns\": {}\n       }]\n     ovn.kubernetes.io/allocated: \"true\"\n     ovn.kubernetes.io/cidr: 10.16.0.0/16\n     ovn.kubernetes.io/gateway: 10.16.0.1\n     ovn.kubernetes.io/ip_address: 10.16.0.2\n     ovn.kubernetes.io/logical_router: ovn-cluster\n     ovn.kubernetes.io/logical_switch: ovn-default\n     ovn.kubernetes.io/mac_address: 00:00:00:45:F4:29\n     ovn.kubernetes.io/pod_nic_type: veth-pair\n     ovn.kubernetes.io/routed: \"true\"\n     test-service.default.kubernetes.io/allocated: \"true\"\n     test-service.default.kubernetes.io/cidr: 172.18.0.0/16\n     test-service.default.kubernetes.io/gateway: 172.18.0.1\n     test-service.default.kubernetes.io/ip_address: 172.18.0.18\n     test-service.default.kubernetes.io/logical_switch: attach-subnet\n     test-service.default.kubernetes.io/mac_address: 00:00:00:AF:AA:BF\n     test-service.default.kubernetes.io/pod_nic_type: veth-pair\n</code></pre> <p>Check the service information:</p> <pre><code># kubectl get svc -o yaml test-service\napiVersion: v1\nkind: Service\nmetadata:\n   annotations:\n     kubectl.kubernetes.io/last-applied-configuration: |\n       {\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{\"test-service.default.kubernetes.io/logical_switch\":\"attach-subnet\"},\"labels \":{\"app\":\"dynamic\"},\"name\":\"test-service\",\"namespace\":\"default\"},\"spec\":{\"ports\":[{\"name\":\"test\", \"port\":80,\"protocol\":\"TCP\",\"targetPort\":80}],\"selector\":{\"app\":\"dynamic\"},\"sessionAffinity\":\"None\",\"type\":\"LoadBalancer \"}}\n     ovn.kubernetes.io/vpc:ovn-cluster\n     test-service.default.kubernetes.io/logical_switch: attach-subnet\n   creationTimestamp: \"2022-06-15T09:01:58Z\"\n   labels:\n     app: dynamic\n   name: test-service\n   namespace: default\n   resourceVersion: \"38485\"\n   uid: 161edee1-7f6e-40f5-9e09-5a52c44267d0\nspec:\n   allocateLoadBalancerNodePorts: true\n   clusterIP: 10.109.201.193\n   clusterIPs:\n   - 10.109.201.193\n   externalTrafficPolicy: Cluster\n   internalTrafficPolicy: Cluster\n   ipFamilies:\n   - IPv4\n   ipFamilyPolicy: SingleStack\n   ports:\n   - name: test\n     nodePort: 30056\n     port: 80\n     protocol: TCP\n     targetPort: 80\n   selector:\n     app: dynamic\n   sessionAffinity: None\n   type: LoadBalancer\nstatus:\n   loadBalancer:\n     ingress:\n     - ip: 172.18.0.18\n</code></pre>"},{"location":"en/guide/loadbalancer-service/#testing-loadbalancerip-access","title":"Testing LoadBalancerIP access","text":"<p>Refer to the following YAML to create a test Pod that serves as the Endpoints for the Service:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: dynamic\n  name: dynamic\n  namespace: default\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: dynamic\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      creationTimestamp: null\n      labels:\n        app: dynamic\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n      dnsPolicy: ClusterFirst\n      restartPolicy: Always\n</code></pre> <p>Under normal circumstances, the provided subnet addresses should be accessible from outside the cluster. To verify, access the Service's <code>LoadBalancerIP:Port</code> from within the cluster and check if the access is successful.</p> <pre><code># curl 172.18.0.11:80\n&lt;html&gt;\n&lt;head&gt;\n        &lt;title&gt;Hello World!&lt;/title&gt;\n        &lt;link href='//fonts.googleapis.com/css?family=Open+Sans:400,700' rel='stylesheet' type='text/css'&gt;\n        &lt;style&gt;\n        body {\n                background-color: white;\n                text-align: center;\n                padding: 50px;\n                font-family: \"Open Sans\",\"Helvetica Neue\",Helvetica,Arial,sans-serif;\n        }\n        #logo {\n                margin-bottom: 40px;\n        }\n        &lt;/style&gt;\n&lt;/head&gt;\n&lt;body&gt;\n                &lt;h1&gt;Hello World!&lt;/h1&gt;\n                                &lt;h3&gt;Links found&lt;/h3&gt;\n        &lt;h3&gt;I am on  dynamic-7d8d7874f5-hsgc4&lt;/h3&gt;\n        &lt;h3&gt;Cookie                  =&lt;/h3&gt;\n                                        &lt;b&gt;KUBERNETES&lt;/b&gt; listening in 443 available at tcp://10.96.0.1:443&lt;br /&gt;\n                                                &lt;h3&gt;my name is hanhouchao!&lt;/h3&gt;\n                        &lt;h3&gt; RequestURI='/'&lt;/h3&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre> <p>Enter the Pod created by the Service and check the network information:</p> <pre><code># ip a\n4: net1@if62: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether ba:85:f7:02:9f:42 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 172.18.0.18/16 scope global net1\n       valid_lft forever preferred_lft forever\n    inet6 fe80::b885:f7ff:fe02:9f42/64 scope link\n       valid_lft forever preferred_lft forever\n36: eth0@if37: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1400 qdisc noqueue state UP group default\n    link/ether 00:00:00:45:f4:29 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 10.16.0.2/16 brd 10.16.255.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe45:f429/64 scope link\n       valid_lft forever preferred_lft forever\n\n# ip rule\n0: from all lookup local\n32764: from all iif eth0 lookup 100\n32765: from all iif net1 lookup 100\n32766: from all lookup main\n32767: from all lookup default\n\n# ip route show table 100\ndefault via 172.18.0.1 dev net1\n10.109.201.193 via 10.16.0.1 dev eth0\n172.18.0.0/16 dev net1 scope link\n\n# iptables -t nat -L -n -v\nChain PREROUTING (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            172.18.0.18          tcp dpt:80 to:10.109.201.193:80\n\nChain INPUT (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n\nChain OUTPUT (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n\nChain POSTROUTING (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n    0     0 MASQUERADE  all  --  *      *       0.0.0.0/0            10.109.201.193\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/mirror/","title":"Traffic Mirror","text":"<p>The traffic mirroring feature allows packets to and from the container network to be copied to a specific NIC of the host. Administrators or developers can listen to this NIC to get the complete container network traffic for further analysis, monitoring, security auditing and other operations. It can also be integrated with traditional NPM for more fine-grained traffic visibility.</p> <p>The traffic mirroring feature introduces some performance loss, with an additional CPU consumption of 5% to 10% depending on CPU performance and traffic characteristics.</p> <p></p>"},{"location":"en/guide/mirror/#global-traffic-mirroring-settings","title":"Global Traffic Mirroring Settings","text":"<p>The traffic mirroring is disabled by default, please modify the args of <code>kube-ovn-cni</code> DaemonSet to enable it:</p> <ul> <li><code>--enable-mirror=true</code>: Whether to enable traffic mirroring.</li> <li><code>--mirror-iface=mirror0</code>: The name of the NIC that the traffic mirror is copied to. This NIC can be a physical NIC that already exists on the host machine.   At this point the NIC will be bridged into the br-int bridge and the mirrored traffic will go directly to the underlying switch.   If the NIC name does not exist, Kube-OVN will automatically create a virtual NIC with the same name, through which the administrator or developer can access all traffic on the current node on the host.   The default is <code>mirror0</code>.</li> </ul> <p>Next, you can listen to the traffic on <code>mirror0</code> with tcpdump or other traffic analysis tools.</p> <pre><code>tcpdump -ni mirror0\n</code></pre>"},{"location":"en/guide/mirror/#pod-level-mirroring-settings","title":"Pod Level Mirroring Settings","text":"<p>If you only need to mirror some Pod traffic, you need to disable the global traffic mirroring and then add the <code>ovn.kubernetes.io/mirror</code> annotation on a specific Pod to enable Pod-level traffic mirroring.</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: mirror-pod\n  namespace: ls1\n  annotations:\n    ovn.kubernetes.io/mirror: \"true\"\nspec:\n  containers:\n  - name: mirror-pod\n    image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"en/guide/mirror/#performance-test","title":"Performance Test","text":"<p>Test on the same environment with the traffic mirroring switch on and off, respectively</p>"},{"location":"en/guide/mirror/#enable-traffic-mirroring","title":"Enable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 12.7 us 289 Mbits/sec 12.6 us (1.8%) 77.9 Mbits/sec 128 15.5 us 517 Mbits/sec 12.7 us (0%) 155 Mbits/sec 512 12.2 us 1.64 Gbits/sec 12.4 us (0%) 624 Mbits/sec 1k 13 us 2.96 Gbits/sec 11.4 us (0.53%) 1.22 Gbits/sec 4k 18 us 7.67 Gbits/sec 25.7 us (0.41%) 1.50 Gbits/sec"},{"location":"en/guide/mirror/#disable-traffic-mirroring","title":"Disable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 11.9 us 324 Mbits/sec 12.2 us (0.22%) 102 Mbits/sec 128 10.5 us 582 Mbits/sec 9.5 us (0.21%) 198 Mbits/sec 512 11.6 us 1.84 Gbits/sec 9.32 us (0.091%) 827 Mbits/sec 1k 10.5 us 3.44 Gbits/sec 10 us (1.2%) 1.52 Gbits/sec 4k 16.7 us 8.52 Gbits/sec 18.2 us (1.3%) 2.42 Gbits/sec"},{"location":"en/guide/mirror/#enable-traffic-mirroring_1","title":"Enable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 258 us 143 Mbits/sec 237 us (61%) 28.5 Mbits/sec 128 240 us 252 Mbits/sec 231 us (64%) 54.9 Mbits/sec 512 236 us 763 Mbits/sec 256 us (68%) 194 Mbits/sec 1k 242 us 969 Mbits/sec 225 us (62%) 449 Mbits/sec 4k 352 us 1.12 Gbits/sec 382 us (0.71%) 21.4 Mbits/sec"},{"location":"en/guide/mirror/#disable-traffic-mirroring_1","title":"Disable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 278 us 140 Mbits/sec 227 us (24%) 59.6 Mbits/sec 128 249 us 265 Mbits/sec 265 us (23%) 114 Mbits/sec 512 233 us 914 Mbits/sec 235 us (21%) 468 Mbits/sec 1k 238 us 1.14 Gbits/sec 240 us (15%) 891 Mbits/sec 4k 370 us 1.25 Gbits/sec 361 us (0.43%) 7.54 Mbits/sec"},{"location":"en/guide/mirror/#enable-traffic-mirroring_2","title":"Enable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 205 us 162 Mbits/sec 183 us (11%) 74.2 Mbits/sec 128 222 us 280 Mbits/sec 206 us (6.3%) 155 Mbits/sec 512 220 us 1.04 Gbits/sec 177 us (20%) 503 Mbits/sec 1k 213 us 2.06 Gbits/sec 201 us (8.6%) 1.14 Gbits/sec 4k 280 us 5.01 Gbits/sec 315 us (37%) 1.20 Gbits/sec"},{"location":"en/guide/mirror/#disable-traffic-mirroring_2","title":"Disable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 204 us 157 Mbits/sec 204 us (8.8%) 81.9 Mbits/sec 128 213 us 262 Mbits/sec 225 us (19%) 136 Mbits/sec 512 220 us 1.02 Gbits/sec 227 us (21%) 486 Mbits/sec 1k 217 us 1.79 Gbits/sec 218 us (29%) 845 Mbits/sec 4k 275 us 5.27 Gbits/sec 336 us (34%) 1.21 Gbits/sec"},{"location":"en/guide/mirror/#enable-traffic-mirroring_3","title":"Enable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 12.2 us 295 Mbits/sec 12.7 us (0.27%) 74.1 Mbits/sec 128 14.1 us 549 Mbits/sec 10.6 us (0.41%) 153 Mbits/sec 512 13.5 us 1.83 Gbits/sec 12.7 us (0.23%) 586 Mbits/sec 1k 12 us 2.69 Gbits/sec 13 us (1%) 1.16 Gbits/sec 4k 18.9 us 4.51 Gbits/sec 21.8 us (0.42%) 1.81 Gbits/sec"},{"location":"en/guide/mirror/#disable-traffic-mirroring_3","title":"Disable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 10.4 us 335 Mbits/sec 12.2 us (0.75%) 95.4 Mbits/sec 128 12.1 us 561 Mbits/sec 11.3 us (0.25%) 194 Mbits/sec 512 11.6 us 1.87 Gbits/sec 10.7 us (0.66%) 745 Mbits/sec 1k 12.7 us 3.12 Gbits/sec 10.9 us (1.2%) 1.46 Gbits/sec 4k 16.5 us 8.23 Gbits/sec 17.9 us (1.5%) 2.51 Gbits/sec"},{"location":"en/guide/mirror/#enable-traffic-mirroring_4","title":"Enable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 234 us 153 Mbits/sec 232 us (63%) 29.4 Mbits/sec 128 237 us 261 Mbits/sec 238 us (49%) 76.1 Mbits/sec 512 231 us 701 Mbits/sec 238 us (57%) 279 Mbits/sec 1k 256 us 1.05 Gbits/sec 228 us (56%) 524 Mbits/sec 4k 330 us 1.08 Gbits/sec 359 us (1.5%) 35.7 Mbits/sec"},{"location":"en/guide/mirror/#disable-traffic-mirroring_4","title":"Disable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 283 us 141 Mbits/sec 230 us (26%) 55.8 Mbits/sec 128 234 us 255 Mbits/sec 234 us (25%) 113 Mbits/sec 512 246 us 760 Mbits/sec 234 us (22%) 458 Mbits/sec 1k 268 us 1.23 Gbits/sec 242 us (20%) 879 Mbits/sec 4k 326 us 1.20 Gbits/sec 369 us (0.5%) 7.87 Mbits/sec"},{"location":"en/guide/mirror/#enable-traffic-mirroring_5","title":"Enable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 237 us 133 Mbits/sec 213 us (65%) 25.5 Mbits/sec 128 232 us 271 Mbits/sec 222 us (62%) 54.8 Mbits/sec 512 266 us 800 Mbits/sec 234 us (60%) 232 Mbits/sec 1k 248 us 986 Mbits/sec 239 us (50%) 511 Mbits/sec 4k 314 us 1.03 Gbits/sec 367 us (0.6%) 13.2 Mbits/sec TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14305.17 0.87ms 1.48ms 24.46ms 100 29082.07 3.87ms 4.35ms 102.85ms"},{"location":"en/guide/mirror/#disable-traffic-mirroring_5","title":"Disable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 241 us 145 Mbits/sec 225 us (19%) 60.2 Mbits/sec 128 245 us 261 Mbits/sec 212 us (15%) 123 Mbits/sec 512 252 us 821 Mbits/sec 219 us (14%) 499 Mbits/sec 1k 253 us 1.08 Gbits/sec 242 us (16%) 852 Mbits/sec 4k 320 us 1.32 Gbits/sec 360 us (0.47%) 6.70 Mbits/sec TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 13634.07 0.96ms 1.72ms 30.07ms 100 30215.23 3.59ms 3.20ms 77.56ms"},{"location":"en/guide/mirror/#enable-traffic-mirroring_6","title":"Enable traffic mirroring","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14802.73 0.88ms 1.66ms 31.49ms 100 29809.58 3.78ms 4.12ms 105.34ms"},{"location":"en/guide/mirror/#disable-traffic-mirroring_6","title":"Disable traffic mirroring","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14273.33 0.90ms 1.60ms 37.16ms 100 30757.81 3.62ms 3.41ms 59.78ms"},{"location":"en/guide/mirror/#enable-traffic-mirroring_7","title":"Enable traffic mirroring","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 15402.39 802.50us 1.42ms 30.91ms 100 29424.66 4.05ms 4.31ms 90.60ms"},{"location":"en/guide/mirror/#disable-traffic-mirroring_7","title":"Disable traffic mirroring","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14649.21 0.91ms 1.72ms 43.92ms 100 32143.61 3.66ms 3.76ms 67.02ms <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/networkpolicy-log/","title":"NetworkPolicy Logging","text":"<p>NetworkPolicy is a interface provided by Kubernetes and implemented by Kube-OVN through OVN's ACLs. With NetworkPolicy, if the networks are down, it is difficult to determine whether it is caused by a network failure or a NetworkPolicy rule problem. Kube-OVN provides NetworkPolicy logging to help administrators quickly locate whether a NetworkPolicy drop rule has been hit, and to record the illegal accesses.</p> <p>Once NetworkPolicy logging is turned on, logs need to be printed for every packet that hits a Drop rule, which introduces additional performance overhead. Under a malicious attack, a large number of logs in a short period of time may exhaust the CPU. We recommend turning off logging by default in production environments and dynamically turning it on when you need to troubleshoot problems.</p>"},{"location":"en/guide/networkpolicy-log/#enable-networkpolicy-logging","title":"Enable NetworkPolicy Logging","text":"<p>Add the annotation <code>ovn.kubernetes.io/enable_log</code> to the NetworkPolicy where logging needs to be enabled, as follows:</p> <pre><code>apiVersion: networking.k8s.io/v1\nkind: NetworkPolicy\nmetadata:\n  name: default-deny-ingress\n  namespace: kube-system\n  annotations:\n    ovn.kubernetes.io/enable_log: \"true\"\nspec:\n  podSelector: {}\n  policyTypes:\n  - Ingress\n</code></pre> <p>Next, you can observe the log of dropped packets in <code>/var/log/ovn/ovn-controller.log</code> on the host of the corresponding Pod:</p> <pre><code># tail -f /var/log/ovn/ovn-controller.log\n2022-07-20T05:55:03.229Z|00394|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=54343,tp_dst=53\n2022-07-20T05:55:06.229Z|00395|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=44187,tp_dst=53\n2022-07-20T05:55:08.230Z|00396|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=54274,tp_dst=53\n2022-07-20T05:55:11.231Z|00397|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=32778,tp_dst=53\n2022-07-20T05:55:11.231Z|00398|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=34188,tp_dst=53\n2022-07-20T05:55:13.231Z|00399|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=43290,tp_dst=53\n2022-07-20T05:55:22.096Z|00400|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n2022-07-20T05:55:22.097Z|00401|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n2022-07-20T05:55:22.098Z|00402|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n</code></pre>"},{"location":"en/guide/networkpolicy-log/#disable-networkpolicy-logging","title":"Disable NetworkPolicy Logging","text":"<p>Set annotation <code>ovn.kubernetes.io/enable_log</code> in the corresponding NetworkPolicy to <code>false</code> to disable NetworkPolicy logging:</p> <pre><code>kubectl annotate networkpolicy -n kube-system default-deny-ingress ovn.kubernetes.io/enable_log=false --overwrite\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/prometheus-grafana/","title":"Monitor and Dashboard","text":"<p>Kube-OVN can export network control plane information and network data plane quality information metrics to the external in formats supported by Prometheus.</p> <p>We use the CRD provided by kube-prometheus to define the corresponding Prometheus monitoring rules. For all monitoring metrics supported by Kube-OVN, please refer to Kube-OVN Monitoring Metrics.</p> <p>If you are using native Prometheus, please refer to Configuring Native Prometheus for configuration.</p>"},{"location":"en/guide/prometheus-grafana/#install-prometheus-monitor","title":"Install Prometheus Monitor","text":"<p>Kube-OVN uses Prometheus Monitor CRD to manage the monitoring output.</p> <pre><code># network quality related monitoring metrics\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/pinger-monitor.yaml\n# kube-ovn-controller metrics\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/controller-monitor.yaml\n# kube-ovn-cni metrics\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/cni-monitor.yaml\n# ovn metrics\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovn-monitor.yaml\n</code></pre> <p>The default interval for Prometheus pull is 15s, if you need to adjust it, modify the <code>interval</code> value in yaml.</p>"},{"location":"en/guide/prometheus-grafana/#import-grafana-dashboard","title":"Import Grafana Dashboard","text":"<p>Kube-OVN provides a predefined Grafana Dashboard to display control plane and data plane related metrics.</p> <p>Download the corresponding Dashboard template:</p> <pre><code># network quality related monitoring dashboard\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/pinger-grafana.json\n# kube-ovn-controller dashboard\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/controller-grafana.json\n# kube-ovn-cni dashboard\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/cni-grafana.json\n# ovn dashboard\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovn-grafana.json\n# ovs dashboard\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovs-grafana.json\n</code></pre> <p>Import these templates into Grafana and set the data source to the corresponding Prometheus to see the following Dashboards.</p> <p><code>kube-ovn-controller</code> dashboard:</p> <p></p> <p><code>kube-ovn-pinger</code> dashboard:</p> <p></p> <p><code>kube-ovn-cni</code> dashboard:</p> <p></p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/prometheus/","title":"Config Native Prometheus","text":"<p>Kube-OVN provides rich monitoring data for OVN/OVS health status checks and connectivity checks of container and host networks, and Kube-OVN is configured with ServiceMonitor for Prometheus to dynamically obtain monitoring metrics.</p> <p>In some cases, where only Prometheus Server is installed and no other components are installed, you can dynamically obtain monitoring data for the cluster environment by modifying the configuration of Prometheus.</p>"},{"location":"en/guide/prometheus/#config-prometheus","title":"Config Prometheus","text":"<p>The following configuration documentation, referenced from Prometheus Service Discovery.</p>"},{"location":"en/guide/prometheus/#permission-configuration","title":"Permission Configuration","text":"<p>Prometheus is deployed in the cluster and needs to access the k8s apiserver to query the monitoring data of the containers.</p> <p>Refer to the following yaml to configure the permissions required by Prometheus:</p> <pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  name: prometheus\nrules:\n- apiGroups: [\"\"]\n  resources:\n  - nodes\n  - nodes/proxy\n  - services\n  - endpoints\n  - pods\n  verbs: [\"get\", \"list\", \"watch\"]\n- apiGroups:\n  - extensions\n  resources:\n  - ingresses\n  verbs: [\"get\", \"list\", \"watch\"]\n- nonResourceURLs: [\"/metrics\"]\n  verbs: [\"get\"]\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: prometheus\n  namespace: default\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  name: prometheus\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: prometheus\nsubjects:\n- kind: ServiceAccount\n  name: prometheus\n  namespace: default\n</code></pre>"},{"location":"en/guide/prometheus/#prometheus-configmap","title":"Prometheus ConfigMap","text":"<p>The startup of Prometheus relies on the configuration file prometheus.yml, the contents of which can be configured in ConfigMap and dynamically mounted to the Pod.</p> <p>Create the ConfigMap file used by Prometheus by referring to the following yaml:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: prometheus-config\ndata:\n  prometheus.yml: |-\n    global:\n      scrape_interval:     15s \n      evaluation_interval: 15s\n    scrape_configs:\n    - job_name: 'prometheus'\n      static_configs:\n      - targets: ['localhost:9090']\n\n    - job_name: 'kubernetes-nodes'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: node\n\n    - job_name: 'kubernetes-service'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: service\n\n    - job_name: 'kubernetes-endpoints'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: endpoints\n\n    - job_name: 'kubernetes-ingress'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: ingress\n\n    - job_name: 'kubernetes-pods'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: pod\n</code></pre> <p>Prometheus provides role-based querying of Kubernetes resource monitoring operations, which can be configured in the official documentation kubernetes_sd_config\u3002</p>"},{"location":"en/guide/prometheus/#deploy-prometheus","title":"Deploy Prometheus","text":"<p>Deploy Prometheus Server by referring to the following yaml:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: prometheus\n  name: prometheus\n  namespace: default\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: prometheus\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      labels:\n        app: prometheus\n    spec:\n      serviceAccountName: prometheus\n      serviceAccount: prometheus\n      containers:\n      - image: docker.io/prom/prometheus:latest\n        imagePullPolicy: IfNotPresent\n        name: prometheus\n        command:\n        - \"/bin/prometheus\"\n        args:\n        - \"--config.file=/etc/prometheus/prometheus.yml\"\n        ports:\n        - containerPort: 9090\n          protocol: TCP\n        volumeMounts:\n        - mountPath: \"/etc/prometheus\"\n          name: prometheus-config\n      volumes:\n      - name: prometheus-config\n        configMap:\n          name: prometheus-config\n</code></pre> <p>Deploy Prometheus Service by referring to the following yaml:</p> <pre><code>kind: Service\napiVersion: v1\nmetadata:\n  name: prometheus\n  namespace: default\n  labels:\n    name: prometheus\nspec:\n  ports:\n    - name: test\n      protocol: TCP\n      port: 9090\n      targetPort: 9090\n  type: NodePort\n  selector:\n    app: prometheus\n  sessionAffinity: None\n</code></pre> <p>After exposing Prometheus through NodePort, Prometheus can be accessed through the node address.</p>"},{"location":"en/guide/prometheus/#prometheus-metrics-config","title":"Prometheus Metrics Config","text":"<p>View information about Prometheus on the environment:</p> <pre><code># kubectl get svc \nNAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE\nkubernetes   ClusterIP   10.4.0.1       &lt;none&gt;        443/TCP          8d\nprometheus   NodePort    10.4.102.222   &lt;none&gt;        9090:32611/TCP   8d\n# kubectl get pod -o wide\nNAME                          READY   STATUS    RESTARTS   AGE    IP          NODE              NOMINATED NODE   READINESS GATES\nprometheus-7544b6b84d-v9m8s   1/1     Running   0          3d5h   10.3.0.7    192.168.137.219   &lt;none&gt;           &lt;none&gt;\n# kubectl get endpoints -o wide\nNAME         ENDPOINTS                                                        AGE\nkubernetes   192.168.136.228:6443,192.168.136.232:6443,192.168.137.219:6443   8d\nprometheus   10.3.0.7:9090                                                    8d\n</code></pre> <p>Access Prometheus via NodePort to see the data dynamically queried by Status/Service Discovery:</p> <p></p> <p>You can see that you can currently query all the service data information on the cluster.</p>"},{"location":"en/guide/prometheus/#configure-to-query-specified-resource","title":"Configure to Query Specified Resource","text":"<p>The ConfigMap configuration above queries all resource data. If you only need resource data for a certain role, you can add filter conditions.</p> <p>Take Service as an example, modify the ConfigMap content to query only the service monitoring data:</p> <pre><code>    - job_name: 'kubernetes-service'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n        - role: service\n      relabel_configs:\n        - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape]\n          action: \"keep\"\n          regex: \"true\"\n        - action: labelmap\n          regex: __meta_kubernetes_service_label_(.+)\n        - source_labels: [__meta_kubernetes_namespace]\n          target_label: kubernetes_namespace\n        - source_labels: [__meta_kubernetes_service_name]\n          target_label: kubernetes_service_name\n        - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_path]\n          action: replace\n          target_label: __metrics_path__\n          regex: \"(.+)\"\n</code></pre> <p>Check the Kube-OVN Service in kube-system Namespace:</p> <pre><code># kubectl get svc -n kube-system\nNAME                  TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)                  AGE\nkube-dns              ClusterIP   10.4.0.10      &lt;none&gt;        53/UDP,53/TCP,9153/TCP   13d\nkube-ovn-cni          ClusterIP   10.4.228.60    &lt;none&gt;        10665/TCP                13d\nkube-ovn-controller   ClusterIP   10.4.172.213   &lt;none&gt;        10660/TCP                13d\nkube-ovn-monitor      ClusterIP   10.4.242.9     &lt;none&gt;        10661/TCP                13d\nkube-ovn-pinger       ClusterIP   10.4.122.52    &lt;none&gt;        8080/TCP                 13d\novn-nb                ClusterIP   10.4.80.213    &lt;none&gt;        6641/TCP                 13d\novn-northd            ClusterIP   10.4.126.234   &lt;none&gt;        6643/TCP                 13d\novn-sb                ClusterIP   10.4.216.249   &lt;none&gt;        6642/TCP                 13d\n</code></pre> <p>Add annotation <code>prometheus.io/scrape=\"true\"</code> to Service\uff1a</p> <pre><code># kubectl annotate svc -n kube-system kube-ovn-cni  prometheus.io/scrape=true\nservice/kube-ovn-cni annotated\n# kubectl annotate svc -n kube-system kube-ovn-controller  prometheus.io/scrape=true\nservice/kube-ovn-controller annotated\n# kubectl annotate svc -n kube-system kube-ovn-monitor  prometheus.io/scrape=true\nservice/kube-ovn-monitor annotated\n# kubectl annotate svc -n kube-system kube-ovn-pinger  prometheus.io/scrape=true\nservice/kube-ovn-pinger annotated\n</code></pre> <p>Check the configured Service information:</p> <pre><code># kubectl get svc -o yaml -n kube-system kube-ovn-controller\napiVersion: v1\nkind: Service\nmetadata:\n  annotations:\n    helm.sh/chart-version: v3.10.0-alpha.55\n    helm.sh/original-name: kube-ovn-controller\n    ovn.kubernetes.io/vpc: ovn-cluster\n    prometheus.io/scrape: \"true\"                        // added annotation\n  labels:\n    app: kube-ovn-controller\n  name: kube-ovn-controller\n  namespace: kube-system\nspec:\n  clusterIP: 10.4.172.213\n  clusterIPs:\n  - 10.4.172.213\n  internalTrafficPolicy: Cluster\n  ipFamilies:\n  - IPv4\n  ipFamilyPolicy: SingleStack\n  ports:\n  - name: metrics\n    port: 10660\n    protocol: TCP\n    targetPort: 10660\n  selector:\n    app: kube-ovn-controller\n  sessionAffinity: None\n  type: ClusterIP\nstatus:\n  loadBalancer: {}\n</code></pre> <p>Looking at the Prometheus Status Targets information, you can only see the Services with annotation:</p> <p></p> <p>For more information about adding filter parameters to relabel, please check Prometheus-Relabel\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/qos/","title":"Manage QoS","text":"<p>Kube-OVN supports two types of Pod level QoS:</p> <ul> <li>Maximum bandwidth limit QoS.</li> <li><code>linux-netem</code>, QoS for simulating latency and packet loss that can be used for simulation testing.</li> </ul> <p>Currently, only Pod level QoS is supported, and QoS restrictions at the Namespace or Subnet level are not supported.</p>"},{"location":"en/guide/qos/#maximum-bandwidth-limit-qos","title":"Maximum Bandwidth Limit QoS","text":"<p>This type of QoS can be dynamically configured via Pod annotation and can be adjusted without restarting running Pod. Bandwidth speed limit unit is <code>Mbit/s</code>.</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: qos\n  namespace: ls1\n  annotations:\n    ovn.kubernetes.io/ingress_rate: \"3\"\n    ovn.kubernetes.io/egress_rate: \"1\"\nspec:\n  containers:\n  - name: qos\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>Use annotation to dynamically adjust QoS:</p> <pre><code>kubectl annotate --overwrite  pod nginx-74d5899f46-d7qkn ovn.kubernetes.io/ingress_rate=3\n</code></pre>"},{"location":"en/guide/qos/#test-qos","title":"Test QoS","text":"<p>Deploy the containers needed for performance testing:</p> <pre><code>kind: DaemonSet\napiVersion: apps/v1\nmetadata:\n  name: perf\n  namespace: ls1\n  labels:\n    app: perf\nspec:\n  selector:\n    matchLabels:\n      app: perf\n  template:\n    metadata:\n      labels:\n        app: perf\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/kubeovn/perf\n</code></pre> <p>Exec into one Pod and run iperf3 server:</p> <pre><code># kubectl exec -it perf-4n4gt -n ls1 sh\n# iperf3 -s\n-----------------------------------------------------------\nServer listening on 5201\n-----------------------------------------------------------\n</code></pre> <p>Exec into the other Pod and run iperf3 client to connect above server address:</p> <pre><code># kubectl exec -it perf-d4mqc -n ls1 sh\n# iperf3 -c 10.66.0.12\nConnecting to host 10.66.0.12, port 5201\n[  4] local 10.66.0.14 port 51544 connected to 10.66.0.12 port 5201\n[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd\n[  4]   0.00-1.00   sec  86.4 MBytes   725 Mbits/sec    3    350 KBytes\n[  4]   1.00-2.00   sec  89.9 MBytes   754 Mbits/sec  118    473 KBytes\n[  4]   2.00-3.00   sec   101 MBytes   848 Mbits/sec  184    586 KBytes\n[  4]   3.00-4.00   sec   104 MBytes   875 Mbits/sec  217    671 KBytes\n[  4]   4.00-5.00   sec   111 MBytes   935 Mbits/sec  175    772 KBytes\n[  4]   5.00-6.00   sec   100 MBytes   840 Mbits/sec  658    598 KBytes\n[  4]   6.00-7.00   sec   106 MBytes   890 Mbits/sec  742    668 KBytes\n[  4]   7.00-8.00   sec   102 MBytes   857 Mbits/sec  764    724 KBytes\n[  4]   8.00-9.00   sec  97.4 MBytes   817 Mbits/sec  1175    764 KBytes\n[  4]   9.00-10.00  sec   111 MBytes   934 Mbits/sec  1083    838 KBytes\n- - - - - - - - - - - - - - - - - - - - - - - - -\n[ ID] Interval           Transfer     Bandwidth       Retr\n[  4]   0.00-10.00  sec  1010 MBytes   848 Mbits/sec  5119             sender\n[  4]   0.00-10.00  sec  1008 MBytes   846 Mbits/sec                  receiver\n\niperf Done.\n</code></pre> <p>Modify the ingress bandwidth QoS for the first Pod:</p> <pre><code>kubectl annotate --overwrite  pod perf-4n4gt -n ls1 ovn.kubernetes.io/ingress_rate=30\n</code></pre> <p>Test the Pod bandwidth again from the second Pod:</p> <pre><code># iperf3 -c 10.66.0.12\nConnecting to host 10.66.0.12, port 5201\n[  4] local 10.66.0.14 port 52372 connected to 10.66.0.12 port 5201\n[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd\n[  4]   0.00-1.00   sec  3.66 MBytes  30.7 Mbits/sec    2   76.1 KBytes\n[  4]   1.00-2.00   sec  3.43 MBytes  28.8 Mbits/sec    0    104 KBytes\n[  4]   2.00-3.00   sec  3.50 MBytes  29.4 Mbits/sec    0    126 KBytes\n[  4]   3.00-4.00   sec  3.50 MBytes  29.3 Mbits/sec    0    144 KBytes\n[  4]   4.00-5.00   sec  3.43 MBytes  28.8 Mbits/sec    0    160 KBytes\n[  4]   5.00-6.00   sec  3.43 MBytes  28.8 Mbits/sec    0    175 KBytes\n[  4]   6.00-7.00   sec  3.50 MBytes  29.3 Mbits/sec    0    212 KBytes\n[  4]   7.00-8.00   sec  3.68 MBytes  30.9 Mbits/sec    0    294 KBytes\n[  4]   8.00-9.00   sec  3.74 MBytes  31.4 Mbits/sec    0    398 KBytes\n[  4]   9.00-10.00  sec  3.80 MBytes  31.9 Mbits/sec    0    526 KBytes\n- - - - - - - - - - - - - - - - - - - - - - - - -\n[ ID] Interval           Transfer     Bandwidth       Retr\n[  4]   0.00-10.00  sec  35.7 MBytes  29.9 Mbits/sec    2             sender\n[  4]   0.00-10.00  sec  34.5 MBytes  29.0 Mbits/sec                  receiver\n\niperf Done.\n</code></pre>"},{"location":"en/guide/qos/#linux-netem-qos","title":"linux-netem QoS","text":"<p>Pod can use annotation below to config <code>linux-netem</code> type QoS\uff1a <code>ovn.kubernetes.io/latency</code>\u3001<code>ovn.kubernetes.io/limit</code> and <code>ovn.kubernetes.io/loss</code>\u3002</p> <p>To install netem related modules on RHEL series operating systems, follow these instructions: yum install -y kernel-modules-extra &amp;&amp; modprobe sch_netem</p> <ul> <li><code>ovn.kubernetes.io/latency</code>: Set the Pod traffic delay to an integer value in ms.</li> <li><code>ovn.kubernetes.io/limit</code>\uff1a Set the maximum number of packets that the <code>qdisc</code> queue can hold, and takes an integer value, such as 1000.</li> <li><code>ovn.kubernetes.io/loss</code>\uff1a Set packet loss probability, the value is float type, for example, the value is 20, then it is set 20% packet loss probability.</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/setup-options/","title":"Installation and Configuration Options","text":"<p>In One-Click Installation we use the default configuration for installation. Kube-OVN also supports more custom configurations, which can be configured in the installation script, or later by changing the parameters of individual components. This document will describe what these customization options do, and how to configure them.</p>"},{"location":"en/guide/setup-options/#built-in-network-settings","title":"Built-in Network Settings","text":"<p>Kube-OVN will configure two built-in Subnets during installation:</p> <ol> <li><code>default</code> Subnet, as the default subnet used by the Pod to assign IPs, with a default CIDR of <code>10.16.0.0/16</code> and a gateway of <code>10.16.0.1</code>.</li> <li>The <code>join</code> subnet, as a special subnet for network communication between the Node and Pod, has a default CIDR of <code>100.64.0.0/16</code> and a gateway of <code>100.64.0.1</code>.</li> </ol> <p>The configuration of these two subnets can be changed during installation via the installation scripts variables:</p> <pre><code>POD_CIDR=\"10.16.0.0/16\"\nPOD_GATEWAY=\"10.16.0.1\"\nJOIN_CIDR=\"100.64.0.0/16\"\nEXCLUDE_IPS=\"\"\n</code></pre> <p><code>EXCLUDE_IP</code> sets the address range for which <code>kube-ovn-controller</code> will not automatically assign from it, the format is: <code>192.168.10.20..192.168.10.30</code>.</p> <p>Note that in the Overlay case these two Subnets CIDRs cannot conflict with existing host networks and Service CIDRs.</p> <p>You can change the address range of both Subnets after installation by referring to Change Subnet CIDR and Change Join Subnet CIDR.</p>"},{"location":"en/guide/setup-options/#config-service-cidr","title":"Config Service CIDR","text":"<p>Since some of the iptables and routing rules set by <code>kube-proxy</code> will conflict with the rules set by Kube-OVN, Kube-OVN needs to know the CIDR of the service to set the corresponding rules correctly.</p> <p>This can be done by modifying the installation script:</p> <pre><code>SVC_CIDR=\"10.96.0.0/12\"  \n</code></pre> <p>You can also modify the args of the <code>kube-ovn-controller</code> Deployment after installation:</p> <pre><code>args:\n- --service-cluster-ip-range=10.96.0.0/12\n</code></pre>"},{"location":"en/guide/setup-options/#overlay-nic-selection","title":"Overlay NIC Selection","text":"<p>In the case of multiple NICs on a node, Kube-OVN will select the NIC corresponding to the Kubernetes Node IP as the NIC for cross-node communication between containers and establish the corresponding tunnel.</p> <p>If you need to select another NIC to create a container tunnel, you can change it in the installation script:</p> <pre><code>IFACE=eth1\n</code></pre> <p>This option supports regular expressions separated by commas, e.g. 'ens[a-z0-9],eth[a-z0-9]'.</p> <p>It can also be adjusted after installation by modifying the args of the <code>kube-ovn-cni</code> DaemonSet:</p> <pre><code>args:\n- --iface=eth1\n</code></pre> <p>If each machine has a different NIC name and there is no fixed pattern, you can use the node annotation <code>ovn.kubernetes.io/tunnel_interface</code> to configure each node one by one. This annotation will override the configuration of <code>iface</code>.</p> <pre><code>kubectl annotate node no1 ovn.kubernetes.io/tunnel_interface=ethx\n</code></pre>"},{"location":"en/guide/setup-options/#config-mtu","title":"Config MTU","text":"<p>Since Overlay encapsulation requires additional space, Kube-OVN will adjust the MTU of the container NIC based on the MTU of the selected NIC when creating the container NIC. By default, the Pod NIC MTU is the host NIC MTU - 100 on the Overlay Subnet, and the Pod NIC and host NIC have the same MTU on the Underlay Subnet.</p> <p>If you need to adjust the size of the MTU under the Overlay subnet, you can modify the parameters of the <code>kube-ovn-cni</code> DaemonSet:</p> <pre><code>args:\n- --mtu=1333\n</code></pre>"},{"location":"en/guide/setup-options/#global-traffic-mirroring-setting","title":"Global Traffic Mirroring Setting","text":"<p>When global traffic mirroring is enabled, Kube-OVN will create a <code>mirror0</code> virtual NIC on each node and copy all container network traffic from the current machine to that NIC\uff0c Users can perform traffic analysis with tcpdump and other tools. This function can be enabled in the installation script:</p> <pre><code>ENABLE_MIRROR=true\n</code></pre> <p>It can also be adjusted after installation by modifying the args of the <code>kube-ovn-cni</code> DaemonSet:</p> <pre><code>args:\n- --enable-mirror=true\n</code></pre> <p>The ability to mirror traffic is disabled in the default installation, if you need fine-grained traffic mirroring or need to mirror traffic to additional NICs please refer to Traffic Mirror.</p>"},{"location":"en/guide/setup-options/#lb-settings","title":"LB Settings","text":"<p>Kube-OVN uses L2 LB in OVN to implement service forwarding. In Overlay scenarios, users can choose to use <code>kube-proxy</code> for service traffic forwarding, in which case the LB function of Kube-OVN can be disabled to achieve better performance on the control plane and data plane.</p> <p>This feature can be configured in the installation script:</p> <pre><code>ENABLE_LB=false\n</code></pre> <p>It can also be configured after installation by changing the args of the <code>kube-ovn-controller</code> Deployment:</p> <pre><code>args:\n- --enable-lb=false\n</code></pre> <p>The LB feature is enabled in the default installation.</p> <p>The spec field <code>enableLb</code> has been added to the subnet crd definition since Kube-OVN v1.12.0 to migrate the LB function of Kube-OVN to the subnet level. You can set whether to enable the LB function based on different subnets. The <code>enable-lb</code> parameter in the <code>kube-ovn-controller</code> deployment is used as a global switch to control whether to create a load-balancer record. The <code>enableLb</code> parameter added in the subnet is used to control whether the subnet is associated with a load-balancer record. After the previous version is upgraded to v1.12.0, the <code>enableLb</code> parameter of the subnet will automatically inherit the value of the original global switch parameter.</p>"},{"location":"en/guide/setup-options/#networkpolicy-settings","title":"NetworkPolicy Settings","text":"<p>Kube-OVN uses ACLs in OVN to implement NetworkPolicy. Users can choose to disable the NetworkPolicy feature or use the Cilium Chain approach to implement NetworkPolicy using eBPF. In this case, the NetworkPolicy feature of Kube-OVN can be disabled to achieve better performance on the control plane and data plane.</p> <p>This feature can be configured in the installation script:</p> <pre><code>ENABLE_NP=false\n</code></pre> <p>It can also be configured after installation by changing the args of the <code>kube-ovn-controller</code> Deployment:</p> <pre><code>args:\n- --enable-np=false\n</code></pre> <p>NetworkPolicy is enabled by default.</p>"},{"location":"en/guide/setup-options/#eip-and-snat-settings","title":"EIP and SNAT Settings","text":"<p>If the EIP and SNAT capabilities are not required on the default VPC, users can choose to disable them to reduce the performance overhead of <code>kube-ovn-controller</code> in large scale cluster environments and improve processing speed.</p> <p>This feature can be configured in the installation script:</p> <pre><code>ENABLE_EIP_SNAT=false\n</code></pre> <p>It can also be configured after installation by changing the args of the <code>kube-ovn-controller</code> Deployment:</p> <pre><code>args:\n- --enable-eip-snat=false\n</code></pre> <p>EIP and SNAT is enabled by default. More information can refer to EIP and SNAT\u3002</p>"},{"location":"en/guide/setup-options/#centralized-gateway-ecmp-settings","title":"Centralized Gateway ECMP Settings","text":"<p>The centralized gateway supports two mode of high availability, primary-backup and ECMP. If you want to enable ECMP mode, you need to change the args of <code>kube-ovn-controller</code> Deployment:</p> <pre><code>args:\n- --enable-ecmp=true \n</code></pre> <p>Centralized gateway default installation under the primary-backup mode, more gateway-related content please refer to Config Subnet.</p> <p>The spec field <code>enableEcmp</code> has been added to the subnet crd definition since Kube-OVN v1.12.0 to migrate the ECMP switch to the subnet level. You can set whether to enable ECMP mode based on different subnets. The <code>enable-ecmp</code> parameter in the <code>kube-ovn-controller</code> deployment is no longer used. After the previous version is upgraded to v1.12.0, the subnet switch will automatically inherit the value of the original global switch parameter.</p>"},{"location":"en/guide/setup-options/#kubevirt-vm-fixed-address-settings","title":"Kubevirt VM Fixed Address Settings","text":"<p>For VM instances created by Kubevirt, <code>kube-ovn-controller</code> can assign and manage IP addresses in a similar way to the StatefulSet Pod. This allows VM instances address fixed during start-up, shutdown, upgrade, migration, and other operations throughout their lifecycle, making them more compatible with the actual virtualization user experience.</p> <p>This feature is enabled by default after v1.10.6. To disable this feature, you need to change the following args in the <code>kube-ovn-controller</code> Deployment:</p> <pre><code>args:\n- --keep-vm-ip=false\n</code></pre>"},{"location":"en/guide/setup-options/#cni-settings","title":"CNI Settings","text":"<p>By default, Kube-OVN installs the CNI binary in the <code>/opt/cni/bin</code> directory and the CNI configuration file <code>01-kube-ovn.conflist</code> in the <code>/etc/cni/net.d</code> directory. If you need to change the installation location and the priority of the CNI configuration file, you can modify the following parameters of the installation script.</p> <pre><code>CNI_CONF_DIR=\"/etc/cni/net.d\"\nCNI_BIN_DIR=\"/opt/cni/bin\"\nCNI_CONFIG_PRIORITY=\"01\"\n</code></pre> <p>Or change the Volume mount and args of the <code>kube-ovn-cni</code> DaemonSet after installation:</p> <pre><code>volumes:\n- name: cni-conf\n  hostPath:\n    path: \"/etc/cni/net.d\"\n- name: cni-bin\n  hostPath:\n    path:\"/opt/cni/bin\"\n...\nargs:\n- --cni-conf-name=01-kube-ovn.conflist\n</code></pre>"},{"location":"en/guide/setup-options/#tunnel-type-settings","title":"Tunnel Type Settings","text":"<p>The default encapsulation mode of Kube-OVN Overlay is Geneve, if you want to change it to Vxlan or STT, please adjust the following parameters in the installation script:</p> <pre><code>TUNNEL_TYPE=\"vxlan\"\n</code></pre> <p>Or change the environment variables of <code>ovs-ovn</code> DaemonSet after installation:</p> <pre><code>env:\n- name: TUNNEL_TYPE\n  value: \"vxlan\"\n</code></pre> <p>If you need to use the STT tunnel and need to compile additional kernel modules for ovs, please refer to Performance Tunning\u3002</p> <p>Please refer to Tunneling Protocol Selection for the differences between the different protocols in practice.</p>"},{"location":"en/guide/setup-options/#ssl-settings","title":"SSL Settings","text":"<p>The OVN DB API interface supports SSL encryption to secure the connection. To enable it, adjust the following parameters in the installation script:</p> <pre><code>ENABLE_SSL=true\n</code></pre> <p>The SSL is disabled by default.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/static-ip-mac/","title":"Fixed Addresses","text":"<p>By default, Kube-OVN randomly assigns IPs and Macs based on the Subnet to which the Pod's Namespace belongs. For workloads that require fixed addresses, Kube-OVN provides multiple methods of fixing addresses depending on the scenario.</p> <ul> <li>Single Pod fixed IP/Mac.</li> <li>Workload IP Pool to specify fixed addresses.</li> <li>StatefulSet fixed address.</li> <li>KubeVirt VM fixed address.</li> </ul>"},{"location":"en/guide/static-ip-mac/#single-pod-fixed-ipmac","title":"Single Pod Fixed IP/Mac","text":"<p>You can specify the IP/Mac required for the Pod by annotation when creating the Pod. The <code>kube-ovn-controller</code> will skip the address random assignment phase and use the specified address directly after conflict detection, as follows:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: ippool\n  labels:\n    app: ippool\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: ippool\n  template:\n    metadata:\n      labels:\n        app: ippool\n      annotations:\n        ovn.kubernetes.io/ip_pool: 10.16.0.15,10.16.0.16,10.16.0.17 // for dualstack ippool use semicolon to separate addresses 10.16.0.15,fd00:10:16::000E;10.16.0.16,fd00:10:16::0\n    spec:\n      containers:\n        - name: ippool\n          image: docker.io/library/nginx:alpine\n</code></pre> <p>The following points need to be noted when using annotation.</p> <ol> <li>The IP/Mac used cannot conflict with an existing IP/Mac.</li> <li>The IP must be in the CIDR range of the Subnet it belongs to.</li> <li>You can specify only IP or Mac. When you specify only one, the other one will be assigned randomly.</li> </ol>"},{"location":"en/guide/static-ip-mac/#workload-ip-pool","title":"Workload IP Pool","text":"<p>Kube-OVN supports setting fixed IPs for Workloads (Deployment/StatefulSet/DaemonSet/Job/CronJob) via annotation <code>ovn.kubernetes.io/ip_pool</code>. <code>kube-ovn-controller</code> will automatically select the IP specified in <code>ovn.kubernetes.io/ip_pool</code> and perform conflict detection.</p> <p>The Annotation of the IP Pool needs to be added to the <code>annotation</code> field in the <code>template</code>. In addition to Kubernetes built-in workload types, other user-defined workloads can also be assigned fixed addresses using the same approach.</p>"},{"location":"en/guide/static-ip-mac/#deployment-with-fixed-ips","title":"Deployment With Fixed IPs","text":"<pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  namespace: ls1\n  name: starter-backend\n  labels:\n    app: starter-backend\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: starter-backend\n  template:\n    metadata:\n      labels:\n        app: starter-backend\n      annotations:\n        ovn.kubernetes.io/ip_pool: 10.16.0.15,10.16.0.16,10.16.0.17 // for dualstack ippool use semicolon to separate addresses 10.16.0.15,fd00:10:16::000E;10.16.0.16,fd00:10:16::000F;10.16.0.17,fd00:10:16::0010\n    spec:\n      containers:\n      - name: backend\n        image: docker.io/library/nginx:alpine\n</code></pre> <p>Using a fixed IP for Workload requires the following:</p> <ol> <li>The IP in <code>ovn.kubernetes.io/ip_pool</code> should belong to the CIDR of the Subnet.</li> <li>The IP in <code>ovn.kubernetes.io/ip_pool</code> cannot conflict with an IP already in use.</li> <li>When the number of IPs in <code>ovn.kubernetes.io/ip_pool</code> is less than the number of replicas, the extra Pods will not be created. You need to adjust the number of IPs in <code>ovn.kubernetes.io/ip_pool</code> according to the update policy of the workload and the scaling plan.</li> </ol>"},{"location":"en/guide/static-ip-mac/#statefulset-fixed-address","title":"StatefulSet Fixed Address","text":"<p>StatefulSet supports fixed IP by default, and like other Workload, you can use <code>ovn.kubernetes.io/ip_pool</code> to specify the range of IP used by a Pod.</p> <p>Since StatefulSet is mostly used for stateful services, which have higher requirements for fixed addresses, Kube-OVN has made special enhancements:</p> <ol> <li>Pods are assigned IPs in <code>ovn.kubernetes.io/ip_pool</code> in order. For example, if the name of the StatefulSet is web, web-0 will use the first IP in <code>ovn.kubernetes.io/ip_pool</code>, web-1 will use the second IP, and so on.</li> <li>The logical_switch_port in the OVN is not deleted during update or deletion of the StatefulSet Pod, and the newly generated Pod directly reuses the old logical port information. Pods can therefore reuse IP/Mac and other network information to achieve similar state retention as StatefulSet Volumes.</li> <li>Based on the capabilities of 2, for StatefulSet without the <code>ovn.kubernetes.io/ip_pool</code> annotation, a Pod is randomly assigned an IP/Mac when it is first generated, and then the network information remains fixed for the lifetime of the StatefulSet.</li> </ol>"},{"location":"en/guide/static-ip-mac/#statefulset-example","title":"StatefulSet Example","text":"<pre><code>apiVersion: apps/v1\nkind: StatefulSet\nmetadata:\n  name: web\nspec:\n  serviceName: \"nginx\"\n  replicas: 2\n  selector:\n    matchLabels:\n      app: nginx\n  template:\n    metadata:\n      labels:\n        app: nginx\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/library/nginx:alpine\n        ports:\n        - containerPort: 80\n          name: web\n</code></pre> <p>You can try to delete the Pod under StatefulSet to observe if the Pod IP changes.</p>"},{"location":"en/guide/static-ip-mac/#kubevirt-vm-fixed-address","title":"KubeVirt VM Fixed Address","text":"<p>For VM instances created by KubeVirt, <code>kube-ovn-controller</code> can assign and manage IP addresses in a similar way to the StatefulSet Pod. This allows VM instances address fixed during start-up, shutdown, upgrade, migration, and other operations throughout their lifecycle, making them more compatible with the actual virtualization user experience.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/subnet/","title":"Config Subnet","text":"<p>Subnet is a core concept and basic unit of use in Kube-OVN, and Kube-OVN organizes IP and network configuration in terms of Subnet. Each Namespace can belong to a specific Subnet, and Pods under the Namespace automatically obtain IPs from the Subnet they belong to and share the network configuration (CIDR, gateway type, access control, NAT control, etc.).</p> <p>Unlike other CNI implementations where each node is bound to a subnet, in Kube-OVN the Subnet is a global level virtual network configuration, and the addresses of one Subnet can be distributed on any node.</p> <p>Note: Different subnets under the same VPC cannot contain the same IP, and different subnets connected to each other based on VPC peering or VPN cannot contain the same IP.</p> <p></p> <p>There are some differences in the usage and configuration of Overlay and Underlay Subnets, and this document will describe the common configurations and differentiated features of the different types of Subnets.</p>"},{"location":"en/guide/subnet/#default-subnet","title":"Default Subnet","text":"<p>To make it easier for users to get started quickly, Kube-OVN has a built-in default Subnet, all Namespaces that do not explicitly declare subnet affiliation are automatically assigned IPs from the default subnet and the network information. The configuration of this Subnet is specified at installation time, you can refer to Built-in Network Settings for more details. To change the CIDR of the default Subnet after installation please refer to Change Subnet CIDR.</p> <p>In Overlay mode, the default Subnet uses a distributed gateway and NAT translation for outbound traffic, which behaves much the same as the Flannel's default behavior, allowing users to use most of the network features without additional configuration.</p> <p>In Underlay mode, the default Subnet uses the physical gateway as the outgoing gateway and enables arping to check network connectivity.</p>"},{"location":"en/guide/subnet/#check-the-default-subnet","title":"Check the Default Subnet","text":"<p>The <code>default</code> field in the default Subnet spec is set to <code>true</code>, and there is only one default Subnet in a cluster, named <code>ovn-default</code>.</p> <pre><code># kubectl get subnet ovn-default -o yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  creationTimestamp: \"2019-08-06T09:33:43Z\"\n  generation: 1\n  name: ovn-default\n  resourceVersion: \"1571334\"\n  selfLink: /apis/kubeovn.io/v1/subnets/ovn-default\n  uid: 7e2451f8-fb44-4f7f-b3e0-cfd27f6fd5d6\nspec:\n  cidrBlock: 10.16.0.0/16\n  default: true\n  excludeIps:\n  - 10.16.0.1\n  gateway: 10.16.0.1\n  gatewayType: distributed\n  natOutgoing: true\n  private: false\n  protocol: IPv4\n</code></pre>"},{"location":"en/guide/subnet/#join-subnet","title":"Join Subnet","text":"<p>In the Kubernetes network specification, it is required that Nodes can communicate directly with all Pods. To achieve this in Overlay network mode, Kube-OVN creates a <code>join</code> Subnet and creates a virtual NIC <code>ovn0</code> at each node that connect to the <code>join</code> subnet, through which the nodes and Pods can communicate with each other.</p> <p>The configuration of this Subnet is specified at installation time, you can refer to Built-in Network Settings for more details. To change the CIDR of the Join Subnet after installation please refer to Change Join CIDR.</p>"},{"location":"en/guide/subnet/#check-the-join-subnet","title":"Check the Join Subnet","text":"<p>The default name of this subnet is <code>join</code>. There is generally no need to make changes to the network configuration except the CIDR.</p> <pre><code># kubectl get subnet join -o yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  creationTimestamp: \"2019-08-06T09:33:43Z\"\n  generation: 1\n  name: join\n  resourceVersion: \"1571333\"\n  selfLink: /apis/kubeovn.io/v1/subnets/join\n  uid: 9c744810-c678-4d50-8a7d-b8ec12ef91b8\nspec:\n  cidrBlock: 100.64.0.0/16\n  default: false\n  excludeIps:\n  - 100.64.0.1\n  gateway: 100.64.0.1\n  gatewayNode: \"\"\n  gatewayType: \"\"\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n</code></pre> <p>Check the ovn0 NIC at the node:</p> <pre><code># ifconfig ovn0\novn0: flags=4163&lt;UP,BROADCAST,RUNNING,MULTICAST&gt;  mtu 1420\n        inet 100.64.0.4  netmask 255.255.0.0  broadcast 100.64.255.255\n        inet6 fe80::800:ff:fe40:5  prefixlen 64  scopeid 0x20&lt;link&gt;\n        ether 0a:00:00:40:00:05  txqueuelen 1000  (Ethernet)\n        RX packets 18  bytes 1428 (1.3 KiB)\n        RX errors 0  dropped 0  overruns 0  frame 0\n        TX packets 19  bytes 1810 (1.7 KiB)\n        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0\n</code></pre>"},{"location":"en/guide/subnet/#create-custom-subnets","title":"Create Custom Subnets","text":"<p>Here we describe the basic operation of how to create a Subnet and associate it with a Namespace, for more advanced configuration, please refer to the subsequent content.</p>"},{"location":"en/guide/subnet/#create-subnet","title":"Create Subnet","text":"<pre><code>cat &lt;&lt;EOF | kubectl create -f -\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 10.66.0.0/16\n  excludeIps:\n  - 10.66.0.1..10.66.0.10\n  - 10.66.0.101..10.66.0.151\n  gateway: 10.66.0.1\n  gatewayType: distributed\n  natOutgoing: true\n  routeTable: \"\"\n  namespaces:\n  - ns1\n  - ns2\nEOF\n</code></pre> <ul> <li><code>cidrBlock</code>: Subnet CIDR range, different Subnet CIDRs under the same VPC cannot overlap.</li> <li><code>excludeIps</code>: The address list is reserved so that the container network will not automatically assign addresses in the list, which can be used as a fixed IP address assignment segment or to avoid conflicts with existing devices in the physical network in Underlay mode.</li> <li><code>gateway</code>\uff1aFor this subnet gateway address, Kube-OVN will automatically assign the corresponding logical gateway in Overlay mode, and the address should be the underlying physical gateway address in Underlay mode.</li> <li><code>namespaces</code>: Bind the list of Namespace for this Subnet. Pods under the Namespace will be assigned addresses from the current Subnet after binding.</li> <li><code>routeTable</code>: Associate the route table, default is main table, route table definition please defer to Static Routes</li> </ul>"},{"location":"en/guide/subnet/#create-pod-in-the-subnet","title":"Create Pod in the Subnet","text":"<pre><code># kubectl create ns ns1\nnamespace/ns1 created\n\n# kubectl run nginx --image=docker.io/library/nginx:alpine -n ns1\ndeployment.apps/nginx created\n\n# kubectl get pod -n ns1 -o wide\nNAME                     READY   STATUS    RESTARTS   AGE   IP           NODE    NOMINATED NODE   READINESS GATES\nnginx-74d5899f46-n8wtg   1/1     Running   0          10s   10.66.0.11   node1   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"en/guide/subnet/#workload-subnet-binding","title":"Workload Subnet Binding","text":"<p>By default, Pods will be assigned IP addresses from the subnet belonging to the Namespace. If a specific subnet needs to be specified for a Workload, it can be achieved by setting the Pod's annotation <code>ovn.kubernetes.io/logical_switch</code>:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: another-subnet\n  annotations:\n    ovn.kubernetes.io/logical_switch: subnet1\nspec:\n  containers:\n  - name: another-subnet\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>If you need to bind a subnet to a Workload type resource such as Deployment or StatefulSet, you need to set the <code>ovn.kubernetes.io/logical_switch</code> Annotation in <code>spec.template.metadata.annotations</code>.</p>"},{"location":"en/guide/subnet/#overlay-subnet-gateway-settings","title":"Overlay Subnet Gateway Settings","text":"<p>This feature only works for Overlay mode Subnets, Underlay type Subnets need to use the underlying physical gateway to access the external network.</p> <p>Pods under the Overlay Subnet need to access the external network through a gateway, and Kube-OVN currently supports two types of gateways: distributed gateway and centralized gateway which can be changed in the Subnet spec.</p> <p>Both types of gateways support the <code>natOutgoing</code> setting, which allows the user to choose whether snat is required when the Pod accesses the external network.</p>"},{"location":"en/guide/subnet/#distributed-gateway","title":"Distributed Gateway","text":"<p>The default type of gateway for the Subnet, each node will act as a gateway for the pod on the current node to access the external network. The packets from container will flow into the host network stack from the local <code>ovn0</code> NIC, and then forwarding the network according to the host's routing rules. When <code>natOutgoing</code> is <code>true</code>, the Pod will use the IP of the current host when accessing the external network.</p> <p></p> <p>Example of a Subnet, where the <code>gatewayType</code> field is <code>distributed</code>:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: distributed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: distributed\n  natOutgoing: true\n</code></pre>"},{"location":"en/guide/subnet/#centralized-gateway","title":"Centralized Gateway","text":"<p>Note: Pods under a centralized subnet cannot be accessed through <code>hostport</code> or a NodePort type Service with <code>externalTrafficPolicy: Local</code>.</p> <p></p> <p>If you want traffic within the Subnet to access the external network using a fixed IP for security operations such as auditing and whitelisting, you can set the gateway type in the Subnet to centralized. In centralized gateway mode, packets from Pods accessing the external network are first routed to the <code>ovn0</code> NIC of a specific nodes, and then outbound through the host's routing rules. When <code>natOutgoing</code> is <code>true</code>, the Pod will use the IP of a specific nodes when accessing the external network.</p> <p>The centralized gateway example is as follows, where the <code>gatewayType</code> field is <code>centralized</code> and <code>gatewayNode</code> is the NodeName of the particular machine in Kubernetes.</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: centralized\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: centralized\n  gatewayNode: \"node1,node2\"\n  natOutgoing: true\n</code></pre> <ul> <li>If a centralized gateway wants to specify a specific NIC of a machine for outbound networking, <code>gatewayNode</code> format can be changed to <code>kube-ovn-worker:172.18.0.2, kube-ovn-control-plane:172.18.0.3</code>.</li> <li>The centralized gateway defaults to primary-backup mode, with only the primary node performing traffic forwarding.   If you need to switch to ECMP mode, please refer to ECMP Settings.</li> <li>The spec field <code>enableEcmp</code> has been added to the subnet crd definition since Kube-OVN v1.12.0 to migrate the ECMP switch to the subnet level. You can set whether to enable ECMP mode based on different subnets. The <code>enable-ecmp</code> parameter in the <code>kube-ovn-controller</code> deployment is no longer used. After the previous version is upgraded to v1.12.0, the subnet switch will automatically inherit the value of the original global switch parameter.</li> </ul>"},{"location":"en/guide/subnet/#subnet-acl","title":"Subnet ACL","text":"<p>For scenarios with fine-grained ACL control, Subnet of Kube-OVN provides ACL to enable fine-grained rules.</p> <p>The ACL rules in Subnet are the same as the ACL rules in OVN, and you can refer to ovn-nb ACL Table for more details. The supported filed in <code>match</code> can refer to ovn-sb Logical Flow Table.</p> <p>Example of an ACL rule that allows Pods with IP address <code>10.10.0.2</code> to access all addresses, but does not allow other addresses to access itself, is as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: acl\nspec:\n  allowEWTraffic: false\n  acls:\n    - action: drop\n      direction: to-lport\n      match: ip4.dst == 10.10.0.2 &amp;&amp; ip\n      priority: 1002\n    - action: allow-related\n      direction: from-lport\n      match: ip4.src == 10.10.0.2 &amp;&amp; ip\n      priority: 1002\n  cidrBlock: 10.10.0.0/24\n</code></pre> <p>In some scenarios, users hope that the internal traffic of the subnet configured with ACL rules will not be affected, which can be achieved by configuring <code>allowEWTraffic: true</code>.</p>"},{"location":"en/guide/subnet/#subnet-isolation","title":"Subnet Isolation","text":"<p>The function of Subnet ACL can cover the function of Subnet isolation with better flexibility, we recommend using Subnet ACL to do the corresponding configuration.</p> <p>By default the Subnets created by Kube-OVN can communicate with each other, and Pods can also access external networks through the gateway.</p> <p>To control access between Subnets, set <code>private</code> to true in the subnet spec, and the Subnet will be isolated from other Subnets and external networks and can only communicate within the Subnet. If you want to open a whitelist, you can set it by <code>allowSubnets</code>. The CIDRs in <code>allowSubnets</code> can access the Subnet bidirectionally.</p>"},{"location":"en/guide/subnet/#enable-subnet-isolation-examples","title":"Enable Subnet Isolation Examples","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: private\nspec:\n  protocol: IPv4\n  default: false\n  namespaces:\n  - ns1\n  - ns2\n  cidrBlock: 10.69.0.0/16\n  private: true\n  allowSubnets:\n  - 10.16.0.0/16\n  - 10.18.0.0/16\n</code></pre>"},{"location":"en/guide/subnet/#underlay-settings","title":"Underlay Settings","text":"<p>This part of the feature is only available for Underlay type Subnets.</p> <ul> <li><code>vlan</code>: If an Underlay network is used, this field is used to control which Vlan CR the Subnet is bound to. This option defaults to the empty string, meaning that the Underlay network is not used.</li> <li><code>logicalGateway</code>: Some Underlay environments are pure Layer 2 networks, with no physical Layer 3 gateway. In this case a virtual gateway can be set up with the OVN to connect the Underlay and Overlay networks. The default value is: <code>false</code>.</li> </ul>"},{"location":"en/guide/subnet/#gateway-check-settings","title":"Gateway Check Settings","text":"<p>By default <code>kube-ovn-cni</code> will request the gateway using ICMP or ARP protocol after starting the Pod and wait for the return to verify that the network is working properly. Some Underlay environment gateways cannot respond to ARP requests, or scenarios that do not require external connectivity, the checking can be disabled .</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: disable-gw-check\nspec:\n  disableGatewayCheck: true\n</code></pre>"},{"location":"en/guide/subnet/#multicast-snoop-setting","title":"Multicast-Snoop Setting","text":"<p>By default, if a Pod in a subnet sends a multicast packet, OVN's default behavior is to broadcast the multicast packet to all Pods in the subnet. If turned on the subnet's multicast snoop switch, OVN will forward based on the multicast table <code>Multicast_Group</code> in the <code>South Database</code> instead of broadcasting.</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sample1\nspec:\n  enableMulticastSnoop: true\n</code></pre>"},{"location":"en/guide/subnet/#subnet-mtu-setting","title":"Subnet MTU Setting","text":"<p>Configure the MTU of the Pod under Subnet. After configuration, you need to restart the Pod under Subnet to take effect.</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sample1\nspec:\n  mtu: 1300\n</code></pre>"},{"location":"en/guide/subnet/#other-advanced-settings","title":"Other Advanced Settings","text":"<ul> <li>Configure IPPool</li> <li>Default VPC NAT Policy Rule</li> <li>Manage QoS</li> <li>Manage Multiple Interface</li> <li>DHCP</li> <li>External Gateway</li> <li>Cluster Inter-Connection with OVN-IC</li> <li>VIP Reservation</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/vpc-qos/","title":"VPC QoS","text":"<p>Kube-OVN supports using QoSPolicy CRD to limit the traffic rate of custom VPC.</p>"},{"location":"en/guide/vpc-qos/#eip-qos","title":"EIP QoS","text":"<p>Limit the speed of EIP to 1Mbps and the priority to 1, and <code>shared=false</code> here means that this QoSPolicy can only be used for this EIP and support dynamically modifying QoSPolicy to change QoS rules.</p> <p>The QoSPolicy configuration is as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-eip-example\nspec:\n  shared: false\n  bindingType: EIP\n  bandwidthLimitRules:\n  - name: eip-ingress\n    rateMax: \"1\" # Mbps\n    burstMax: \"1\" # Mbps\n    priority: 1\n    direction: ingress\n  - name: eip-egress\n    rateMax: \"1\" # Mbps\n    burstMax: \"1\" # Mbps\n    priority: 1\n    direction: egress\n</code></pre> <p>The IptablesEIP configuration is as follows:</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-1\nspec:\n  natGwDp: gw1\n  qosPolicy: qos-eip-example\n</code></pre> <p>The value of <code>.spec.qosPolicy</code> supports being specified during creation and also supports modification after creation.</p>"},{"location":"en/guide/vpc-qos/#view-eips-with-qos-enabled","title":"View EIPs with QoS enabled","text":"<p>View the corresponding EIPs that have been set up using <code>label</code>:</p> <pre><code># kubectl get eip  -l ovn.kubernetes.io/qos=qos-eip-example\nNAME    IP             MAC                 NAT   NATGWDP   READY\neip-1   172.18.11.24   00:00:00:34:41:0B   fip   gw1       true\n</code></pre>"},{"location":"en/guide/vpc-qos/#qos-for-vpc-natgw-net1-nic","title":"QoS for VPC NATGW net1 NIC","text":"<p>Limit the speed of the net1 NIC on VPC NATGW to 10Mbps and set the priority to 3. Here <code>shared=true</code>, which means that this QoSPolicy can be used by multiple resources at the same time, and does not allow the modification of the contents of the QoSPolicy in this scenario.</p> <p>The QoSPolicy configuration is as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-natgw-example\nspec:\n  shared: true\n  bindingType: NATGW\n  bandwidthLimitRules:\n  - name: net1-ingress\n    interface: net1\n    rateMax: \"10\" # Mbps\n    burstMax: \"10\" # Mbps\n    priority: 3\n    direction: ingress\n  - name: net1-egress\n    interface: net1\n    rateMax: \"10\" # Mbps\n    burstMax: \"10\" # Mbps\n    priority: 3\n    direction: egress\n</code></pre> <p>The VpcNatGateway configuration is as follows:</p> <pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  qosPolicy: qos-natgw-example\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n</code></pre> <p>The value of <code>.spec.qosPolicy</code> supports both creation and subsequent modification.</p>"},{"location":"en/guide/vpc-qos/#qos-for-specific-traffic-on-net1-nic","title":"QoS for specific traffic on net1 NIC","text":"<p>Limit the specific traffic on net1 NIC to 5Mbps and set the priority to 2. Here <code>shared=true</code>, which means that this QoSPolicy can be used by multiple resources at the same time, and does not allow the modification of the contents of the QoSPolicy in this scenario.</p> <p>The QoSPolicy configuration is as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-natgw-example\nspec:\n  shared: true\n  bindingType: NATGW\n  bandwidthLimitRules:\n  - name: net1-extip-ingress\n    interface: net1\n    rateMax: \"5\" # Mbps\n    burstMax: \"5\" # Mbps\n    priority: 2\n    direction: ingress\n    matchType: ip\n    matchValue: src 172.18.11.22/32\n  - name: net1-extip-egress\n    interface: net1\n    rateMax: \"5\" # Mbps\n    burstMax: \"5\" # Mbps\n    priority: 2\n    direction: egress\n    matchType: ip\n    matchValue: dst 172.18.11.23/32\n</code></pre> <p>The VpcNatGateway configuration is as follows:</p> <pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  qosPolicy: qos-natgw-example\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n</code></pre>"},{"location":"en/guide/vpc-qos/#view-natgws-with-qos-enabled","title":"View NATGWs with QoS enabled","text":"<p>View the corresponding NATGWs that have been set up using <code>label</code>:</p> <pre><code># kubectl get vpc-nat-gw  -l ovn.kubernetes.io/qos=qos-natgw-example\nNAME   VPC          SUBNET   LANIP\ngw1    test-vpc-1   net1     10.0.1.254\n</code></pre>"},{"location":"en/guide/vpc-qos/#view-qos-rules","title":"View QoS rules","text":"<pre><code># kubectl get qos -A\nNAME                SHARED   BINDINGTYPE\nqos-eip-example     false    EIP\nqos-natgw-example   true     NATGW\n</code></pre>"},{"location":"en/guide/vpc-qos/#limitations","title":"Limitations","text":"<ul> <li>QoSPolicy can only be deleted when it is not in use. Therefore, before deleting the QoSPolicy, please check the EIP and NATGW that have enabled QoS, and remove their <code>spec.qosPolicy</code> configuration.</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/vpc/","title":"Config VPC","text":"<p>Kube-OVN supports multi-tenant isolation level VPC networks. Different VPC networks are independent of each other and can be configured separately with Subnet CIDRs, routing policies, security policies, outbound gateways, EIP, etc.</p> <p>VPC is mainly used in scenarios where there requires strong isolation of multi-tenant networks and some Kubernetes networking features conflict under multi-tenant networks. For example, node and pod access, NodePort functionality, network access-based health checks, and DNS capabilities are not supported in multi-tenant network scenarios at this time. In order to facilitate common Kubernetes usage scenarios, Kube-OVN has a special design for the default VPC where the Subnet under the VPC can meet the Kubernetes specification. The custom VPC supports static routing, EIP and NAT gateways as described in this document. Common isolation requirements can be achieved through network policies and Subnet ACLs under the default VPC, so before using a custom VPC, please make sure whether you need VPC-level isolation and understand the limitations under the custom VPC. For Underlay subnets, physical switches are responsible for data-plane forwarding, so VPCs cannot isolate Underlay subnets.</p> <p></p>"},{"location":"en/guide/vpc/#creating-custom-vpcs","title":"Creating Custom VPCs","text":"<p>Create two VPCs:</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  namespaces:\n  - ns1\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-2\nspec:\n  namespaces:\n    - ns2\n</code></pre> <ul> <li><code>namespaces</code>: Limit which namespaces can use this VPC. If empty, all namespaces can use this VPC.</li> </ul> <p>Create two Subnets, belonging to two different VPCs and having the same CIDR:</p> <pre><code>kind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net1\nspec:\n  vpc: test-vpc-1\n  cidrBlock: 10.0.1.0/24\n  protocol: IPv4\n  namespaces:\n    - ns1\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: test-vpc-2\n  cidrBlock: 10.0.1.0/24\n  protocol: IPv4\n  namespaces:\n    - ns2\n</code></pre> <p>Create Pods under two separate Namespaces:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net1\n  namespace: ns1\n  name: vpc1-pod\nspec:\n  containers:\n    - name: vpc1-pod\n      image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net2\n  namespace: ns2\n  name: vpc2-pod\nspec:\n  containers:\n    - name: vpc2-pod\n      image: docker.io/library/nginx:alpine\n</code></pre> <p>After running successfully, you can observe that the two Pod addresses belong to the same CIDR, but the two Pods cannot access each other because they are running on different tenant VPCs.</p>"},{"location":"en/guide/vpc/#custom-vpc-pod-supports-livenessprobe-and-readinessprobe","title":"Custom VPC Pod supports livenessProbe and readinessProbe","text":"<p>Since the Pods under the custom VPC do not communicate with the network of the node, the probe packets sent by the kubelet cannot reach the Pods in the custom VPC. Kube-OVN uses TProxy to redirect the detection packets sent by kubelet to Pods in the custom VPC to achieve this function.</p> <p>The configuration method is as follows, add the parameter <code>--enable-tproxy=true</code> in Daemonset <code>kube-ovn-cni</code>:</p> <pre><code>spec:\n  template:\n    spec:\n      containers:\n      - args:\n        - --enable-tproxy=true\n</code></pre> <p>Restrictions for this feature:</p> <ol> <li>When Pods under different VPCs have the same IP under the same node, the detection function fails.</li> <li>Currently, only <code>tcpSocket</code> and <code>httpGet</code> are supported.</li> </ol>"},{"location":"en/guide/vpc/#create-vpc-nat-gateway","title":"Create VPC NAT Gateway","text":"<p>Subnets under custom VPCs do not support distributed gateways and centralized gateways under default VPCs.</p> <p>Pod access to the external network within the VPC requires a VPC gateway, which bridges the physical and tenant networks and provides floating IP, SNAT and DNAT capabilities.</p> <p>The VPC gateway function relies on Multus-CNI function, please refer to multus-cni.</p>"},{"location":"en/guide/vpc/#configuring-the-external-network","title":"Configuring the External Network","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: ovn-vpc-external-network\nspec:\n  protocol: IPv4\n  provider: ovn-vpc-external-network.kube-system\n  cidrBlock: 192.168.0.0/24\n  gateway: 192.168.0.1  # IP address of the physical gateway\n  excludeIps:\n  - 192.168.0.1..192.168.0.10\n---\napiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-vpc-external-network\n  namespace: kube-system\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth1\",\n      \"mode\": \"bridge\",\n      \"ipam\": {\n        \"type\": \"kube-ovn\",\n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n        \"provider\": \"ovn-vpc-external-network.kube-system\"\n      }\n    }'\n</code></pre> <ul> <li>This Subnet is used to manage the available external addresses and the address will be allocated to VPC NAT Gateway through Macvlan, so please communicate with your network management to give you the available physical segment IPs.</li> <li>The VPC gateway uses Macvlan for physical network configuration, and <code>master</code> of <code>NetworkAttachmentDefinition</code> should be the NIC name of the corresponding physical network NIC.</li> <li><code>name</code>: External network name.</li> </ul> <p>For macvlan mode, the nic will send packets directly through that node NIC, relying on the underlying network devices for L2/L3 level forwarding capabilities. You need to configure the corresponding gateway, Vlan and security policy in the underlying network device in advance.</p> <ol> <li>For OpenStack VM environments, you need to turn off <code>PortSecurity</code> on the corresponding network port.</li> <li>For VMware vSwitch networks, <code>MAC Address Changes</code>, <code>Forged Transmits</code> and <code>Promiscuous Mode Operation</code> should be set to <code>allow</code>.</li> <li>For Hyper-V virtualization,  <code>MAC Address Spoofing</code> should be enabled in VM nic advanced features.</li> <li>Public clouds, such as AWS, GCE, AliCloud, etc., do not support user-defined Mac, so they cannot support Macvlan mode network.</li> <li>Due to the limitations of Macvlan, the Macvlan sub-interface cannot access the parent interface address.</li> <li>If the physical network card corresponds to a switch interface in Trunk mode, a sub-interface needs to be created on the network card and provided to Macvlan for use.</li> </ol>"},{"location":"en/guide/vpc/#enabling-the-vpc-gateway","title":"Enabling the VPC Gateway","text":"<p>VPC gateway functionality needs to be enabled via <code>ovn-vpc-nat-gw-config</code> under <code>kube-system</code>:</p> <pre><code>---\nkind: ConfigMap\napiVersion: v1\nmetadata:\n  name: ovn-vpc-nat-config\n  namespace: kube-system\ndata:\n  image: docker.io/kubeovn/vpc-nat-gateway:v1.13.0\n---\nkind: ConfigMap\napiVersion: v1\nmetadata:\n  name: ovn-vpc-nat-gw-config\n  namespace: kube-system\ndata:\n  enable-vpc-nat-gw: 'true'\n</code></pre> <ul> <li><code>image</code>: The image used by the Gateway Pod.</li> <li><code>enable-vpc-nat-gw</code>: Controls whether the VPC Gateway feature is enabled.</li> </ul>"},{"location":"en/guide/vpc/#create-vpc-gateway-and-set-the-default-route","title":"Create VPC Gateway and Set the Default Route","text":"<pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n  externalSubnets:\n    - ovn-vpc-external-network\n</code></pre> <ul> <li><code>vpc</code>: The VPC to which this VpcNatGateway belongs.</li> <li><code>subnet</code>: A Subnet within the VPC, the VPC Gateway Pod will use <code>lanIp</code> to connect to the tenant network under that subnet.</li> <li><code>lanIp</code>: An unused IP within the <code>subnet</code> that the VPC Gateway Pod will eventually use for the Pod. When configuring routing for a VPC, the  <code>nextHopIP</code> needs to be set to the <code>lanIp</code> of the current VpcNatGateway.</li> <li><code>selector</code>: The node selector for VpcNatGateway Pod has the same format as NodeSelector in Kubernetes.</li> <li><code>externalSubnets</code>: External network used by the VPC gateway, if not configured, <code>ovn-vpc-external-network</code> is used by default, and only one external network is supported in the current version.</li> </ul> <p>Other configurable parameters:</p> <ul> <li><code>tolerations</code>: Configure tolerance for the VPC gateway. For details, see Taints and Tolerations</li> <li><code>affinity</code>: Configure affinity for the Pod or node of the VPC gateway. For details, see Assigning Pods to Nodes</li> </ul> <p>Things to note when using VPC-NAT-GW:</p> <ol> <li>After the nat gw pod is created, the nic net1 arp is disabled and the physical gateway cannot be pinged. After creating the eip, the arp will be automatically enabled and the ping to underlay gateway should be ok.</li> </ol>"},{"location":"en/guide/vpc/#create-eip","title":"Create EIP","text":"<p>EIP allows for floating IP, SNAT, and DNAT operations after assigning an IP from an external network segment to a VPC gateway.</p> <p>Randomly assign an address to the EIP:</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-random\nspec:\n  natGwDp: gw1\n</code></pre> <p>Fixed EIP address assignment:</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  natGwDp: gw1\n  v4ip: 10.0.1.111\n</code></pre> <p>Specify the external network on which the EIP is located:</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-random\nspec:\n  natGwDp: gw1\n  externalSubnet: ovn-vpc-external-network\n</code></pre> <ul> <li><code>externalSubnet</code>: The name of the external network on which the EIP is located. If not specified, it defaults to <code>ovn-vpc-external-network</code>. If specified, it must be one of the <code>externalSubnets</code> of the VPC gateway.</li> </ul>"},{"location":"en/guide/vpc/#create-dnat-rules","title":"Create DNAT Rules","text":"<p>Through the DNAT rules, external can access to an IP and port within a VPC through an EIP and port.</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eipd01\nspec:\n  natGwDp: gw1\n\n---\nkind: IptablesDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: dnat01\nspec:\n  eip: eipd01 \n  externalPort: '8888'\n  internalIp: 10.0.1.10\n  internalPort: '80'\n  protocol: tcp\n</code></pre>"},{"location":"en/guide/vpc/#create-snat-rules","title":"Create SNAT Rules","text":"<p>Through SNAT rules, when a Pod in the VPC accesses an external address, it will go through the corresponding EIP for SNAT.</p> <pre><code>---\nkind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eips01\nspec:\n  natGwDp: gw1\n---\nkind: IptablesSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat01\nspec:\n  eip: eips01\n  internalCIDR: 10.0.1.0/24\n</code></pre>"},{"location":"en/guide/vpc/#create-floating-ip","title":"Create Floating IP","text":"<p>Through floating IP rules, one IP in the VPC will be completely mapped to the EIP, and the external can access the IP in the VPC through this EIP. When the IP in the VPC accesses the external address, it will be SNAT to this EIP</p> <pre><code>---\nkind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eipf01\nspec:\n  natGwDp: gw1\n\n---\nkind: IptablesFIPRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: fip01\nspec:\n  eip: eipf01\n  internalIp: 10.0.1.5\n</code></pre>"},{"location":"en/guide/vpc/#custom-routing","title":"Custom Routing","text":"<p>Within the custom VPC, users can customize the routing rules within the VPC and combine it with the gateway for more flexible forwarding. Kube-OVN supports static routes and more flexible policy routes.</p>"},{"location":"en/guide/vpc/#static-routes","title":"Static Routes","text":"<pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  staticRoutes:\n    - cidr: 0.0.0.0/0\n      nextHopIP: 10.0.1.254\n      policy: policyDst\n    - cidr: 172.31.0.0/24\n      nextHopIP: 10.0.1.253\n      policy: policySrc\n      routeTable: \"rtb1\"\n</code></pre> <ul> <li><code>policy</code>: Supports destination routing <code>policyDst</code> and source routing <code>policySrc</code>.</li> <li>When there are overlapping routing rules, the rule with the longer CIDR mask has higher priority,   and if the mask length is the same, the destination route has a higher priority over the source route.</li> <li><code>routeTable</code>: You can store the route in specific table, default is main table. Associate with subnet please defer to Create Custom Subnets</li> </ul>"},{"location":"en/guide/vpc/#policy-routes","title":"Policy Routes","text":"<p>Traffic matched by static routes can be controlled at a finer granularity by policy routing. Policy routing provides more precise matching rules, priority control and more forwarding actions. This feature brings the OVN internal logical router policy function directly to the outside world, for more information on its use, please refer to Logical Router Policy.</p> <p>An example of policy routes:</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  policyRoutes:\n    - action: drop\n      match: ip4.src==10.0.1.0/24 &amp;&amp; ip4.dst==10.0.1.250\n      priority: 11\n    - action: reroute\n      match: ip4.src==10.0.1.0/24\n      nextHopIP: 10.0.1.252\n      priority: 10\n</code></pre>"},{"location":"en/guide/vpc/#custom-vpc-dns","title":"Custom vpc-dns","text":"<p>Due to the isolation between custom VPCs and default VPC networks, Pods in VPCs cannot use the default coredns service for domain name resolution. If you want to use coredns to resolve Service domain names within the custom VPC, you can use the <code>vpc-dns</code> resource provided by Kube-OVN.</p>"},{"location":"en/guide/vpc/#create-an-additional-network","title":"Create an Additional Network","text":"<pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-nad\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"ovn-nad.default.ovn\"\n    }'\n</code></pre>"},{"location":"en/guide/vpc/#modify-the-provider-of-the-ovn-default-logical-switch","title":"Modify the Provider of the ovn-default Logical Switch","text":"<p>Modify the provider of ovn-default to the provider <code>ovn-nad.default.ovn</code> configured above in nad\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: ovn-default\nspec:\n  cidrBlock: 10.16.0.0/16\n  default: true\n  disableGatewayCheck: false\n  disableInterConnection: false\n  enableDHCP: false\n  enableIPv6RA: false\n  excludeIps:\n  - 10.16.0.1\n  gateway: 10.16.0.1\n  gatewayType: distributed\n  logicalGateway: false\n  natOutgoing: true\n  private: false\n  protocol: IPv4\n  provider: ovn-nad.default.ovn\n  vpc: ovn-cluster\n</code></pre>"},{"location":"en/guide/vpc/#modify-the-vpc-dns-configmap","title":"Modify the vpc-dns ConfigMap","text":"<p>Create a ConfigMap in the kube-system namespace, configure the vpc-dns parameters to be used for the subsequent vpc-dns feature activation:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-config\n  namespace: kube-system\ndata:\n  coredns-vip: 10.96.0.3\n  enable-vpc-dns: \"true\"\n  nad-name: ovn-nad\n  nad-provider: ovn-nad.default.ovn\n</code></pre> <ul> <li><code>enable-vpc-dns</code>: (optional) <code>true</code> to enable the feature, <code>false</code> to disable the feature. Default <code>true</code>.</li> <li><code>coredns-image</code>: (optional): DNS deployment image. Default is the cluster coredns deployment version.</li> <li><code>coredns-template</code>: (optional): URL of the DNS deployment template. Default: <code>yamls/coredns-template.yaml</code> in the current version repository.</li> <li><code>coredns-vip</code>: VIP providing LB service for coredns.</li> <li><code>nad-name</code>: Name of the configured <code>network-attachment-definitions</code> resource.</li> <li><code>nad-provider</code>: Name of the used provider.</li> <li><code>k8s-service-host</code>: (optional) IP used by coredns to access the k8s apiserver service.</li> <li><code>k8s-service-port</code>: (optional) Port used by coredns to access the k8s apiserver service.</li> </ul>"},{"location":"en/guide/vpc/#deploying-vpc-dns-dependent-resources","title":"Deploying VPC-DNS Dependent Resources","text":"<pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: system:vpc-dns\nrules:\n  - apiGroups:\n    - \"\"\n    resources:\n    - endpoints\n    - services\n    - pods\n    - namespaces\n    verbs:\n    - list\n    - watch\n  - apiGroups:\n    - discovery.k8s.io\n    resources:\n    - endpointslices\n    verbs:\n    - list\n    - watch\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  annotations:\n    rbac.authorization.kubernetes.io/autoupdate: \"true\"\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: vpc-dns\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: system:vpc-dns\nsubjects:\n- kind: ServiceAccount\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-corefile\n  namespace: kube-system\ndata:\n  Corefile: |\n    .:53 {\n        errors\n        health {\n          lameduck 5s\n        }\n        ready\n        kubernetes cluster.local in-addr.arpa ip6.arpa {\n          pods insecure\n          fallthrough in-addr.arpa ip6.arpa\n        }\n        prometheus :9153\n        forward . /etc/resolv.conf {\n          prefer_udp\n        }\n        cache 30\n        loop\n        reload\n        loadbalance\n    }\n</code></pre>"},{"location":"en/guide/vpc/#deploy-vpc-dns","title":"Deploy vpc-dns","text":"<pre><code>kind: VpcDns\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-cjh1\nspec:\n  vpc: cjh-vpc-1\n  subnet: cjh-subnet-1\n</code></pre> <ul> <li><code>vpc</code>: The VPC name used to deploy the DNS component.</li> <li><code>subnet</code>: The subnet name used to deploy the DNS component.</li> </ul> <p>View resource information:</p> <pre><code>[root@hci-dev-mst-1 kubeovn]# kubectl get vpc-dns\nNAME        ACTIVE   VPC         SUBNET   \ntest-cjh1   false    cjh-vpc-1   cjh-subnet-1   \ntest-cjh2   true     cjh-vpc-1   cjh-subnet-2 \n</code></pre> <ul> <li><code>ACTIVE</code>: if the custom vpc-dns is ready.</li> </ul>"},{"location":"en/guide/vpc/#restrictions","title":"Restrictions","text":"<ul> <li>Only one custom DNS component will be deployed in one VPC;</li> <li>When multiple VPC-DNS resources (i.e. different subnets in the same VPC) are configured in one VPC, only one VPC-DNS resource with status <code>true</code> will be active, while the others will be <code>false</code>;</li> <li>When the <code>true</code> VPC-DNS is deleted, another <code>false</code> VPC-DNS will be deployed.</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/webhook/","title":"Webhook","text":"<p>Using Webhook, you can verify CRD resources within Kube-OVN. Currently, Webhook mainly performs fixed IP address conflict detection and Subnet CIDR conflict detection, and prompts errors when such conflicts happen.</p> <p>Since Webhook intercepts all Subnet and Pod creation requests, you need to deploy Kube-OVN first and Webhook later.</p>"},{"location":"en/guide/webhook/#install-cert-manager","title":"Install Cert-Manager","text":"<p>Webhook deployment requires certificate, we use cert-manager to generate the associated certificate, we need to deploy cert-manager before deploying Webhook.</p> <p>You can use the following command to deploy cert-manager:</p> <pre><code>kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.8.0/cert-manager.yaml\n</code></pre> <p>More cert-manager usage please refer to cert-manager document\u3002</p>"},{"location":"en/guide/webhook/#install-webhook","title":"Install Webhook","text":"<p>Download Webhook yaml and install:</p> <pre><code># kubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/yamls/webhook.yaml\ndeployment.apps/kube-ovn-webhook created\nservice/kube-ovn-webhook created\nvalidatingwebhookconfiguration.admissionregistration.k8s.io/kube-ovn-webhook created\ncertificate.cert-manager.io/kube-ovn-webhook-serving-cert created\nissuer.cert-manager.io/kube-ovn-webhook-selfsigned-issuer created\n</code></pre>"},{"location":"en/guide/webhook/#verify-webhook-take-effect","title":"Verify Webhook Take Effect","text":"<p>Check the running Pod and get the Pod IP <code>10.16.0.15</code>:</p> <pre><code># kubectl get pod -o wide\nNAME                      READY   STATUS    RESTARTS   AGE     IP           NODE              NOMINATED NODE   READINESS GATES\nstatic-7584848b74-fw9dm   1/1     Running   0          2d13h   10.16.0.15   kube-ovn-worker   &lt;none&gt; \n</code></pre> <p>Write yaml to create a Pod with the same IP:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/ip_address: 10.16.0.15\n    ovn.kubernetes.io/mac_address: 00:00:00:53:6B:B6\n  labels:\n    app: static\n  managedFields:\n  name: staticip-pod\n  namespace: default\nspec:\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>When using the above yaml to create a fixed address Pod, it prompts an IP address conflict:</p> <pre><code># kubectl apply -f pod-static.yaml\nError from server (annotation ip address 10.16.0.15 is conflict with ip crd static-7584848b74-fw9dm.default 10.16.0.15): error when creating \"pod-static.yaml\": admission webhook \"pod-ip-validaing.kube-ovn.io\" denied the request: annotation ip address 10.16.0.15 is conflict with ip crd static-7584848b74-fw9dm.default 10.16.0.15\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/change-default-subnet/","title":"Change Subnet CIDR","text":"<p>If a subnet CIDR is created that conflicts or does not meet expectations, it can be modified by following the steps in this document.</p> <p>After modifying the subnet CIDR, the previously created Pods will not be able to access the network properly and need to be rebuilt. Careful consideration is recommended before operating\u3002This document is only for business subnet CIDR changes, if you need to Change the Join subnet CIDR, please refer to Change Join CIDR.</p>"},{"location":"en/ops/change-default-subnet/#edit-subnet","title":"Edit Subnet","text":"<p>Use <code>kubectl edit</code> to modify <code>cidrBlock</code>\uff0c<code>gateway</code> and <code>excludeIps</code>.</p> <pre><code>kubectl edit subnet test-subnet\n</code></pre>"},{"location":"en/ops/change-default-subnet/#rebuild-all-pods-under-this-subnet","title":"Rebuild all Pods under this Subnet","text":"<p>Take the subnet binding <code>test</code> Namespace as example:</p> <pre><code>for pod in $(kubectl get pod --no-headers -n \"$ns\" --field-selector spec.restartPolicy=Always -o custom-columns=NAME:.metadata.name,HOST:spec.hostNetwork | awk '{if ($2!=\"true\") print $1}'); do\n  kubectl delete pod \"$pod\" -n test --ignore-not-found\ndone\n</code></pre> <p>If only the default subnet is used, you can delete all Pods that are not in host network mode using the following command:</p> <pre><code>for ns in $(kubectl get ns --no-headers -o custom-columns=NAME:.metadata.name); do\n  for pod in $(kubectl get pod --no-headers -n \"$ns\" --field-selector spec.restartPolicy=Always -o custom-columns=NAME:.metadata.name,HOST:spec.hostNetwork | awk '{if ($2!=\"true\") print $1}'); do\n    kubectl delete pod \"$pod\" -n \"$ns\" --ignore-not-found\n  done\ndone\n</code></pre>"},{"location":"en/ops/change-default-subnet/#change-default-subnet-settings","title":"Change Default Subnet Settings","text":"<p>If you are modifying the CIDR for the default Subnet, you also need to change the args of the <code>kube-ovn-controller</code> Deployment:</p> <pre><code>args:\n- --default-cidr=10.17.0.0/16\n- --default-gateway=10.17.0.1\n- --default-exclude-ips=10.17.0.1\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/change-join-subnet/","title":"Change Join Subnet CIDR","text":"<p>If the Join subnet CIDR created conflicts or does not meet expectations, you can use this document to modify.</p> <p>After modifying the Join Subnet CIDR, the previously created Pods will not be able to access the external network normally and need to wait for the rebuild completed.</p>"},{"location":"en/ops/change-join-subnet/#delete-join-subnet","title":"Delete Join Subnet","text":"<pre><code>kubectl patch subnet join --type='json' -p '[{\"op\": \"replace\", \"path\": \"/metadata/finalizers\", \"value\": []}]'\nkubectl delete subnet join\n</code></pre>"},{"location":"en/ops/change-join-subnet/#cleanup-allocated-config","title":"Cleanup Allocated Config","text":"<pre><code>kubectl annotate node ovn.kubernetes.io/allocated=false --all --overwrite\n</code></pre>"},{"location":"en/ops/change-join-subnet/#modify-join-subnet","title":"Modify Join Subnet","text":"<p>Change Join Subnet args in <code>kube-ovn-controller</code>:</p> <pre><code>kubectl edit deployment -n kube-system kube-ovn-controller\n</code></pre> <p>Change the CIDR below:</p> <pre><code>args:\n- --node-switch-cidr=100.51.0.0/16\n</code></pre> <p>Reboot the <code>kube-ovn-controller</code> and rebuild <code>join</code> Subnet:</p> <pre><code>kubectl delete pod -n kube-system -lapp=kube-ovn-controller\n</code></pre> <p>Check the new Join Subnet information:</p> <pre><code># kubectl get subnet\nNAME          PROVIDER   VPC           PROTOCOL   CIDR            PRIVATE   NAT     DEFAULT   GATEWAYTYPE   V4USED   V4AVAILABLE   V6USED   V6AVAILABLE   EXCLUDEIPS\njoin          ovn        ovn-cluster   IPv4       100.51.0.0/16   false     false   false     distributed   2        65531         0        0             [\"100.51.0.1\"]\novn-default   ovn        ovn-cluster   IPv4       10.17.0.0/16    false     true    true      distributed   5        65528         0        0             [\"10.17.0.1\"]\n</code></pre>"},{"location":"en/ops/change-join-subnet/#reconfigure-ovn0-nic-address","title":"Reconfigure ovn0 NIC Address","text":"<p>The <code>ovn0</code> NIC information for each node needs to be re-updated, which can be done by restarting <code>kube-ovn-cni</code>:</p> <pre><code>kubectl delete pod -n kube-system -l app=kube-ovn-cni\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/change-log-level/","title":"Change Log Level","text":"<p>Open <code>kube-ovn.yaml</code> and set the log level in the parameter list of the service startup script, such as:</p> <pre><code>vi kube-ovn.yaml\n# ...\n        - name: kube-ovn-controller\n          image: \"docker.io/kubeovn/kube-ovn:v1.13.0\"\n          imagePullPolicy: IfNotPresent\n          args:\n          - /kube-ovn/start-controller.sh\n          - --v=3\n# ...\n# The higher the log level, the more detailed the log\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/change-ovn-central-node/","title":"Replace ovn-central Node","text":"<p>Since <code>ovn-nb</code> and <code>ovn-sb</code> within <code>ovn-central</code> create separate etcd-like raft clusters, replacing the <code>ovn-central</code> node requires additional operations to ensure correct cluster state and consistent data. It is recommended that only one node be up and down at a time to avoid the cluster going into an unavailable state and affecting the overall cluster network.</p>"},{"location":"en/ops/change-ovn-central-node/#ovn-central-nodes-offline","title":"ovn-central Nodes Offline","text":"<p>This document use the cluster below to describes how to remove the <code>kube-ovn-control-plane2</code> node from the <code>ovn-central</code> as an example.</p> <pre><code># kubectl -n kube-system get pod -o wide | grep central\novn-central-6bf58cbc97-2cdhg                      1/1     Running   0             21m   172.18.0.3   kube-ovn-control-plane    &lt;none&gt;           &lt;none&gt;\novn-central-6bf58cbc97-crmfp                      1/1     Running   0             21m   172.18.0.5   kube-ovn-control-plane2   &lt;none&gt;           &lt;none&gt;\novn-central-6bf58cbc97-lxmpl                      1/1     Running   0             21m   172.18.0.4   kube-ovn-control-plane3   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"en/ops/change-ovn-central-node/#kick-node-in-ovn-nb","title":"Kick Node in ovn-nb","text":"<p>First check the ID of the node within the cluster for subsequent operations.</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2135194 ms ago, reason: timeout\nLast Election won: 2135188 ms ago\nElection timer: 5000\nLog: [135, 135]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-d64b -&gt;d64b &lt;-4984 -&gt;4984\nDisconnections: 0\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=135 match_index=134 last msg 1084 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=2 match_index=134\n    d64b (d64b at tcp:[172.18.0.5]:6643) next_index=135 match_index=134 last msg 1084 ms ago\nstatus: ok\n</code></pre> <p><code>kube-ovn-control-plane2</code> corresponds to a node IP of <code>172.18.0.5</code> and the corresponding ID within the cluster is <code>d64b</code>. Next, kick the node out of the ovn-nb cluster.</p> <pre><code># kubectl ko nb kick d64b\nstarted removal\n</code></pre> <p>Check if the node has been kicked:</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2297649 ms ago, reason: timeout\nLast Election won: 2297643 ms ago\nElection timer: 5000\nLog: [136, 136]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-4984 -&gt;4984\nDisconnections: 2\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=136 match_index=135 last msg 1270 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=2 match_index=135\nstatus: ok\n</code></pre>"},{"location":"en/ops/change-ovn-central-node/#kick-node-in-ovn-sb","title":"Kick Node in ovn-sb","text":"<p>Next, for the ovn-sb cluster, you need to first check the ID of the node within the cluster for subsequent operations.</p> <pre><code>kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2395317 ms ago, reason: timeout\nLast Election won: 2395316 ms ago\nElection timer: 5000\nLog: [130, 130]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-e9f7 -&gt;e9f7 &lt;-6e84 -&gt;6e84\nDisconnections: 0\nServers:\n    e9f7 (e9f7 at tcp:[172.18.0.5]:6644) next_index=130 match_index=129 last msg 1006 ms ago\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=130 match_index=129 last msg 1004 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=2 match_index=129\nstatus: ok\n</code></pre> <p><code>kube-ovn-control-plane2</code> corresponds to node IP <code>172.18.0.5</code> and the corresponding ID within the cluster is <code>e9f7</code>. Next, kick the node out of the ovn-sb cluster.</p> <pre><code># kubectl ko sb kick e9f7\nstarted removal\n</code></pre> <p>Check if the node has been kicked:</p> <pre><code># kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2481636 ms ago, reason: timeout\nLast Election won: 2481635 ms ago\nElection timer: 5000\nLog: [131, 131]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-6e84 -&gt;6e84\nDisconnections: 2\nServers:\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=131 match_index=130 last msg 642 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=2 match_index=130\nstatus: ok\n</code></pre>"},{"location":"en/ops/change-ovn-central-node/#delete-node-label-and-downscale-ovn-central","title":"Delete Node Label and Downscale ovn-central","text":"<p>Note that you need to remove the offline node from the node address of the ovn-central environment variable <code>NODE_IPS</code>.</p> <pre><code>kubectl label node kube-ovn-control-plane2 kube-ovn/role-\nkubectl scale deployment -n kube-system ovn-central --replicas=2\nkubectl set env deployment/ovn-central -n kube-system NODE_IPS=\"172.18.0.3,172.18.0.4\"\nkubectl rollout status deployment/ovn-central -n kube-system \n</code></pre>"},{"location":"en/ops/change-ovn-central-node/#modify-components-address-to-ovn-central","title":"Modify Components Address to ovn-central","text":"<p>Modify <code>ovs-ovn</code> to remove the offline Node address:</p> <pre><code># kubectl set env daemonset/ovs-ovn -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4\"\ndaemonset.apps/ovs-ovn env updated\n# kubectl delete pod -n kube-system -lapp=ovs\npod \"ovs-ovn-4f6jc\" deleted\npod \"ovs-ovn-csn2w\" deleted\npod \"ovs-ovn-mpbmb\" deleted\n</code></pre> <p>Modify <code>kube-ovn-controller</code> to remove the offline Node address:</p> <pre><code># kubectl set env deployment/kube-ovn-controller -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4\"\ndeployment.apps/kube-ovn-controller env updated\n\n# kubectl rollout status deployment/kube-ovn-controller -n kube-system\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\n</code></pre>"},{"location":"en/ops/change-ovn-central-node/#clean-node","title":"Clean Node","text":"<p>Delete the database files in the <code>kube-ovn-control-plane2</code> node to avoid errors when adding the node again:</p> <pre><code>rm -rf /etc/origin/ovn\n</code></pre> <p>To take a node offline from a Kubernetes cluster entirely, please continue with Delete Work Node.</p>"},{"location":"en/ops/change-ovn-central-node/#ovn-central-online","title":"ovn-central Online","text":"<p>The following steps will add a new Kubernetes node to the <code>ovn-central</code> cluster.</p>"},{"location":"en/ops/change-ovn-central-node/#directory-check","title":"Directory Check","text":"<p>Check if the <code>ovnnb_db.db</code> or <code>ovnsb_db.db</code> file exists in the <code>/etc/origin/ovn</code> directory of the new node, and if so, delete it:</p> <pre><code>rm -rf /etc/origin/ovn\n</code></pre>"},{"location":"en/ops/change-ovn-central-node/#check-current-ovn-central-status","title":"Check Current ovn-central Status","text":"<p>If the current <code>ovn-central</code> cluster state is already abnormal, adding new nodes may cause the voting election to fail to pass the majority, affecting subsequent operations.</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 44\nLeader: self\nVote: self\n\nLast Election started 1855739 ms ago, reason: timeout\nLast Election won: 1855729 ms ago\nElection timer: 5000\nLog: [147, 147]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: -&gt;4984 &lt;-4984\nDisconnections: 0\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=147 match_index=146 last msg 367 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=140 match_index=146\nstatus: ok\n\n# kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 33\nLeader: self\nVote: self\n\nLast Election started 1868589 ms ago, reason: timeout\nLast Election won: 1868579 ms ago\nElection timer: 5000\nLog: [142, 142]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: -&gt;6e84 &lt;-6e84\nDisconnections: 0\nServers:\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=142 match_index=141 last msg 728 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=134 match_index=141\nstatus: ok\n</code></pre>"},{"location":"en/ops/change-ovn-central-node/#label-node-and-scale-ovn-central","title":"Label Node and Scale ovn-central","text":"<p>Note that you need to add the online node address to the node address of the ovn-central environment variable <code>NODE_IPS</code>.</p> <pre><code>kubectl label node kube-ovn-control-plane2 kube-ovn/role=master\nkubectl scale deployment -n kube-system ovn-central --replicas=3\nkubectl set env deployment/ovn-central -n kube-system NODE_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\nkubectl rollout status deployment/ovn-central -n kube-system\n</code></pre>"},{"location":"en/ops/change-ovn-central-node/#modify-components-address-to-ovn-central_1","title":"Modify Components Address to ovn-central","text":"<p>Modify <code>ovs-ovn</code> to add the online Node address:</p> <pre><code># kubectl set env daemonset/ovs-ovn -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\ndaemonset.apps/ovs-ovn env updated\n# kubectl delete pod -n kube-system -lapp=ovs\npod \"ovs-ovn-4f6jc\" deleted\npod \"ovs-ovn-csn2w\" deleted\npod \"ovs-ovn-mpbmb\" deleted\n</code></pre> <p>Modify <code>kube-ovn-controller</code> to add the online Node address:</p> <pre><code># kubectl set env deployment/kube-ovn-controller -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\ndeployment.apps/kube-ovn-controller env updated\n\n# kubectl rollout status deployment/kube-ovn-controller -n kube-system\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/delete-worker-node/","title":"Delete Work Node","text":"<p>If the node is simply removed from Kubernetes, the <code>ovn-controller</code> process running in <code>ovs-ovn</code> on the node will periodically connect to <code>ovn-central</code> to register relevant network information. This leads to additional resource waste and potential rule conflict risk\u3002 Therefore, when removing nodes from within Kubernetes, follow the steps below to ensure that related resources are cleaned up properly.</p> <p>This document describes the steps to delete a worker node, if you want to change the node where <code>ovn-central</code> is located, please refer to Replace ovn-central Node.</p>"},{"location":"en/ops/delete-worker-node/#evict-pods-on-the-node","title":"Evict Pods on the Node","text":"<pre><code> # kubectl drain kube-ovn-worker --ignore-daemonsets --force\n node/kube-ovn-worker cordoned\n WARNING: ignoring DaemonSet-managed Pods: kube-system/kube-ovn-cni-zt74b, kube-system/kube-ovn-pinger-5rxfs, kube-system/kube-proxy-jpmnm, kube-system/ovs-ovn-v2kll\n evicting pod kube-system/coredns-64897985d-qsgpt\n evicting pod local-path-storage/local-path-provisioner-5ddd94ff66-llss6\n evicting pod kube-system/kube-ovn-controller-8459db5ff4-94lxb\n pod/kube-ovn-controller-8459db5ff4-94lxb evicted\n pod/coredns-64897985d-qsgpt evicted\n pod/local-path-provisioner-5ddd94ff66-llss6 evicted\n node/kube-ovn-worker drained\n</code></pre>"},{"location":"en/ops/delete-worker-node/#stop-kubelet-and-docker","title":"Stop kubelet and docker","text":"<p>This step stops the <code>ovs-ovn</code> container to avoid registering information to <code>ovn-central</code>. Log into to the corresponding node and ruu the following commands:</p> <pre><code>systemctl stop kubelet\nsystemctl stop docker\n</code></pre> <p>If using containerd as the CRI, the following command needs to be executed to stop the <code>ovs-ovn</code> container:</p> <pre><code>crictl rm -f $(crictl ps | grep openvswitch | awk '{print $1}')\n</code></pre>"},{"location":"en/ops/delete-worker-node/#cleanup-files-on-node","title":"Cleanup Files on Node","text":"<pre><code>rm -rf /var/run/openvswitch\nrm -rf /var/run/ovn\nrm -rf /etc/origin/openvswitch/\nrm -rf /etc/origin/ovn/\nrm -rf /etc/cni/net.d/00-kube-ovn.conflist\nrm -rf /etc/cni/net.d/01-kube-ovn.conflist\nrm -rf /var/log/openvswitch\nrm -rf /var/log/ovn\n</code></pre>"},{"location":"en/ops/delete-worker-node/#delete-the-node","title":"Delete the Node","text":"<pre><code>kubectl delete no kube-ovn-01\n</code></pre>"},{"location":"en/ops/delete-worker-node/#check-if-node-removed-from-ovn-sb","title":"Check If Node Removed from OVN-SB","text":"<p>In the example below, the node <code>kube-ovn-worker</code> is not removed:</p> <pre><code># kubectl ko sbctl show\nChassis \"b0564934-5a0d-4804-a4c0-476c93596a17\"\n  hostname: kube-ovn-worker\n  Encap geneve\n      ip: \"172.18.0.2\"\n      options: {csum=\"true\"}\n  Port_Binding kube-ovn-pinger-5rxfs.kube-system\nChassis \"6a29de7e-d731-4eaf-bacd-2f239ee52b28\"\n  hostname: kube-ovn-control-plane\n  Encap geneve\n      ip: \"172.18.0.3\"\n      options: {csum=\"true\"}\n  Port_Binding coredns-64897985d-nbfln.kube-system\n  Port_Binding node-kube-ovn-control-plane\n  Port_Binding local-path-provisioner-5ddd94ff66-h4tn9.local-path-storage\n  Port_Binding kube-ovn-pinger-hf2p6.kube-system\n  Port_Binding coredns-64897985d-fhwlw.kube-system\n</code></pre>"},{"location":"en/ops/delete-worker-node/#delete-the-chassis-manually","title":"Delete the Chassis Manually","text":"<p>Use the uuid find above to delete the chassis:</p> <pre><code># kubectl ko sbctl chassis-del b0564934-5a0d-4804-a4c0-476c93596a17\n# kubectl ko sbctl show\nChassis \"6a29de7e-d731-4eaf-bacd-2f239ee52b28\"\n  hostname: kube-ovn-control-plane\n  Encap geneve\n      ip: \"172.18.0.3\"\n      options: {csum=\"true\"}\n  Port_Binding coredns-64897985d-nbfln.kube-system\n  Port_Binding node-kube-ovn-control-plane\n  Port_Binding local-path-provisioner-5ddd94ff66-h4tn9.local-path-storage\n  Port_Binding kube-ovn-pinger-hf2p6.kube-system\n  Port_Binding coredns-64897985d-fhwlw.kube-system\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/faq/","title":"FAQ","text":""},{"location":"en/ops/faq/#kylin-arm-system-cross-host-container-access-intermittently-fails","title":"Kylin ARM system cross-host container access intermittently fails","text":""},{"location":"en/ops/faq/#behavior","title":"Behavior","text":"<p>There is a problem with Kylin ARM system and some NIC offload, which can cause intermittent container network failure.</p> <p>Use <code>netstat</code> to identify the problem:</p> <pre><code># netstat -us\nIcmpMsg:\n    InType0: 22\n    InType3: 24\n    InType8: 117852\n    OutType0: 117852\n    OutType3: 29\n    OutType8: 22\nUdp:\n    3040636 packets received\n    0 packets to unknown port received.\n    4 packet receive errors\n    602 packets sent\n    0 receive buffer errors\n    0 send buffer errors\n    InCsumErrors: 4\nUdpLite:\nIpExt:\n    InBcastPkts: 10244\n    InOctets: 4446320361\n    OutOctets: 1496815600\n    InBcastOctets: 3095950\n    InNoECTPkts: 7683903\n</code></pre> <p>If <code>InCsumErrors</code> is present and increases with netwoork failures, you can confirm that this is the problem.</p>"},{"location":"en/ops/faq/#solution","title":"Solution","text":"<p>The fundamental solution requires communication with Kylin and the corresponding network card manufacturer to update the system and drivers. A temporary solution would be to turn off <code>tx offload</code> on the physical NIC, but this would cause a significant degradation in tcp performance.</p> <pre><code>ethtool -K eth0 tx off\n</code></pre> <p>From the community feedback, the problem can be solved by the <code>4.19.90-25.16.v2101</code> kernel.</p>"},{"location":"en/ops/faq/#pod-can-not-access-service","title":"Pod can not Access Service","text":""},{"location":"en/ops/faq/#behavior_1","title":"Behavior","text":"<p>Pod can not access Service, and <code>dmesg</code> show errors:</p> <pre><code>netlink\uff1aUnknown conntrack attr (type=6, max=5)\nopenvswitch: netlink: Flow actions may not be safe on all matching packets.\n</code></pre> <p>This log indicates that the in-kernel OVS version is too low to support the corresponding NAT operation.</p>"},{"location":"en/ops/faq/#solution_1","title":"Solution","text":"<ol> <li>Upgrade the kernel module or compile the OVS kernel module manually.</li> <li>If you are using an Overlay network you can change the <code>kube-ovn-controller</code> args, setting <code>--enable-lb=false</code> to disable the OVN LB to use kube-proxy for service forwarding.</li> </ol>"},{"location":"en/ops/faq/#frequent-leader-selection-occurs-in-ovn-central","title":"Frequent leader selection occurs in ovn-central","text":""},{"location":"en/ops/faq/#behavior_2","title":"Behavior","text":"<p>Starting from the v1.11.x version, in a cluster with 1w Pod or more, if OVN NB or SB frequently elects the master, the possible reason is that Kube-OVN periodically performs the ovsdb-server/compact action, which affects the master selection logic.</p>"},{"location":"en/ops/faq/#solution_2","title":"Solution","text":"<p>You can configure the environment variables for ovn-central as follows and turn off compact:</p> <pre><code>- name: ENABLE_COMPACT\n  value: \"false\"\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/from-calico/","title":"Install Kube-OVN From Calico","text":"<p>If a Kubernetes cluster already has Calico installed and needs to change to Kube-OVN you can refer to this document.</p> <p>Since the installation of Calico may vary from version to version and the existing Pod network may be disrupted during the replacement process, it is recommended that you plan ahead and compare the differences in Calico installation from version to version.</p>"},{"location":"en/ops/from-calico/#uninstall-calico","title":"Uninstall Calico","text":"<p>For Calico installed from an Operator:</p> <pre><code>kubectl delete -f https://projectcalico.docs.tigera.io/manifests/tigera-operator.yaml\nkubectl delete -f https://projectcalico.docs.tigera.io/manifests/custom-resources.yaml\n</code></pre> <p>For Calico installed from manifests:</p> <pre><code>kubectl delete -f https://projectcalico.docs.tigera.io/manifests/calico.yaml \n</code></pre>"},{"location":"en/ops/from-calico/#cleanup-config-files","title":"Cleanup Config Files","text":"<p>Delete the CNI-related configuration files on each machine, depending on the environment:</p> <pre><code>rm -f /etc/cni/net.d/10-calico.conflist\nrm -f /etc/cni/net.d/calico-kubeconfig\n</code></pre> <p>Calico still leaves routing rules, iptables rules, veth network interfaces and other configuration information on the node, so it is recommended to reboot the node to clean up the relevant configuration to avoid problems that are difficult to troubleshoot.</p>"},{"location":"en/ops/from-calico/#install-kube-ovn","title":"Install Kube-OVN","text":"<p>You can refer to One Click Installation to install Kube-OVN as usual.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/kubectl-ko/","title":"Kubectl Plugin","text":"<p>To facilitate daily operations and maintenance, Kube-OVN provides the kubectl plug-in tool, which allows administrators to perform daily operations through this command. For examples: Check OVN database information and status, OVN database backup and restore, OVS related information, tcpdump specific containers, specific link logical topology, network problem diagnosis and performance optimization.</p>"},{"location":"en/ops/kubectl-ko/#plugin-installation","title":"Plugin Installation","text":"<p>Kube-OVN installation will deploy the plugin to each node by default. If the machine that runs kubectl is not in the cluster, or if you need to reinstall the plugin, please refer to the following steps:</p> <p>Download <code>kubectl-ko</code> file:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/kubectl-ko\n</code></pre> <p>Move file to <code>$PATH</code>:</p> <pre><code>mv kubectl-ko /usr/local/bin/kubectl-ko\n</code></pre> <p>Add executable permissions:</p> <pre><code>chmod +x /usr/local/bin/kubectl-ko\n</code></pre> <p>Check if the plugin works properly:</p> <pre><code># kubectl plugin list\nThe following compatible plugins are available:\n\n/usr/local/bin/kubectl-ko\n</code></pre>"},{"location":"en/ops/kubectl-ko/#plugin-usage","title":"Plugin Usage","text":"<p>Running <code>kubectl ko</code> will show all the available commands and usage descriptions, as follows:</p> <pre><code># kubectl ko\nkubectl ko {subcommand} [option...]\nAvailable Subcommands:\n  [nb|sb] [status|kick|backup|dbstatus|restore]     ovn-db operations show cluster status, kick stale server, backup database, get db consistency status or restore ovn nb db when met 'inconsistent data' error\n  nbctl [ovn-nbctl options ...]    invoke ovn-nbctl\n  sbctl [ovn-sbctl options ...]    invoke ovn-sbctl\n  vsctl {nodeName} [ovs-vsctl options ...]   invoke ovs-vsctl on the specified node\n  ofctl {nodeName} [ovs-ofctl options ...]   invoke ovs-ofctl on the specified node\n  dpctl {nodeName} [ovs-dpctl options ...]   invoke ovs-dpctl on the specified node\n  appctl {nodeName} [ovs-appctl options ...]   invoke ovs-appctl on the specified node\n  tcpdump {namespace/podname} [tcpdump options ...]     capture pod traffic\n  {trace|ovn-trace} ...    trace ovn microflow of specific packet\"\n    {trace|ovn-trace} {namespace/podname} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]    trace ICMP/TCP/UDP\n    {trace|ovn-trace} {namespace/podname} {target ip address} [target mac address] arp {request|reply}                     trace ARP request/reply\n    {trace|ovn-trace} {node//nodename} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]       trace ICMP/TCP/UDP\n    {trace|ovn-trace} {node//nodename} {target ip address} [target mac address] arp {request|reply}                        trace ARP request/reply\n  echo \"  diagnose {all|node|subnet|IPPorts} [nodename|subnetName|{proto1}-{IP1}-{Port1},{proto2}-{IP2}-{Port2}]    diagnose connectivity of all nodes or a specific node or specify subnet's ds pod or IPPorts like 'tcp-172.18.0.2-53,udp-172.18.0.3-53'\"\n  tuning {install-fastpath|local-install-fastpath|remove-fastpath|install-stt|local-install-stt|remove-stt} {centos7|centos8}} [kernel-devel-version]  deploy  kernel optimisation components to the system\n  reload    restart all kube-ovn components\n  log {kube-ovn|ovn|ovs|linux|all}    save log to ./kubectl-ko-log/\n  perf [image] performance test default image is kubeovn/test:v1.12.0  \n</code></pre> <p>The specific functions and usage of each command are described below.</p>"},{"location":"en/ops/kubectl-ko/#nb-sb-status-kick-backup-dbstatus-restore","title":"[nb | sb] [status | kick | backup | dbstatus | restore]","text":"<p>This subcommand mainly operates on OVN northbound or southbound databases, including database cluster status check, database node offline, database backup, database storage status check and database repair.</p>"},{"location":"en/ops/kubectl-ko/#db-cluster-status-check","title":"DB Cluster Status Check","text":"<p>This command executes <code>ovs-appctl cluster/status</code> on the leader node of the corresponding OVN database to show the cluster status:</p> <pre><code># kubectl ko nb status\n306b\nName: OVN_Northbound\nCluster ID: 9a87 (9a872522-3e7d-47ca-83a3-d74333e1a7ca)\nServer ID: 306b (306b256b-b5e1-4eb0-be91-4ca96adf6bad)\nAddress: tcp:[172.18.0.2]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 280309 ms ago, reason: timeout\nLast Election won: 280309 ms ago\nElection timer: 5000\nLog: [139, 139]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-8723 -&gt;8723 &lt;-85d6 -&gt;85d6\nDisconnections: 0\nServers:\n    85d6 (85d6 at tcp:[172.18.0.4]:6643) next_index=139 match_index=138 last msg 763 ms ago\n    8723 (8723 at tcp:[172.18.0.3]:6643) next_index=139 match_index=138 last msg 763 ms ago\n    306b (306b at tcp:[172.18.0.2]:6643) (self) next_index=2 match_index=138\nstatus: ok\n</code></pre> <p>If the <code>match_index</code> under <code>Server</code> has a large difference and the <code>last msg</code> time is long, the corresponding Server may not respond for a long time and needs to be checked further.</p>"},{"location":"en/ops/kubectl-ko/#db-nodes-offline","title":"DB Nodes Offline","text":"<p>This command removes a node from the OVN database and is required when a node is taken offline or replaced. The following is an example of the cluster status from the previous command, to offline the <code>172.18.0.3</code> node:</p> <pre><code># kubectl ko nb kick 8723\nstarted removal\n</code></pre> <p>Check the database cluster status again to confirm that the node has been removed:</p> <pre><code># kubectl ko nb status\n306b\nName: OVN_Northbound\nCluster ID: 9a87 (9a872522-3e7d-47ca-83a3-d74333e1a7ca)\nServer ID: 306b (306b256b-b5e1-4eb0-be91-4ca96adf6bad)\nAddress: tcp:[172.18.0.2]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 324356 ms ago, reason: timeout\nLast Election won: 324356 ms ago\nElection timer: 5000\nLog: [140, 140]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-85d6 -&gt;85d6\nDisconnections: 2\nServers:\n    85d6 (85d6 at tcp:[172.18.0.4]:6643) next_index=140 match_index=139 last msg 848 ms ago\n    306b (306b at tcp:[172.18.0.2]:6643) (self) next_index=2 match_index=139\nstatus: ok\n</code></pre>"},{"location":"en/ops/kubectl-ko/#db-backup","title":"DB Backup","text":"<p>This subcommand backs up the current OVN database locally and can be used for disaster recovery:</p> <pre><code># kubectl ko nb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnnb_db.060223191654183154.backup\n</code></pre>"},{"location":"en/ops/kubectl-ko/#database-storage-status-check","title":"Database Storage Status Check","text":"<p>This command is used to check if the database file is corrupt:</p> <pre><code># kubectl ko nb dbstatus\nstatus: ok\n</code></pre> <p>If error happens, <code>inconsistent data</code> is displayed and needs to be fixed with the following command.</p>"},{"location":"en/ops/kubectl-ko/#database-repair","title":"Database Repair","text":"<p>If the database status goes to <code>inconsistent data</code>, this command can be used to repair:</p> <pre><code># kubectl ko nb restore\ndeployment.apps/ovn-central scaled\novn-central original replicas is 3\nfirst nodeIP is 172.18.0.5\novs-ovn pod on node 172.18.0.5 is ovs-ovn-8jxv9\novs-ovn pod on node 172.18.0.3 is ovs-ovn-sjzb6\novs-ovn pod on node 172.18.0.4 is ovs-ovn-t87zk\nbackup nb db file\nrestore nb db file, operate in pod ovs-ovn-8jxv9\ndeployment.apps/ovn-central scaled\nfinish restore nb db file and ovn-central replicas\nrecreate ovs-ovn pods\npod \"ovs-ovn-8jxv9\" deleted\npod \"ovs-ovn-sjzb6\" deleted\npod \"ovs-ovn-t87zk\" deleted\n</code></pre>"},{"location":"en/ops/kubectl-ko/#nbctl-sbctl-options","title":"[nbctl | sbctl] [options ...]","text":"<p>This subcommand executes the <code>ovn-nbctl</code> and <code>ovn-sbctl</code> commands directly into the leader node of the OVN northbound or southbound database. For more detailed usage of this command, please refer to the official documentation of the upstream OVN ovn-nbctl(8) \u200b\u548c\u200b ovn-sbctl(8)\u3002</p> <pre><code># kubectl ko nbctl show\nswitch c7cd17e8-ceee-4a91-9bb3-e5a313fe1ece (snat)\n    port snat-ovn-cluster\n        type: router\n        router-port: ovn-cluster-snat\nswitch 20e0c6d0-023a-4756-aec5-200e0c60f95d (join)\n    port node-liumengxin-ovn3-192.168.137.178\n        addresses: [\"00:00:00:64:FF:A8 100.64.0.4\"]\n    port node-liumengxin-ovn1-192.168.137.176\n        addresses: [\"00:00:00:AF:98:62 100.64.0.2\"]\n    port node-liumengxin-ovn2-192.168.137.177\n        addresses: [\"00:00:00:D9:58:B8 100.64.0.3\"]\n    port join-ovn-cluster\n        type: router\n        router-port: ovn-cluster-join\nswitch 0191705c-f827-427b-9de3-3c3b7d971ba5 (central)\n    port central-ovn-cluster\n        type: router\n        router-port: ovn-cluster-central\nswitch 2a45ff05-388d-4f85-9daf-e6fccd5833dc (ovn-default)\n    port alertmanager-main-0.monitoring\n        addresses: [\"00:00:00:6C:DF:A3 10.16.0.19\"]\n    port kube-state-metrics-5d6885d89-4nf8h.monitoring\n        addresses: [\"00:00:00:6F:02:1C 10.16.0.15\"]\n    port fake-kubelet-67c55dfd89-pv86k.kube-system\n        addresses: [\"00:00:00:5C:12:E8 10.16.19.177\"]\n    port ovn-default-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-default\nrouter 212f73dd-d63d-4d72-864b-a537e9afbee1 (ovn-cluster)\n    port ovn-cluster-snat\n        mac: \"00:00:00:7A:82:8F\"\n        networks: [\"172.22.0.1/16\"]\n    port ovn-cluster-join\n        mac: \"00:00:00:F8:18:5A\"\n        networks: [\"100.64.0.1/16\"]\n    port ovn-cluster-central\n        mac: \"00:00:00:4D:8C:F5\"\n        networks: [\"192.101.0.1/16\"]\n    port ovn-cluster-ovn-default\n        mac: \"00:00:00:A3:F8:18\"\n        networks: [\"10.16.0.1/16\"]\n</code></pre>"},{"location":"en/ops/kubectl-ko/#vsctl-nodename-options","title":"vsctl {nodeName} [options ...]","text":"<p>This command will go to the <code>ovs-ovn</code> container on the corresponding <code>nodeName</code> and execute the corresponding <code>ovs-vsctl</code> command to query and configure <code>vswitchd</code>. For more detailed usage of this command, please refer to the official documentation of the upstream OVS ovs-vsctl(8)\u3002</p> <pre><code># kubectl ko vsctl kube-ovn-01 show\n0d4c4675-c9cc-440a-8c1a-878e17f81b88\n    Bridge br-int\n        fail_mode: secure\n        datapath_type: system\n        Port a2c1a8a8b83a_h\n            Interface a2c1a8a8b83a_h\n        Port \"4fa5c4cbb1a5_h\"\n            Interface \"4fa5c4cbb1a5_h\"\n        Port ovn-eef07d-0\n            Interface ovn-eef07d-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.178\"}\n        Port ovn0\n            Interface ovn0\n                type: internal\n        Port mirror0\n            Interface mirror0\n                type: internal\n        Port ovn-efa253-0\n            Interface ovn-efa253-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.177\"}\n        Port br-int\n            Interface br-int\n                type: internal\n    ovs_version: \"2.17.2\"\n</code></pre>"},{"location":"en/ops/kubectl-ko/#ofctl-nodename-options","title":"ofctl {nodeName} [options ...]","text":"<p>This command will go to the <code>ovs-ovn</code> container on the corresponding <code>nodeName</code> and execute the corresponding <code>ovs-ofctl</code> command to query or manage OpenFlow. For more detailed usage of this command, please refer to the official documentation of the upstream OVS ovs-ofctl(8)\u3002</p> <pre><code># kubectl ko ofctl kube-ovn-01 dump-flows br-int\nNXST_FLOW reply (xid=0x4): flags=[more]\n cookie=0xcf3429e6, duration=671791.432s, table=0, n_packets=0, n_bytes=0, idle_age=65534, hard_age=65534, priority=100,in_port=2 actions=load:0x4-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x1-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0xc91413c6, duration=671791.431s, table=0, n_packets=907489, n_bytes=99978275, idle_age=0, hard_age=65534, priority=100,in_port=7 actions=load:0x1-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x4-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0xf180459, duration=671791.431s, table=0, n_packets=17348582, n_bytes=2667811214, idle_age=0, hard_age=65534, priority=100,in_port=6317 actions=load:0xa-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x9-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0x7806dd90, duration=671791.431s, table=0, n_packets=3235428, n_bytes=833821312, idle_age=0, hard_age=65534, priority=100,in_port=1 actions=load:0xd-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x3-&gt;NXM_NX_REG14[],resubmit(,8)\n...\n</code></pre>"},{"location":"en/ops/kubectl-ko/#dpctl-nodename-options","title":"dpctl {nodeName} [options ...]","text":"<p>This command will go to the <code>ovs-ovn</code> container on the corresponding <code>nodeName</code> and execute the corresponding <code>ovs-dpctl</code> command to query or manage the OVS datapath. For more detailed usage of this command, please refer to the official documentation of the upstream OVS ovs-dpctl(8)\u3002</p> <pre><code># kubectl ko dpctl kube-ovn-01 show\nsystem@ovs-system:\n  lookups: hit:350805055 missed:21983648 lost:73\n  flows: 105\n  masks: hit:1970748791 total:22 hit/pkt:5.29\n  port 0: ovs-system (internal)\n  port 1: ovn0 (internal)\n  port 2: mirror0 (internal)\n  port 3: br-int (internal)\n  port 4: stt_sys_7471 (stt: packet_type=ptap)\n  port 5: eeb4d9e51b5d_h\n  port 6: a2c1a8a8b83a_h\n  port 7: 4fa5c4cbb1a5_h\n</code></pre>"},{"location":"en/ops/kubectl-ko/#appctl-nodename-options","title":"appctl {nodeName} [options ...]","text":"<p>This command will enter the <code>ovs-ovn</code> container on the corresponding <code>nodeName</code> and execute the corresponding <code>ovs-appctl</code> command to operate the associated daemon process. For more detailed usage of this command, please refer to the official documentation of the upstream OVS ovs-appctl(8)\u3002</p> <pre><code># kubectl ko appctl kube-ovn-01 vlog/list\n                 console    syslog    file\n                 -------    ------    ------\nbacktrace          OFF        ERR       INFO\nbfd                OFF        ERR       INFO\nbond               OFF        ERR       INFO\nbridge             OFF        ERR       INFO\nbundle             OFF        ERR       INFO\nbundles            OFF        ERR       INFO\n...\n</code></pre>"},{"location":"en/ops/kubectl-ko/#tcpdump-namespacepodname-tcpdump-options","title":"tcpdump {namespace/podname} [tcpdump options ...]","text":"<p>This command will enter the <code>kube-ovn-cni</code> container on the machine where <code>namespace/podname</code> is located, and run <code>tcpdump</code> to capture the traffic on the veth NIC of the corresponding container, which can be used to troubleshoot network-related problems.</p> <pre><code># kubectl ko tcpdump default/ds1-l6n7p icmp\n+ kubectl exec -it kube-ovn-cni-wlg4s -n kube-ovn -- tcpdump -nn -i d7176fe7b4e0_h icmp\ntcpdump: verbose output suppressed, use -v or -vv for full protocol decode\nlistening on d7176fe7b4e0_h, link-type EN10MB (Ethernet), capture size 262144 bytes\n06:52:36.619688 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 1, length 64\n06:52:36.619746 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 1, length 64\n06:52:37.619588 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 2, length 64\n06:52:37.619630 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 2, length 64\n06:52:38.619933 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 3, length 64\n06:52:38.619973 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 3, length 64\n</code></pre>"},{"location":"en/ops/kubectl-ko/#trace-arguments","title":"trace [arguments ...]","text":"<p>This command will print the OVN logical flow table and the final Openflow flow table when the Pod/node accesses an address through a specific protocol, so that it make locate flow table related problems during development or troubleshooting much easy.</p> <p>Supported commands:</p> <pre><code>kubectl ko trace {namespace/podname} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]\nkubectl ko trace {namespace/podname} {target ip address} [target mac address] arp {request|reply}\nkubectl ko trace {node//nodename} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]\nkubectl ko trace {node//nodename} {target ip address} [target mac address] arp {request|reply}\n</code></pre> <p>Example:</p> <pre><code># kubectl ko trace default/ds1-l6n7p 8.8.8.8 icmp\n+ kubectl exec ovn-central-5bc494cb5-np9hm -n kube-ovn -- ovn-trace --ct=new ovn-default 'inport == \"ds1-l6n7p.default\" &amp;&amp; ip.ttl == 64 &amp;&amp; icmp &amp;&amp; eth.src == 0a:00:00:10:00:05 &amp;&amp; ip4.src == 10.16.0.4 &amp;&amp; eth.dst == 00:00:00:B8:CA:43 &amp;&amp; ip4.dst == 8.8.8.8'\n# icmp,reg14=0xf,vlan_tci=0x0000,dl_src=0a:00:00:10:00:05,dl_dst=00:00:00:b8:ca:43,nw_src=10.16.0.4,nw_dst=8.8.8.8,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=0,icmp_code=0\n\ningress(dp=\"ovn-default\", inport=\"ds1-l6n7p.default\")\n-----------------------------------------------------\n 0. ls_in_port_sec_l2 (ovn-northd.c:4143): inport == \"ds1-l6n7p.default\" &amp;&amp; eth.src == {0a:00:00:10:00:05}, priority 50, uuid 39453393\n    next;\n 1. ls_in_port_sec_ip (ovn-northd.c:2898): inport == \"ds1-l6n7p.default\" &amp;&amp; eth.src == 0a:00:00:10:00:05 &amp;&amp; ip4.src == {10.16.0.4}, priority 90, uuid 81bcd485\n    next;\n 3. ls_in_pre_acl (ovn-northd.c:3269): ip, priority 100, uuid 7b4f4971\n    reg0[0] = 1;\n    next;\n 5. ls_in_pre_stateful (ovn-northd.c:3396): reg0[0] == 1, priority 100, uuid 36cdd577\n    ct_next;\n\nct_next(ct_state=new|trk)\n-------------------------\n 6. ls_in_acl (ovn-northd.c:3759): ip &amp;&amp; (!ct.est || (ct.est &amp;&amp; ct_label.blocked == 1)), priority 1, uuid 7608af5b\n    reg0[1] = 1;\n    next;\n10. ls_in_stateful (ovn-northd.c:3995): reg0[1] == 1, priority 100, uuid 2aba1b90\n    ct_commit(ct_label=0/0x1);\n    next;\n16. ls_in_l2_lkup (ovn-northd.c:4470): eth.dst == 00:00:00:b8:ca:43, priority 50, uuid 5c9c3c9f\n    outport = \"ovn-default-ovn-cluster\";\n    output;\n\n...\n</code></pre> <p>If the trace object is a virtual machine running  in Underlay network, additional parameters is needed to specify the destination Mac address.</p> <pre><code>kubectl ko trace default/virt-handler-7lvml 8.8.8.8 82:7c:9f:83:8c:01 icmp\n</code></pre>"},{"location":"en/ops/kubectl-ko/#diagnose-allnodesubnetipports-nodenamesubnetnameproto1-ip1-port1proto2-ip2-port2","title":"diagnose {all|node|subnet|IPPorts} [nodename|subnetName|{proto1}-{IP1}-{Port1},{proto2}-{IP2}-{Port2}]","text":"<p>Diagnose the status of cluster network components and go to the corresponding node's <code>kube-ovn-pinger</code> to detect connectivity and network latency from the current node to other nodes and critical services.</p> <pre><code># kubectl ko diagnose all\nswitch c7cd17e8-ceee-4a91-9bb3-e5a313fe1ece (snat)\n    port snat-ovn-cluster\n        type: router\n        router-port: ovn-cluster-snat\nswitch 20e0c6d0-023a-4756-aec5-200e0c60f95d (join)\n    port node-liumengxin-ovn3-192.168.137.178\n        addresses: [\"00:00:00:64:FF:A8 100.64.0.4\"]\n    port node-liumengxin-ovn1-192.168.137.176\n        addresses: [\"00:00:00:AF:98:62 100.64.0.2\"]\n    port join-ovn-cluster\n        type: router\n        router-port: ovn-cluster-join\nswitch 0191705c-f827-427b-9de3-3c3b7d971ba5 (central)\n    port central-ovn-cluster\n        type: router\n        router-port: ovn-cluster-central\nswitch 2a45ff05-388d-4f85-9daf-e6fccd5833dc (ovn-default)\n    port ovn-default-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-default\n    port prometheus-k8s-1.monitoring\n        addresses: [\"00:00:00:AA:37:DF 10.16.0.23\"]\nrouter 212f73dd-d63d-4d72-864b-a537e9afbee1 (ovn-cluster)\n    port ovn-cluster-snat\n        mac: \"00:00:00:7A:82:8F\"\n        networks: [\"172.22.0.1/16\"]\n    port ovn-cluster-join\n        mac: \"00:00:00:F8:18:5A\"\n        networks: [\"100.64.0.1/16\"]\n    port ovn-cluster-central\n        mac: \"00:00:00:4D:8C:F5\"\n        networks: [\"192.101.0.1/16\"]\n    port ovn-cluster-ovn-default\n        mac: \"00:00:00:A3:F8:18\"\n        networks: [\"10.16.0.1/16\"]\nRouting Policies\n     31000                            ip4.dst == 10.16.0.0/16           allow\n     31000                           ip4.dst == 100.64.0.0/16           allow\n     30000                         ip4.dst == 192.168.137.177         reroute                100.64.0.3\n     30000                         ip4.dst == 192.168.137.178         reroute                100.64.0.4\n     29000                 ip4.src == $ovn.default.fake.6_ip4         reroute               100.64.0.22\n     29000                 ip4.src == $ovn.default.fake.7_ip4         reroute               100.64.0.21\n     29000                 ip4.src == $ovn.default.fake.8_ip4         reroute               100.64.0.23\n     29000 ip4.src == $ovn.default.liumengxin.ovn3.192.168.137.178_ip4         reroute                100.64.0.4\n     20000 ip4.src == $ovn.default.liumengxin.ovn1.192.168.137.176_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.2\n     20000 ip4.src == $ovn.default.liumengxin.ovn2.192.168.137.177_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.3\n     20000 ip4.src == $ovn.default.liumengxin.ovn3.192.168.137.178_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.4\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0                100.64.0.1 dst-ip\nUUID                                    LB                  PROTO      VIP                     IPs\ne9bcfd9d-793e-4431-9073-6dec96b75d71    cluster-tcp-load    tcp        10.100.209.132:10660    192.168.137.176:10660\n                                                            tcp        10.101.239.192:6641     192.168.137.177:6641\n                                                            tcp        10.101.240.101:3000     10.16.0.7:3000\n                                                            tcp        10.103.184.186:6642     192.168.137.177:6642\n35d2b7a5-e3a7-485a-a4b7-b4970eb0e63b    cluster-tcp-sess    tcp        10.100.158.128:8080     10.16.0.10:8080,10.16.0.5:8080,10.16.63.30:8080\n                                                            tcp        10.107.26.215:8080      10.16.0.19:8080,10.16.0.20:8080,10.16.0.21:8080\n                                                            tcp        10.107.26.215:9093      10.16.0.19:9093,10.16.0.20:9093,10.16.0.21:9093\n                                                            tcp        10.98.187.99:8080       10.16.0.22:8080,10.16.0.23:8080\n                                                            tcp        10.98.187.99:9090       10.16.0.22:9090,10.16.0.23:9090\nf43303e4-89aa-4d3e-a3dc-278a552fe27b    cluster-udp-load    udp        10.96.0.10:53           10.16.0.4:53,10.16.0.9:53\n_uuid               : 06776304-5a96-43ed-90c4-c4854c251699\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn2_192.168.137.177_underlay_v6\n\n_uuid               : 62690625-87d5-491c-8675-9fd83b1f433c\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn1_192.168.137.176_underlay_v6\n\n_uuid               : b03a9bae-94d5-4562-b34c-b5f6198e180b\naddresses           : [\"10.16.0.0/16\", \"100.64.0.0/16\", \"172.22.0.0/16\", \"192.101.0.0/16\"]\nexternal_ids        : {vendor=kube-ovn}\nname                : ovn.cluster.overlay.subnets.IPv4\n\n_uuid               : e1056f3a-24cc-4666-8a91-75ee6c3c2426\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : ovn.cluster.overlay.subnets.IPv6\n\n_uuid               : 3e5d5fff-e670-47b2-a2f5-a39f4698a8c5\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn3_192.168.137.178_underlay_v6\n_uuid               : 2d85dbdc-d0db-4abe-b19e-cc806d32b492\naction              : drop\ndirection           : from-lport\nexternal_ids        : {}\nlabel               : 0\nlog                 : false\nmatch               : \"inport==@ovn.sg.kubeovn_deny_all &amp;&amp; ip\"\nmeter               : []\nname                : []\noptions             : {}\npriority            : 2003\nseverity            : []\n\n_uuid               : de790cc8-f155-405f-bb32-5a51f30c545f\naction              : drop\ndirection           : to-lport\nexternal_ids        : {}\nlabel               : 0\nlog                 : false\nmatch               : \"outport==@ovn.sg.kubeovn_deny_all &amp;&amp; ip\"\nmeter               : []\nname                : []\noptions             : {}\npriority            : 2003\nseverity            : []\nChassis \"e15ed4d4-1780-4d50-b09e-ea8372ed48b8\"\n    hostname: liumengxin-ovn1-192.168.137.176\n    Encap stt\n        ip: \"192.168.137.176\"\n        options: {csum=\"true\"}\n    Port_Binding node-liumengxin-ovn1-192.168.137.176\n    Port_Binding perf-6vxkn.default\n    Port_Binding kube-state-metrics-5d6885d89-4nf8h.monitoring\n    Port_Binding alertmanager-main-0.monitoring\n    Port_Binding kube-ovn-pinger-6ftdf.kube-system\n    Port_Binding fake-kubelet-67c55dfd89-pv86k.kube-system\n    Port_Binding prometheus-k8s-0.monitoring\nChassis \"eef07da1-f8ad-4775-b14d-bd6a3b4eb0d5\"\n    hostname: liumengxin-ovn3-192.168.137.178\n    Encap stt\n        ip: \"192.168.137.178\"\n        options: {csum=\"true\"}\n    Port_Binding kube-ovn-pinger-7twb4.kube-system\n    Port_Binding prometheus-adapter-86df476d87-rl88g.monitoring\n    Port_Binding prometheus-k8s-1.monitoring\n    Port_Binding node-liumengxin-ovn3-192.168.137.178\n    Port_Binding perf-ff475.default\n    Port_Binding alertmanager-main-1.monitoring\n    Port_Binding blackbox-exporter-676d976865-tvsjd.monitoring\nChassis \"efa253c9-494d-4719-83ae-b48ab0f11c03\"\n    hostname: liumengxin-ovn2-192.168.137.177\n    Encap stt\n        ip: \"192.168.137.177\"\n        options: {csum=\"true\"}\n    Port_Binding grafana-6c4c6b8fb7-pzd2c.monitoring\n    Port_Binding node-liumengxin-ovn2-192.168.137.177\n    Port_Binding alertmanager-main-2.monitoring\n    Port_Binding coredns-6789c94dd8-9jqsz.kube-system\n    Port_Binding coredns-6789c94dd8-25d4r.kube-system\n    Port_Binding prometheus-operator-7bbc99fc8b-wgjm4.monitoring\n    Port_Binding prometheus-adapter-86df476d87-gdxmc.monitoring\n    Port_Binding perf-fjnws.default\n    Port_Binding kube-ovn-pinger-vh2xg.kube-system\nds kube-proxy ready\nkube-proxy ready\ndeployment ovn-central ready\ndeployment kube-ovn-controller ready\nds kube-ovn-cni ready\nds ovs-ovn ready\ndeployment coredns ready\novn-nb leader check ok\novn-sb leader check ok\novn-northd leader check ok\n### kube-ovn-controller recent log\n\n### start to diagnose node liumengxin-ovn1-192.168.137.176\n#### ovn-controller log:\n2022-06-03T00:56:44.897Z|16722|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:06:44.912Z|16723|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:16:44.925Z|16724|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:26:44.936Z|16725|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:36:44.959Z|16726|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:46:44.974Z|16727|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:56:44.988Z|16728|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:06:45.001Z|16729|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:16:45.025Z|16730|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:26:45.040Z|16731|inc_proc_eng|INFO|User triggered force recompute.\n\n#### ovs-vswitchd log:\n2022-06-02T23:03:00.137Z|00079|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:f9d1\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-02T23:23:31.840Z|00080|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:15b2\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T00:09:15.659Z|00081|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:dc:e3:63,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.63.30,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:e5a5\n with metadata skb_priority(0),tunnel(tun_id=0x150017000004,src=192.168.137.178,dst=192.168.137.176,ttl=64,tp_src=9239,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.63.30,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T00:30:13.409Z|00064|dpif(handler2)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:6b4a\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T02:02:33.832Z|00082|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:a819\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n\n#### ovs-vsctl show results:\n0d4c4675-c9cc-440a-8c1a-878e17f81b88\n    Bridge br-int\n        fail_mode: secure\n        datapath_type: system\n        Port a2c1a8a8b83a_h\n            Interface a2c1a8a8b83a_h\n        Port \"4fa5c4cbb1a5_h\"\n            Interface \"4fa5c4cbb1a5_h\"\n        Port ovn-eef07d-0\n            Interface ovn-eef07d-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.178\"}\n        Port ovn0\n            Interface ovn0\n                type: internal\n        Port \"04d03360e9a0_h\"\n            Interface \"04d03360e9a0_h\"\n        Port eeb4d9e51b5d_h\n            Interface eeb4d9e51b5d_h\n        Port mirror0\n            Interface mirror0\n                type: internal\n        Port \"8e5d887ccd80_h\"\n            Interface \"8e5d887ccd80_h\"\n        Port ovn-efa253-0\n            Interface ovn-efa253-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.177\"}\n        Port \"17512d5be1f1_h\"\n            Interface \"17512d5be1f1_h\"\n        Port br-int\n            Interface br-int\n                type: internal\n    ovs_version: \"2.17.2\"\n\n#### pinger diagnose results:\nI0603 10:35:04.349404   17619 pinger.go:19]\n-------------------------------------------------------------------------------\nKube-OVN:\n  Version:       v1.13.0\n  Build:         2022-04-24_08:02:50\n  Commit:        git-73f9d15\n  Go Version:    go1.17.8\n  Arch:          amd64\n-------------------------------------------------------------------------------\nI0603 10:35:04.376797   17619 config.go:166] pinger config is &amp;{KubeConfigFile: KubeClient:0xc000493380 Port:8080 DaemonSetNamespace:kube-system DaemonSetName:kube-ovn-pinger Interval:5 Mode:job ExitCode:0 InternalDNS:kubernetes.default ExternalDNS: NodeName:liumengxin-ovn1-192.168.137.176 HostIP:192.168.137.176 PodName:kube-ovn-pinger-6ftdf PodIP:10.16.0.10 PodProtocols:[IPv4] ExternalAddress: NetworkMode:kube-ovn PollTimeout:2 PollInterval:15 SystemRunDir:/var/run/openvswitch DatabaseVswitchName:Open_vSwitch DatabaseVswitchSocketRemote:unix:/var/run/openvswitch/db.sock DatabaseVswitchFileDataPath:/etc/openvswitch/conf.db DatabaseVswitchFileLogPath:/var/log/openvswitch/ovsdb-server.log DatabaseVswitchFilePidPath:/var/run/openvswitch/ovsdb-server.pid DatabaseVswitchFileSystemIDPath:/etc/openvswitch/system-id.conf ServiceVswitchdFileLogPath:/var/log/openvswitch/ovs-vswitchd.log ServiceVswitchdFilePidPath:/var/run/openvswitch/ovs-vswitchd.pid ServiceOvnControllerFileLogPath:/var/log/ovn/ovn-controller.log ServiceOvnControllerFilePidPath:/var/run/ovn/ovn-controller.pid}\nI0603 10:35:04.449166   17619 exporter.go:75] liumengxin-ovn1-192.168.137.176: exporter connect successfully\nI0603 10:35:04.554011   17619 ovn.go:21] ovs-vswitchd and ovsdb are up\nI0603 10:35:04.651293   17619 ovn.go:33] ovn_controller is up\nI0603 10:35:04.651342   17619 ovn.go:39] start to check port binding\nI0603 10:35:04.749613   17619 ovn.go:135] chassis id is 1d7f3d6c-eec5-4b3c-adca-2969d9cdfd80\nI0603 10:35:04.763487   17619 ovn.go:49] port in sb is [node-liumengxin-ovn1-192.168.137.176 perf-6vxkn.default kube-state-metrics-5d6885d89-4nf8h.monitoring alertmanager-main-0.monitoring kube-ovn-pinger-6ftdf.kube-system fake-kubelet-67c55dfd89-pv86k.kube-system prometheus-k8s-0.monitoring]\nI0603 10:35:04.763583   17619 ovn.go:61] ovs and ovn-sb binding check passed\nI0603 10:35:05.049309   17619 ping.go:259] start to check apiserver connectivity\nI0603 10:35:05.053666   17619 ping.go:268] connect to apiserver success in 4.27ms\nI0603 10:35:05.053786   17619 ping.go:129] start to check pod connectivity\nI0603 10:35:05.249590   17619 ping.go:159] ping pod: kube-ovn-pinger-6ftdf 10.16.0.10, count: 3, loss count 0, average rtt 16.30ms\nI0603 10:35:05.354135   17619 ping.go:159] ping pod: kube-ovn-pinger-7twb4 10.16.63.30, count: 3, loss count 0, average rtt 1.81ms\nI0603 10:35:05.458460   17619 ping.go:159] ping pod: kube-ovn-pinger-vh2xg 10.16.0.5, count: 3, loss count 0, average rtt 1.92ms\nI0603 10:35:05.458523   17619 ping.go:83] start to check node connectivity\n</code></pre> <p>If the target of diagnose is specified as subnet, the script will create a daemonset on the subnet, and <code>kube-ovn-pinger</code> will detect the connectivity and network delay of all pods in this daemonset, and automatically destroy the daemonset after the test.</p> <p>If the target of diagnose is specified as IPPorts, the script will let each <code>kube-ovn-pinger</code> pod detect whether the target protocol, IP, and Port are reachable.</p>"},{"location":"en/ops/kubectl-ko/#tuning-install-fastpathlocal-install-fastpathremove-fastpathinstall-sttlocal-install-sttremove-stt-centos7centos8-kernel-devel-version","title":"tuning {install-fastpath|local-install-fastpath|remove-fastpath|install-stt|local-install-stt|remove-stt} {centos7|centos8}} [kernel-devel-version]","text":"<p>This command performs performance tuning related operations, please refer to Performance Tunning.</p>"},{"location":"en/ops/kubectl-ko/#reload","title":"reload","text":"<p>This command restarts all Kube-OVN related components:</p> <pre><code># kubectl ko reload\npod \"ovn-central-8684dd94bd-vzgcr\" deleted\nWaiting for deployment \"ovn-central\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"ovn-central\" successfully rolled out\npod \"ovs-ovn-bsnvz\" deleted\npod \"ovs-ovn-m9b98\" deleted\npod \"kube-ovn-controller-8459db5ff4-64c62\" deleted\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\npod \"kube-ovn-cni-2klnh\" deleted\npod \"kube-ovn-cni-t2jz4\" deleted\nWaiting for daemon set \"kube-ovn-cni\" rollout to finish: 0 of 2 updated pods are available...\nWaiting for daemon set \"kube-ovn-cni\" rollout to finish: 1 of 2 updated pods are available...\ndaemon set \"kube-ovn-cni\" successfully rolled out\npod \"kube-ovn-pinger-ln72z\" deleted\npod \"kube-ovn-pinger-w8lrk\" deleted\nWaiting for daemon set \"kube-ovn-pinger\" rollout to finish: 0 of 2 updated pods are available...\nWaiting for daemon set \"kube-ovn-pinger\" rollout to finish: 1 of 2 updated pods are available...\ndaemon set \"kube-ovn-pinger\" successfully rolled out\npod \"kube-ovn-monitor-7fb67d5488-7q6zb\" deleted\nWaiting for deployment \"kube-ovn-monitor\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"kube-ovn-monitor\" successfully rolled out\n</code></pre>"},{"location":"en/ops/kubectl-ko/#log","title":"log","text":"<p>Using this command will capture the logs of Kube-OVN, OVN, Openvswitch on all nodes of kube-ovn and some debug information commonly used in linux.</p> <pre><code># kubectl ko log all\nCollecting kube-ovn logging files\nCollecting ovn logging files\nCollecting openvswitch logging files\nCollecting linux dmesg files\nCollecting linux iptables-legacy files\nCollecting linux iptables-nft files\nCollecting linux route files\nCollecting linux link files\nCollecting linux neigh files\nCollecting linux memory files\nCollecting linux top files\nCollecting linux sysctl files\nCollecting linux netstat files\nCollecting linux addr files\nCollecting linux ipset files\nCollecting linux tcp files\nCollected files have been saved in the directory /root/kubectl-ko-log\n</code></pre> <p>The directory is as follows:</p> <pre><code># tree kubectl-ko-log/\nkubectl-ko-log/\n|-- kube-ovn-control-plane\n|   |-- kube-ovn\n|   |   |-- kube-ovn-cni.log\n|   |   |-- kube-ovn-monitor.log\n|   |   `-- kube-ovn-pinger.log\n|   |-- linux\n|   |   |-- addr.log\n|   |   |-- dmesg.log\n|   |   |-- ipset.log\n|   |   |-- iptables-legacy.log\n|   |   |-- iptables-nft.log\n|   |   |-- link.log\n|   |   |-- memory.log\n|   |   |-- neigh.log\n|   |   |-- netstat.log\n|   |   |-- route.log\n|   |   |-- sysctl.log\n|   |   |-- tcp.log\n|   |   `-- top.log\n|   |-- openvswitch\n|   |   |-- ovs-vswitchd.log\n|   |   `-- ovsdb-server.log\n|   `-- ovn\n|       |-- ovn-controller.log\n|       |-- ovn-northd.log\n|       |-- ovsdb-server-nb.log\n|       `-- ovsdb-server-sb.log\n</code></pre>"},{"location":"en/ops/kubectl-ko/#perf-image","title":"perf [image]","text":"<p>This command will test some performance indicators of Kube-OVN as follows:</p> <ol> <li>The performance indicators of the container network;</li> <li>Hostnetwork network performance indicators;</li> <li>Container network multicast packet performance indicators;</li> <li>Time required for OVN-NB, OVN-SB, and OVN-Northd leader deletion recovery. The parameter image is used to specify the image used by the performance test pod. By default, it is <code>kubeovn/test:v1.12.0</code>. This parameter is mainly set for offline scenarios, and the image name may change when the image is pulled to the intranet environment.</li> </ol> <pre><code># kubectl ko perf\n============================== Prepareing Performance Test Resources ===============================\npod/test-client created\npod/test-host-client created\npod/test-server created\npod/test-host-server created\nservice/test-server created\npod/test-client condition met\npod/test-host-client condition met\npod/test-host-server condition met\npod/test-server condition met\n====================================================================================================\n============================ Start Pod Network Unicast Performance Test ============================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              82.8 us         97.7 Mbits/sec  67.6 us         (0%)            8.42 Mbits/sec\n128             85.4 us         167 Mbits/sec   67.2 us         (0%)            17.2 Mbits/sec\n512             85.8 us         440 Mbits/sec   68.7 us         (0%)            68.4 Mbits/sec\n1k              85.1 us         567 Mbits/sec   68.7 us         (0%)            134 Mbits/sec\n4k              138 us          826 Mbits/sec   78.1 us         (1.4%)          503 Mbits/sec\n====================================================================================================\n=============================== Start Host Network Performance Test ================================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              49.7 us         120 Mbits/sec   37.9 us         (0%)            18.6 Mbits/sec\n128             49.7 us         200 Mbits/sec   38.1 us         (0%)            35.5 Mbits/sec\n512             51.9 us         588 Mbits/sec   38.9 us         (0%)            142 Mbits/sec\n1k              51.7 us         944 Mbits/sec   37.2 us         (0%)            279 Mbits/sec\n4k              74.9 us         1.66 Gbits/sec  39.9 us         (0%)            1.20 Gbits/sec\n====================================================================================================\n============================== Start Service Network Performance Test ==============================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              111 us          96.3 Mbits/sec  88.4 us         (0%)            7.59 Mbits/sec\n128             83.7 us         150 Mbits/sec   69.2 us         (0%)            16.9 Mbits/sec\n512             87.4 us         374 Mbits/sec   75.8 us         (0%)            60.9 Mbits/sec\n1k              88.2 us         521 Mbits/sec   73.1 us         (0%)            123 Mbits/sec\n4k              148 us          813 Mbits/sec   77.6 us         (0.0044%)       451 Mbits/sec\n====================================================================================================\n=========================== Start Pod Multicast Network Performance Test ===========================\nSize            UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              0.014 ms        (0.17%)         5.80 Mbits/sec\n128             0.012 ms        (0%)            11.4 Mbits/sec\n512             0.016 ms        (0%)            46.1 Mbits/sec\n1k              0.023 ms        (0.073%)        89.8 Mbits/sec\n4k              0.035 ms        (1.3%)          126 Mbits/sec\n====================================================================================================\n============================= Start Host Multicast Network Performance =============================\nSize            UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              0.007 ms        (0%)            9.95 Mbits/sec\n128             0.005 ms        (0%)            21.8 Mbits/sec\n512             0.008 ms        (0%)            86.8 Mbits/sec\n1k              0.013 ms        (0.045%)        168 Mbits/sec\n4k              0.010 ms        (0.31%)         242 Mbits/sec\n====================================================================================================\n================================== Start Leader Recover Time Test ==================================\nDelete ovn central nb pod\npod \"ovn-central-5cb9c67d75-tlz9w\" deleted\nWaiting for ovn central nb pod running\n=============================== OVN nb Recovery takes 3.305236803 s ================================\nDelete ovn central sb pod\npod \"ovn-central-5cb9c67d75-szx4c\" deleted\nWaiting for ovn central sb pod running\n=============================== OVN sb Recovery takes 3.462698535 s ================================\nDelete ovn central northd pod\npod \"ovn-central-5cb9c67d75-zqmqv\" deleted\nWaiting for ovn central northd pod running\n============================= OVN northd Recovery takes 2.691291403 s ==============================\n====================================================================================================\n================================= Remove Performance Test Resource =================================\nrm -f unicast-test-client.log\nrm -f unicast-test-host-client.log\nrm -f unicast-test-client.log\nkubectl ko nbctl lb-del test-server\nrm -f multicast-test-server.log\nkubectl exec ovs-ovn-gxdrf -n kube-system -- ip maddr del 01:00:5e:00:00:64 dev eth0\nkubectl exec ovs-ovn-h57bf -n kube-system -- ip maddr del 01:00:5e:00:00:64 dev eth0\nrm -f multicast-test-host-server.log\npod \"test-client\" deleted\npod \"test-host-client\" deleted\npod \"test-host-server\" deleted\npod \"test-server\" deleted\nservice \"test-server\" deleted\n====================================================================================================\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/recover-db/","title":"OVN DB Backup and Recovery","text":"<p>This document describes how to perform database backups and how to perform cluster recovery from existing database files in different situations.</p>"},{"location":"en/ops/recover-db/#database-backup","title":"Database Backup","text":"<p>The database files can be backed up for recovery in case of failure. Use the backup command of the kubectl plugin:</p> <pre><code># kubectl ko nb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnnb_db.060223191654183154.backup\n\n# kubectl ko sb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnsb_db.060223191654183154.backup\n</code></pre>"},{"location":"en/ops/recover-db/#cluster-partial-nodes-failure-recovery","title":"Cluster Partial Nodes Failure Recovery","text":"<p>If some nodes in the cluster are working abnormally due to power failure, file system failure or lack of disk space, but the cluster is still working normally, you can recover it by following the steps below.</p>"},{"location":"en/ops/recover-db/#check-the-logs-to-confirm-status","title":"Check the Logs to Confirm Status","text":"<p>Check the log in <code>/var/log/ovn/ovn-northd.log</code>, if it shows similar error as follows, you can make sue that there is an exception in the database:</p> <pre><code> * ovn-northd is not running\novsdb-server: ovsdb error: error reading record 2739 from OVN_Northbound log: record 2739 advances commit index to 6308 but last log index is 6307\n * Starting ovsdb-nb\n</code></pre>"},{"location":"en/ops/recover-db/#kick-node-from-cluster","title":"Kick Node from Cluster","text":"<p>Select the corresponding database for the operation based on whether the log prompt is <code>OVN_Northbound</code> or <code>OVN_Southbound</code>. The above log prompt is <code>OVN_Northbound</code> then for ovn-nb do the following:</p> <pre><code># kubectl ko nb status\n9182\nName: OVN_Northbound\nCluster ID: e75f (e75fa340-49ed-45ab-990e-26cb865ebc85)\nServer ID: 9182 (9182e8dd-b5b0-4dd8-8518-598cc1e374f3)\nAddress: tcp:[10.0.128.61]:6643\nStatus: cluster member\nRole: leader\nTerm: 1454\nLeader: self\nVote: self\n\nLast Election started 1732603 ms ago, reason: timeout\nLast Election won: 1732587 ms ago\nElection timer: 1000\nLog: [7332, 12512]\nEntries not yet committed: 1\nEntries not yet applied: 1\nConnections: -&gt;f080 &lt;-f080 &lt;-e631 -&gt;e631\nDisconnections: 1\nServers:\n    f080 (f080 at tcp:[10.0.129.139]:6643) next_index=12512 match_index=12510 last msg 63 ms ago\n    9182 (9182 at tcp:[10.0.128.61]:6643) (self) next_index=10394 match_index=12510\n    e631 (e631 at tcp:[10.0.131.173]:6643) next_index=12512 match_index=0\n</code></pre> <p>Kick abnormal nodes from the cluster:</p> <pre><code>kubectl ko nb kick e631\n</code></pre> <p>Log in to the abnormal node and delete the database file:</p> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\n</code></pre> <p>Delete the <code>ovn-central</code> pod of the corresponding node and wait for the cluster to recover\uff1a</p> <pre><code>kubectl delete pod -n kube-system ovn-central-xxxx\n</code></pre>"},{"location":"en/ops/recover-db/#recover-when-total-cluster-failed","title":"Recover when Total Cluster Failed","text":"<p>If the majority of the cluster nodes are broken and the leader cannot be elected, please refer to the following steps to recover.</p>"},{"location":"en/ops/recover-db/#stop-ovn-central","title":"Stop ovn-central","text":"<p>Record the current replicas of <code>ovn-central</code> and stop <code>ovn-central</code> to avoid new database changes that affect recovery:</p> <pre><code>kubectl scale deployment -n kube-system ovn-central --replicas=0\n</code></pre>"},{"location":"en/ops/recover-db/#select-a-backup","title":"Select a Backup","text":"<p>As most of the nodes are damaged, the cluster needs to be rebuilt by recovering from one of the database files. If you have previously backed up the database you can use the previous backup file to restore it. If not you can use the following steps to generate a backup from an existing file.</p> <p>Since the database file in the default folder is a cluster format database file containing information about the current cluster, you can't rebuild the database directly with this file, you need to use <code>ovsdb-tool cluster-to-standalone</code> to convert the format.</p> <p>Select the first node in the <code>ovn-central</code> environment variable <code>NODE_IPS</code> to restore the database files. If the database file of the first node is corrupted, copy the file from the other machine <code>/etc/origin/ovn</code> to the first machine. Run the following command to generate a database file backup.</p> <pre><code>docker run -it -v /etc/origin/ovn:/etc/ovn kubeovn/kube-ovn:v1.13.0 bash\ncd /etc/ovn/\novsdb-tool cluster-to-standalone ovnnb_db_standalone.db ovnnb_db.db\novsdb-tool cluster-to-standalone ovnsb_db_standalone.db ovnsb_db.db\n</code></pre>"},{"location":"en/ops/recover-db/#delete-the-database-files-on-all-ovn-central-nodes","title":"Delete the Database Files on All ovn-central Nodes","text":"<p>In order to avoid rebuilding the cluster with the wrong data, the existing database files need to be cleaned up:</p> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\nmv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre>"},{"location":"en/ops/recover-db/#recovering-database-cluster","title":"Recovering Database Cluster","text":"<p>Rename the backup databases to <code>ovnnb_db.db</code> and <code>ovnsb_db.db</code> respectively, and copy them to the <code>/etc/origin/ovn/</code> directory of the first machine in the <code>ovn-central</code> environment variable <code>NODE_IPS</code>\uff1a</p> <pre><code>mv /etc/origin/ovn/ovnnb_db_standalone.db /etc/origin/ovn/ovnnb_db.db\nmv /etc/origin/ovn/ovnsb_db_standalone.db /etc/origin/ovn/ovnsb_db.db\n</code></pre> <p>Restore the number of replicas of <code>ovn-central</code>\uff1a</p> <pre><code>kubectl scale deployment -n kube-system ovn-central --replicas=3\nkubectl rollout status deployment/ovn-central -n kube-system\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/architecture/","title":"Architecture","text":"<p>This document describes the general architecture of Kube-OVN, the functionality of each component and how they interact with each other.</p> <p>Overall, Kube-OVN serves as a bridge between Kubernetes and OVN, combining proven SDN with Cloud Native. This means that Kube-OVN not only implements network specifications under Kubernetes, such as CNI, Service and Networkpolicy, but also brings a large number of SDN domain capabilities to cloud-native, such as logical switches, logical routers, VPCs, gateways, QoS, ACLs and traffic mirroring.</p> <p>Kube-OVN also maintains a good openness to integrate with many technology solutions, such as Cilium, Submariner, Prometheus, KubeVirt, etc.</p>"},{"location":"en/reference/architecture/#component-introduction","title":"Component Introduction","text":"<p>The components of Kube-OVN can be broadly divided into three categories.</p> <ul> <li>Upstream OVN/OVS components.</li> <li>Core Controller and Agent.</li> <li>Monitoring, operation and maintenance tools and extension components.</li> </ul> <p></p>"},{"location":"en/reference/architecture/#upstream-ovnovs-components","title":"Upstream OVN/OVS Components","text":"<p>This type of component comes from the OVN/OVS community with specific modifications for Kube-OVN usage scenarios. OVN/OVS itself is a mature SDN system for managing virtual machines and containers, and we strongly recommend that users interested in the Kube-OVN implementation read ovn-architecture(7) first to understand what OVN is and how to integrate with it. Kube-OVN uses the northbound interface of OVN to create and coordinate virtual networks and map the network concepts into Kubernetes.</p> <p>All OVN/OVS-related components have been packaged into images and are ready to run in Kubernetes.</p>"},{"location":"en/reference/architecture/#ovn-central","title":"ovn-central","text":"<p>The <code>ovn-central</code> Deployment runs the control plane components of OVN, including <code>ovn-nb</code>, <code>ovn-sb</code>, and <code>ovn-northd</code>.</p> <ul> <li><code>ovn-nb</code>: Saves the virtual network configuration and provides an API for virtual network management. <code>kube-ovn-controller</code> will mainly interact with <code>ovn-nb</code> to configure the virtual network.</li> <li><code>ovn-sb</code>: Holds the logical flow table generated from the logical network of <code>ovn-nb</code>, as well as the actual physical network state of each node.</li> <li><code>ovn-northd</code>: translates the virtual network of <code>ovn-nb</code> into a logical flow table in <code>ovn-sb</code>.</li> </ul> <p>Multiple instances of <code>ovn-central</code> will synchronize data via the Raft protocol to ensure high availability.</p>"},{"location":"en/reference/architecture/#ovs-ovn","title":"ovs-ovn","text":"<p><code>ovs-ovn</code> runs as a DaemonSet on each node, with <code>openvswitch</code>, <code>ovsdb</code>, and <code>ovn-controller</code> running inside the Pod. These components act as agents for <code>ovn-central</code> to translate logical flow tables into real network configurations.</p>"},{"location":"en/reference/architecture/#core-controller-and-agent","title":"Core Controller and Agent","text":"<p>This part is the core component of Kube-OVN, serving as a bridge between OVN and Kubernetes, bridging the two systems and translating network concepts between them. Most of the core functions are implemented in these components.</p>"},{"location":"en/reference/architecture/#kube-ovn-controller","title":"kube-ovn-controller","text":"<p>This component performs the translation of all resources within Kubernetes to OVN resources and acts as the control plane for the entire Kube-OVN system. The <code>kube-ovn-controller</code> listens for events on all resources related to network functionality and updates the logical network within the OVN based on resource changes. The main resources listened including:</p> <p>Pod\uff0cService\uff0cEndpoint\uff0cNode\uff0cNetworkPolicy\uff0cVPC\uff0cSubnet\uff0cVlan\uff0cProviderNetwork\u3002</p> <p>Taking the Pod event as an example, <code>kube-ovn-controller</code> listens to the Pod creation event, allocates the address via the built-in in-memory IPAM function, and calls <code>ovn-central</code> to create logical ports, static routes and possible ACL rules. Next, <code>kube-ovn-controller</code> writes the assigned address and subnet information such as CIDR, gateway, route, etc. to the annotation of the Pod. This annotation is then read by <code>kube-ovn-cni</code> and used to configure the local network.</p>"},{"location":"en/reference/architecture/#kube-ovn-cni","title":"kube-ovn-cni","text":"<p>This component runs on each node as a DaemonSet, implements the CNI interface, and operates the local OVS to configure the local network.</p> <p>This DaemonSet copies the <code>kube-ovn</code> binary to each machine as a tool for interaction between <code>kubelet</code> and <code>kube-ovn-cni</code>. This binary sends the corresponding CNI request to <code>kube-ovn-cni</code> for further operation. The binary will be copied to the <code>/opt/cni/bin</code> directory by default.</p> <p><code>kube-ovn-cni</code> will configure the specific network to perform the appropriate traffic operations, and the main tasks including:</p> <ol> <li>Config <code>ovn-controller</code> and <code>vswitchd</code>.</li> <li>Handle CNI Add/Del requests:<ol> <li>Create or delete veth pair and bind or unbind to OVS ports.</li> <li>Configure OVS ports</li> <li>Update host iptables/ipset/route rules.</li> </ol> </li> <li>Dynamically update the network QoS.</li> <li>Create and configure the <code>ovn0</code> NIC to connect the container network and the host network.</li> <li>Configure the host NIC to implement Vlan/Underlay/EIP.</li> <li>Dynamically config inter-cluster gateways.</li> </ol>"},{"location":"en/reference/architecture/#monitoring-operation-and-maintenance-tools-and-extension-components","title":"Monitoring, Operation and Maintenance Tools and Extension Components","text":"<p>These components provide monitoring, diagnostics, operations tools, and external interface to extend the core network capabilities of Kube-OVN and simplify daily operations and maintenance.</p>"},{"location":"en/reference/architecture/#kube-ovn-speaker","title":"kube-ovn-speaker","text":"<p>This component is a DaemonSet running on a specific labeled nodes that publish routes to the external, allowing external access to the container directly through the Pod IP.</p> <p>For more information on how to use it, please refer to BGP Support.</p>"},{"location":"en/reference/architecture/#kube-ovn-pinger","title":"kube-ovn-pinger","text":"<p>This component is a DaemonSet running on each node to collect OVS status information, node network quality, network latency, etc. The monitoring metrics collected can be found in Metrics.</p>"},{"location":"en/reference/architecture/#kube-ovn-monitor","title":"kube-ovn-monitor","text":"<p>This component collects OVN status information and the monitoring metrics, all metrics can be found in Metrics.</p>"},{"location":"en/reference/architecture/#kubectl-ko","title":"kubectl-ko","text":"<p>This component is a kubectl plugin, which can quickly run common operations, for more usage, please refer to [kubectl plugin].(../ops/kubectl-ko.en.md)\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/dev-env/","title":"Development Setup","text":""},{"location":"en/reference/dev-env/#environmental-preparation","title":"Environmental Preparation","text":"<p>Kube-OVN uses Golang 1.20 to develop and Go Modules to manage dependency, please check env <code>GO111MODULE=\"on\"</code>\u3002</p> <p>gosec is used to scan for code security related issues and requires to be installed in the development environment:</p> <pre><code>go install github.com/securego/gosec/v2/cmd/gosec@latest\n</code></pre> <p>To reduce the size of the final generated image, Kube-OVN uses some of the Docker buildx experimental features, please update Docker to the latest version and enable buildx:</p> <pre><code>docker buildx create --use\n</code></pre>"},{"location":"en/reference/dev-env/#build-image","title":"Build Image","text":"<p>Use the following command to download the code and generate the image required to run Kube-OVN:</p> <pre><code>git clone https://github.com/kubeovn/kube-ovn.git\ncd kube-ovn\nmake release\n</code></pre> <p>To build an image to run in an ARM environment, run the following command:</p> <pre><code>make release-arm\n</code></pre>"},{"location":"en/reference/dev-env/#building-the-base-image","title":"Building the Base Image","text":"<p>If you need to change the operating system version, dependencies, OVS/OVN code, etc., you need to rebuild the base image.</p> <p>The Dockerfile used for the base image is <code>dist/images/Dockerfile.base</code>.</p> <p>Build instructions:</p> <pre><code># build x86 base image\nmake base-amd64\n\n# build arm base image\nmake base-arm64\n</code></pre>"},{"location":"en/reference/dev-env/#run-e2e","title":"Run E2E","text":"<p>Kube-OVN uses KIND to build local Kubernetes cluster, j2cli to render templates, and Ginkgo to run test cases. Please refer to the relevant documentation for dependency installation.</p> <p>Run E2E locally:</p> <pre><code>make kind-init\nmake kind-install\nmake e2e\n</code></pre> <p>To run the Underlay E2E test, run the following commands:</p> <pre><code>make kind-init\nmake kind-install-underlay\nmake e2e-underlay-single-nic\n</code></pre> <p>To run the ovn vpc nat gw eip, fip, snat, dnat E2E test, run the following commands:</p> <pre><code>make kind-init\nmake kind-install\nmake ovn-vpc-nat-gw-conformance-e2e\n</code></pre> <p>To run the iptables vpc nat gw eip, fip, snat, dnat E2E test, run the following commands:</p> <pre><code>make kind-init\nmake kind-install\nmake kind-install-vpc-nat-gw\nmake iptables-vpc-nat-gw-conformance-e2e\n</code></pre> <p>To run the loadbalancer service E2E test, run the following commands:</p> <pre><code>make kind-init\nmake kind-install\nmake kind-install-lb-svc\nmake kube-ovn-lb-svc-conformance-e2e\n</code></pre> <p>To clean, run the following commands:</p> <pre><code>make kind-clean\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/document-convention/","title":"Document Specification","text":"<p>In order to ensure a consistent document style, please follow the following style guidelines when submitting documents.</p>"},{"location":"en/reference/document-convention/#punctuation","title":"Punctuation","text":"<p>All punctuation in the text content in Chinese documents should use Chinese format punctuation, and all text content in English documents should use English punctuation.</p> BadGood   Here is a one-click installation script that can help you quickly install a highly available, production-ready container network.    Here is a one-click installation script that can help you quickly install a highly available, production-ready container network.   <p>English numbers and Chinese characters should be separated by spaces.</p> BadGood   Kube-OVN provides a one-click installation script to install version 1.10 of Kube-OVN.    Kube-OVN provides a one-click installation script to install version 1.10 of Kube-OVN.   <p>Example content should start with <code>:</code>, other sentences should end with <code>.</code> End.</p> BadGood   Please confirm that the environment configuration is correct before installation  Download the installation script using the command below.  <pre><code>wget 127.0.0.1\n</code></pre>   Please confirm that the environment configuration is correct before installation.  Download the installation script using the following command:  <pre><code>wget 127.0.0.1\n</code></pre>"},{"location":"en/reference/document-convention/#code-block","title":"Code Block","text":"<p>yaml code blocks need to be identified as yaml.</p> BadGood <pre><code>````\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n     name: attach-subnet\n````\n</code></pre> <pre><code>````yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n     name: attach-subnet\n````\n</code></pre> <p>Command-line manipulation example code blocks need to be identified as bash.</p> BadGood <pre><code>````\nwget 127.0.0.1\n````\n</code></pre> <pre><code>````bash\nwget 127.0.0.1\n````\n</code></pre> <p>If the command line operation example contains output content, the executed command needs to start with <code>#</code> to distinguish input from output.</p> BadGood <pre><code>oilbeater@macdeMac-3 ~ ping 114.114.114.114 -c 3\nPING 114.114.114.114 (114.114.114.114): 56 data bytes\n64 bytes from 114.114.114.114: icmp_seq=0 ttl=83 time=10.429 ms\n64 bytes from 114.114.114.114: icmp_seq=1 ttl=79 time=11.360 ms\n64 bytes from 114.114.114.114: icmp_seq=2 ttl=76 time=10.794 ms\n\n--- 114.114.114.114 ping statistics ---\n3 packets transmitted, 3 packets received, 0.0% packet loss\nround-trip min/avg/max/stddev = 10.429/10.861/11.360/0.383 ms\n</code></pre> <pre><code># ping 114.114.114.114 -c 3\nPING 114.114.114.114 (114.114.114.114): 56 data bytes\n64 bytes from 114.114.114.114: icmp_seq=0 ttl=83 time=10.429 ms\n64 bytes from 114.114.114.114: icmp_seq=1 ttl=79 time=11.360 ms\n64 bytes from 114.114.114.114: icmp_seq=2 ttl=76 time=10.794 ms\n\n--- 114.114.114.114 ping statistics ---\n3 packets transmitted, 3 packets received, 0.0% packet loss\nround-trip min/avg/max/stddev = 10.429/10.861/11.360/0.383 ms\n</code></pre> <p>If the command line operation example only contains execution commands and no output results, multiple commands do not need to start with <code>#</code>.</p> BadGood <pre><code># mv /etc/origin/ovn/ovnnb_db.db /tmp\n# mv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\nmv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre>"},{"location":"en/reference/document-convention/#link","title":"Link","text":"<p>Links in the site use the corresponding <code>md</code> file path.</p> BadGood <pre><code>Please refer to [Preparation](http://kubeovn.github.io/prepare) before installation.\n</code></pre> <pre><code>Please refer to [Preparation](./prepare.md) before installation.\n</code></pre> BadGood <pre><code>If you have any questions, please refer to [Kubernetes Documentation](http://kubernetes.io).\n</code></pre> <pre><code>If you have any questions, please refer to [Kubernetes Documentation](http://kubernetes.io){: target=\"_blank\" }.\n</code></pre>"},{"location":"en/reference/document-convention/#empty-line","title":"Empty Line","text":"<p>Different logical blocks, such as title and text, text and code, text and number need to be separated by blank lines.</p> BadGood <pre><code>Download the script below to install it:\n```bash\nwget 127.0.0.1\n```\n</code></pre> <pre><code>Download the script below to install it:\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <p>Separate logical blocks with only one blank line.</p> BadGood <pre><code>Download the script below to install it:\n\n\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <pre><code>Download the script below to install it:\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/feature-stage/","title":"Feature Stage","text":"<p>In Kube-OVN, feature stage is classified into Alpha, Beta and GA, based on the degree of feature usage, documentation and test coverage.</p>"},{"location":"en/reference/feature-stage/#definition-of-stage","title":"Definition of Stage","text":"<p>For Alpha stage functions:</p> <ul> <li>The feature is not fully documented and well tested.</li> <li>This feature may change or even be removed in the future.</li> <li>This feature API is not guaranteed to be stable and may be removed.</li> <li>Community provides low priority support for this feature and long-term support cannot be guaranteed.</li> <li>Since feature stability and long-term support cannot be guaranteed, it can be tested and verified, but is not recommended for production use.</li> </ul> <p>For Beta stage functions:</p> <ul> <li>This feature is partially documented and tested, but complete coverage is not guaranteed.</li> <li>This feature may change in the future and the upgrade may affect the network, but it will not be removed as a whole.</li> <li>This feature API may change in the future and the fields may be adjusted, but not removed as a whole.</li> <li>This feature will be supported by the community in the long term.</li> <li>It can be used on non-critical services as the functionality will be supported for a long time, but it is not recommended for critical production service as there is a possibility of changes in functionality and APIs that may break the network.</li> </ul> <p>For GA stage functions:</p> <ul> <li>The feature has full documentation and test coverage.</li> <li>The feature will remain stable and upgrades will be guaranteed to be smooth.</li> <li>This feature API is not subject to disruptive changes.</li> <li>This feature will be supported with high priority by the community and long-term support will be guaranteed.</li> </ul>"},{"location":"en/reference/feature-stage/#feature-stage-list","title":"Feature Stage List","text":"<p>This list records the feature stages from the 1.8 release.</p> Feature Default Stage Since Until Namespaced Subnet true GA 1.8 Distributed Gateway true GA 1.8 Active-backup Centralized Gateway true GA 1.8 ECMP Centralized Gateway false Beta 1.8 Subnet ACL true Alpha 1.9 Subnet Isolation (Will be replaced by ACL later) true Beta 1.8 Underlay Subnet true GA 1.8 Multiple Pod Interface true Beta 1.8 Subnet DHCP false Alpha 1.10 Subnet with External Gateway false Alpha 1.8 Cluster Inter-Connection with OVN-IC false Beta 1.8 Cluster Inter-Connection with Submariner false Alpha 1.9 VIP Reservation true Alpha 1.10 Create Custom VPC true Beta 1.8 Custom VPC Floating IP/SNAT/DNAT true Alpha 1.10 Custom VPC Static Route true Alpha 1.10 Custom VPC Policy Route true Alpha 1.10 Custom VPC Security Group true Alpha 1.10 Container Bandwidth QoS true GA 1.8 linux-netem QoS true Alpha 1.9 Prometheus Integration false GA 1.8 Grafana Integration false GA 1.8 IPv4/v6 DualStack false GA 1.8 Default VPC EIP/SNAT false Beta 1.8 Traffic Mirroring false GA 1.8 NetworkPolicy true Beta 1.8 Webhook false Alpha 1.10 Performance Tunning false Beta 1.8 Interconnection with Routes in Overlay Mode false Alpha 1.8 BGP Support false Alpha 1.9 Cilium Integration false Alpha 1.10 Custom VPC Peering false Alpha 1.10 Mellanox Offload false Alpha 1.8 Corigine Offload false Alpha 1.10 Windows Support false Alpha 1.10 DPDK Support false Alpha 1.10 OpenStack Integration false Alpha 1.9 Single Pod Fixed IP/Mac true GA 1.8 Workload with Fixed IP true GA 1.8 StatefulSet with Fixed IP true GA 1.8 VM with Fixed IP false Beta 1.9 Load Balancer Type Service in Default VPC false Alpha 1.11 Load Balance in Custom VPC false Alpha 1.11 DNS in Custom VPC false Alpha 1.11 Underlay and Overlay Interconnection false Beta 1.12 <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/iptables-rules/","title":"Iptables Rules","text":"<p>Kube-OVN uses <code>ipset</code> and <code>iptables</code> to implement gateway NAT functionality in the default VPC overlay Subnets.</p> <p>The ipset used is shown in the following table:</p> Name\uff08IPv4/IPv6\uff09 Type Usage ovn40services/ovn60services hash:net Service CIDR ovn40subnets/ovn60subnets hash:net Overlay Subnet CIDR and NodeLocal DNS IP address ovn40subnets-nat/ovn60subnets-nat hash:net Overlay Subnet CIDRs that enable <code>NatOutgoing</code> ovn40subnets-distributed-gw/ovn60subnets-distributed-gw hash:net Overlay Subnet CIDRs that use distributed gateway ovn40other-node/ovn60other-node hash:net Internal IP addresses for other Nodes ovn40local-pod-ip-nat/ovn60local-pod-ip-nat hash:ip Deprecated ovn40subnets-nat-policy hash:net All subnet cidrs configured with natOutgoingPolicyRules ovn40natpr-418e79269dc5-dst hash:net The dstIPs corresponding to the rule in natOutgoingPolicyRules ovn40natpr-418e79269dc5-src hash:net The srcIPs corresponding to the rule in natOutgoingPolicyRules <p>The iptables rules (IPv4) used are shown in the following table:</p> Table Chain Rule Usage Note filter INPUT -m set --match-set ovn40services src -j ACCEPT Allow k8s service and pod traffic to pass through -- filter INPUT -m set --match-set ovn40services dst -j ACCEPT Allow k8s service and pod traffic to pass through -- filter INPUT -m set --match-set ovn40subnets src -j ACCEPT Allow k8s service and pod traffic to pass through -- filter INPUT -m set --match-set ovn40subnets dst -j ACCEPT Allow k8s service and pod traffic to pass through -- filter FORWARD -m set --match-set ovn40services src -j ACCEPT Allow k8s service and pod traffic to pass through -- filter FORWARD -m set --match-set ovn40services dst -j ACCEPT Allow k8s service and pod traffic to pass through -- filter FORWARD -m set --match-set ovn40subnets src -j ACCEPT Allow k8s service and pod traffic to pass through -- filter FORWARD -m set --match-set ovn40subnets dst -j ACCEPT Allow k8s service and pod traffic to pass through -- filter FORWARD -s 10.16.0.0/16 -m comment --comment \"ovn-subnet-gateway,ovn-default\" Used to count packets from the subnet to the external network \"10.16.0.0/16\" is the cidr of the subnet, the \"ovn-subnet-gateway\" before the \",\" in comment is used to identify the iptables rule used to count the subnet inbound and outbound gateway packets, and the \"ovn-default\" after the \",\" is the name of the subnet filter FORWARD -d 10.16.0.0/16 -m comment --comment \"ovn-subnet-gateway,ovn-default\" Used to count packets from the external network accessing the subnet \"10.16.0.0/16\" is the cidr of the subnet, the \"ovn-subnet-gateway\" before the \",\" in comment is used to identify the iptables rule used to count the subnet inbound and outbound gateway packets, and the \"ovn-default\" after the \",\" is the name of the subnet filter OUTPUT -p udp -m udp --dport 6081 -j MARK --set-xmark 0x0 Clear traffic tag to prevent SNAT UDP: bad checksum on VXLAN interface nat PREROUTING -m comment --comment \"kube-ovn prerouting rules\" -j OVN-PREROUTING Enter OVN-PREROUTING chain processing -- nat POSTROUTING -m comment --comment \"kube-ovn postrouting rules\" -j OVN-POSTROUTING Enter OVN-POSTROUTING chain processing -- nat OVN-PREROUTING -i ovn0 -m set --match-set ovn40subnets src -m set --match-set ovn40services dst -j MARK --set-xmark 0x4000/0x4000 Adding masquerade tags to Pod access service traffic Used when the built-in LB is turned off nat OVN-PREROUTING -p tcp -m addrtype --dst-type LOCAL -m set --match-set KUBE-NODE-PORT-LOCAL-TCP dst -j MARK --set-xmark 0x80000/0x80000 Add specific tags to ExternalTrafficPolicy for Local's Service traffic (TCP) Only used when kube-proxy is using ipvs mode nat OVN-PREROUTING -p udp -m addrtype --dst-type LOCAL -m set --match-set KUBE-NODE-PORT-LOCAL-UDP dst -j MARK --set-xmark 0x80000/0x80000 Add specific tags to ExternalTrafficPolicy for Local's Service traffic (UDP) Only used when kube-proxy is using ipvs mode nat OVN-POSTROUTING -m set --match-set ovn40services src -m set --match-set ovn40subnets dst -m mark --mark 0x4000/0x4000 -j SNAT --to-source  Use node IP as the source address for access from node to overlay Pods via service IP\u3002 Works only when kube-proxy is using ipvs mode nat OVN-POSTROUTING -m mark --mark 0x4000/0x4000 -j MASQUERADE Perform SNAT for specific tagged traffic -- nat OVN-POSTROUTING -m set --match-set ovn40subnets src -m set --match-set ovn40subnets dst -j MASQUERADE Perform SNAT for Service traffic between Pods passing through the node -- nat OVN-POSTROUTING -m mark --mark 0x80000/0x80000 -m set --match-set ovn40subnets-distributed-gw dst -j RETURN For Service traffic where ExternalTrafficPolicy is Local, if the Endpoint uses a distributed gateway, SNAT is not required. -- nat OVN-POSTROUTING -m mark --mark 0x80000/0x80000 -j MASQUERADE For Service traffic where ExternalTrafficPolicy is Local, if the Endpoint uses a centralized gateway, SNAT is required. -- nat OVN-POSTROUTING -p tcp -m tcp --tcp-flags SYN NONE -m conntrack --ctstate NEW -j RETURN No SNAT is performed when the Pod IP is exposed to the outside world -- nat OVN-POSTROUTING -s 10.16.0.0/16 -m set ! --match-set ovn40subnets dst -j SNAT --to-source 192.168.0.101 When the Pod accesses the network outside the cluster, if the subnet is NatOutgoing and a centralized gateway with the specified IP is used, perform SNAT 10.16.0.0/16 is the Subnet CIDR\uff0c192.168.0.101 is the specified IP of gateway node nat OVN-POSTROUTING -m set --match-set ovn40subnets-nat src -m set ! --match-set ovn40subnets dst -j MASQUERADE When the Pod accesses the network outside the cluster, if NatOutgoing is enabled on the subnet, perform SNAT -- nat OVN-POSTROUTING -m set --match-set ovn40subnets-nat-policy src -m set ! --match-set ovn40subnets dst -j OVN-NAT-POLICY When Pod accesses the network outside the cluster, if natOutgoingPolicyRules is enabled on the subnet, the packet with the specified policy will perform SNAT ovn40subnets-nat-policy is all subnet segments configured with natOutgoingPolicyRules nat OVN-POSTROUTING -m mark --mark 0x90001/0x90001 -j MASQUERADE --random-fully When Pod accesses the network outside the cluster, if natOutgoingPolicyRules is enabled on the subnet, the packet with the specified policy will perform SNAT After coming out of OVN-NAT-POLICY, if it is tagged with 0x90001/0x90001, it will do SNAT nat OVN-POSTROUTING -m mark --mark 0x90002/0x90002 -j RETURN When Pod accesses the network outside the cluster, if natOutgoingPolicyRules is enabled on the subnet, the packet with the specified policy will perform SNAT After coming out of OVN-NAT-POLICY, if it is tagged with 0x90002/0x90002, it will not do SNAT nat OVN-NAT-POLICY -s 10.0.11.0/24 -m comment --comment natPolicySubnet-net1 -j OVN-NAT-PSUBNET-aa98851157c5 When Pod accesses the network outside the cluster, if natOutgoingPolicyRules is enabled on the subnet, the packet with the specified policy will perform SNAT 10.0.11.0/24 represents the CIDR of the subnet net1, and the rules under the OVN-NAT-PSUBNET-aa98851157c5 chain correspond to the natOutgoingPolicyRules configuration of this subnet nat OVN-NAT-PSUBNET-xxxxxxxxxxxx -m set --match-set ovn40natpr-418e79269dc5-src src -m set --match-set ovn40natpr-418e79269dc5-dst dst -j MARK --set-xmark 0x90002/0x90002 When Pod accesses the network outside the cluster, if natOutgoingPolicyRules is enabled on the subnet, the packet with the specified policy will perform SNAT 418e79269dc5 indicates the ID of a rule in natOutgoingPolicyRules, which can be viewed through status.natOutgoingPolicyRules[index].RuleID, indicating that srcIPs meets ovn40natpr-418e79269dc5-src, and dstIPS meets ovn40natpr-418e79269dc5- dst will be marked with tag 0x90002 mangle OVN-OUTPUT -d 10.241.39.2/32 -p tcp -m tcp --dport 80 -j MARK --set-xmark 0x90003/0x90003 Introduce kubelet's detection traffic to tproxy with a specific mark mangle OVN-PREROUTING -d 10.241.39.2/32 -p tcp -m tcp --dport 80 -j TPROXY --on-port 8102 --on-ip 172.18.0.3 --tproxy-mark 0x90004/0x90004 Introduce kubelet's detection traffic to tproxy with a specific mark <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/kube-ovn-api/","title":"Kube-OVN API Reference","text":"<p>Based on Kube-OVN v1.12.0, we have compiled a list of CRD resources supported by Kube-OVN, listing the types and meanings of each field of CRD definition for reference.</p>"},{"location":"en/reference/kube-ovn-api/#generic-condition-definition","title":"Generic Condition Definition","text":"Property Name Type Description type String Type of status status String The value of status, in the range of <code>True</code>, <code>False</code> or <code>Unknown</code> reason String The reason for the status change message String The specific message of the status change lastUpdateTime Time The last time the status was updated lastTransitionTime Time Time of last status type change <p>In each CRD definition, the Condition field in Status follows the above format, so we explain it in advance.</p>"},{"location":"en/reference/kube-ovn-api/#subnet-definition","title":"Subnet Definition","text":""},{"location":"en/reference/kube-ovn-api/#subnet","title":"Subnet","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have this value as kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>Subnet</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec SubnetSpec Subnet specific configuration information status SubnetStatus Subnet status information"},{"location":"en/reference/kube-ovn-api/#subnetspec","title":"SubnetSpec","text":"Property Name Type Description default Bool Whether this subnet is the default subnet vpc String The vpc which the subnet belongs to, default is ovn-cluster protocol String IP protocol, the value is in the range of <code>IPv4</code>, <code>IPv6</code> or <code>Dual</code> namespaces []String The list of namespaces bound to this subnet cidrBlock String The range of the subnet, e.g. 10.16.0.0/16 gateway String The gateway address of the subnet, the default value is the first available address under the CIDRBlock of the subnet excludeIps []String The range of addresses under this subnet that will not be automatically assigned provider String Default value is <code>ovn</code>. In the case of multiple NICs, the value is <code>&lt;name&gt;.&lt;namespace&gt;</code> of the NetworkAttachmentDefinition, Kube-OVN will use this information to find the corresponding subnet resource gatewayType String The gateway type in overlay mode, either <code>distributed</code> or <code>centralized</code> gatewayNode String The gateway node when the gateway mode is centralized, node names can be comma-separated natOutgoing Bool Whether the outgoing traffic is NAT externalEgressGateway String The address of the external gateway. This parameter and the natOutgoing parameter cannot be set at the same time policyRoutingPriority Uint32 Policy route priority. Used to control the forwarding of traffic to the external gateway address after the subnet gateway policyRoutingTableID Uint32 The TableID of the local policy routing table, should be different for each subnet to avoid conflicts private Bool Whether the subnet is a private subnet, which denies access to addresses inside the subnet if the subnet is private allowSubnets []String If the subnet is a private subnet, the set of addresses that are allowed to access the subnet vlan String The name of vlan to which the subnet is bound vips []String The virtual-ip parameter information for virtual type lsp on the subnet logicalGateway Bool Whether to enable logical gateway disableGatewayCheck Bool Whether to skip the gateway connectivity check when creating a pod disableInterConnection Bool Whether to enable subnet interconnection across clusters enableDHCP Bool Whether to configure dhcp configuration options for lsps belong this subnet dhcpV4Options String The DHCP_Options record associated with lsp dhcpv4_options on the subnet dhcpV6Options String The DHCP_Options record associated with lsp dhcpv6_options on the subnet enableIPv6RA Bool Whether to configure the ipv6_ra_configs parameter for the lrp port of the router connected to the subnet ipv6RAConfigs String The ipv6_ra_configs parameter configuration for the lrp port of the router connected to the subnet acls []Acl The acls record associated with the logical-switch of the subnet u2oInterconnection Bool Whether to enable interconnection mode for Overlay/Underlay enableLb *Bool Whether the logical-switch of the subnet is associated with load-balancer records enableEcmp Bool Centralized subnet, whether to enable ECMP routing"},{"location":"en/reference/kube-ovn-api/#acl","title":"Acl","text":"Property Name Type Description direction String Restrict the direction of acl, which value is <code>from-lport</code> or <code>to-lport</code> priority Int Acl priority, in the range 0 to 32767 match String Acl rule match expression action String The action of the rule, which value is in the range of <code>allow-related</code>, <code>allow-stateless</code>, <code>allow</code>, <code>drop</code>, <code>reject</code>"},{"location":"en/reference/kube-ovn-api/#subnetstatus","title":"SubnetStatus","text":"Property Name Type Description conditions []SubnetCondition Subnet status change information, refer to the beginning of the document for the definition of Condition v4AvailableIPs Float64 Number of available IPv4 IPs v4availableIPrange String The available range of IPv4 addresses on the subnet v4UsingIPs Float64 Number of used IPv4 IPs v4usingIPrange String Used IPv4 address ranges on the subnet v6AvailableIPs Float64 Number of available IPv6 IPs v6availableIPrange String The available range of IPv6 addresses on the subnet v6UsingIPs Float64 Number of used IPv6 IPs v6usingIPrange String Used IPv6 address ranges on the subnet sctivateGateway String The currently working gateway node in centralized subnet of master-backup mode dhcpV4OptionsUUID String The DHCP_Options record identifier associated with the lsp dhcpv4_options on the subnet dhcpV6OptionsUUID String The DHCP_Options record identifier associated with the lsp dhcpv6_options on the subnet u2oInterconnectionIP String The IP address used for interconnection when Overlay/Underlay interconnection mode is enabled"},{"location":"en/reference/kube-ovn-api/#ip-definition","title":"IP Definition","text":""},{"location":"en/reference/kube-ovn-api/#ip","title":"IP","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources are kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource have the value <code>IP</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec IPSpec IP specific configuration information"},{"location":"en/reference/kube-ovn-api/#ipsepc","title":"IPSepc","text":"Property Name Type Description podName String Pod name which assigned with this IP namespace String The name of the namespace where the pod is bound subnet String The subnet which the ip belongs to attachSubnets []String The name of the other subnets attached to this primary IP (field deprecated) nodeName String The name of the node where the pod is bound ipAddress String IP address, in <code>v4IP,v6IP</code> format for dual-stack cases v4IPAddress String IPv4 IP address v6IPAddress String IPv6 IP address attachIPs []String Other IP addresses attached to this primary IP (field is deprecated) macAddress String The Mac address of the bound pod attachMacs []String Other Mac addresses attached to this primary IP (field deprecated) containerID String The Container ID corresponding to the bound pod podType String Special workload pod, can be <code>StatefulSet</code>, <code>VirtualMachine</code> or empty"},{"location":"en/reference/kube-ovn-api/#underlay-configuration","title":"Underlay configuration","text":""},{"location":"en/reference/kube-ovn-api/#vlan","title":"Vlan","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all instances of this resource will be kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>Vlan</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec VlanSpec Vlan specific configuration information status VlanStatus Vlan status information"},{"location":"en/reference/kube-ovn-api/#vlanspec","title":"VlanSpec","text":"Property Name Type Description id Int Vlan tag number, in the range of 0~4096 provider String The name of the ProviderNetwork to which the vlan is bound"},{"location":"en/reference/kube-ovn-api/#vlanstatus","title":"VlanStatus","text":"Property Name Type Description subnets []String The list of subnets to which the vlan is bound conditions []VlanCondition Vlan status change information, refer to the beginning of the document for the definition of Condition"},{"location":"en/reference/kube-ovn-api/#providernetwork","title":"ProviderNetwork","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources are kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>ProviderNetwork</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec ProviderNetworkSpec ProviderNetwork specific configuration information status ProviderNetworkStatus ProviderNetwork status information"},{"location":"en/reference/kube-ovn-api/#providernetworkspec","title":"ProviderNetworkSpec","text":"Property Name Type Description defaultInterface String The name of the NIC interface used by default for this bridge network customInterfaces []CustomInterface The special NIC configuration used by this bridge network excludeNodes []String The names of the nodes that will not be bound to this bridge network exchangeLinkName Bool Whether to exchange the bridge NIC and the corresponding OVS bridge name"},{"location":"en/reference/kube-ovn-api/#custominterface","title":"CustomInterface","text":"Property Name Type Description interface String NIC interface name used for underlay nodes []String List of nodes using the custom NIC interface"},{"location":"en/reference/kube-ovn-api/#providernetworkstatus","title":"ProviderNetworkStatus","text":"Property Name Type Description ready Bool Whether the current bridge network is in the ready state readyNodes []String The name of the node whose bridge network is ready notReadyNodes []String The name of the node whose bridge network is not ready vlans []String The name of the vlan to which the bridge network is bound conditions []ProviderNetworkCondition ProviderNetwork status change information, refer to the beginning of the document for the definition of Condition"},{"location":"en/reference/kube-ovn-api/#vpc-definition","title":"Vpc Definition","text":""},{"location":"en/reference/kube-ovn-api/#vpc","title":"Vpc","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have this value as kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>Vpc</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec VpcSpec Vpc specific configuration information status VpcStatus Vpc status information"},{"location":"en/reference/kube-ovn-api/#vpcspec","title":"VpcSpec","text":"Property Name Type Description namespaces []String List of namespaces bound by Vpc staticRoutes []*StaticRoute The static route information configured under Vpc policyRoutes []*PolicyRoute The policy route information configured under Vpc vpcPeerings []*VpcPeering Vpc interconnection information enableExternal Bool Whether vpc is connected to an external switch"},{"location":"en/reference/kube-ovn-api/#staticroute","title":"StaticRoute","text":"Property Name Type Description policy String Routing policy, takes the value of <code>policySrc</code> or <code>policyDst</code> cidr String Routing cidr value nextHopIP String The next hop information of the route"},{"location":"en/reference/kube-ovn-api/#policyroute","title":"PolicyRoute","text":"Property Name Type Description priority Int32 Priority for policy route match String Match expression for policy route action String Action for policy route, the value is in the range of <code>allow</code>, <code>drop</code>, <code>reroute</code> nextHopIP String The next hop of the policy route, separated by commas in the case of ECMP routing"},{"location":"en/reference/kube-ovn-api/#vpcpeering","title":"VpcPeering","text":"Property Name Type Description remoteVpc String Name of the interconnected peering vpc localConnectIP String The local ip for vpc used to connect to peer vpc"},{"location":"en/reference/kube-ovn-api/#vpcstatus","title":"VpcStatus","text":"Property Name Type Description conditions []VpcCondition Vpc status change information, refer to the beginning of the documentation for the definition of Condition standby Bool Whether the vpc creation is complete, the subnet under the vpc needs to wait for the vpc creation to complete other proceeding default Bool Whether it is the default vpc defaultLogicalSwitch String The default subnet under vpc router String The logical-router name for the vpc tcpLoadBalancer String TCP LB information for vpc udpLoadBalancer String UDP LB information for vpc tcpSessionLoadBalancer String TCP Session Hold LB Information for Vpc udpSessionLoadBalancer String UDP session hold LB information for Vpc subnets []String List of subnets for vpc vpcPeerings []String List of peer vpcs for vpc interconnection enableExternal Bool Whether the vpc is connected to an external switch"},{"location":"en/reference/kube-ovn-api/#vpcnatgateway","title":"VpcNatGateway","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources are kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>VpcNatGateway</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec VpcNatSpec Vpc gateway specific configuration information"},{"location":"en/reference/kube-ovn-api/#vpcnatspec","title":"VpcNatSpec","text":"Property Name Type Description vpc String Vpc name which the vpc gateway belongs to subnet String The name of the subnet to which the gateway pod belongs lanIp String The IP address assigned to the gateway pod selector []String Standard Kubernetes selector match information tolerations []VpcNatToleration Standard Kubernetes tolerance information"},{"location":"en/reference/kube-ovn-api/#vpcnattoleration","title":"VpcNatToleration","text":"Property Name Type Description key String The key information of the taint tolerance operator String Takes the value of <code>Exists</code> or <code>Equal</code> value String The value information of the taint tolerance effect String The effect of the taint tolerance, takes the value of <code>NoExecute</code>, <code>NoSchedule</code>, or <code>PreferNoSchedule</code> tolerationSeconds Int64 The amount of time the pod can continue to run on the node after the taint is added <p>The meaning of the above tolerance fields can be found in the official Kubernetes documentation Taint and Tolerance.</p>"},{"location":"en/reference/kube-ovn-api/#iptableseip","title":"IptablesEIP","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have this value as kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource have the value <code>IptablesEIP</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec IptablesEipSpec IptablesEIP specific configuration information used by vpc gateway status IptablesEipStatus IptablesEIP status information used by vpc gateway"},{"location":"en/reference/kube-ovn-api/#iptableseipspec","title":"IptablesEipSpec","text":"Property Name Type Description v4ip String IptablesEIP v4 address v6ip String IptablesEIP v6 address macAddress String The assigned mac address, not actually used natGwDp String Vpc gateway name"},{"location":"en/reference/kube-ovn-api/#iptableseipstatus","title":"IptablesEipStatus","text":"Property Name Type Description ready Bool Whether IptablesEIP is configured complete ip String The IP address used by IptablesEIP, currently only IPv4 addresses are supported redo String IptablesEIP crd creation or update time nat String The type of IptablesEIP, either <code>fip</code>, <code>snat</code>, or <code>dnat</code> conditions []IptablesEIPCondition IptablesEIP status change information, refer to the beginning of the documentation for the definition of Condition"},{"location":"en/reference/kube-ovn-api/#iptablesfiprule","title":"IptablesFIPRule","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have this value as kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource have the value <code>IptablesFIPRule</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec IptablesFIPRuleSpec The IptablesFIPRule specific configuration information used by vpc gateway status IptablesFIPRuleStatus IptablesFIPRule status information used by vpc gateway"},{"location":"en/reference/kube-ovn-api/#iptablesfiprulespec","title":"IptablesFIPRuleSpec","text":"Property Name Type Description eip String Name of the IptablesEIP used for IptablesFIPRule internalIp String The corresponding internal IP address"},{"location":"en/reference/kube-ovn-api/#iptablesfiprulestatus","title":"IptablesFIPRuleStatus","text":"Property Name Type Description ready Bool Whether IptablesFIPRule is configured or not v4ip String The v4 IP address used by IptablesEIP v6ip String The v6 IP address used by IptablesEIP natGwDp String Vpc gateway name redo String IptablesFIPRule crd creation or update time conditions []IptablesFIPRuleCondition IptablesFIPRule status change information, refer to the beginning of the documentation for the definition of Condition"},{"location":"en/reference/kube-ovn-api/#iptablessnatrule","title":"IptablesSnatRule","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have this value as kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource have the value <code>IptablesSnatRule</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec IptablesSnatRuleSpec The IptablesSnatRule specific configuration information used by the vpc gateway status IptablesSnatRuleStatus IptablesSnatRule status information used by vpc gateway"},{"location":"en/reference/kube-ovn-api/#iptablessnatrulespec","title":"IptablesSnatRuleSpec","text":"Property Name Type Description eip String Name of the IptablesEIP used by IptablesSnatRule internalIp String IptablesSnatRule's corresponding internal IP address"},{"location":"en/reference/kube-ovn-api/#iptablessnatrulestatus","title":"IptablesSnatRuleStatus","text":"Property Name Type Description ready Bool Whether the configuration is complete v4ip String The v4 IP address used by IptablesSnatRule v6ip String The v6 IP address used by IptablesSnatRule natGwDp String Vpc gateway name redo String IptablesSnatRule crd creation or update time conditions []IptablesSnatRuleCondition IptablesSnatRule status change information, refer to the beginning of the documentation for the definition of Condition"},{"location":"en/reference/kube-ovn-api/#iptablesdnatrule","title":"IptablesDnatRule","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have this value as kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource have the value <code>IptablesDnatRule</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec IptablesDnatRuleSpec The IptablesDnatRule specific configuration information used by vpc gateway status IptablesDnatRuleStatus IptablesDnatRule status information used by vpc gateway"},{"location":"en/reference/kube-ovn-api/#iptablesdnatrulespec","title":"IptablesDnatRuleSpec","text":"Property Name Type Description eip Sting Name of IptablesEIP used by IptablesDnatRule externalPort Sting External port used by IptablesDnatRule protocol Sting Vpc gateway dnat protocol type internalIp Sting Internal IP address used by IptablesDnatRule internalPort Sting Internal port used by IptablesDnatRule"},{"location":"en/reference/kube-ovn-api/#iptablesdnatrulestatus","title":"IptablesDnatRuleStatus","text":"Property Name Type Description ready Bool Whether the configuration is complete v4ip String The v4 IP address used by IptablesDnatRule v6ip String The v6 IP address used by IptablesDnatRule natGwDp String Vpc gateway name redo String IptablesDnatRule crd creation or update time conditions []IptablesDnatRuleCondition IptablesDnatRule Status change information, refer to the beginning of the documentation for the definition of Condition"},{"location":"en/reference/kube-ovn-api/#vpcdns","title":"VpcDns","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>VpcDns</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec VpcDnsSpec VpcDns specific configuration information status VpcDnsStatus VpcDns status information"},{"location":"en/reference/kube-ovn-api/#vpcdnsspec","title":"VpcDnsSpec","text":"Property Name Type Description vpc String Name of the vpc where VpcDns is located subnet String The subnet name of the address assigned to the VpcDns pod"},{"location":"en/reference/kube-ovn-api/#vpcdnsstatus","title":"VpcDnsStatus","text":"Property Name Type Description conditions []VpcDnsCondition VpcDns status change information, refer to the beginning of the document for the definition of Condition active Bool Whether VpcDns is in use <p>For detailed documentation on the use of VpcDns, see Customizing VPC DNS.</p>"},{"location":"en/reference/kube-ovn-api/#switchlbrule","title":"SwitchLBRule","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have this value as kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>SwitchLBRule</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec SwitchLBRuleSpec SwitchLBRule specific configuration information status SwitchLBRuleStatus SwitchLBRule status information"},{"location":"en/reference/kube-ovn-api/#switchlbrulespec","title":"SwitchLBRuleSpec","text":"Property Name Type Description vip String Vip address of SwitchLBRule namespace String SwitchLBRule's namespace selector []String Standard Kubernetes selector match information sessionAffinity String Standard Kubernetes service sessionAffinity value ports []SlrPort List of SwitchLBRule ports <p>For detailed configuration information of SwitchLBRule, you can refer to Customizing VPC Internal Load Balancing health check.</p>"},{"location":"en/reference/kube-ovn-api/#slrport","title":"SlrPort","text":"Property Name Type Description name String Port name port Int32 Port number targetPort Int32 Target port of SwitchLBRule protocol String Protocol type"},{"location":"en/reference/kube-ovn-api/#switchlbrulestatus","title":"SwitchLBRuleStatus","text":"Property Name Type Description conditions []SwitchLBRuleCondition SwitchLBRule status change information, refer to the beginning of the document for the definition of Condition ports String Port information service String Name of the service"},{"location":"en/reference/kube-ovn-api/#security-group-and-vip","title":"Security Group and Vip","text":""},{"location":"en/reference/kube-ovn-api/#securitygroup","title":"SecurityGroup","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources are kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have a value of <code>SecurityGroup</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec SecurityGroupSpec Security Group specific configuration information status SecurityGroupStatus Security group status information"},{"location":"en/reference/kube-ovn-api/#securitygroupspec","title":"SecurityGroupSpec","text":"Property Name Type Description ingressRules []*SgRule Inbound security group rules egressRules []*SgRule Outbound security group rules allowSameGroupTraffic Bool Whether lsps in the same security group can interoperate and whether traffic rules need to be updated"},{"location":"en/reference/kube-ovn-api/#sgrule","title":"SgRule","text":"Property Name Type Description ipVersion String IP version number, <code>ipv4</code> or <code>ipv6</code> protocol String The value of <code>icmp</code>, <code>tcp</code>, or <code>udp</code> priority Int Acl priority. The value range is 1-200, the smaller the value, the higher the priority. remoteType String The value is either <code>address</code> or <code>securityGroup</code> remoteAddress String The address of the other side remoteSecurityGroup String The name of security group on the other side portRangeMin Int The starting value of the port range, the minimum value is 1. portRangeMax Int The ending value of the port range, the maximum value is 65535. policy String The value is <code>allow</code> or <code>drop</code>"},{"location":"en/reference/kube-ovn-api/#securitygroupstatus","title":"SecurityGroupStatus","text":"Property Name Type Description portGroup String The name of the port-group for the security group allowSameGroupTraffic Bool Whether lsps in the same security group can interoperate, and whether the security group traffic rules need to be updated ingressMd5 String The MD5 value of the inbound security group rule egressMd5 String The MD5 value of the outbound security group rule ingressLastSyncSuccess Bool Whether the last synchronization of the inbound rule was successful egressLastSyncSuccess Bool Whether the last synchronization of the outbound rule was successful"},{"location":"en/reference/kube-ovn-api/#vip","title":"Vip","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources are kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>Vip</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec VipSpec Vip specific configuration information status VipStatus Vip status information"},{"location":"en/reference/kube-ovn-api/#vipspec","title":"VipSpec","text":"Property Name Type Description namespace String Vip's namespace subnet String Vip's subnet type String The type of Vip, either <code>switch_lb_vip</code>, or empty v4ip String Vip IPv4 ip address v6ip String Vip IPv6 ip address macAddress String Vip mac address parentV4ip String Not currently in use parentV6ip String Not currently in use parentMac String Not currently in use selector []String Standard Kubernetes selector match information attachSubnets []String This field is deprecated and no longer used"},{"location":"en/reference/kube-ovn-api/#vipstatus","title":"VipStatus","text":"Property Name Type Description conditions []VipCondition Vip status change information, refer to the beginning of the documentation for the definition of Condition ready Bool Vip is ready or not v4ip String Vip IPv4 ip address, should be the same as the spec field v6ip String Vip IPv6 ip address, should be the same as the spec field mac String The vip mac address, which should be the same as the spec field pv4ip String Not currently used pv6ip String Not currently used pmac String Not currently used"},{"location":"en/reference/kube-ovn-api/#ovneip","title":"OvnEip","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources are kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>OvnEip</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec OvnEipSpec OvnEip specific configuration information for default vpc status OvnEipStatus OvnEip status information for default vpc"},{"location":"en/reference/kube-ovn-api/#ovneipspec","title":"OvnEipSpec","text":"Property Name Type Description externalSubnet String OvnEip's subnet name v4Ip String OvnEip IPv4 address v6Ip String OvnEip IPv6 address macAddress String OvnEip Mac address type String OvnEip use type, the value can be <code>lrp</code>, <code>lsp</code> or <code>nat</code>"},{"location":"en/reference/kube-ovn-api/#ovneipstatus","title":"OvnEipStatus","text":"Property Name Type Description conditions []OvnEipCondition OvnEip status change information, refer to the beginning of the documentation for the definition of Condition type String OvnEip use type, the value can be <code>lrp</code>, <code>lsp</code> or <code>nat</code> nat String dnat snat fip v4Ip String The IPv4 ip address used by ovnEip v6Ip String The IPv4 ip address used by ovnEip macAddress String Mac address used by ovnEip"},{"location":"en/reference/kube-ovn-api/#ovnfip","title":"OvnFip","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources are kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>OvnFip</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec OvnFipSpec OvnFip specific configuration information in default vpc status OvnFipStatus OvnFip status information in default vpc"},{"location":"en/reference/kube-ovn-api/#ovnfipspec","title":"OvnFipSpec","text":"Property Name Type Description ovnEip String Name of the bound ovnEip ipType String vip crd or ip crd (\"\" means ip crd) ipName String The IP crd name corresponding to the bound Pod vpc String The vpc crd name corresponding to the bound Pod V4Ip String The IPv4 ip addresss corresponding to vip or the bound Pod"},{"location":"en/reference/kube-ovn-api/#ovnfipstatus","title":"OvnFipStatus","text":"Property Name Type Description ready Bool OvnFip is ready or not v4Eip String Name of the ovnEip to which ovnFip is bound v4Ip String The ovnEip address currently in use vpc String The name of the vpc where ovnFip is located conditions []OvnFipCondition OvnFip status change information, refer to the beginning of the document for the definition of Condition"},{"location":"en/reference/kube-ovn-api/#ovnsnatrule","title":"OvnSnatRule","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>OvnSnatRule</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec OvnSnatRuleSpec OvnSnatRule specific configuration information in default vpc status OvnSnatRuleStatus OvnSnatRule status information in default vpc"},{"location":"en/reference/kube-ovn-api/#ovnsnatrulespec","title":"OvnSnatRuleSpec","text":"Property Name Type Description ovnEip String Name of the ovnEip to which ovnSnatRule is bound vpcSubnet String The name of the subnet of the vpc configured by ovnSnatRule vpc String The vpc crd name corresponding to the ovnSnatRule bound Pod ipName String The IP crd name corresponding to the ovnSnatRule bound Pod v4IpCidr String The IPv4 cidr of the vpc subnet"},{"location":"en/reference/kube-ovn-api/#ovnsnatrulestatus","title":"OvnSnatRuleStatus","text":"Property Name Type Description ready Bool OvnSnatRule is ready or not v4Eip String The ovnEip address to which ovnSnatRule is bound v4IpCidr String The cidr address used to configure snat in the logical-router vpc String The name of the vpc where ovnSnatRule is located conditions []OvnSnatRuleCondition OvnSnatRule status change information, refer to the beginning of the document for the definition of Condition <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/kube-ovn-pinger-args/","title":"Kube-OVN-Pinger args Reference","text":"<p>Based on the Kube-OVN v1.12.0 version, We have compiled the parameters supported by Kube-ovn-pinger, and listed the value types, meanings, and default values of each field defined by the parameters for reference</p>"},{"location":"en/reference/kube-ovn-pinger-args/#args-describeption","title":"Args Describeption","text":"Arg Name Type Description Default Value port Int metrics port 8080 kubeconfig String Path to kubeconfig file with authorization and master location information. If not set use the inCluster token. \"\" ds-namespace String kube-ovn-pinger daemonset namespace \"kube-system\" ds-name String kube-ovn-pinger daemonset name \"kube-ovn-pinger\" interval Int interval seconds between consecutive pings 5 mode String server or job Mode \"server\" exit-code Int exit code when failure happens 0 internal-dns String check dns from pod \"kubernetes.default\" external-dns String check external dns resolve from pod \"\" external-address String check ping connection to an external address \"114.114.114.114\" network-mode String The cni plugin current cluster used \"kube-ovn\" enable-metrics Bool Whether to support metrics query true ovs.timeout Int Timeout on JSON-RPC requests to OVS. 2 system.run.dir String OVS default run directory. \"/var/run/openvswitch\" database.vswitch.name String The name of OVS db. \"Open_vSwitch\" database.vswitch.socket.remote String JSON-RPC unix socket to OVS db. \"unix:/var/run/openvswitch/db.sock\" database.vswitch.file.data.path String OVS db file. \"/etc/openvswitch/conf.db\" database.vswitch.file.log.path String OVS db log file. \"/var/log/openvswitch/ovsdb-server.log\" database.vswitch.file.pid.path String OVS db process id file. \"/var/run/openvswitch/ovsdb-server.pid\" database.vswitch.file.system.id.path String OVS system id file. \"/etc/openvswitch/system-id.conf\" service.vswitchd.file.log.path String OVS vswitchd daemon log file. \"/var/log/openvswitch/ovs-vswitchd.log\" service.vswitchd.file.pid.path String OVS vswitchd daemon process id file. \"/var/run/openvswitch/ovs-vswitchd.pid\" service.ovncontroller.file.log.path String OVN controller daemon log file. \"/var/log/ovn/ovn-controller.log\" service.ovncontroller.file.pid.path String OVN controller daemon process id file. \"/var/run/ovn/ovn-controller.pid\" <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/metrics/","title":"Metrics","text":"<p>This document lists all the monitoring metrics provided by Kube-OVN.</p>"},{"location":"en/reference/metrics/#ovn-monitor","title":"ovn-monitor","text":"<p>OVN status metrics:</p> Type Metric Description Gauge kube_ovn_ovn_status OVN Health Status. The values are: (2) for standby or follower, (1) for active or leader, (0) for unhealthy. Gauge kube_ovn_failed_req_count The number of failed requests to OVN stack. Gauge kube_ovn_log_file_size The size of a log file associated with an OVN component. Gauge kube_ovn_db_file_size The size of a database file associated with an OVN component. Gauge kube_ovn_chassis_info Whether the OVN chassis is up (1) or down (0), together with additional information about the chassis. Gauge kube_ovn_db_status The status of OVN NB/SB DB, (1) for healthy, (0) for unhealthy. Gauge kube_ovn_logical_switch_info The information about OVN logical switch. This metric is always up (1). Gauge kube_ovn_logical_switch_external_id Provides the external IDs and values associated with OVN logical switches. This metric is always up (1). Gauge kube_ovn_logical_switch_port_binding Provides the association between a logical switch and a logical switch port. This metric is always up (1). Gauge kube_ovn_logical_switch_tunnel_key The value of the tunnel key associated with the logical switch. Gauge kube_ovn_logical_switch_ports_num The number of logical switch ports connected to the OVN logical switch. Gauge kube_ovn_logical_switch_port_info The information about OVN logical switch port. This metric is always up (1). Gauge kube_ovn_logical_switch_port_tunnel_key The value of the tunnel key associated with the logical switch port. Gauge kube_ovn_cluster_enabled Is OVN clustering enabled (1) or not (0). Gauge kube_ovn_cluster_role A metric with a constant '1' value labeled by server role. Gauge kube_ovn_cluster_status A metric with a constant '1' value labeled by server status. Gauge kube_ovn_cluster_term The current raft term known by this server. Gauge kube_ovn_cluster_leader_self Is this server consider itself a leader (1) or not (0). Gauge kube_ovn_cluster_vote_self Is this server voted itself as a leader (1) or not (0). Gauge kube_ovn_cluster_election_timer The current election timer value. Gauge kube_ovn_cluster_log_not_committed The number of log entries not yet committed by this server. Gauge kube_ovn_cluster_log_not_applied The number of log entries not yet applied by this server. Gauge kube_ovn_cluster_log_index_start The log entry index start value associated with this server. Gauge kube_ovn_cluster_log_index_next The log entry index next value associated with this server. Gauge kube_ovn_cluster_inbound_connections_total The total number of inbound connections to the server. Gauge kube_ovn_cluster_outbound_connections_total The total number of outbound connections from the server. Gauge kube_ovn_cluster_inbound_connections_error_total The total number of failed inbound connections to the server. Gauge kube_ovn_cluster_outbound_connections_error_total The total number of failed outbound connections from the server."},{"location":"en/reference/metrics/#ovs-monitor","title":"ovs-monitor","text":"<p><code>ovsdb</code> and <code>vswitchd</code> status metrics:</p> Type Metric Description Gauge ovs_status OVS Health Status. The values are: health(1), unhealthy(0). Gauge ovs_info This metric provides basic information about OVS. It is always set to 1. Gauge failed_req_count The number of failed requests to OVS stack. Gauge log_file_size The size of a log file associated with an OVS component. Gauge db_file_size The size of a database file associated with an OVS component. Gauge datapath Represents an existing datapath. This metrics is always 1. Gauge dp_total Represents total number of datapaths on the system. Gauge dp_if Represents an existing datapath interface. This metrics is always 1. Gauge dp_if_total Represents the number of ports connected to the datapath. Gauge dp_flows_total The number of flows in a datapath. Gauge dp_flows_lookup_hit The number of incoming packets in a datapath matching existing flows in the datapath. Gauge dp_flows_lookup_missed The number of incoming packets in a datapath not matching any existing flow in the datapath. Gauge dp_flows_lookup_lost The number of incoming packets in a datapath destined for userspace process but subsequently dropped before reaching userspace. Gauge dp_masks_hit The total number of masks visited for matching incoming packets. Gauge dp_masks_total The number of masks in a datapath. Gauge dp_masks_hit_ratio The average number of masks visited per packet. It is the ration between hit and total number of packets processed by a datapath. Gauge interface Represents OVS interface. This is the primary metric for all other interface metrics. This metrics is always 1. Gauge interface_admin_state The administrative state of the physical network link of OVS interface. The values are: down(0), up(1), other(2). Gauge interface_link_state The state of the physical network link of OVS interface. The values are: down(0), up(1), other(2). Gauge interface_mac_in_use The MAC address in use by OVS interface. Gauge interface_mtu The currently configured MTU for OVS interface. Gauge interface_of_port Represents the OpenFlow port ID associated with OVS interface. Gauge interface_if_index Represents the interface index associated with OVS interface. Gauge interface_tx_packets Represents the number of transmitted packets by OVS interface. Gauge interface_tx_bytes Represents the number of transmitted bytes by OVS interface. Gauge interface_rx_packets Represents the number of received packets by OVS interface. Gauge interface_rx_bytes Represents the number of received bytes by OVS interface. Gauge interface_rx_crc_err Represents the number of CRC errors for the packets received by OVS interface. Gauge interface_rx_dropped Represents the number of input packets dropped by OVS interface. Gauge interface_rx_errors Represents the total number of packets with errors received by OVS interface. Gauge interface_rx_frame_err Represents the number of frame alignment errors on the packets received by OVS interface. Gauge interface_rx_missed_err Represents the number of packets with RX missed received by OVS interface. Gauge interface_rx_over_err Represents the number of packets with RX overrun received by OVS interface. Gauge interface_tx_dropped Represents the number of output packets dropped by OVS interface. Gauge interface_tx_errors Represents the total number of transmit errors by OVS interface. Gauge interface_collisions Represents the number of collisions on OVS interface."},{"location":"en/reference/metrics/#kube-ovn-pinger","title":"kube-ovn-pinger","text":"<p>Network quality related metrics:</p> Type Metric Description Gauge pinger_ovs_up If the ovs on the node is up Gauge pinger_ovs_down If the ovs on the node is down Gauge pinger_ovn_controller_up If the ovn_controller on the node is up Gauge pinger_ovn_controller_down If the ovn_controller on the node is down Gauge pinger_inconsistent_port_binding The number of mismatch port bindings between ovs and ovn-sb Gauge pinger_apiserver_healthy If the apiserver request is healthy on this node Gauge pinger_apiserver_unhealthy If the apiserver request is unhealthy on this node Histogram pinger_apiserver_latency_ms The latency ms histogram the node request apiserver Gauge pinger_internal_dns_healthy If the internal dns request is unhealthy on this node Gauge pinger_internal_dns_unhealthy If the internal dns request is unhealthy on this node Histogram pinger_internal_dns_latency_ms The latency ms histogram the node request internal dns Gauge pinger_external_dns_health If the external dns request is healthy on this node Gauge pinger_external_dns_unhealthy If the external dns request is unhealthy on this node Histogram pinger_external_dns_latency_ms The latency ms histogram the node request external dns Histogram pinger_pod_ping_latency_ms The latency ms histogram for pod peer ping Gauge pinger_pod_ping_lost_total The lost count for pod peer ping Gauge pinger_pod_ping_count_total The total count for pod peer ping Histogram pinger_node_ping_latency_ms The latency ms histogram for pod ping node Gauge pinger_node_ping_lost_total The lost count for pod ping node Gauge pinger_node_ping_count_total The total count for pod ping node Histogram pinger_external_ping_latency_ms The latency ms histogram for pod ping external address Gauge pinger_external_lost_total The lost count for pod ping external address"},{"location":"en/reference/metrics/#kube-ovn-controller","title":"kube-ovn-controller","text":"<p><code>kube-ovn-controller</code> status metrics\uff1a</p> Type Metric Description Histogram rest_client_request_latency_seconds Request latency in seconds. Broken down by verb and URL Counter rest_client_requests_total Number of HTTP requests, partitioned by status code, method, and host Counter lists_total Total number of API lists done by the reflectors Summary list_duration_seconds How long an API list takes to return and decode for the reflectors Summary items_per_list How many items an API list returns to the reflectors Counter watches_total Total number of API watches done by the reflectors Counter short_watches_total Total number of short API watches done by the reflectors Summary watch_duration_seconds How long an API watch takes to return and decode for the reflectors Summary items_per_watch How many items an API watch returns to the reflectors Gauge last_resource_version Last resource version seen for the reflectors Histogram ovs_client_request_latency_milliseconds The latency histogram for ovs request Gauge subnet_available_ip_count The available num of ip address in subnet Gauge subnet_used_ip_count The used num of ip address in subnet"},{"location":"en/reference/metrics/#kube-ovn-cni","title":"kube-ovn-cni","text":"<p><code>kube-ovn-cni</code> status metrics:</p> Type Metric Description Histogram cni_op_latency_seconds The latency seconds for cni operations Counter cni_wait_address_seconds_total Latency that cni wait controller to assign an address Counter cni_wait_connectivity_seconds_total Latency that cni wait address ready in overlay network Counter cni_wait_route_seconds_total Latency that cni wait controller to add routed annotation to pod Histogram rest_client_request_latency_seconds Request latency in seconds. Broken down by verb and URL Counter rest_client_requests_total Number of HTTP requests, partitioned by status code, method, and host Counter lists_total Total number of API lists done by the reflectors Summary list_duration_seconds How long an API list takes to return and decode for the reflectors Summary items_per_list How many items an API list returns to the reflectors Counter watches_total Total number of API watches done by the reflectors Counter short_watches_total Total number of short API watches done by the reflectors Summary watch_duration_seconds How long an API watch takes to return and decode for the reflectors Summary items_per_watch How many items an API watch returns to the reflectors Gauge last_resource_version Last resource version seen for the reflectors Histogram ovs_client_request_latency_milliseconds The latency histogram for ovs request <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/ovs-ovn-customized/","title":"OVS/OVN Customization","text":"<p>Upstream OVN/OVS was originally designed with the goal of a general purpose SDN controller and data plane. Due to some specific usage of the Kubernetes network,Kube-OVN only focused on part of the features. In order to achieve better performance, stability and specific features, Kube-OVN has made some modifications to the upstream OVN/OVS. Users using their own OVN/OVS with Kube-OVN controllers need to be aware of the possible impact of the following changes:</p> <p>Did not merge into the upstream modification.</p> <ul> <li>38df6fa3f7 Adjust the election timer to avoid large-scale cluster election jitter.</li> <li>d4888c4e75 add fdb update logging.</li> <li>d4888c4e75 fdb: fix mac learning in environments with hairpin enabled.</li> <li>9a81b91368 ovsdb-tool: add optional server id parameter for \"join-cluster\" command.</li> <li>0700cb90f9 Destination non-service traffic bypasses conntrack to improve performance on a particular data path.</li> <li>c48049a64f ECMP algorithm is adjusted from <code>dp_hash</code> to <code>hash</code> to avoid the hash error problem in some kernels.</li> <li>64383c14a9 Fix kernel Crash issue under Windows.</li> <li>08a95db2ca Support for github action builds on Windows.</li> <li>680e77a190 Windows uses tcp listening by default.</li> <li>05e57b3227 add support for windows.</li> <li>0181b68be1 br-int controller: listen on 127.0.0.1:6653 by default.</li> <li>b3801ecb73 modify src route priority.</li> <li>977e569539 fix reaching resubmit limit in underlay.</li> <li>45a4a22161 ovn-nbctl: do not remove LB if vips is empty.</li> <li>540592b9ff Replaces the Mac address as the destination address after DNAT to reduce additional performance overhead.</li> <li>10972d9632 Fix vswitchd ofport_usage memory leak.</li> </ul> <p>Merged into upstream modification:</p> <ul> <li>20626ea909 Multicast traffic bypasses LB and ACL processing stages to improve specific data path performance.</li> <li>a2d9ff3ccd Deb build adds compile optimization options.</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/tunnel-protocol/","title":"Tunnel Protocol Selection","text":"<p>Kube-OVN uses OVN/OVS as the data plane implementation and currently supports <code>Geneve</code>, <code>Vxlan</code> and <code>STT</code> tunnel encapsulation protocols. These three protocols differ in terms of functionality, performance and ease of use. This document will describe the differences in the use of the three protocols so that users can choose according to their situation.</p>"},{"location":"en/reference/tunnel-protocol/#geneve","title":"Geneve","text":"<p>The <code>Geneve</code> protocol is the default tunneling protocol selected during Kube-OVN deployment and is also the default recommended tunneling protocol for OVN. This protocol is widely supported in the kernel and can be accelerated using the generic offload capability of modern NICs. Since <code>Geneve</code> has a variable header, it is possible to use 24bit space to mark different datapaths users can create a larger number of virtual networks.</p> <p>If you are using Mellanox or Corigine SmartNIC OVS offload, <code>Geneve</code> requires a higher kernel version. Upstream kernel of 5.4 or higher, or other compatible kernels that backports this feature.</p> <p>Due to the use of UDP encapsulation, this protocol does not make good use of the TCP-related offloads of modern NICs when handling TCP over UDP, and consumes more CPU resources when handling large packets.</p>"},{"location":"en/reference/tunnel-protocol/#vxlan","title":"Vxlan","text":"<p><code>Vxlan</code> is a recently supported protocol in the upstream OVN, which is widely supported in the kernel and can be accelerated using the common offload capabilities of modern NICs. Due to the limited length of the protocol header and the additional space required for OVN orchestration, there is a limit to the number of datapaths that can be created, with a maximum of 4096 datapaths and a maximum of 4096 ports under each datapath. Also, <code>inport</code>-based ACLs are not supported due to header length limitations.</p> <p><code>Vxlan</code> offloading is supported in common kernels if using Mellanox or Corigine SmartNIC.</p> <p>Due to the use of UDP encapsulation, this protocol does not make good use of the TCP-related offloads of modern NICs when handling TCP over UDP, and consumes more CPU resources when handling large packets.</p>"},{"location":"en/reference/tunnel-protocol/#stt","title":"STT","text":"<p>The <code>STT</code> protocol is an early tunneling protocol supported by the OVN that uses TCP-like headers to take advantage of the TCP offload capabilities common to modern NICs and significantly increase TCP throughput. The protocol also has a long header to support full OVN capabilities and large-scale datapaths.</p> <p>This protocol is not supported in the kernel. To use it, you need to compile an additional OVS kernel module and recompile the new version of the kernel module when upgrading the kernel.</p> <p>This protocol is not currently supported by the SmartNic and cannot use the offloading capability of OVS offloading.</p>"},{"location":"en/reference/tunnel-protocol/#references","title":"References","text":"<ul> <li>https://ipwithease.com/vxlan-vs-geneve-understand-the-difference/</li> <li>OVN FAQ</li> <li>What is Geneve</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/underlay-topology/","title":"Underlay Traffic Topology","text":"<p>This document describes the forwarding path of traffic in Underlay mode under different scenarios.</p>"},{"location":"en/reference/underlay-topology/#pods-in-same-node-and-same-subnet","title":"Pods in Same Node and Same Subnet","text":"<p>Internal logical switches exchange packets directly, without access to the external network.</p> <p></p>"},{"location":"en/reference/underlay-topology/#pods-in-different-nodes-and-same-subnet","title":"Pods in Different Nodes and Same Subnet","text":"<p>Packets enter the physic switch via the node NIC and are exchanged by the physic switch.</p> <p></p>"},{"location":"en/reference/underlay-topology/#pods-in-same-node-and-different-subnets","title":"Pods in Same Node and Different Subnets","text":"<p>Packets enter the physic network via the node NIC and are exchanged and routed and forwarded by physic switches and routers.</p> <p></p> <p>Here br-provider-1 and br-provider-2 can be the same OVS bridge\uff0cmultiple subnet can share a Provider Network\u3002</p>"},{"location":"en/reference/underlay-topology/#pods-in-different-nodes-and-different-subnets","title":"Pods in Different Nodes and Different Subnets","text":"<p>Packets enter the physic network via the node NIC and are exchanged and routed and forwarded by physic switches and routers.</p> <p></p>"},{"location":"en/reference/underlay-topology/#access-to-external","title":"Access to External","text":"<p>Packets enter the physic network via the node NIC and are exchanged and routed and forwarded by physic switches and routers.</p> <p></p> <p>The communication between nodes and Pods follows the same logic.</p>"},{"location":"en/reference/underlay-topology/#overview-without-vlan-tag","title":"Overview without Vlan Tag","text":""},{"location":"en/reference/underlay-topology/#overview-with-vlan-tag","title":"Overview with Vlan Tag","text":""},{"location":"en/reference/underlay-topology/#pod-visit-service-ip","title":"Pod visit Service IP","text":"<p>Kube-OVN configures load balancing for each Kubernetes Service on a logical switch on each subnet. When a Pod accesses other Pods by accessing the Service IP, a network packet is constructed with the Service IP as the destination address and the MAC address of the gateway as the destination MAC address. After the network packet enters the logical switch, load balancing will intercept and DNAT the network packet to modify the destination IP and port to the IP and port of one of the Endpoint corresponding to the Service. Since the logical switch does not modify the Layer 2 destination MAC address of the network packet, the network packet will still be delivered to the physic gateway after entering the physic switch, and the physic gateway will be required to forward the network packet.</p>"},{"location":"en/reference/underlay-topology/#service-backend-is-the-same-node-and-same-subnet-pod","title":"Service Backend is the Same Node and Same Subnet Pod","text":""},{"location":"en/reference/underlay-topology/#service-backend-is-the-same-node-and-different-subnets-pod","title":"Service Backend is the Same Node and Different Subnets Pod","text":"<p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/start/one-step-install/","title":"One-Click Installation","text":"<p>Kube-OVN provides a one-click installation script to help you quickly install a highly available, production-ready Kube-OVN container network with Overlay networking by default.</p> <p>Helm Chart installation is supported since Kube-OVN v1.12.0, and the default deployment is Overlay networking.</p> <p>If you need Underlay/Vlan networking as the default container network\uff0cplease read Underlay Installation</p> <p>Before installation please read Prerequisites first to make sure the environment is ready.</p>"},{"location":"en/start/one-step-install/#script-installation","title":"Script Installation","text":""},{"location":"en/start/one-step-install/#download-the-installation-script","title":"Download the installation script","text":"<p>We recommend using the stable release version for production environments, please use the following command to download:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>If you are interested in the latest features of the master branch, please use the following command to download:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre>"},{"location":"en/start/one-step-install/#modify-configuration-options","title":"Modify Configuration Options","text":"<p>Open the script using the editor and change the following variables to the expected:</p> <pre><code>REGISTRY=\"kubeovn\"                     # Image Repo \nVERSION=\"v1.13.0\"                      # Image Tag\nPOD_CIDR=\"10.16.0.0/16\"                # Default subnet CIDR don't overlay with SVC/NODE/JOIN CIDR\nSVC_CIDR=\"10.96.0.0/12\"                # Be consistent with apiserver's service-cluster-ip-range\nJOIN_CIDR=\"100.64.0.0/16\"              # Pod/Host communication Subnet CIDR, don't overlay with SVC/NODE/POD CIDR\nLABEL=\"node-role.kubernetes.io/master\" # The node label to deploy OVN DB\nIFACE=\"\"                               # The name of the host NIC used by the container network, or if empty use the NIC that host Node IP in Kubernetes\nTUNNEL_TYPE=\"geneve\"                   # Tunnel protocol\uff0cavailable options: geneve, vxlan or stt. stt requires compilation of ovs kernel module\n</code></pre> <p>You can also use regular expression to math NIC names\uff0csuch as <code>IFACE=enp6s0f0,eth.*</code>.</p>"},{"location":"en/start/one-step-install/#run-the-script","title":"Run the Script","text":"<p><code>bash install.sh</code></p> <p>Wait Kube-OVN ready.</p>"},{"location":"en/start/one-step-install/#helm-chart-installation","title":"Helm Chart Installation","text":"<p>Since the installation of Kube-OVN requires setting some parameters, to install Kube-OVN using Helm, you need to follow the steps below.</p>"},{"location":"en/start/one-step-install/#view-the-node-ip-address","title":"View the node IP address","text":"<pre><code>$ kubectl get node -o wide\nNAME                     STATUS     ROLES           AGE   VERSION   INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION      CONTAINER-RUNTIME\nkube-ovn-control-plane   NotReady   control-plane   20h   v1.26.0   172.18.0.3    &lt;none&gt;        Ubuntu 22.04.1 LTS   5.10.104-linuxkit   containerd://1.6.9\nkube-ovn-worker          NotReady   &lt;none&gt;          20h   v1.26.0   172.18.0.2    &lt;none&gt;        Ubuntu 22.04.1 LTS   5.10.104-linuxkit   containerd://1.6.9\n</code></pre>"},{"location":"en/start/one-step-install/#remove-cluster-master-node-taint","title":"Remove cluster master node taint","text":"<pre><code>$ kubectl taint node kube-ovn-control-plane node-role.kubernetes.io/control-plane:NoSchedule-\nnode/kube-ovn-control-plane untainted\n</code></pre> <p>This step can be skipped if you are sure that you do not need to schedule the pod at the master node.</p>"},{"location":"en/start/one-step-install/#add-label-to-node","title":"Add label to node","text":"<pre><code>$ kubectl label node -lbeta.kubernetes.io/os=linux kubernetes.io/os=linux --overwrite\nnode/kube-ovn-control-plane not labeled\nnode/kube-ovn-worker not labeled\n\n$ kubectl label node -lnode-role.kubernetes.io/control-plane kube-ovn/role=master --overwrite\nnode/kube-ovn-control-plane labeled\n\n# The following labels are used for the installation of dpdk images and can be ignored in non-dpdk cases\n$ kubectl label node -lovn.kubernetes.io/ovs_dp_type!=userspace ovn.kubernetes.io/ovs_dp_type=kernel --overwrite\nnode/kube-ovn-control-plane labeled\nnode/kube-ovn-worker labeled\n</code></pre>"},{"location":"en/start/one-step-install/#add-helm-repo-information","title":"Add Helm Repo information","text":"<pre><code>$ helm repo add kubeovn https://kubeovn.github.io/kube-ovn/\n\"kubeovn\" has been added to your repositories\n\n$ helm repo list\nNAME            URL\nkubeovn         https://kubeovn.github.io/kube-ovn/\n\n$ helm search repo kubeovn\nNAME                CHART VERSION   APP VERSION DESCRIPTION\nkubeovn/kube-ovn    0.1.0           1.12.0      Helm chart for Kube-OVN\n</code></pre>"},{"location":"en/start/one-step-install/#run-helm-install-to-install-kube-ovn","title":"Run helm install to install Kube-OVN","text":"<p>The Node0IP, Node1IP, and Node2IP parameters are the IP addresses of the cluster master nodes, respectively. For other parameters, you can refer to the variable definitions in the values.yaml file.</p> <pre><code># Single master node environment install\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=${Node0IP}\n\n# Using the node information above as an example, execute the install command\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=172.18.0.3\nNAME: kube-ovn\nLAST DEPLOYED: Fri Mar 31 12:43:43 2023\nNAMESPACE: default\nSTATUS: deployed\nREVISION: 1\nTEST SUITE: None\n\n# Highly Available Cluster Installation\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=${Node0IP}\\,${Node1IP}\\,${Node2IP}\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/start/prepare/","title":"Prerequisites","text":"<p>Kube-OVN is a CNI-compliant network system that depends on the Kubernetes environment and the corresponding kernel network module for its operation. Below are the operating system and software versions tested, the environment configuration and the ports that need to be opened.</p>"},{"location":"en/start/prepare/#software-version","title":"Software Version","text":"<ul> <li>Kubernetes &gt;= 1.23.</li> <li>Docker &gt;= 1.12.6, Containerd &gt;= 1.3.4.</li> <li>OS: CentOS 7/8, Ubuntu 16.04/18.04/20.04.</li> <li>For other Linux distributions, please make sure <code>geneve</code>, <code>openvswitch</code>, <code>ip_tables</code> and <code>iptable_nat</code> kernel modules exist.</li> </ul> <p>Attention\uff1a</p> <ol> <li>For CentOS kernel version 3.10.0-862 bug exists in <code>netfilter</code> modules that lead Kube-OVN embed nat and lb failure.Please update kernel and check Floating IPs broken after kernel upgrade to Centos/RHEL 7.5 - DNAT not working.</li> <li>Kernel version 4.18.0-372.9.1.el8.x86_64 in Rocky Linux 8.6 has a TCP connection problem TCP connection failed in Rocky Linux 8.6\uff0cplease update kernel to 4.18.0-372.13.1.el8_6.x86_64 or later\u3002</li> <li>For kernel version 4.4, the related <code>openvswitch</code> module has some issues for ct\uff0cplease update kernel version or manually compile <code>openvswitch</code> kernel module.</li> <li>When building Geneve tunnel IPv6 in kernel should be enabled\uff0ccheck the kernel bootstrap options with <code>cat /proc/cmdline</code>.Check Geneve tunnels don't work when ipv6 is disabled for the detail bug info.</li> </ol>"},{"location":"en/start/prepare/#environment-setup","title":"Environment Setup","text":"<ul> <li>Kernel should enable IPv6, if kernel bootstrap options contain <code>ipv6.disable=1</code>, it should be set to <code>0</code>.</li> <li><code>kube-proxy</code> works, Kube-OVN can visit <code>kube-apiserver</code> from Service ClusterIP.</li> <li>Make sure kubelet enabled <code>CNI</code> and find cni-bin and cni-conf in default directories, kubelet bootstrap options should contain <code>--network-plugin=cni --cni-bin-dir=/opt/cni/bin --cni-conf-dir=/etc/cni/net.d</code>.</li> <li>Make sure no other CNI installed or has been removed\uff0ccheck if any config files still exist in<code>/etc/cni/net.d/</code>.</li> </ul>"},{"location":"en/start/prepare/#ports-need-open","title":"Ports Need Open","text":"Component Port Usage ovn-central 6641/tcp, 6642/tcp, 6643/tcp, 6644/tcp ovn-db and raft server listen ports ovs-ovn Geneve 6081/udp, STT 7471/tcp, Vxlan 4789/udp tunnel ports kube-ovn-controller 10660/tcp metrics port kube-ovn-daemon 10665/tcp metrics port kube-ovn-monitor 10661/tcp metrics port <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/start/sealos-install/","title":"One-Click Deployment of Kubernetes and Kube-OVN with sealos","text":"<p>sealos, a distribution of Kubernetes, helps users quickly initialize a container cluster from scratch. By using sealos, users can deploy a Kubernetes cluster with Kube-OVN installed in minutes with a single command.</p>"},{"location":"en/start/sealos-install/#download-sealos","title":"Download sealos","text":"AMD64 ARM64 <pre><code>wget https://github.com/labring/sealos/releases/download/v4.0.0/sealos_4.0.0_linux_amd64.tar.gz \\\n  &amp;&amp; tar zxvf sealos_4.0.0_linux_amd64.tar.gz sealos &amp;&amp; chmod +x sealos &amp;&amp; mv sealos /usr/bin\n</code></pre> <pre><code>wget https://github.com/labring/sealos/releases/download/v4.0.0/sealos_4.0.0_linux_arm64.tar.gz \\\n  &amp;&amp; tar zxvf sealos_4.0.0_linux_arm64.tar.gz sealos &amp;&amp; chmod +x sealos &amp;&amp; mv sealos /usr/bin\n</code></pre>"},{"location":"en/start/sealos-install/#deploy-kubernetes-and-kube-ovn","title":"Deploy Kubernetes and Kube-OVN","text":"<pre><code>```bash\nsealos run labring/kubernetes:v1.24.3 labring/kube-ovn:v1.10.5 \\\n  --masters [masters ips seperated by comma] \\\n  --nodes [nodes ips seperated by comma] -p [your-ssh-passwd]\n```\n</code></pre>"},{"location":"en/start/sealos-install/#wait-to-finish","title":"Wait to finish","text":"<pre><code>```bash\n[Step 6/6] Finish\n\n                    ,,,,\n                    ,::,\n                   ,,::,,,,\n            ,,,,,::::::::::::,,,,,\n         ,,,::::::::::::::::::::::,,,\n       ,,::::::::::::::::::::::::::::,,\n     ,,::::::::::::::::::::::::::::::::,,\n    ,::::::::::::::::::::::::::::::::::::,\n   ,:::::::::::::,,   ,,:::::,,,::::::::::,\n ,,:::::::::::::,       ,::,     ,:::::::::,\n ,:::::::::::::,   :x,  ,::  :,   ,:::::::::,\n,:::::::::::::::,  ,,,  ,::, ,,  ,::::::::::,\n,:::::::::::::::::,,,,,,:::::,,,,::::::::::::,    ,:,   ,:,            ,xx,                            ,:::::,   ,:,     ,:: :::,    ,x\n,::::::::::::::::::::::::::::::::::::::::::::,    :x: ,:xx:        ,   :xx,                          :xxxxxxxxx, :xx,   ,xx:,xxxx,   :x\n,::::::::::::::::::::::::::::::::::::::::::::,    :xxxxx:,  ,xx,  :x:  :xxx:x::,  ::xxxx:           :xx:,  ,:xxx  :xx, ,xx: ,xxxxx:, :x\n,::::::::::::::::::::::::::::::::::::::::::::,    :xxxxx,   :xx,  :x:  :xxx,,:xx,:xx:,:xx, ,,,,,,,,,xxx,    ,xx:   :xx:xx:  ,xxx,:xx::x\n,::::::,,::::::::,,::::::::,,:::::::,,,::::::,    :x:,xxx:  ,xx,  :xx  :xx:  ,xx,xxxxxx:, ,xxxxxxx:,xxx:,  ,xxx,    :xxx:   ,xxx, :xxxx\n,::::,    ,::::,   ,:::::,   ,,::::,    ,::::,    :x:  ,:xx,,:xx::xxxx,,xxx::xx: :xx::::x: ,,,,,,   ,xxxxxxxxx,     ,xx:    ,xxx,  :xxx\n,::::,    ,::::,    ,::::,    ,::::,    ,::::,    ,:,    ,:,  ,,::,,:,  ,::::,,   ,:::::,            ,,:::::,        ,,      :x:    ,::\n,::::,    ,::::,    ,::::,    ,::::,    ,::::,\n ,,,,,    ,::::,    ,::::,    ,::::,    ,:::,             ,,,,,,,,,,,,,\n          ,::::,    ,::::,    ,::::,    ,:::,        ,,,:::::::::::::::,\n          ,::::,    ,::::,    ,::::,    ,::::,  ,,,,:::::::::,,,,,,,:::,\n          ,::::,    ,::::,    ,::::,     ,::::::::::::,,,,,\n           ,,,,     ,::::,     ,,,,       ,,,::::,,,,\n                    ,::::,\n                    ,,::,\n\nThanks for choosing Kube-OVN!\nFor more advanced features, please read https://github.com/kubeovn/kube-ovn#documents\nIf you have any question, please file an issue https://github.com/kubeovn/kube-ovn/issues/new/choose\n2022-08-10T16:31:34 info succeeded in creating a new cluster, enjoy it!\n2022-08-10T16:31:34 info\n      ___           ___           ___           ___       ___           ___\n     /\\  \\         /\\  \\         /\\  \\         /\\__\\     /\\  \\         /\\  \\\n    /::\\  \\       /::\\  \\       /::\\  \\       /:/  /    /::\\  \\       /::\\  \\\n   /:/\\ \\  \\     /:/\\:\\  \\     /:/\\:\\  \\     /:/  /    /:/\\:\\  \\     /:/\\ \\  \\\n  _\\:\\~\\ \\  \\   /::\\~\\:\\  \\   /::\\~\\:\\  \\   /:/  /    /:/  \\:\\  \\   _\\:\\~\\ \\  \\\n /\\ \\:\\ \\ \\__\\ /:/\\:\\ \\:\\__\\ /:/\\:\\ \\:\\__\\ /:/__/    /:/__/ \\:\\__\\ /\\ \\:\\ \\ \\__\\\n \\:\\ \\:\\ \\/__/ \\:\\~\\:\\ \\/__/ \\/__\\:\\/:/  / \\:\\  \\    \\:\\  \\ /:/  / \\:\\ \\:\\ \\/__/\n  \\:\\ \\:\\__\\    \\:\\ \\:\\__\\        \\::/  /   \\:\\  \\    \\:\\  /:/  /   \\:\\ \\:\\__\\\n   \\:\\/:/  /     \\:\\ \\/__/        /:/  /     \\:\\  \\    \\:\\/:/  /     \\:\\/:/  /\n    \\::/  /       \\:\\__\\         /:/  /       \\:\\__\\    \\::/  /       \\::/  /\n     \\/__/         \\/__/         \\/__/         \\/__/     \\/__/         \\/__/\n\n                  Website :https://www.sealos.io/\n                  Address :github.com/labring/sealos\n```\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/start/underlay/","title":"Underlay Installation","text":"<p>By default, the default subnet uses Geneve to encapsulate cross-host traffic, and build an overlay network on top of the infrastructure.</p> <p>For the case that you want the container network to use the physical network address directly, you can set the default subnet of Kube-OVN to work in Underlay mode, which can directly assign the address resources in the physical network to the containers, achieving better performance and connectivity with the physical network.</p> <p></p>"},{"location":"en/start/underlay/#limitation","title":"Limitation","text":"<p>Since the container network in this mode uses physical network directly for L2 packet forwarding, L3 functions such as SNAT/EIP, distributed gateway/centralized gateway in Overlay mode cannot be used. VPC level isolation is also not available for underlay subnet.</p>"},{"location":"en/start/underlay/#comparison-with-macvlan","title":"Comparison with Macvlan","text":"<p>The Underlay mode of Kube-OVN is very similar to the Macvlan, with the following major differences in functionality and performance:</p> <ol> <li>Macvlan performs better in terms of throughput and latency performance metrics due to its shorter kernel path and the fact that it does not require OVS for packet processing.</li> <li>Kube-OVN provides arp-proxy functionality through flow tables to mitigate the risk of arp broadcast storms on large-scale networks.</li> <li>Since Macvlan works at the bottom of the kernel and bypasses the host netfilter, Service and NetworkPolicy functionality requires additional development.    Kube-OVN provides Service and NetworkPolicy capabilities through the OVS flow table.</li> <li>Kube-OVN Underlay mode provides additional features such as address management, fixed IP and QoS compared to Macvlan.</li> </ol>"},{"location":"en/start/underlay/#environment-requirements","title":"Environment Requirements","text":"<p>In Underlay mode, the OVS will bridge a node NIC to the OVS bridge and send packets directly through that node NIC, relying on the underlying network devices for L2/L3 level forwarding capabilities. You need to configure the corresponding gateway, Vlan and security policy in the underlying network device in advance.</p> <ol> <li>For OpenStack VM environments, you need to turn off <code>PortSecurity</code> on the corresponding network port.</li> <li>For VMware vSwitch networks, <code>MAC Address Changes</code>, <code>Forged Transmits</code> and <code>Promiscuous Mode Operation</code> should be set to <code>allow</code>.</li> <li>For Hyper-V virtualization,  <code>MAC Address Spoofing</code> should be enabled in VM nic advanced features.</li> <li>Public clouds, such as AWS, GCE, AliCloud, etc., do not support user-defined Mac, so they cannot support Underlay mode network. In this scenario, if you want to use Underlay, it is recommended to use the VPC-CNI provided by the corresponding public cloud vendor..</li> <li>The network interface that is bridged into ovs can not be type of Linux Bridge.</li> </ol> <p>For management and container networks using the same NIC, Kube-OVN will transfer the NIC's Mac address, IP address, route, and MTU to the corresponding OVS Bridge to support single NIC deployment of Underlay networks. OVS Bridge name format is <code>br-PROVIDER_NAME</code>\uff0c<code>PROVIDER_NAME</code> is the name of <code>ProviderNetwork</code> (Default: provider).</p>"},{"location":"en/start/underlay/#specify-network-mode-when-deploying","title":"Specify Network Mode When Deploying","text":"<p>This deployment mode sets the default subnet to Underlay mode, and all Pods with no subnet specified will run in the Underlay network by default.</p>"},{"location":"en/start/underlay/#download-script","title":"Download Script","text":"<pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre>"},{"location":"en/start/underlay/#modify-configuration-options","title":"Modify Configuration Options","text":"<pre><code>ENABLE_ARP_DETECT_IP_CONFLICT # disable vlan arp conflict detection if necessary\nNETWORK_TYPE                  # set to vlan\nVLAN_INTERFACE_NAME           # set to the NIC that carries the Underlay traffic, e.g. eth1\nVLAN_ID                       # The VLAN Tag need to be added\uff0cif set 0 no vlan tag will be added\nPOD_CIDR                      # The Underlay network CIDR\uff0c e.g. 192.168.1.0/24\nPOD_GATEWAY                   # Underlay physic gateway address, e.g. 192.168.1.1\nEXCLUDE_IPS                   # Exclude ranges to avoid conflicts between container network and IPs already in use on the physical network, e.g. 192.168.1.1..192.168.1.100\nENABLE_LB                     # If Underlay Subnet needs to visit Service set it to true\nEXCHANGE_LINK_NAME            # If swap the names of the OVS bridge and the bridge interface under the default provider-network. Default to false.\nLS_DNAT_MOD_DL_DST            # If DNAT translate MAC addresses to accelerate service access. Default to true.\n</code></pre>"},{"location":"en/start/underlay/#run-the-script","title":"Run the Script","text":"<pre><code>bash install.sh\n</code></pre>"},{"location":"en/start/underlay/#dynamically-create-underlay-networks-via-crd","title":"Dynamically Create Underlay Networks via CRD","text":"<p>This approach dynamically creates an Underlay subnet that Pod can use after installation.</p>"},{"location":"en/start/underlay/#create-providernetwork","title":"Create ProviderNetwork","text":"<p>ProviderNetwork provides the abstraction of host NIC to physical network mapping, unifies the management of NICs belonging to the same network, and solves the configuration problems in complex environments with multiple NICs on the same machine, inconsistent NIC names and inconsistent corresponding Underlay networks.</p> <p>Create ProviderNetwork as below:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: net1\nspec:\n  defaultInterface: eth1\n  customInterfaces:\n    - interface: eth2\n      nodes:\n        - node1\n  excludeNodes:\n    - node2\n</code></pre> <p>Note: The length of the ProviderNetwork resource name must not exceed 12.</p> <ul> <li><code>defaultInterface</code>: The default node NIC name. When the ProviderNetwork is successfully created, an OVS bridge named br-net1 (in the format <code>br-NAME</code>) is created in each node (except excludeNodes) and the specified node NIC is bridged to this bridge.</li> <li><code>customInterfaces</code>: Optionally, you can specify the NIC to be used for a specific node.</li> <li><code>excludeNodes</code>: Optional, to specify nodes that do not bridge the NIC. Nodes in this list will be added with the <code>net1.provider-network.ovn.kubernetes.io/exclude=true</code> tag.</li> </ul> <p>Other nodes will be added with the following tags:</p> Key Value Description net1.provider-network.ovn.kubernetes.io/ready true bridge work finished, ProviderNetwork is ready on this node net1.provider-network.ovn.kubernetes.io/interface eth1 The name of the bridged NIC in the node. net1.provider-network.ovn.kubernetes.io/mtu 1500 MTU of bridged NIC in node <p>If an IP has been configured on the node NIC, the IP address and the route on the NIC are transferred to the corresponding OVS bridge.</p>"},{"location":"en/start/underlay/#create-vlan","title":"Create VLAN","text":"<p>Vlan provides an abstraction to bind Vlan Tag and ProviderNetwork.</p> <p>Create a VLAN as below:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan1\nspec:\n  id: 0\n  provider: net1\n</code></pre> <ul> <li><code>id</code>: VLAN ID/Tag\uff0cKube-OVN will add this Vlan tag to traffic, if set 0, no tag is added. the vlan tag applies to a localnet port.</li> <li><code>provider</code>: The name of ProviderNetwork. Multiple VLAN can use a same ProviderNetwork.</li> </ul>"},{"location":"en/start/underlay/#create-subnet","title":"Create Subnet","text":"<p>Bind Vlan to a Subnet as below\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n   name: subnet1\nspec:\n   protocol: IPv4\n   cidrBlock: 172.17.0.0/16\n   gateway: 172.17.0.1\n   vlan: vlan1\n</code></pre> <p>Simply specify the value of <code>vlan</code> as the name of the VLAN to be used. Multiple subnets can refer to the same VLAN.</p>"},{"location":"en/start/underlay/#create-pod","title":"Create Pod","text":"<p>You can create containers in the normal way, check whether the container IP is in the specified range and whether the container can interoperate with the physical network.</p> <p>For fixed IP requirements, please refer to Fixed Addresses</p>"},{"location":"en/start/underlay/#logical-gateway","title":"Logical Gateway","text":"<p>For cases where no gateway exists in the physical network, Kube-OVN supports the use of logical gateways configured in the subnet in Underlay mode. To use this feature, set <code>spec.logicalGateway</code> to <code>true</code> for the subnet:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n   name: subnet1\nspec:\n   protocol: IPv4\n   cidrBlock: 172.17.0.0/16\n   gateway: 172.17.0.1\n   vlan: vlan1\n   logicalGateway: true\n</code></pre> <p>When this feature is turned on, the Pod does not use an external gateway, but a Logical Router created by Kube-OVN to forward cross-subnet communication.</p>"},{"location":"en/start/underlay/#interconnection-of-underlay-and-overlay-networks","title":"Interconnection of Underlay and Overlay Networks","text":"<p>If a cluster has both Underlay and Overlay subnets, by default, Pods in the Overlay subnet can access the Pod IPs in the Underlay subnet via a gateway using NAT. From the perspective of Pods in the Underlay subnet, the addresses in the Overlay subnet are external, and require the underlying physical device to forward, but the underlying physical device does not know the addresses in the Overlay subnet and cannot forward. Therefore, Pods in the Underlay subnet cannot access Pods in the Overlay subnet directly via Pod IPs.</p> <p>If you need to enable communication between Underlay and Overlay networks, you need to set the <code>u2oInterconnection</code> of the subnet to <code>true</code>. In this case, Kube-OVN will use an additional Underlay IP to connect the Underlay subnet and the <code>ovn-cluster</code> logical router, and set the corresponding routing rules to enable communication. Unlike the logical gateway, this solution only connects the Underlay and Overlay subnets within Kube-OVN, and other traffic accessing the Internet will still be forwarded through the physical gateway.</p>"},{"location":"en/start/underlay/#specify-logical-gateway-ip","title":"Specify logical gateway IP","text":"<p>After the interworking function is enabled, an IP from the subnet will be randomly selected as the logical gateway. If you need to specify the logical gateway of the Underlay Subnet, you can specify the field <code>u2oInterconnectionIP</code>.</p>"},{"location":"en/start/underlay/#specify-custom-vpc-for-underlay-subnet-connection","title":"Specify custom VPC for Underlay Subnet connection","text":"<p>By default, the Underlay Subnet will communicate with the Overlay Subnet on the default VPC. If you want to specify to communicate with a certain VPC, after setting <code>u2oInterconnection</code> to <code>true</code>, specify the <code>subnet.spec.vpc</code> field as the name of the VPC.</p>"},{"location":"en/start/underlay/#notice","title":"Notice","text":"<p>If you have an IP address configured on the network card of the node you are using, and the operating system configures the network using Netplan (such as Ubuntu), it is recommended that you set the renderer of Netplan to NetworkManager and configure a static IP address for the node's network card (disable DHCP).</p> <pre><code>network:\n  renderer: NetworkManager\n  ethernets:\n    eth0:\n      dhcp4: no\n      addresses:\n        - 172.16.143.129/24\n  version: 2\n</code></pre> <p>If you want to modify the IP or routing configuration of the network card, you need to execute the following commands after modifying the Netplan configuration:</p> <pre><code>netplan generate\n\nnmcli connection reload netplan-eth0\nnmcli device set eth0 managed yes\n</code></pre> <p>After executing the above commands, Kube-OVN will transfer the IP and routing from the network card to the OVS bridge.</p> <p>If your operating system manages the network using NetworkManager (such as CentOS), you need to execute the following command after modifying the network card configuration:</p> <pre><code>nmcli connection reload eth0\nnmcli device set eth0 managed yes\nnmcli -t -f GENERAL.STATE device show eth0 | grep -qw unmanaged || nmcli device reapply eth0\n</code></pre> <p>Notice\uff1aIf the host nic's MAC is changed, Kube-OVN will not change the OVS bridge's MAC unless kube-ovn-cni is restarted.</p>"},{"location":"en/start/underlay/#known-issues","title":"Known Issues","text":""},{"location":"en/start/underlay/#when-the-physical-network-is-enabled-with-hairpin-pod-network-is-abnormal","title":"When the physical network is enabled with hairpin, Pod network is abnormal","text":"<p>When physical networks enable hairpin or similar behaviors, problems such as gateway check failure when creating Pods and abnormal network communication of Pods may occur. This is because the default MAC learning function of OVS bridge does not support this kind of network environment.</p> <p>To solve this problem, it is necessary to turn off hairpin (or modify the relevant configuration of physical network), or update the Kube-OVN version.</p>"},{"location":"en/start/underlay/#when-there-are-a-large-number-of-pods-gateway-check-for-new-pods-fails","title":"When there are a large number of Pods, gateway check for new Pods fails","text":"<p>If there are a large number of Pods running on the same node (more than 300), it may cause packet loss due to the OVS flow table resubmit times exceeding the upper limit of ARP broadcast packets.</p> <pre><code>2022-11-13T08:43:46.782Z|00222|ofproto_dpif_upcall(handler5)|WARN|Flow: arp,in_port=331,vlan_tci=0x0000,dl_src=00:00:00:25:eb:39,dl_dst=ff:ff:ff:ff:ff:ff,arp_spa=10.213.131.240,arp_tpa=10.213.159.254,arp_op=1,arp_sha=00:00:00:25:eb:39,arp_tha=ff:ff:ff:ff:ff:ff\n\nbridge(\"br-int\")\n----------------\n 0. No match.\n     &gt;&gt;&gt;&gt; received packet on unknown port 331 &lt;&lt;&lt;&lt;\n    drop\n\nFinal flow: unchanged\nMegaflow: recirc_id=0,eth,arp,in_port=331,dl_src=00:00:00:25:eb:39\nDatapath actions: drop\n2022-11-13T08:44:34.077Z|00224|ofproto_dpif_xlate(handler5)|WARN|over 4096 resubmit actions on bridge br-int while processing arp,in_port=13483,vlan_tci=0x0000,dl_src=00:00:00:59:ef:13,dl_dst=ff:ff:ff:ff:ff:ff,arp_spa=10.213.152.3,arp_tpa=10.213.159.254,arp_op=1,arp_sha=00:00:00:59:ef:13,arp_tha=ff:ff:ff:ff:ff:ff\n</code></pre> <p>To solve this issue, modify the OVN NB option <code>bcast_arp_req_flood</code> to <code>false</code>:</p> <pre><code>kubectl ko nbctl set NB_Global . options:bcast_arp_req_flood=false\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/start/uninstall/","title":"Uninstall","text":"<p>If you need to remove the Kube-OVN and replace it with another network plugin, please follow the steps below to remove all the corresponding Kube-OVN component and OVS configuration to avoid interference with other network plugins.</p> <p>Feel free to contact us with an Issue to give us feedback on why you don't use Kube-OVN to help us improve it.</p>"},{"location":"en/start/uninstall/#delete-resource-in-kubernetes","title":"Delete Resource in Kubernetes","text":"<p>Download and run the script below to delete resource created in Kubernetes:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/cleanup.sh\nbash cleanup.sh\n</code></pre>"},{"location":"en/start/uninstall/#cleanup-config-and-logs-on-every-node","title":"Cleanup Config and Logs on Every Node","text":"<p>Run the following commands on each node to clean up the configuration retained by ovsdb and openvswitch:</p> <pre><code>rm -rf /var/run/openvswitch\nrm -rf /var/run/ovn\nrm -rf /etc/origin/openvswitch/\nrm -rf /etc/origin/ovn/\nrm -rf /etc/cni/net.d/00-kube-ovn.conflist\nrm -rf /etc/cni/net.d/01-kube-ovn.conflist\nrm -rf /var/log/openvswitch\nrm -rf /var/log/ovn\nrm -fr /var/log/kube-ovn\n</code></pre>"},{"location":"en/start/uninstall/#reboot-node","title":"Reboot Node","text":"<p>Reboot the machine to ensure that the corresponding NIC information and iptable/ipset rules are cleared to avoid the interference with other network plugins:</p> <pre><code>reboot\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"","title":"Kube-OVN","text":"<p>Kube-OVN \u200b\u662f\u200b\u4e00\u6b3e\u200b CNCF \u200b\u65d7\u4e0b\u200b\u7684\u200b\u4f01\u4e1a\u7ea7\u200b\u4e91\u200b\u539f\u751f\u200b\u7f51\u7edc\u200b\u7f16\u6392\u200b\u7cfb\u7edf\u200b\uff0c\u200b\u5c06\u200b SDN \u200b\u7684\u200b\u80fd\u529b\u200b\u548c\u200b\u4e91\u200b\u539f\u751f\u200b\u7ed3\u5408\u200b\uff0c \u200b\u63d0\u4f9b\u200b\u4e30\u5bcc\u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u6781\u81f4\u200b\u7684\u200b\u6027\u80fd\u200b\u4ee5\u53ca\u200b\u826f\u597d\u200b\u7684\u200b\u53ef\u200b\u8fd0\u7ef4\u6027\u200b\u3002</p> <p>\u200b\u4e30\u5bcc\u200b\u7684\u200b\u529f\u80fd\u200b\uff1a</p> <p>\u200b\u5982\u679c\u200b\u4f60\u200b\u6000\u5ff5\u200b SDN \u200b\u9886\u57df\u200b\u4e30\u5bcc\u200b\u7684\u200b\u7f51\u7edc\u200b\u80fd\u529b\u200b\u5374\u200b\u5728\u200b\u4e91\u200b\u539f\u751f\u200b\u9886\u57df\u200b\u82e6\u82e6\u200b\u8ffd\u5bfb\u200b\u800c\u200b\u4e0d\u5f97\u200b\uff0c\u200b\u90a3\u4e48\u200b Kube-OVN \u200b\u5c06\u200b\u662f\u200b\u4f60\u200b\u7684\u200b\u6700\u4f73\u200b\u9009\u62e9\u200b\u3002</p> <p>\u200b\u501f\u52a9\u200b OVS/OVN \u200b\u5728\u200b SDN \u200b\u9886\u57df\u200b\u6210\u719f\u200b\u7684\u200b\u80fd\u529b\u200b\uff0cKube-OVN \u200b\u5c06\u200b\u7f51\u7edc\u200b\u865a\u62df\u5316\u200b\u7684\u200b\u4e30\u5bcc\u200b\u529f\u80fd\u200b\u5e26\u5165\u200b\u4e91\u200b\u539f\u751f\u200b\u9886\u57df\u200b\u3002\u200b\u76ee\u524d\u200b\u5df2\u200b\u652f\u6301\u200b\u5b50\u7f51\u200b\u7ba1\u7406\u200b\uff0c \u200b\u9759\u6001\u200b IP \u200b\u5206\u914d\u200b\uff0c\u200b\u5206\u5e03\u5f0f\u200b/\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0cUnderlay/Overlay \u200b\u6df7\u5408\u200b\u7f51\u7edc\u200b\uff0c VPC \u200b\u591a\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\uff0c\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u7f51\u7edc\u200b\uff0cQoS \u200b\u7ba1\u7406\u200b\uff0c \u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b\uff0cACL \u200b\u7f51\u7edc\u200b\u63a7\u5236\u200b\uff0c\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\uff0cARM \u200b\u652f\u6301\u200b\uff0c Windows \u200b\u652f\u6301\u200b\u7b49\u200b\u8bf8\u591a\u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u6781\u81f4\u200b\u7684\u200b\u6027\u80fd\u200b\uff1a</p> <p>\u200b\u5982\u679c\u200b\u4f60\u200b\u62c5\u5fc3\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u4f1a\u200b\u5e26\u6765\u200b\u989d\u5916\u200b\u7684\u200b\u6027\u80fd\u200b\u635f\u8017\u200b\uff0c\u200b\u90a3\u4e48\u200b\u6765\u770b\u200b\u4e00\u4e0b\u200b Kube-OVN \u200b\u662f\u200b\u5982\u4f55\u200b\u6781\u81f4\u200b\u7684\u200b\u4f18\u5316\u200b\u6027\u80fd\u200b\u3002</p> <p>\u200b\u5728\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\uff0c\u200b\u901a\u8fc7\u200b\u4e00\u7cfb\u5217\u200b\u5bf9\u6d41\u200b\u8868\u200b\u548c\u200b\u5185\u6838\u200b\u7684\u200b\u7cbe\u5fc3\u200b\u4f18\u5316\u200b\uff0c\u200b\u5e76\u200b\u501f\u52a9\u200b eBPF\u3001DPDK\u3001\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b\u5378\u8f7d\u200b\u7b49\u200b\u65b0\u5174\u200b\u6280\u672f\u200b\uff0c Kube-OVN \u200b\u53ef\u4ee5\u200b\u5728\u200b\u5ef6\u8fdf\u200b\u548c\u200b\u541e\u5410\u91cf\u200b\u7b49\u200b\u65b9\u9762\u200b\u7684\u200b\u6307\u6807\u200b\u8fbe\u5230\u200b\u8fd1\u4f3c\u200b\u6216\u200b\u8d85\u51fa\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u6027\u80fd\u200b\u7684\u200b\u6c34\u5e73\u200b\u3002\u200b\u5728\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\uff0c\u200b\u901a\u8fc7\u200b\u5bf9\u200b OVN \u200b\u4e0a\u6e38\u200b\u6d41\u8868\u200b\u7684\u200b\u88c1\u526a\u200b\uff0c \u200b\u5404\u79cd\u200b\u7f13\u5b58\u200b\u6280\u672f\u200b\u7684\u200b\u4f7f\u7528\u200b\u548c\u200b\u8c03\u4f18\u200b\uff0cKube-OVN \u200b\u53ef\u4ee5\u200b\u652f\u6301\u200b\u5927\u89c4\u6a21\u200b\u4e0a\u5343\u200b\u8282\u70b9\u200b\u548c\u200b\u4e0a\u4e07\u200b Pod \u200b\u7684\u200b\u96c6\u7fa4\u200b\u3002</p> <p>\u200b\u6b64\u5916\u200b Kube-OVN \u200b\u8fd8\u200b\u5728\u200b\u4e0d\u65ad\u200b\u4f18\u5316\u200b CPU \u200b\u548c\u200b\u5185\u5b58\u200b\u7b49\u200b\u8d44\u6e90\u200b\u7684\u200b\u4f7f\u7528\u91cf\u200b\uff0c\u200b\u4ee5\u200b\u9002\u5e94\u200b\u8fb9\u7f18\u200b\u7b49\u200b\u8d44\u6e90\u200b\u6709\u9650\u200b\u573a\u666f\u200b\u3002</p> <p>\u200b\u826f\u597d\u200b\u7684\u200b\u53ef\u200b\u8fd0\u7ef4\u6027\u200b\uff1a</p> <p>\u200b\u5982\u679c\u200b\u4f60\u200b\u5bf9\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u8fd0\u7ef4\u200b\u5fc3\u5b58\u200b\u5fe7\u8651\u200b\uff0cKube-OVN \u200b\u5185\u7f6e\u200b\u4e86\u200b\u5927\u91cf\u200b\u7684\u200b\u5de5\u5177\u200b\u6765\u200b\u5e2e\u52a9\u200b\u4f60\u200b\u7b80\u5316\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\u3002</p> <p>Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\uff0c\u200b\u5e2e\u52a9\u200b\u7528\u6237\u200b\u8fc5\u901f\u200b\u642d\u5efa\u200b\u751f\u4ea7\u200b\u5c31\u7eea\u200b\u7684\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u3002\u200b\u540c\u65f6\u200b\u5185\u7f6e\u200b\u7684\u200b\u4e30\u5bcc\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u548c\u200b Grafana \u200b\u9762\u677f\u200b\uff0c \u200b\u53ef\u200b\u5e2e\u52a9\u200b\u7528\u6237\u200b\u5efa\u7acb\u200b\u5b8c\u5584\u200b\u7684\u200b\u76d1\u63a7\u200b\u4f53\u7cfb\u200b\u3002\u200b\u5f3a\u5927\u200b\u7684\u200b\u547d\u4ee4\u884c\u200b\u5de5\u5177\u200b\u53ef\u4ee5\u200b\u7b80\u5316\u200b\u7528\u6237\u200b\u7684\u200b\u65e5\u5e38\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\u3002\u200b\u901a\u8fc7\u200b\u548c\u200b Cilium \u200b\u7ed3\u5408\u200b\uff0c\u200b\u5229\u7528\u200b eBPF \u200b\u80fd\u529b\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b \u200b\u589e\u5f3a\u200b\u5bf9\u200b\u7f51\u7edc\u200b\u7684\u200b\u53ef\u200b\u89c2\u6d4b\u200b\u6027\u200b\u3002 \u200b\u6b64\u5916\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u7684\u200b\u80fd\u529b\u200b\u53ef\u4ee5\u200b\u65b9\u4fbf\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b\u6d41\u91cf\u200b\u76d1\u63a7\u200b\uff0c\u200b\u5e76\u200b\u548c\u200b\u4f20\u7edf\u200b\u7684\u200b NPM \u200b\u7cfb\u7edf\u200b\u5bf9\u63a5\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"contact/","title":"\u8054\u7cfb\u65b9\u5f0f","text":"<p>\u200b\u5173\u6ce8\u200b\u516c\u4f17\u200b\u53f7\u200b\u83b7\u5f97\u200b\u66f4\u200b\u591a\u200b\u6700\u65b0\u200b\u4fe1\u606f\u200b\uff0c\u200b\u8bf7\u200b\u626b\u63cf\u200b\u4e0b\u65b9\u200b\u4e8c\u7ef4\u7801\u200b:</p> <p></p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/","title":"\u4f7f\u7528\u200b eBPF \u200b\u52a0\u901f\u200b\u8282\u70b9\u200b\u5185\u200b TCP \u200b\u901a\u4fe1","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u8fb9\u7f18\u200b\u548c\u200b 5G \u200b\u7684\u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u540c\u200b\u8282\u70b9\u200b\u5185\u200b\u7684\u200b Pod \u200b\u4e4b\u95f4\u200b\u4f1a\u200b\u8fdb\u884c\u200b\u5927\u91cf\u200b\u7684\u200b TCP \u200b\u901a\u4fe1\u200b\uff0c\u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b Intel \u200b\u5f00\u6e90\u200b\u7684\u200b istio-tcpip-bypass \u200b\u9879\u76ee\u200b\uff0cPod \u200b\u53ef\u4ee5\u200b\u501f\u52a9\u200b eBPF \u200b\u7684\u200b\u80fd\u529b\u200b\u7ed5\u8fc7\u200b\u4e3b\u673a\u200b\u7684\u200b TCP/IP \u200b\u534f\u8bae\u200b\u6808\u200b\uff0c\u200b\u76f4\u63a5\u200b\u8fdb\u884c\u200b socket \u200b\u901a\u4fe1\u200b\uff0c\u200b\u4ece\u800c\u200b\u5927\u5e45\u200b\u964d\u4f4e\u200b\u5ef6\u8fdf\u200b\u5e76\u200b\u63d0\u5347\u200b\u541e\u5410\u91cf\u200b\u3002</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_1","title":"\u57fa\u672c\u539f\u7406","text":"<p>\u200b\u5728\u200b\u5f53\u524d\u200b\u7684\u200b\u5b9e\u73b0\u200b\u4e0b\u200b\uff0c\u200b\u540c\u200b\u4e3b\u673a\u200b\u7684\u200b\u4e24\u4e2a\u200b Pod \u200b\u8fdb\u884c\u200b TCP \u200b\u8fdb\u884c\u200b\u901a\u4fe1\u200b\u9700\u8981\u200b\u7ecf\u8fc7\u200b\u5927\u91cf\u200b\u7684\u200b\u7f51\u7edc\u200b\u6808\u200b\uff0c\u200b\u5305\u62ec\u200b TCP/IP, netfilter\uff0cOVS \u200b\u7b49\u200b\u5982\u4e0b\u200b\u56fe\u200b\u6240\u793a\u200b\uff1a</p> <p></p> <p>istio-tcpip-bypass \u200b\u63d2\u4ef6\u200b\u53ef\u4ee5\u200b\u81ea\u52a8\u200b\u5206\u6790\u200b\u5e76\u200b\u8bc6\u522b\u200b\u51fa\u540c\u200b\u4e3b\u673a\u200b\u5185\u200b\u7684\u200b TCP \u200b\u901a\u4fe1\u200b\uff0c\u200b\u5e76\u200b\u7ed5\u8fc7\u200b\u590d\u6742\u200b\u7684\u200b\u5185\u6838\u200b\u6808\u200b\u4ece\u800c\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u8fdb\u884c\u200b socket \u200b\u95f4\u200b\u7684\u200b\u6570\u636e\u4f20\u8f93\u200b\uff0c \u200b\u6765\u200b\u964d\u4f4e\u200b\u7f51\u7edc\u200b\u6808\u200b\u5904\u7406\u200b\u5f00\u9500\u200b\uff0c\u200b\u5982\u4e0b\u200b\u56fe\u200b\u6240\u793a\u200b\uff1a</p> <p></p> <p>\u200b\u7531\u4e8e\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u53ef\u4ee5\u200b\u81ea\u52a8\u8bc6\u522b\u200b\u540c\u200b\u4e3b\u673a\u200b\u5185\u200b\u7684\u200b TCP \u200b\u901a\u4fe1\u200b\uff0c\u200b\u5e76\u200b\u8fdb\u884c\u200b\u4f18\u5316\u200b\u3002\u200b\u5728\u200b\u57fa\u4e8e\u200b\u4ee3\u7406\u200b\u6a21\u5f0f\u200b\u7684\u200b Service Mesh \u200b\u73af\u5883\u200b\u4e0b\u200b\uff0c\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u589e\u5f3a\u200b Service Mesh \u200b\u7684\u200b\u6027\u80fd\u200b\u8868\u73b0\u200b\u3002</p> <p>\u200b\u66f4\u200b\u591a\u200b\u6280\u672f\u200b\u5b9e\u73b0\u200b\u7ec6\u8282\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Tanzu Service Mesh Acceleration using eBPF\u3002</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_2","title":"\u73af\u5883\u200b\u51c6\u5907","text":"<p>eBPF \u200b\u5bf9\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u6709\u200b\u4e00\u5b9a\u200b\u8981\u6c42\u200b\uff0c\u200b\u63a8\u8350\u200b\u4f7f\u7528\u200b Ubuntu 20.04 \u200b\u548c\u200b Linux 5.4.0-74-generic \u200b\u7248\u672c\u200b\u5185\u6838\u200b\u8fdb\u884c\u200b\u5b9e\u9a8c\u200b\u3002</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_3","title":"\u5b9e\u9a8c\u200b\u6b65\u9aa4","text":"<p>\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u90e8\u7f72\u200b\u4e24\u4e2a\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b Pod\uff0c\u200b\u82e5\u200b\u96c6\u7fa4\u200b\u5185\u200b\u5b58\u5728\u200b\u591a\u53f0\u200b\u673a\u5668\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b <code>nodeSelector</code>\uff1a</p> <pre><code># kubectl create deployment perf --image=kubeovn/perf:dev --replicas=2\ndeployment.apps/perf created\n# kubectl get pod -o wide\nNAME                    READY   STATUS    RESTARTS   AGE   IP           NODE     NOMINATED NODE   READINESS GATES\nperf-7697bc6ddf-b2cpv   1/1     Running   0          28s   100.64.0.3   sealos   &lt;none&gt;           &lt;none&gt;\nperf-7697bc6ddf-p2xpt   1/1     Running   0          28s   100.64.0.2   sealos   &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>\u200b\u8fdb\u5165\u200b\u5176\u4e2d\u200b\u4e00\u4e2a\u200b Pod \u200b\u5f00\u542f\u200b qperf server\uff0c\u200b\u5728\u200b\u53e6\u200b\u4e00\u4e2a\u200b Pod \u200b\u4e2d\u200b\u542f\u52a8\u200b qperf client \u200b\u8fdb\u884c\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b\uff1a</p> <pre><code># kubectl exec -it perf-7697bc6ddf-b2cpv sh\n/ # qperf\n\n# kubectl exec -it perf-7697bc6ddf-p2xpt sh\n/ # qperf -t 60 100.64.0.3 -ub -oo msg_size:1:16K:*4 -vu tcp_lat tcp_bw\n</code></pre> <p>\u200b\u90e8\u7f72\u200b istio-tcpip-bypass \u200b\u63d2\u4ef6\u200b\uff1a</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/intel/istio-tcpip-bypass/main/bypass-tcpip-daemonset.yaml\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u8fdb\u5165\u200b perf client \u200b\u5bb9\u5668\u200b\u8fdb\u884c\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b\uff1a</p> <pre><code># kubectl exec -it perf-7697bc6ddf-p2xpt sh\n/ # qperf -t 60 100.64.0.3 -ub -oo msg_size:1:16K:*4 -vu tcp_lat tcp_bw\n</code></pre>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_4","title":"\u6d4b\u8bd5\u200b\u7ed3\u679c","text":"<p>\u200b\u6839\u636e\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b TCP \u200b\u5ef6\u8fdf\u200b\u5728\u200b\u4e0d\u540c\u200b\u6570\u636e\u5305\u200b\u5927\u5c0f\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u4f1a\u200b\u6709\u200b 40% ~ 60% \u200b\u7684\u200b\u5ef6\u8fdf\u200b\u4e0b\u964d\u200b\uff0c\u200b\u5728\u200b\u6570\u636e\u5305\u200b\u5927\u4e8e\u200b 1024 \u200b\u5b57\u8282\u200b\u65f6\u200b\u541e\u5410\u91cf\u200b\u4f1a\u200b\u6709\u200b 40% ~ 80% \u200b\u63d0\u5347\u200b\u3002</p> Packet Size (byte) eBPF tcp_lat (us) Default tcp_lat (us) eBPF tcp_bw (Mb/s) Default tcp_bw(Mb/s) 1 20.2 44.5 1.36 4.27 4 20.2 48.7 5.48 16.7 16 19.6 41.6 21.7 63.5 64 18.8 41.3 96.8 201 256 19.2 36 395 539 1024 18.3 42.4 1360 846 4096 16.5 62.6 4460 2430 16384 20.2 58.8 9600 6900 <p>\u200b\u5728\u200b\u6d4b\u8bd5\u200b\u7684\u200b\u786c\u4ef6\u200b\u73af\u5883\u200b\u4e0b\u200b\uff0c\u200b\u6570\u636e\u5305\u200b\u5c0f\u4e8e\u200b 512 \u200b\u5b57\u8282\u200b\u65f6\u200b\uff0c\u200b\u4f7f\u7528\u200b eBPF \u200b\u4f18\u5316\u200b\u541e\u5410\u91cf\u200b\u6307\u6807\u200b\u4f1a\u200b\u4f4e\u4e8e\u200b\u9ed8\u8ba4\u200b\u914d\u7f6e\u200b\u4e0b\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u3002 \u200b\u8be5\u200b\u60c5\u51b5\u200b\u53ef\u80fd\u200b\u548c\u200b\u9ed8\u8ba4\u200b\u914d\u7f6e\u200b\u4e0b\u200b\u7f51\u5361\u200b\u5f00\u542f\u200b TCP \u200b\u805a\u5408\u200b\u4f18\u5316\u200b\u76f8\u5173\u200b\u3002\u200b\u5982\u679c\u200b\u5e94\u7528\u200b\u573a\u666f\u200b\u5bf9\u200b\u5c0f\u5305\u200b\u541e\u5410\u91cf\u200b\u654f\u611f\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u76f8\u5e94\u200b\u73af\u5883\u200b\u4e0b\u200b \u200b\u8fdb\u884c\u200b\u6d4b\u8bd5\u200b\u5224\u65ad\u200b\u662f\u5426\u200b\u5f00\u542f\u200b eBPF \u200b\u4f18\u5316\u200b\u3002\u200b\u6211\u4eec\u200b\u4e5f\u200b\u4f1a\u200b\u540e\u7eed\u200b\u5bf9\u200b eBPF TCP \u200b\u5c0f\u5305\u200b\u573a\u666f\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u8fdb\u884c\u200b\u4f18\u5316\u200b\u3002</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_5","title":"\u53c2\u8003\u8d44\u6599","text":"<ol> <li>istio-tcpip-bypass</li> <li>Deep Dive TCP/IP Bypass with eBPF in Service Mesh</li> <li>Tanzu Service Mesh Acceleration using eBPF</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/cilium-hubble-observe/","title":"Cilium \u200b\u7f51\u7edc\u6d41\u91cf\u200b\u89c2\u6d4b","text":"<p>Kube-OVN \u200b\u5f53\u524d\u200b\u5df2\u7ecf\u200b\u652f\u6301\u200b\u4e0e\u200b Cilium \u200b\u96c6\u6210\u200b\uff0c\u200b\u5177\u4f53\u64cd\u4f5c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Cilium \u200b\u96c6\u6210\u200b\u3002</p> <p>Cilium \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e30\u5bcc\u200b\u7684\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\u80fd\u529b\u200b\uff0c\u200b\u6d41\u91cf\u200b\u53ef\u200b\u89c2\u6d4b\u200b\u6027\u662f\u200b\u7531\u200b Hubble \u200b\u63d0\u4f9b\u200b\u7684\u200b\u3002Hubble \u200b\u53ef\u4ee5\u200b\u89c2\u5bdf\u200b\u8282\u70b9\u200b\u3001\u200b\u96c6\u7fa4\u200b\u751a\u81f3\u200b\u591a\u200b\u96c6\u7fa4\u200b\u573a\u666f\u200b\u4e0b\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u7684\u200b\u6d41\u91cf\u200b\u3002</p>"},{"location":"advance/cilium-hubble-observe/#hubble","title":"\u5b89\u88c5\u200b Hubble","text":"<p>\u200b\u9ed8\u8ba4\u200b\u7684\u200b Cilium \u200b\u96c6\u6210\u200b\u5b89\u88c5\u200b\u4e2d\u200b\uff0c\u200b\u5e76\u200b\u6ca1\u6709\u200b\u5b89\u88c5\u200b Hubble \u200b\u76f8\u5173\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u56e0\u6b64\u200b\u8981\u200b\u652f\u6301\u200b\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\uff0c\u200b\u9700\u8981\u200b\u5148\u200b\u5728\u200b\u73af\u5883\u200b\u4e0a\u200b\u8865\u5145\u200b\u5b89\u88c5\u200b Hubble\u3002</p> <p>\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff0c\u200b\u4f7f\u7528\u200b helm \u200b\u5b89\u88c5\u200b Hubble\uff1a</p> <pre><code>helm upgrade cilium cilium/cilium --version 1.11.6 \\\n   --namespace kube-system \\\n   --reuse-values \\\n   --set hubble.relay.enabled=true \\\n   --set hubble.ui.enabled=true\n</code></pre> <p>\u200b\u8865\u5145\u200b\u5b89\u88c5\u200b Hubble \u200b\u4e4b\u540e\u200b\uff0c\u200b\u6267\u884c\u200b <code>cilium status</code> \u200b\u67e5\u770b\u200b\u7ec4\u4ef6\u200b\u72b6\u6001\u200b\uff0c\u200b\u786e\u8ba4\u200b Hubble \u200b\u5b89\u88c5\u200b\u6210\u529f\u200b\u3002</p> <pre><code># cilium status\n    /\u00af\u00af\\\n /\u00af\u00af\\__/\u00af\u00af\\    Cilium:         OK\n \\__/\u00af\u00af\\__/    Operator:       OK\n /\u00af\u00af\\__/\u00af\u00af\\    Hubble:         OK\n \\__/\u00af\u00af\\__/    ClusterMesh:    disabled\n    \\__/\n\nDeployment        hubble-relay       Desired: 1, Ready: 1/1, Available: 1/1\nDeployment        cilium-operator    Desired: 2, Ready: 2/2, Available: 2/2\nDaemonSet         cilium             Desired: 2, Ready: 2/2, Available: 2/2\nDeployment        hubble-ui          Desired: 1, Ready: 1/1, Available: 1/1\nContainers:       cilium             Running: 2\n                  hubble-ui          Running: 1\n                  hubble-relay       Running: 1\n                  cilium-operator    Running: 2\nCluster Pods:     16/17 managed by Cilium\nImage versions    hubble-relay       quay.io/cilium/hubble-relay:v1.11.6@sha256:fd9034a2d04d5b973f1e8ed44f230ea195b89c37955ff32e34e5aa68f3ed675a: 1\n                  cilium-operator    quay.io/cilium/operator-generic:v1.11.6@sha256:9f6063c7bcaede801a39315ec7c166309f6a6783e98665f6693939cf1701bc17: 2\n                  cilium             quay.io/cilium/cilium:v1.11.6@sha256:f7f93c26739b6641a3fa3d76b1e1605b15989f25d06625260099e01c8243f54c: 2\n                  hubble-ui          quay.io/cilium/hubble-ui:v0.9.0@sha256:0ef04e9a29212925da6bdfd0ba5b581765e41a01f1cc30563cef9b30b457fea0: 1\n                  hubble-ui          quay.io/cilium/hubble-ui-backend:v0.9.0@sha256:000df6b76719f607a9edefb9af94dfd1811a6f1b6a8a9c537cba90bf12df474b: 1\napple@bogon cilium %\n</code></pre> <p>\u200b\u5b89\u88c5\u200b Hubble \u200b\u7ec4\u4ef6\u200b\u4e4b\u540e\u200b\uff0c\u200b\u9700\u8981\u200b\u5b89\u88c5\u200b\u547d\u4ee4\u884c\u200b\uff0c\u200b\u7528\u4e8e\u200b\u5728\u200b\u73af\u5883\u200b\u4e0a\u200b\u67e5\u770b\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002 \u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff0c\u200b\u5b89\u88c5\u200b Hubble CLI :</p> <pre><code>curl -L --fail --remote-name-all https://github.com/cilium/hubble/releases/download/v0.10.0/hubble-linux-amd64.tar.gz\nsudo tar xzvfC hubble-linux-amd64.tar.gz /usr/local/bin\n</code></pre>"},{"location":"advance/cilium-hubble-observe/#_1","title":"\u90e8\u7f72\u200b\u6d4b\u8bd5\u200b\u4e1a\u52a1","text":"<p>Cilium \u200b\u5b98\u65b9\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u4e2a\u200b\u6d41\u91cf\u200b\u6d4b\u8bd5\u200b\u7684\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\u5b98\u65b9\u200b\u90e8\u7f72\u200b\u7684\u200b\u4e1a\u52a1\u200b\u8fdb\u884c\u200b\u6d4b\u8bd5\u200b\u3002</p> <p>\u200b\u6267\u884c\u547d\u4ee4\u200b <code>cilium connectivity test</code>\uff0cCilium \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u521b\u5efa\u200b <code>cilium-test</code> \u200b\u7684\u200b Namespace\uff0c\u200b\u540c\u65f6\u200b\u5728\u200b cilium-test \u200b\u4e0b\u200b\u90e8\u7f72\u200b\u6d4b\u8bd5\u200b\u4e1a\u52a1\u200b\u3002</p> <p>\u200b\u6b63\u5e38\u200b\u90e8\u7f72\u200b\u5b8c\u540e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b cilium-test namespace \u200b\u4e0b\u200b\u7684\u200b\u8d44\u6e90\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53c2\u8003\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># kubectl get all -n cilium-test\nNAME                                  READY   STATUS    RESTARTS   AGE\npod/client-7df6cfbf7b-z5t2j           1/1     Running   0          21s\npod/client2-547996d7d8-nvgxg          1/1     Running   0          21s\npod/echo-other-node-d79544ccf-hl4gg   2/2     Running   0          21s\npod/echo-same-node-5d466d5444-ml7tc   2/2     Running   0          21s\n\nNAME                      TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE\nservice/echo-other-node   NodePort   10.109.58.126   &lt;none&gt;        8080:32269/TCP   21s\nservice/echo-same-node    NodePort   10.108.70.32    &lt;none&gt;        8080:32490/TCP   21s\n\nNAME                              READY   UP-TO-DATE   AVAILABLE   AGE\ndeployment.apps/client            1/1     1            1           21s\ndeployment.apps/client2           1/1     1            1           21s\ndeployment.apps/echo-other-node   1/1     1            1           21s\ndeployment.apps/echo-same-node    1/1     1            1           21s\n\nNAME                                        DESIRED   CURRENT   READY   AGE\nreplicaset.apps/client-7df6cfbf7b           1         1         1       21s\nreplicaset.apps/client2-547996d7d8          1         1         1       21s\nreplicaset.apps/echo-other-node-d79544ccf   1         1         1       21s\nreplicaset.apps/echo-same-node-5d466d5444   1         1         1       21s\n</code></pre>"},{"location":"advance/cilium-hubble-observe/#_2","title":"\u4f7f\u7528\u200b\u547d\u4ee4\u884c\u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u89c2\u6d4b","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\u4ec5\u200b\u63d0\u4f9b\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b Cilium \u200b\u4ee3\u7406\u200b\u89c2\u5bdf\u200b\u5230\u200b\u7684\u200b\u6d41\u91cf\u200b\u3002 \u200b\u53ef\u4ee5\u200b\u5728\u200b <code>kube-system namespace</code> \u200b\u4e0b\u200b\u7684\u200b Cilium \u200b\u4ee3\u7406\u200b pod \u200b\u4e2d\u200b\u6267\u884c\u200b <code>hubble observe</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u770b\u200b\u8be5\u200b\u8282\u70b9\u200b\u4e0a\u200b\u7684\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002</p> <pre><code># kubectl get pod -n kube-system -o wide\nNAME                                             READY   STATUS    RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES\ncilium-d6h56                                     1/1     Running   0          2d20h   172.18.0.2   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\ncilium-operator-5887f78bbb-c7sb2                 1/1     Running   0          2d20h   172.18.0.2   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\ncilium-operator-5887f78bbb-wj8gt                 1/1     Running   0          2d20h   172.18.0.3   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\ncilium-tq5xb                                     1/1     Running   0          2d20h   172.18.0.3   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\nkube-ovn-pinger-7lgk8                            1/1     Running   0          21h     10.16.0.19   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\nkube-ovn-pinger-msvcn                            1/1     Running   0          21h     10.16.0.18   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\n\n# kubectl exec -it -n kube-system cilium-d6h56 -- bash\nroot@kube-ovn-worker:/home/cilium# hubble observe --from-namespace kube-system\nJul 29 03:24:25.551: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.561: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: RST)\nJul 29 03:24:25.561: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, RST)\nJul 29 03:24:25.572: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: SYN)\nJul 29 03:24:25.572: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.651: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.661: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: RST)\nJul 29 03:24:25.661: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, RST)\nJul 29 03:24:25.761: kube-system/kube-ovn-pinger-msvcn:52004 -&gt; 172.18.0.3:6443 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.779: kube-system/kube-ovn-pinger-msvcn -&gt; kube-system/kube-ovn-pinger-7lgk8 to-stack FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:25.779: kube-system/kube-ovn-pinger-msvcn &lt;- kube-system/kube-ovn-pinger-7lgk8 to-endpoint FORWARDED (ICMPv4 EchoReply)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 &lt;- kube-system/hubble-relay-959988db5-zc5vv:4245 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 &lt;- kube-system/hubble-relay-959988db5-zc5vv:80 to-endpoint FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 -&gt; kube-system/hubble-relay-959988db5-zc5vv:4245 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 -&gt; kube-system/hubble-relay-959988db5-zc5vv:4245 to-endpoint FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.975: kube-system/kube-ovn-pinger-7lgk8 -&gt; kube-system/kube-ovn-pinger-msvcn to-endpoint FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:25.975: kube-system/kube-ovn-pinger-7lgk8 &lt;- kube-system/kube-ovn-pinger-msvcn to-stack FORWARDED (ICMPv4 EchoReply)\nJul 29 03:24:25.979: kube-system/kube-ovn-pinger-msvcn -&gt; 172.18.0.3 to-stack FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:26.037: kube-system/coredns-6d4b75cb6d-lbgjg:36430 -&gt; 172.18.0.3:6443 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:26.282: kube-system/kube-ovn-pinger-msvcn -&gt; 172.18.0.2 to-stack FORWARDED (ICMPv4 EchoRequest)\n</code></pre> <p>\u200b\u90e8\u7f72\u200b Hubble Relay \u200b\u540e\u200b\uff0cHubble \u200b\u53ef\u4ee5\u200b\u63d0\u4f9b\u200b\u5b8c\u6574\u200b\u7684\u200b\u96c6\u7fa4\u200b\u8303\u56f4\u200b\u7684\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\u3002</p>"},{"location":"advance/cilium-hubble-observe/#_3","title":"\u914d\u7f6e\u200b\u7aef\u53e3\u200b\u8f6c\u53d1","text":"<p>\u200b\u4e3a\u4e86\u200b\u80fd\u200b\u6b63\u5e38\u200b\u8bbf\u95ee\u200b Hubble API\uff0c\u200b\u9700\u8981\u200b\u521b\u5efa\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u5c06\u200b\u672c\u5730\u200b\u8bf7\u6c42\u200b\u8f6c\u53d1\u200b\u5230\u200b Hubble Service\u3002\u200b\u53ef\u4ee5\u200b\u6267\u884c\u200b <code>kubectl port-forward deployment/hubble-relay -n kube-system 4245:4245</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u5728\u200b\u5f53\u524d\u200b\u7ec8\u7aef\u200b\u5f00\u542f\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u3002</p> <p>\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u914d\u7f6e\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b \u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u3002</p> <p><code>kubectl port-forward</code> \u200b\u547d\u4ee4\u200b\u4e0d\u4f1a\u200b\u8fd4\u56de\u200b\uff0c\u200b\u9700\u8981\u200b\u6253\u5f00\u200b\u53e6\u200b\u4e00\u4e2a\u200b\u7ec8\u7aef\u200b\u6765\u200b\u7ee7\u7eed\u200b\u6d4b\u8bd5\u200b\u3002</p> <p>\u200b\u914d\u7f6e\u200b\u5b8c\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u4e4b\u540e\u200b\uff0c\u200b\u5728\u200b\u7ec8\u7aef\u200b\u6267\u884c\u200b <code>hubble status</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u5982\u679c\u200b\u6709\u200b\u7c7b\u4f3c\u200b\u5982\u4e0b\u200b\u8f93\u51fa\u200b\uff0c\u200b\u5219\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u914d\u7f6e\u200b\u6b63\u786e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u547d\u4ee4\u884c\u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\u3002</p> <pre><code># hubble status\nHealthcheck (via localhost:4245): Ok\nCurrent/Max Flows: 8,190/8,190 (100.00%)\nFlows/s: 22.86\nConnected Nodes: 2/2\n</code></pre>"},{"location":"advance/cilium-hubble-observe/#_4","title":"\u547d\u4ee4\u884c\u200b\u89c2\u6d4b","text":"<p>\u200b\u5728\u200b\u7ec8\u7aef\u200b\u4e0a\u200b\u6267\u884c\u200b <code>hubble observe</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u770b\u200b\u96c6\u7fa4\u200b\u7684\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002 \u200b\u89c2\u6d4b\u200b\u5230\u200b\u7684\u200b cilium-test \u200b\u76f8\u5173\u200b\u7684\u200b\u6d4b\u8bd5\u200b\u6d41\u91cf\u200b\u53c2\u8003\u200b\u5982\u4e0b\u200b\uff1a </p> <p>\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u7684\u200b\u662f\u200b\uff0c <code>hubble observe</code> \u200b\u547d\u4ee4\u200b\u7684\u200b\u663e\u793a\u200b\u7ed3\u679c\u200b\uff0c\u200b\u662f\u200b\u5f53\u524d\u200b\u547d\u4ee4\u884c\u200b\u6267\u884c\u200b\u65f6\u200b\u67e5\u8be2\u200b\u5230\u200b\u7684\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002\u200b\u591a\u6b21\u200b\u6267\u884c\u547d\u4ee4\u200b\u884c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b\u5230\u200b\u4e0d\u540c\u200b\u7684\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002 \u200b\u66f4\u200b\u591a\u200b\u8be6\u7ec6\u200b\u7684\u200b\u89c2\u6d4b\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u6267\u884c\u200b <code>hubble help observe</code> \u200b\u547d\u4ee4\u200b\u67e5\u770b\u200b Hubble CLI \u200b\u7684\u200b\u8be6\u7ec6\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u3002</p>"},{"location":"advance/cilium-hubble-observe/#ui","title":"\u4f7f\u7528\u200b UI \u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u89c2\u6d4b","text":"<p>\u200b\u6267\u884c\u200b <code>cilium status</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u786e\u8ba4\u200b Hubble UI \u200b\u5df2\u7ecf\u200b\u5b89\u88c5\u200b\u6210\u529f\u200b\u3002\u200b\u5728\u200b\u7b2c\u4e8c\u6b65\u200b\u7684\u200b Hubble \u200b\u5b89\u88c5\u200b\u4e2d\u200b\uff0c\u200b\u5df2\u7ecf\u200b\u8865\u5145\u200b\u4e86\u200b UI \u200b\u7684\u200b\u5b89\u88c5\u200b\u3002</p> <p>\u200b\u6267\u884c\u547d\u4ee4\u200b <code>cilium hubble ui</code> \u200b\u53ef\u4ee5\u200b\u81ea\u52a8\u200b\u521b\u5efa\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u5c06\u200b <code>hubble-ui service</code> \u200b\u6620\u5c04\u200b\u5230\u200b\u672c\u5730\u200b\u7aef\u53e3\u200b\u3002 \u200b\u6b63\u5e38\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u6267\u884c\u200b\u5b8c\u200b\u547d\u4ee4\u200b\u540e\u200b\uff0c\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u6253\u5f00\u200b\u672c\u5730\u200b\u7684\u200b\u6d4f\u89c8\u5668\u200b\uff0c\u200b\u8df3\u8f6c\u200b\u5230\u200b Hubble UI \u200b\u754c\u9762\u200b\u3002\u200b\u5982\u679c\u200b\u6ca1\u6709\u200b\u81ea\u52a8\u200b\u8df3\u8f6c\u200b\uff0c\u200b\u5728\u200b\u6d4f\u89c8\u5668\u200b\u4e2d\u200b\u8f93\u5165\u200b <code>http://localhost:12000</code> \u200b\u6253\u5f00\u200b UI \u200b\u89c2\u5bdf\u200b\u754c\u9762\u200b\u3002</p> <p>\u200b\u5728\u200b\u754c\u9762\u200b\u5de6\u4e0a\u89d2\u200b\uff0c\u200b\u9009\u62e9\u200b <code>cilium-test</code> namespace\uff0c\u200b\u67e5\u770b\u200b Cilium \u200b\u63d0\u4f9b\u200b\u7684\u200b\u6d4b\u8bd5\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002 </p>"},{"location":"advance/cilium-hubble-observe/#hubble_1","title":"Hubble \u200b\u6d41\u91cf\u200b\u76d1\u63a7","text":"<p>Hubble \u200b\u7ec4\u4ef6\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u96c6\u7fa4\u200b\u4e2d\u200b Pod \u200b\u7f51\u7edc\u200b\u884c\u4e3a\u200b\u7684\u200b\u76d1\u63a7\u200b\uff0c\u200b\u4e3a\u4e86\u200b\u652f\u6301\u200b\u67e5\u770b\u200b Hubble \u200b\u63d0\u4f9b\u200b\u7684\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\uff0c\u200b\u9700\u8981\u200b\u4f7f\u80fd\u200b\u76d1\u63a7\u200b\u7edf\u8ba1\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff0c\u200b\u8865\u5145\u200b <code>hubble.metrics.enabled</code> \u200b\u914d\u7f6e\u200b\u9879\u200b:</p> <pre><code>helm upgrade cilium cilium/cilium --version 1.11.6 \\\n   --namespace kube-system \\\n   --reuse-values \\\n   --set hubble.relay.enabled=true \\\n   --set hubble.ui.enabled=true \\\n   --set hubble.metrics.enabled=\"{dns,drop,tcp,flow,icmp,http}\"\n</code></pre> <p>\u200b\u90e8\u7f72\u200b\u4e4b\u540e\u200b\uff0c\u200b\u4f1a\u200b\u5728\u200b kube-system namespace \u200b\u751f\u6210\u200b\u540d\u79f0\u200b\u4e3a\u200b <code>hubble-metrics</code> \u200b\u7684\u200b\u670d\u52a1\u200b\u3002\u200b\u901a\u8fc7\u200b\u8bbf\u95ee\u200b Endpoints \u200b\u67e5\u8be2\u200b Hubble \u200b\u63d0\u4f9b\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff0c\u200b\u53c2\u8003\u200b\u5982\u4e0b\u200b:</p> <pre><code># curl 172.18.0.2:9091/metrics\n# HELP hubble_drop_total Number of drops\n# TYPE hubble_drop_total counter\nhubble_drop_total{protocol=\"ICMPv6\",reason=\"Unsupported L3 protocol\"} 2\n# HELP hubble_flows_processed_total Total number of flows processed\n# TYPE hubble_flows_processed_total counter\nhubble_flows_processed_total{protocol=\"ICMPv4\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 335\nhubble_flows_processed_total{protocol=\"ICMPv4\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 335\nhubble_flows_processed_total{protocol=\"ICMPv6\",subtype=\"\",type=\"Drop\",verdict=\"DROPPED\"} 2\nhubble_flows_processed_total{protocol=\"TCP\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 8282\nhubble_flows_processed_total{protocol=\"TCP\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 6767\nhubble_flows_processed_total{protocol=\"UDP\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 1642\nhubble_flows_processed_total{protocol=\"UDP\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 1642\n# HELP hubble_icmp_total Number of ICMP messages\n# TYPE hubble_icmp_total counter\nhubble_icmp_total{family=\"IPv4\",type=\"EchoReply\"} 335\nhubble_icmp_total{family=\"IPv4\",type=\"EchoRequest\"} 335\nhubble_icmp_total{family=\"IPv4\",type=\"RouterSolicitation\"} 2\n# HELP hubble_tcp_flags_total TCP flag occurrences\n# TYPE hubble_tcp_flags_total counter\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"FIN\"} 2043\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"RST\"} 301\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"SYN\"} 1169\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"SYN-ACK\"} 1169\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/cilium-networkpolicy/","title":"Cilium NetworkPolicy \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u5f53\u524d\u200b\u5df2\u7ecf\u200b\u652f\u6301\u200b\u4e0e\u200b Cilium \u200b\u96c6\u6210\u200b\uff0c\u200b\u5177\u4f53\u64cd\u4f5c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Cilium \u200b\u96c6\u6210\u200b\u3002</p> <p>\u200b\u5728\u200b\u96c6\u6210\u200b Cilium \u200b\u4e4b\u540e\u200b\uff0c\u200b\u5c31\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b Cilium \u200b\u4f18\u79c0\u200b\u7684\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u80fd\u529b\u200b\uff0c\u200b\u5b9e\u73b0\u200b\u5bf9\u200b\u6d41\u91cf\u200b\u8bbf\u95ee\u200b\u7684\u200b\u63a7\u5236\u200b\u3002\u200b\u4ee5\u4e0b\u200b\u6587\u6863\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u5bf9\u200b Cilium L3 \u200b\u548c\u200b L4 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u80fd\u529b\u200b\u7684\u200b\u96c6\u6210\u200b\u9a8c\u8bc1\u200b\u3002</p>"},{"location":"advance/cilium-networkpolicy/#_1","title":"\u9a8c\u8bc1\u200b\u6b65\u9aa4","text":""},{"location":"advance/cilium-networkpolicy/#pod","title":"\u521b\u5efa\u200b\u6d4b\u8bd5\u200b Pod","text":"<p>\u200b\u521b\u5efa\u200b namespace <code>test</code>\u3002\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u5728\u200b test namespace \u200b\u4e2d\u200b\u521b\u5efa\u200b\u6307\u5b9a\u200b label <code>app=test</code> \u200b\u7684\u200b Pod\uff0c\u200b\u4f5c\u4e3a\u200b\u6d4b\u8bd5\u200b\u8bbf\u95ee\u200b\u7684\u200b\u76ee\u7684\u200b Pod\u3002</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: test\n  name: test\n  namespace: test\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: test\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      labels:\n        app: test\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n</code></pre> <p>\u200b\u540c\u6837\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u5728\u200b default namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b\u6307\u5b9a\u200b label <code>app=dynamic</code> \u200b\u7684\u200b Pod \u200b\u4e3a\u200b\u53d1\u8d77\u200b\u8bbf\u95ee\u200b\u6d4b\u8bd5\u200b\u7684\u200b Pod\u3002</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: dynamic\n  name: dynamic\n  namespace: default\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: dynamic\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      creationTimestamp: null\n      labels:\n        app: dynamic\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n</code></pre> <p>\u200b\u67e5\u770b\u200b\u6d4b\u8bd5\u200b Pod \u200b\u4ee5\u53ca\u200b Label \u200b\u4fe1\u606f\u200b:</p> <pre><code># kubectl get pod -o wide --show-labels\nNAME                         READY   STATUS    RESTARTS   AGE   IP           NODE                     NOMINATED NODE   READINESS GATES   LABELS\ndynamic-7d8d7874f5-9v5c4     1/1     Running   0          28h   10.16.0.35   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\ndynamic-7d8d7874f5-s8z2n     1/1     Running   0          28h   10.16.0.36   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\n# kubectl get pod -o wide -n test --show-labels\nNAME                           READY   STATUS    RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES   LABELS\ndynamic-7d8d7874f5-6dsg6       1/1     Running   0          7h20m   10.16.0.2    kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\ndynamic-7d8d7874f5-tjgtp       1/1     Running   0          7h46m   10.16.0.42   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\nlabel-test1-77b6764857-swq4k   1/1     Running   0          3h43m   10.16.0.12   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=test1,pod-template-hash=77b6764857\n\n// \u200b\u4ee5\u4e0b\u200b\u4e3a\u200b\u6d4b\u8bd5\u200b\u8bbf\u95ee\u200b\u76ee\u7684\u200b Pod\ntest-54c98bc466-mft5s          1/1     Running   0          8h      10.16.0.41   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=test,pod-template-hash=54c98bc466\n</code></pre>"},{"location":"advance/cilium-networkpolicy/#l3","title":"L3 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u6d4b\u8bd5","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b <code>CiliumNetworkPolicy</code> \u200b\u8d44\u6e90\u200b:</p> <pre><code>apiVersion: \"cilium.io/v2\"\nkind: CiliumNetworkPolicy\nmetadata:\n  name: \"l3-rule\"\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n</code></pre> <p>\u200b\u5728\u200b default namespace \u200b\u4e0b\u200b\u7684\u200b\u6d4b\u8bd5\u200b Pod \u200b\u4e2d\u200b\uff0c\u200b\u53d1\u8d77\u200b\u5bf9\u200b\u76ee\u7684\u200b Pod \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u7ed3\u679c\u200b\u8bbf\u95ee\u200b\u4e0d\u901a\u200b\u3002 \u200b\u4f46\u662f\u200b\u5728\u200b test namespace \u200b\u4e0b\u200b\uff0c\u200b\u6d4b\u8bd5\u200b\u5230\u200b\u76ee\u7684\u200b Pod \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u6d4b\u8bd5\u200b\u6b63\u5e38\u200b\u3002</p> <p>default namespace \u200b\u4e0b\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b:</p> <pre><code># kubectl exec -it dynamic-7d8d7874f5-9v5c4 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\n</code></pre> <p>test namepsace \u200b\u4e0b\u200b Pod \u200b\u7684\u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u8bbf\u95ee\u200b\u6b63\u5e38\u200b:</p> <pre><code># kubectl exec -it -n test dynamic-7d8d7874f5-6dsg6 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n64 bytes from 10.16.0.41: seq=0 ttl=64 time=2.558 ms\n64 bytes from 10.16.0.41: seq=1 ttl=64 time=0.223 ms\n64 bytes from 10.16.0.41: seq=2 ttl=64 time=0.304 ms\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.223/1.028/2.558 ms\n</code></pre> <p>\u200b\u67e5\u770b\u200b Cilium \u200b\u5b98\u65b9\u200b\u6587\u6863\u200b\u89e3\u91ca\u200b\uff0c<code>CiliumNetworkPolicy</code> \u200b\u8d44\u6e90\u200b\u5c06\u200b\u9650\u5236\u200b\u63a7\u5236\u200b\u5728\u200b\u4e86\u200b <code>Namespace</code> \u200b\u7ea7\u522b\u200b\u3002\u200b\u8be6\u7ec6\u4fe1\u606f\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b Cilium \u200b\u9650\u5236\u200b\u3002</p> <p>\u200b\u5728\u200b\u6709\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u5339\u914d\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u53ea\u6709\u200b\u540c\u4e00\u4e2a\u200b Namespace \u200b\u7684\u200b Pod \uff0c\u200b\u624d\u200b\u53ef\u4ee5\u200b\u6309\u7167\u200b\u89c4\u5219\u200b\u8fdb\u884c\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u62d2\u7edd\u200b\u5176\u4ed6\u200b Namespace \u200b\u7684\u200b Pod \u200b\u8fdb\u884c\u200b\u8bbf\u95ee\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u60f3\u200b\u5b9e\u73b0\u200b\u8de8\u200b Namespace \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u89c4\u5219\u200b\u4e2d\u200b\u660e\u786e\u200b\u6307\u5b9a\u200b Namespace \u200b\u4fe1\u606f\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\uff0c\u200b\u4fee\u6539\u200b <code>CiliumNetworkPolicy</code> \u200b\u8d44\u6e90\u200b\uff0c\u200b\u589e\u52a0\u200b namespace \u200b\u4fe1\u606f\u200b:</p> <pre><code>  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n        k8s:io.kubernetes.pod.namespace: default    // \u200b\u63a7\u5236\u200b\u5176\u4ed6\u200b Namespace \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\n</code></pre> <p>\u200b\u67e5\u770b\u200b\u4fee\u6539\u200b\u540e\u200b\u7684\u200b <code>CiliumNetworkPolicy</code> \u200b\u8d44\u6e90\u200b\u4fe1\u606f\u200b:</p> <pre><code># kubectl get cnp -n test  -o yaml l3-rule\napiVersion: cilium.io/v2\nkind: CiliumNetworkPolicy\nmetadata:\n  name: l3-rule\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n    - matchLabels:\n        app: dynamic\n        k8s:io.kubernetes.pod.namespace: default\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u6d4b\u8bd5\u200b default namespace \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\uff0c\u200b\u76ee\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\u6b63\u5e38\u200b:</p> <pre><code># kubectl exec -it dynamic-7d8d7874f5-9v5c4 -n test -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n64 bytes from 10.16.0.41: seq=0 ttl=64 time=2.383 ms\n64 bytes from 10.16.0.41: seq=1 ttl=64 time=0.115 ms\n64 bytes from 10.16.0.41: seq=2 ttl=64 time=0.142 ms\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.115/0.880/2.383 ms\n</code></pre> <p>\u200b\u4f7f\u7528\u200b\u6807\u51c6\u200b\u7684\u200b Kubernetes \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b networkpolicy\uff0c\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u663e\u793a\u200b Cilium \u200b\u540c\u6837\u200b\u5c06\u200b\u8bbf\u95ee\u200b\u9650\u5236\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b Namespace \u200b\u5185\u200b\uff0c\u200b\u8de8\u200b Namespace \u200b\u7684\u200b\u8bbf\u95ee\u200b\u662f\u200b\u7981\u6b62\u200b\u7684\u200b\u3002</p> <p>\u200b\u8fd9\u70b9\u200b\u4e0e\u200b Kube-OVN \u200b\u5b9e\u73b0\u200b\u662f\u200b\u4e0d\u540c\u200b\u7684\u200b\u3002Kube-OVN \u200b\u652f\u6301\u200b\u6807\u51c6\u200b\u7684\u200b k8s \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\uff0c\u200b\u9650\u5236\u200b\u4e86\u200b\u5177\u4f53\u200b Namespace \u200b\u4e0b\u200b\u7684\u200b\u76ee\u7684\u200b Pod\uff0c\u200b\u4f46\u662f\u200b\u5bf9\u200b\u6e90\u5730\u5740\u200b Pod\uff0c\u200b\u662f\u200b\u6ca1\u6709\u200b Namespace \u200b\u9650\u5236\u200b\u7684\u200b\uff0c\u200b\u4efb\u4f55\u200b Namespace \u200b\u4e0b\u200b\u7b26\u5408\u200b\u9650\u5236\u200b\u89c4\u5219\u200b\u7684\u200b Pod\uff0c\u200b\u90fd\u200b\u53ef\u4ee5\u200b\u5b9e\u73b0\u200b\u5bf9\u200b\u76ee\u7684\u200b Pod \u200b\u7684\u200b\u8bbf\u95ee\u200b\u3002</p>"},{"location":"advance/cilium-networkpolicy/#l4","title":"L4 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u6d4b\u8bd5","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b L4 \u200b\u5c42\u200b\u7684\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u8d44\u6e90\u200b:</p> <pre><code>apiVersion: \"cilium.io/v2\"\nkind: CiliumNetworkPolicy\nmetadata:\n  name: \"l4-rule\"\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n    toPorts:\n    - ports:\n      - port: \"80\"\n        protocol: TCP\n</code></pre> <p>\u200b\u6d4b\u8bd5\u200b\u76f8\u540c\u200b Namespace \u200b\u4e0b\u200b\uff0c\u200b\u7b26\u5408\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u7684\u200b Pod \u200b\u7684\u200b\u8bbf\u95ee\u200b</p> <pre><code># kubectl exec -it -n test dynamic-7d8d7874f5-6dsg6 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\nbash-5.0#\nbash-5.0# curl 10.16.0.41:80\n&lt;html&gt;\n&lt;head&gt;\n        &lt;title&gt;Hello World!&lt;/title&gt;\n        &lt;link href='//fonts.googleapis.com/css?family=Open+Sans:400,700' rel='stylesheet' type='text/css'&gt;\n        &lt;style&gt;\n        body {\n                background-color: white;\n                text-align: center;\n                padding: 50px;\n                font-family: \"Open Sans\",\"Helvetica Neue\",Helvetica,Arial,sans-serif;\n        }\n        #logo {\n                margin-bottom: 40px;\n        }\n        &lt;/style&gt;\n&lt;/head&gt;\n&lt;body&gt;\n                &lt;h1&gt;Hello World!&lt;/h1&gt;\n                                &lt;h3&gt;Links found&lt;/h3&gt;\n        &lt;h3&gt;I am on  test-54c98bc466-mft5s&lt;/h3&gt;\n        &lt;h3&gt;Cookie                  =&lt;/h3&gt;\n                                        &lt;b&gt;KUBERNETES&lt;/b&gt; listening in 443 available at tcp://10.96.0.1:443&lt;br /&gt;\n                                                &lt;h3&gt;my name is hanhouchao!&lt;/h3&gt;\n                        &lt;h3&gt; RequestURI='/'&lt;/h3&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre> <p>\u200b\u76f8\u540c\u200b Namespace \u200b\u4e0b\u200b\uff0c\u200b\u4e0d\u200b\u7b26\u5408\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\u6d4b\u8bd5\u200b</p> <pre><code># kubectl exec -it -n test label-test1-77b6764857-swq4k -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\nbash-5.0#\nbash-5.0# curl -v 10.16.0.41:80 --connect-timeout 10\n*   Trying 10.16.0.41:80...\n* After 10000ms connect time, move on!\n* connect to 10.16.0.41 port 80 failed: Operation timed out\n* Connection timeout after 10001 ms\n* Closing connection 0\ncurl: (28) Connection timeout after 10001 ms\n</code></pre> <p>\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u751f\u6548\u200b\u540e\u200b\uff0c\u200b\u8de8\u200b Namespace \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u4f9d\u7136\u200b\u662f\u200b\u88ab\u200b\u7981\u6b62\u200b\u7684\u200b\uff0c\u200b\u8ddf\u200b L3 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b\u4e00\u81f4\u200b\u3002</p> <p>\u200b\u5728\u200b L4 \u200b\u7f51\u7edc\u200b\u89c4\u5219\u200b\u751f\u6548\u200b\u540e\u200b\uff0cping \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\uff0c\u200b\u4f46\u662f\u200b\u7b26\u5408\u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u7684\u200b TCP \u200b\u8bbf\u95ee\u200b\uff0c\u200b\u662f\u200b\u53ef\u4ee5\u200b\u6b63\u5e38\u200b\u6267\u884c\u200b\u7684\u200b\u3002</p> <p>\u200b\u5173\u4e8e\u200b ICMP \u200b\u7684\u200b\u9650\u5236\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u5b98\u65b9\u200b\u8bf4\u660e\u200b L4 \u200b\u9650\u5236\u200b\u8bf4\u660e\u200b\u3002</p>"},{"location":"advance/cilium-networkpolicy/#l7","title":"L7 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u6d4b\u8bd5","text":"<p>chaining \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0cL7 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u76ee\u524d\u200b\u662f\u200b\u5b58\u5728\u200b\u95ee\u9898\u200b\u7684\u200b\u3002\u200b\u5728\u200b Cilium \u200b\u5b98\u65b9\u200b\u6587\u6863\u200b\u4e2d\u200b\uff0c\u200b\u5bf9\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u7ed9\u51fa\u200b\u4e86\u200b\u8bf4\u660e\u200b\uff0c\u200b\u53c2\u8003\u200b Generic Veth Chaining\u3002</p> <p>\u200b\u8fd9\u4e2a\u200b\u95ee\u9898\u200b\u4f7f\u7528\u200b issue 12454 \u200b\u8ddf\u8e2a\u200b\uff0c\u200b\u76ee\u524d\u200b\u8fd8\u200b\u6ca1\u6709\u200b\u89e3\u51b3\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/dhcp/","title":"DHCP \u200b\u8bbe\u7f6e","text":"<p>\u200b\u5728\u200b\u4f7f\u7528\u200b SR-IOV \u200b\u6216\u200b DPDK \u200b\u7c7b\u578b\u200b\u7f51\u7edc\u200b\u65f6\u200b\uff0cKubeVirt \u200b\u5185\u7f6e\u200b\u7684\u200b DHCP \u200b\u65e0\u6cd5\u200b\u5728\u200b\u8be5\u200b\u7f51\u7edc\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u5de5\u4f5c\u200b\u3002Kube-OVN \u200b\u53ef\u4ee5\u200b\u5229\u7528\u200b OVN \u200b\u7684\u200b DHCP \u200b\u80fd\u529b\u200b\u5728\u200b\u5b50\u7f51\u200b\u7ea7\u522b\u200b\u8bbe\u7f6e\u200b  DHCP \u200b\u9009\u9879\u200b\uff0c\u200b\u4ece\u800c\u200b\u5e2e\u52a9\u200b\u8be5\u200b\u7f51\u7edc\u200b\u7c7b\u578b\u200b\u7684\u200b KubeVirt \u200b\u865a\u673a\u200b\u6b63\u5e38\u200b\u4f7f\u7528\u200b DHCP \u200b\u83b7\u5f97\u200b\u5206\u914d\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002Kube-OVN \u200b\u540c\u65f6\u200b\u652f\u6301\u200b DHCPv4 \u200b\u548c\u200b DHCPv6\u3002</p> <p>\u200b\u5b50\u7f51\u200b DHCP \u200b\u7684\u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sn-dual\nspec:\n  cidrBlock: \"10.0.0.0/24,240e::a00/120\"\n  default: false\n  disableGatewayCheck: true\n  disableInterConnection: false\n  excludeIps:\n    - 10.0.0.1\n    - 240e::a01\n  gateway: 10.0.0.1,240e::a01\n  gatewayNode: ''\n  gatewayType: distributed\n  natOutgoing: false\n  private: false\n  protocol: Dual\n  provider: ovn\n  vpc: vpc-test\n  enableDHCP: true\n  dhcpV4Options: \"lease_time=3600,router=10.0.0.1,server_id=169.254.0.254,server_mac=00:00:00:2E:2F:B8\"\n  dhcpV6Options: \"server_id=00:00:00:2E:2F:C5\"\n  enableIPv6RA: true\n  ipv6RAConfigs: \"address_mode=dhcpv6_stateful,max_interval=30,min_interval=5,send_periodic=true\"\n</code></pre> <ul> <li><code>enableDHCP</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u5b50\u7f51\u200b\u7684\u200b DHCP \u200b\u529f\u80fd\u200b\u3002</li> <li><code>dhcpV4Options</code>,<code>dhcpV6Options</code>: \u200b\u8be5\u5b57\u6bb5\u200b\u76f4\u63a5\u200b\u66b4\u9732\u200b ovn-nb \u200b\u5185\u200b DHCP \u200b\u76f8\u5173\u200b\u9009\u9879\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b DHCP Options\u3002 \u200b\u9ed8\u8ba4\u503c\u200b\u5206\u522b\u200b\u4e3a\u200b <code>\"lease_time=3600, router=$ipv4_gateway, server_id=169.254.0.254, server_mac=$random_mac\"</code> \u200b\u548c\u200b <code>server_id=$random_mac</code>\u3002</li> <li><code>enableIPv6RA</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b DHCPv6 \u200b\u7684\u200b\u8def\u7531\u200b\u5e7f\u64ad\u200b\u529f\u80fd\u200b\u3002</li> <li><code>ipv6RAConfigs</code>\uff1a\u200b\u8be5\u5b57\u6bb5\u200b\u76f4\u63a5\u200b\u66b4\u9732\u200b ovn-nb \u200b\u5185\u200b Logical_Router_Port \u200b\u76f8\u5173\u200b\u9009\u9879\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b Logical Router Port \u200b\u9ed8\u8ba4\u503c\u200b\u4e3a\u200b <code>address_mode=dhcpv6_stateful, max_interval=30, min_interval=5, send_periodic=true</code>\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/dpdk/","title":"DPDK \u200b\u652f\u6301","text":"<p>\u200b\u8be5\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b Kube-OVN \u200b\u5982\u4f55\u200b\u548c\u200b OVS-DPDK \u200b\u7ed3\u5408\u200b\uff0c\u200b\u7ed9\u200b KubeVirt \u200b\u7684\u200b\u865a\u673a\u200b\u63d0\u4f9b\u200b DPDK \u200b\u7c7b\u578b\u200b\u7684\u200b\u7f51\u7edc\u63a5\u53e3\u200b\u3002</p> <p>\u200b\u4e0a\u6e38\u200b\u7684\u200b KubeVirt \u200b\u76ee\u524d\u200b\u8fd8\u200b\u672a\u200b\u652f\u6301\u200b OVS-DPDK\uff0c\u200b\u7528\u6237\u200b\u9700\u8981\u200b\u81ea\u5df1\u200b\u901a\u8fc7\u200b\u76f8\u5173\u200b patch Vhostuser implementation \u200b\u6784\u5efa\u200b KubeVirt \u200b\u6216\u200b KVM Device Plugin \u200b\u6765\u200b\u4f7f\u7528\u200b OVS-DPDK\u3002</p>"},{"location":"advance/dpdk/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ul> <li>\u200b\u8282\u70b9\u200b\u9700\u200b\u63d0\u4f9b\u200b\u4e13\u95e8\u200b\u7ed9\u200b DPDK \u200b\u9a71\u52a8\u200b\u8fd0\u884c\u200b\u7684\u200b\u7f51\u5361\u200b\u3002</li> <li>\u200b\u8282\u70b9\u200b\u9700\u200b\u5f00\u542f\u200b Hugepages\u3002</li> </ul>"},{"location":"advance/dpdk/#dpdk_1","title":"\u7f51\u5361\u200b\u8bbe\u7f6e\u200b DPDK \u200b\u9a71\u52a8","text":"<p>\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b <code>driverctl</code> \u200b\u4e3a\u4f8b\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5177\u4f53\u200b\u53c2\u6570\u200b\u548c\u200b\u5176\u4ed6\u200b\u9a71\u52a8\u200b\u4f7f\u7528\u200b\u8bf7\u200b\u53c2\u8003\u200b DPDK \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\u3002</p> <pre><code>driverctl set-override 0000:00:0b.0 uio_pci_generic\n</code></pre>"},{"location":"advance/dpdk/#_2","title":"\u8282\u70b9\u200b\u914d\u7f6e","text":"<p>\u200b\u5bf9\u200b\u652f\u6301\u200b OVS-DPDK \u200b\u7684\u200b\u8282\u70b9\u200b\u6253\u200b\u6807\u7b7e\u200b\uff0c\u200b\u4ee5\u4fbf\u200b Kube-OVN \u200b\u8fdb\u884c\u200b\u8bc6\u522b\u200b\u5904\u7406\u200b\uff1a</p> <pre><code>kubectl label nodes &lt;node&gt; ovn.kubernetes.io/ovs_dp_type=\"userspace\"\n</code></pre> <p>\u200b\u5728\u200b\u652f\u6301\u200b OVS-DPDK \u200b\u8282\u70b9\u200b\u7684\u200b <code>/opt/ovs-config</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\u521b\u5efa\u200b\u914d\u7f6e\u6587\u4ef6\u200b <code>ovs-dpdk-config</code>\uff1a</p> <pre><code>ENCAP_IP=192.168.122.193/24\nDPDK_DEV=0000:00:0b.0\n</code></pre> <ul> <li><code>ENCAP_IP</code>: \u200b\u96a7\u9053\u200b\u7aef\u70b9\u200b\u5730\u5740\u200b\u3002</li> <li><code>DPDK_DEV</code>: \u200b\u8bbe\u5907\u200b\u7684\u200b PCI ID\u3002</li> </ul>"},{"location":"advance/dpdk/#kube-ovn","title":"\u5b89\u88c5\u200b Kube-OVN","text":"<p>\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u542f\u7528\u200b DPDK \u200b\u5b89\u88c5\u200b\u9009\u9879\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a</p> <pre><code>bash install.sh --with-hybrid-dpdk\n</code></pre>"},{"location":"advance/dpdk/#_3","title":"\u4f7f\u7528\u200b\u65b9\u5f0f","text":"<p>\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u901a\u8fc7\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b\u4f7f\u7528\u200b vhostuser \u200b\u7c7b\u578b\u200b\u7f51\u5361\u200b\u7684\u200b\u865a\u200b\u673a\u6765\u200b\u9a8c\u8bc1\u200b OVS-DPDK \u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u5b89\u88c5\u200b KVM Device Plugin \u200b\u6765\u200b\u521b\u5efa\u200b\u865a\u673a\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u8bf7\u200b\u53c2\u8003\u200b KVM Device Plugin\u3002</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/kubevirt/kubernetes-device-plugins/master/manifests/kvm-ds.yml\n</code></pre> <p>\u200b\u521b\u5efa\u200b NetworkAttachmentDefinition\uff1a</p> <pre><code>apiVersion: k8s.cni.cncf.io/v1\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-dpdk\n  namespace: default\nspec:\n  config: &gt;-\n    {\n        \"cniVersion\": \"0.3.0\", \n        \"type\": \"kube-ovn\", \n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\", \n        \"provider\": \"ovn-dpdk.default.ovn\",\n        \"vhost_user_socket_volume_name\": \"vhostuser-sockets\",\n        \"vhost_user_socket_name\": \"sock\"\n    }\n</code></pre> <p>\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b Dockerfile \u200b\u521b\u5efa\u200b VM \u200b\u955c\u50cf\u200b\uff1a</p> <pre><code>FROM quay.io/kubevirt/virt-launcher:v0.46.1\n\n# wget http://cloud.centos.org/centos/7/images/CentOS-7-x86_64-GenericCloud.qcow2\nCOPY CentOS-7-x86_64-GenericCloud.qcow2 /var/lib/libvirt/images/CentOS-7-x86_64-GenericCloud.qcow2\n</code></pre> <p>\u200b\u521b\u5efa\u200b\u865a\u62df\u673a\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vm-config\ndata:\n  start.sh: |\n    chmod u+w /etc/libvirt/qemu.conf\n    echo \"hugetlbfs_mount = \\\"/dev/hugepages\\\"\" &gt;&gt; /etc/libvirt/qemu.conf\n    virtlogd &amp;\n    libvirtd &amp;\n\n    mkdir /var/lock\n\n    sleep 5\n\n    virsh define /root/vm/vm.xml\n    virsh start vm\n\n    tail -f /dev/null\n  vm.xml: |\n    &lt;domain type='kvm'&gt;\n      &lt;name&gt;vm&lt;/name&gt;\n      &lt;uuid&gt;4a9b3f53-fa2a-47f3-a757-dd87720d9d1d&lt;/uuid&gt;\n      &lt;memory unit='KiB'&gt;2097152&lt;/memory&gt;\n      &lt;currentMemory unit='KiB'&gt;2097152&lt;/currentMemory&gt;\n      &lt;memoryBacking&gt;\n        &lt;hugepages&gt;\n          &lt;page size='2' unit='M' nodeset='0'/&gt;\n        &lt;/hugepages&gt;\n      &lt;/memoryBacking&gt;\n      &lt;vcpu placement='static'&gt;2&lt;/vcpu&gt;\n      &lt;cputune&gt;\n        &lt;shares&gt;4096&lt;/shares&gt;\n        &lt;vcpupin vcpu='0' cpuset='4'/&gt;\n        &lt;vcpupin vcpu='1' cpuset='5'/&gt;\n        &lt;emulatorpin cpuset='1,3'/&gt;\n      &lt;/cputune&gt;\n      &lt;os&gt;\n        &lt;type arch='x86_64' machine='pc'&gt;hvm&lt;/type&gt;\n        &lt;boot dev='hd'/&gt;\n      &lt;/os&gt;\n      &lt;features&gt;\n        &lt;acpi/&gt;\n        &lt;apic/&gt;\n      &lt;/features&gt;\n      &lt;cpu mode='host-model'&gt;\n        &lt;model fallback='allow'/&gt;\n        &lt;topology sockets='1' cores='2' threads='1'/&gt;\n        &lt;numa&gt;\n          &lt;cell id='0' cpus='0-1' memory='2097152' unit='KiB' memAccess='shared'/&gt;\n        &lt;/numa&gt;\n      &lt;/cpu&gt;\n      &lt;on_reboot&gt;restart&lt;/on_reboot&gt;\n      &lt;devices&gt;\n        &lt;emulator&gt;/usr/libexec/qemu-kvm&lt;/emulator&gt;\n        &lt;disk type='file' device='disk'&gt;\n          &lt;driver name='qemu' type='qcow2' cache='none'/&gt;\n          &lt;source file='/var/lib/libvirt/images/CentOS-7-x86_64-GenericCloud.qcow2'/&gt;\n          &lt;target dev='vda' bus='virtio'/&gt;\n        &lt;/disk&gt;\n\n        &lt;interface type='vhostuser'&gt;\n          &lt;mac address='00:00:00:0A:30:89'/&gt;\n          &lt;source type='unix' path='/var/run/vm/sock' mode='server'/&gt;\n           &lt;model type='virtio'/&gt;\n          &lt;driver queues='2'&gt;\n            &lt;host mrg_rxbuf='off'/&gt;\n          &lt;/driver&gt;\n        &lt;/interface&gt;\n        &lt;serial type='pty'&gt;\n          &lt;target type='isa-serial' port='0'&gt;\n            &lt;model name='isa-serial'/&gt;\n          &lt;/target&gt;\n        &lt;/serial&gt;\n        &lt;console type='pty'&gt;\n          &lt;target type='serial' port='0'/&gt;\n        &lt;/console&gt;\n        &lt;channel type='unix'&gt;\n          &lt;source mode='bind' path='/var/lib/libvirt/qemu/channel/target/domain-1-vm/org.qemu.guest_agent.0'/&gt;\n          &lt;target type='virtio' name='org.qemu.guest_agent.0' state='connected'/&gt;\n          &lt;alias name='channel0'/&gt;\n          &lt;address type='virtio-serial' controller='0' bus='0' port='1'/&gt;\n        &lt;/channel&gt;\n\n      &lt;/devices&gt;\n    &lt;/domain&gt;\n---\napiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: vm-deployment\n  labels:\n    app: vm\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: vm\n  template:\n    metadata:\n      labels:\n        app: vm\n      annotations:\n        k8s.v1.cni.cncf.io/networks: default/ovn-dpdk\n        ovn-dpdk.default.ovn.kubernetes.io/ip_address: 10.16.0.96\n        ovn-dpdk.default.ovn.kubernetes.io/mac_address: 00:00:00:0A:30:89\n    spec:\n      nodeSelector:\n        ovn.kubernetes.io/ovs_dp_type: userspace\n      securityContext:\n        runAsUser: 0\n      volumes:\n        - name: vhostuser-sockets\n          emptyDir: {}\n        - name: xml\n          configMap:\n            name: vm-config\n        - name: hugepage\n          emptyDir:\n            medium: HugePages-2Mi\n        - name: libvirt-runtime\n          emptyDir: {}\n      containers:\n        - name: vm\n          image: vm-vhostuser:latest\n          command: [\"bash\", \"/root/vm/start.sh\"]\n          securityContext:\n            capabilities:\n              add:\n                - NET_BIND_SERVICE\n                - SYS_NICE\n                - NET_RAW\n                - NET_ADMIN\n            privileged: false\n            runAsUser: 0\n          resources:\n            limits:\n              cpu: '2'\n              devices.kubevirt.io/kvm: '1'\n              memory: '8784969729'\n              hugepages-2Mi: 2Gi\n            requests:\n              cpu: 666m\n              devices.kubevirt.io/kvm: '1'\n              ephemeral-storage: 50M\n              memory: '4490002433'\n          volumeMounts:\n            - name: vhostuser-sockets\n              mountPath: /var/run/vm\n            - name: xml\n              mountPath: /root/vm/\n            - mountPath: /dev/hugepages\n              name: hugepage\n            - name: libvirt-runtime\n              mountPath: /var/run/libvirt\n</code></pre> <p>\u200b\u7b49\u5f85\u200b\u865a\u62df\u673a\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u8fdb\u5165\u200b Pod \u200b\u8fdb\u884c\u200b\u865a\u673a\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code># virsh set-user-password vm root 12345\nPassword set successfully for root in vm\n\n# virsh console vm\nConnected to domain 'vm'\nEscape character is ^] (Ctrl + ])\n\nCentOS Linux 7 (Core)\nKernel 3.10.0-1127.el7.x86_64 on an x86_64\n\nlocalhost login: root\nPassword:\nLast login: Fri Feb 25 09:52:54 on ttyS0\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u767b\u5f55\u200b\u865a\u673a\u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\u5e76\u200b\u6d4b\u8bd5\u200b\uff1a</p> <pre><code>ip link set eth0 mtu 1400\nip addr add 10.16.0.96/16 dev eth0\nip ro add default via 10.16.0.1\nping 114.114.114.114\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/external-gateway/","title":"\u5916\u90e8\u200b\u7f51\u5173\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u5bf9\u200b\u6240\u6709\u200b\u5bb9\u5668\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7684\u200b\u6d41\u91cf\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b\u4e00\u4e2a\u200b\u5916\u90e8\u200b\u7684\u200b\u7f51\u5173\u200b\u8fdb\u884c\u200b\u7edf\u4e00\u200b\u7684\u200b\u7ba1\u7406\u200b\u548c\u200b\u5ba1\u8ba1\u200b\u3002 Kube-OVN \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5728\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b\u8def\u7531\u200b\u914d\u7f6e\u200b\uff0c\u200b\u5c06\u200b\u51fa\u7f51\u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b\u81f3\u200b\u5bf9\u5e94\u200b\u7684\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u3002</p>"},{"location":"advance/external-gateway/#_2","title":"\u4f7f\u7528\u200b\u65b9\u5f0f","text":"<pre><code>kind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: external\nspec:\n  cidrBlock: 172.31.0.0/16\n  gatewayType: centralized\n  natOutgoing: false\n  externalEgressGateway: 192.168.0.1\n  policyRoutingTableID: 1000\n  policyRoutingPriority: 1500\n</code></pre> <ul> <li><code>natOutgoing</code>: \u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code>\u3002</li> <li><code>externalEgressGateway</code>\uff1a\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u9700\u8981\u200b\u548c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u4e8c\u5c42\u200b\u53ef\u8fbe\u57df\u200b\u3002</li> <li><code>policyRoutingTableID</code>\uff1a\u200b\u4f7f\u7528\u200b\u7684\u200b\u672c\u5730\u200b\u7b56\u7565\u200b\u8def\u7531\u8868\u200b\u7684\u200b TableID \u200b\u6bcf\u4e2a\u200b\u5b50\u7f51\u200b\u5747\u200b\u9700\u200b\u4e0d\u540c\u200b\u4ee5\u200b\u907f\u514d\u200b\u51b2\u7a81\u200b\u3002</li> <li><code>policyRoutingPriority</code>\uff1a\u200b\u8def\u7531\u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u4e3a\u200b\u907f\u514d\u200b\u540e\u7eed\u200b\u7528\u6237\u200b\u5b9a\u5236\u200b\u5316\u200b\u7684\u200b\u5176\u4ed6\u200b\u8def\u7531\u200b\u64cd\u4f5c\u200b\u51b2\u7a81\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u53ef\u4ee5\u200b\u6307\u5b9a\u200b\u8def\u7531\u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u82e5\u200b\u65e0\u200b\u7279\u6b8a\u200b\u9700\u6c42\u200b\u586b\u5165\u200b\u4efb\u610f\u200b\u503c\u200b\u5373\u53ef\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/fastpath/","title":"\u624b\u52a8\u200b\u7f16\u8bd1\u200b FastPath \u200b\u6a21\u5757","text":"<p>\u200b\u7ecf\u8fc7\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u7684\u200b\u6027\u80fd\u200b Profile\uff0c<code>Netfilter</code> \u200b\u5728\u200b\u5bb9\u5668\u200b\u5185\u200b\u548c\u200b\u5bbf\u4e3b\u673a\u200b\u4e0a\u200b\u7684\u200b\u76f8\u5173\u200b\u5904\u7406\u200b\u6d88\u8017\u200b\u4e86\u200b 20% \u200b\u5de6\u53f3\u200b\u7684\u200b CPU \u200b\u8d44\u6e90\u200b\uff0cFastPath \u200b\u6a21\u5757\u200b\u53ef\u4ee5\u200b\u7ed5\u8fc7\u200b <code>Netfilter</code> \u200b\u4ece\u800c\u200b \u200b\u964d\u4f4e\u200b CPU \u200b\u7684\u200b\u6d88\u8017\u200b\u548c\u200b\u5ef6\u8fdf\u200b\uff0c\u200b\u5e76\u200b\u63d0\u5347\u200b\u541e\u5410\u91cf\u200b\u3002\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u200b\u4ecb\u7ecd\u200b\u5982\u4f55\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b FastPath \u200b\u6a21\u5757\u200b\u3002</p>"},{"location":"advance/fastpath/#_1","title":"\u4e0b\u8f7d\u200b\u76f8\u5173\u200b\u5185\u6838\u6a21\u5757\u200b\u4ee3\u7801","text":"<pre><code>git clone --depth=1 https://github.com/kubeovn/kube-ovn.git\n</code></pre>"},{"location":"advance/fastpath/#_2","title":"\u5b89\u88c5\u200b\u4f9d\u8d56","text":"<p>\u200b\u8fd9\u91cc\u200b\u4ee5\u200b CentOS \u200b\u4e3a\u4f8b\u200b\u4e0b\u8f7d\u200b\u76f8\u5173\u200b\u4f9d\u8d56\u200b\uff1a</p> <pre><code>yum install -y kernel-devel-$(uname -r) gcc elfutils-libelf-devel\n</code></pre>"},{"location":"advance/fastpath/#_3","title":"\u7f16\u8bd1\u200b\u76f8\u5173\u200b\u6a21\u5757","text":"<p>\u200b\u9488\u5bf9\u200b 3.x \u200b\u7684\u200b\u5185\u6838\u200b\uff1a</p> <pre><code>cd kube-ovn/fastpath\nmake all\n</code></pre> <p>\u200b\u9488\u5bf9\u200b 4.x \u200b\u7684\u200b\u5185\u6838\u200b\uff1a</p> <pre><code>cd kube-ovn/fastpath/4.18\ncp ../Makefile .\nmake all\n</code></pre>"},{"location":"advance/fastpath/#_4","title":"\u5b89\u88c5\u200b\u5185\u6838\u6a21\u5757","text":"<p>\u200b\u5c06\u200b <code>kube_ovn_fastpath.ko</code> \u200b\u590d\u5236\u5230\u200b\u6bcf\u4e2a\u200b\u9700\u8981\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u7684\u200b\u8282\u70b9\u200b <code>/tmp</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\uff0c<code>kube-ovn-cni</code> \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u52a0\u8f7d\u200b\u8be5\u200b\u6a21\u5757\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b <code>dmesg</code> \u200b\u786e\u8ba4\u200b\u5b89\u88c5\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># dmesg\n[619631.323788] init_module,kube_ovn_fastpath_local_out\n[619631.323798] init_module,kube_ovn_fastpath_post_routing\n[619631.323800] init_module,kube_ovn_fastpath_pre_routing\n[619631.323801] init_module,kube_ovn_fastpath_local_in\n</code></pre> <p>\u200b\u5982\u9700\u200b\u5378\u8f7d\u200b\u6a21\u5757\u200b\uff0c\u200b\u53ef\u200b\u5c06\u200b\u8be5\u200b\u6a21\u5757\u200b\u4ece\u200b <code>/tmp</code> \u200b\u76ee\u5f55\u200b\u4e0b\u79fb\u200b\u9664\u200b\uff0c<code>kube-ovn-cni</code> \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5378\u8f7d\u200b\u8be5\u200b\u6a21\u5757\u200b\u3002</p> <p>\u200b\u8be5\u200b\u6a21\u5757\u200b\u5728\u200b\u673a\u5668\u200b\u91cd\u542f\u200b\u540e\u200b\u4e0d\u4f1a\u200b\u81ea\u52a8\u200b\u52a0\u8f7d\u200b\uff0c\u200b\u5982\u9700\u200b\u81ea\u52a8\u200b\u52a0\u8f7d\u200b\u8bf7\u200b\u6839\u636e\u200b\u7cfb\u7edf\u200b\u5f04\u200b\u914d\u7f6e\u200b\u7f16\u5199\u200b\u76f8\u5e94\u200b\u81ea\u542f\u52a8\u200b\u811a\u672c\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/multi-nic/","title":"\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406","text":"<p>Kube-OVN \u200b\u53ef\u4ee5\u200b\u4e3a\u200b\u5176\u4ed6\u200b CNI \u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u4f8b\u5982\u200b macvlan\u3001vlan\u3001host-device \u200b\u7b49\u200b\u63d2\u4ef6\u200b\u63d0\u4f9b\u200b\u96c6\u7fa4\u200b\u7ea7\u522b\u200b\u7684\u200b IPAM \u200b\u80fd\u529b\u200b\uff0c \u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5230\u200b Kube-OVN \u200b\u4e2d\u5b50\u200b\u7f51\u200b\u4ee5\u53ca\u200b\u56fa\u5b9a\u200b IP \u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u540c\u65f6\u200b Kube-OVN \u200b\u4e5f\u200b\u652f\u6301\u200b\u591a\u5757\u200b\u7f51\u5361\u200b\u5747\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7f51\u5361\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u7684\u200b\u5730\u5740\u200b\u7ba1\u7406\u200b\u3002</p>"},{"location":"advance/multi-nic/#_2","title":"\u5de5\u4f5c\u200b\u539f\u7406","text":"<p>\u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b\uff1a</p> <p>\u200b\u4e0b\u9762\u200b\u662f\u200b\u7531\u200b Multus CNI \u200b\u63d0\u4f9b\u200b\u7684\u200b\u8fde\u63a5\u200b\u5230\u200b pod \u200b\u7684\u200b\u7f51\u7edc\u63a5\u53e3\u200b\u793a\u610f\u56fe\u200b\u3002\u200b\u56fe\u4e2d\u200b\u663e\u793a\u200b pod \u200b\u6709\u200b\u4e09\u4e2a\u200b\u63a5\u53e3\u200b\uff1aeth0\u3001net0 \u200b\u548c\u200b net1\u3002 eth0 \u200b\u8fde\u63a5\u200b kubernetes \u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7528\u4e8e\u200b\u8fde\u63a5\u200b kubernetes \u200b\u670d\u52a1\u5668\u200b\uff08\u200b\u5982\u200b kubernetes api-server\u3001kubelet \u200b\u7b49\u200b\uff09\u3002 net0 \u200b\u548c\u200b net1 \u200b\u662f\u200b\u9644\u52a0\u200b\u7f51\u7edc\u63a5\u53e3\u200b\uff0c\u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b\u5176\u4ed6\u200b CNI \u200b\u63d2\u4ef6\u200b\uff08\u200b\u5982\u200b vlan/vxlan/ptp\uff09\u200b\u8fde\u63a5\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u3002</p> <p></p> <p>IPAM\uff1a</p> <p>\u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b Multus CNI, \u200b\u6211\u4eec\u200b\u53ef\u4ee5\u200b\u7ed9\u200b\u4e00\u4e2a\u200b Pod \u200b\u6dfb\u52a0\u200b\u591a\u5757\u200b\u4e0d\u540c\u200b\u7f51\u7edc\u200b\u7684\u200b\u7f51\u5361\u200b\u3002 \u200b\u7136\u800c\u200b\u6211\u4eec\u200b\u4ecd\u7136\u200b\u7f3a\u4e4f\u200b\u5bf9\u200b\u96c6\u7fa4\u200b\u8303\u56f4\u200b\u5185\u200b\u4e0d\u540c\u200b\u7f51\u7edc\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u8fdb\u884c\u200b\u7ba1\u7406\u200b\u7684\u200b\u80fd\u529b\u200b\u3002\u200b\u5728\u200b Kube-OVN \u200b\u4e2d\u200b\uff0c\u200b\u6211\u4eec\u200b\u5df2\u7ecf\u200b\u80fd\u591f\u200b\u901a\u8fc7\u200b Subnet \u200b\u548c\u200b IP \u200b\u7684\u200b CRD \u200b\u6765\u200b\u8fdb\u884c\u200b IP \u200b\u7684\u200b\u9ad8\u7ea7\u200b\u7ba1\u7406\u200b\uff0c \u200b\u4f8b\u5982\u200b\u5b50\u7f51\u200b\u7ba1\u7406\u200b\uff0cIP \u200b\u9884\u7559\u200b\uff0c\u200b\u968f\u673a\u200b\u5206\u914d\u200b\uff0c\u200b\u56fa\u5b9a\u200b\u5206\u914d\u200b\u7b49\u200b\u3002\u200b\u73b0\u5728\u200b\u6211\u4eec\u200b\u5bf9\u200b\u5b50\u7f51\u200b\u8fdb\u884c\u200b\u6269\u5c55\u200b\uff0c\u200b\u6765\u200b\u63a5\u5165\u200b\u5176\u4ed6\u200b\u4e0d\u540c\u200b\u7684\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u4f7f\u5f97\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u7684\u200b IPAM \u200b\u529f\u80fd\u200b\u3002</p>"},{"location":"advance/multi-nic/#_3","title":"\u5de5\u4f5c\u200b\u6d41\u7a0b","text":"<p>\u200b\u4e0a\u200b\u56fe\u200b\u5c55\u793a\u200b\u4e86\u200b\u5982\u4f55\u200b\u901a\u8fc7\u200b Kube-OVN \u200b\u6765\u200b\u7ba1\u7406\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002\u200b\u5176\u4e2d\u200b\u5bb9\u5668\u200b\u7684\u200b eth0 \u200b\u7f51\u5361\u200b\u63a5\u5165\u200b OVN \u200b\u7f51\u7edc\u200b\uff0cnet1 \u200b\u7f51\u5361\u200b\u63a5\u5165\u200b\u5176\u4ed6\u200b CNI \u200b\u7f51\u7edc\u200b\u3002 net1 \u200b\u7f51\u7edc\u200b\u7684\u200b\u7f51\u7edc\u200b\u5b9a\u4e49\u200b\u6765\u81ea\u200b\u4e8e\u200b multus-cni \u200b\u4e2d\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u8d44\u6e90\u200b\u5b9a\u4e49\u200b\u3002</p> <p>\u200b\u5f53\u200b Pod \u200b\u521b\u5efa\u200b\u65f6\u200b\uff0c<code>kube-ovn-controller</code> \u200b\u4f1a\u200b\u76d1\u542c\u200b\u5230\u200b Pod \u200b\u6dfb\u52a0\u200b\u4e8b\u4ef6\u200b\uff0c\u200b\u5e76\u200b\u6839\u636e\u200b Pod \u200b\u4e2d\u200b\u7684\u200b annotation \u200b\u53bb\u200b\u5bfb\u627e\u200b\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b Subnet \u200b\u5e76\u200b\u4ece\u4e2d\u200b\u8fdb\u884c\u200b IP \u200b\u7684\u200b\u5206\u914d\u200b\u548c\u200b\u7ba1\u7406\u200b\uff0c \u200b\u5e76\u200b\u5c06\u200b Pod \u200b\u6240\u200b\u5206\u914d\u200b\u5230\u200b\u7684\u200b\u5730\u5740\u200b\u4fe1\u606f\u200b\u5199\u200b\u56de\u5230\u200b Pod annotation \u200b\u4e2d\u200b\u3002</p> <p>\u200b\u5728\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u673a\u5668\u200b\u7684\u200b CNI \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5728\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u914d\u7f6e\u200b <code>kube-ovn-cni</code> \u200b\u4f5c\u4e3a\u200b ipam \u200b\u63d2\u4ef6\u200b, <code>kube-ovn-cni</code> \u200b\u5c06\u4f1a\u200b\u8bfb\u53d6\u200b Pod annotation \u200b\u5e76\u200b\u5c06\u200b\u5730\u5740\u200b\u4fe1\u606f\u200b\u901a\u8fc7\u200b CNI \u200b\u534f\u8bae\u200b\u7684\u200b\u6807\u51c6\u200b\u683c\u5f0f\u200b\u8fd4\u56de\u200b\u7ed9\u200b\u76f8\u5e94\u200b\u7684\u200b CNI \u200b\u63d2\u4ef6\u200b\u3002</p>"},{"location":"advance/multi-nic/#_4","title":"\u4f7f\u7528\u200b\u65b9\u6cd5","text":""},{"location":"advance/multi-nic/#kube-ovn-multus","title":"\u5b89\u88c5\u200b Kube-OVN \u200b\u548c\u200b Multus","text":"<p>\u200b\u8bf7\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b \u200b\u548c\u200b Multus how to use \u200b\u6765\u200b\u5b89\u88c5\u200b Kube-OVN \u200b\u548c\u200b Multus-CNI\u3002</p>"},{"location":"advance/multi-nic/#cni-ipam","title":"\u4e3a\u200b\u5176\u4ed6\u200b CNI \u200b\u63d0\u4f9b\u200b IPAM","text":"<p>\u200b\u6b64\u65f6\u200b\u4e3b\u200b\u7f51\u5361\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7f51\u5361\u200b\uff0c\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4e3a\u200b\u5176\u4ed6\u200b\u7c7b\u578b\u200b CNI\u3002</p>"},{"location":"advance/multi-nic/#networkattachmentdefinition","title":"\u521b\u5efa\u200b NetworkAttachmentDefinition","text":"<p>\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b macvlan \u200b\u4f5c\u4e3a\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u7b2c\u4e8c\u4e2a\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u5176\u200b ipam \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>kube-ovn</code>\uff1a</p> <pre><code># \u200b\u52a0\u8f7d\u200b macvlan \u200b\u6a21\u5757\u200b\nsudo modprobe macvlan\n</code></pre> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: macvlan\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth0\",\n      \"mode\": \"bridge\",\n      \"ipam\": {\n        \"type\": \"kube-ovn\",\n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n        \"provider\": \"macvlan.default\"\n      }\n    }'\n</code></pre> <ul> <li><code>spec.config.ipam.type</code>: \u200b\u9700\u8981\u200b\u4e3a\u200b <code>kube-ovn</code> \u200b\u6765\u200b\u8c03\u7528\u200b kube-ovn \u200b\u7684\u200b\u63d2\u4ef6\u200b\u6765\u200b\u83b7\u53d6\u200b\u5730\u5740\u200b\u4fe1\u606f\u200b\u3002</li> <li><code>server_socket</code>: Kube-OVN \u200b\u901a\u4fe1\u200b\u4f7f\u7528\u200b\u7684\u200b socket \u200b\u6587\u4ef6\u200b\u3002 \u200b\u9ed8\u8ba4\u200b\u4f4d\u7f6e\u200b\u4e3a\u200b <code>/run/openvswitch/kube-ovn-daemon.sock</code>\u3002</li> <li><code>provider</code>: \u200b\u5f53\u524d\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;name&gt;.&lt;namespace&gt;</code> , Kube-OVN \u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u8fd9\u4e9b\u200b\u4fe1\u606f\u200b\u627e\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b Subnet \u200b\u8d44\u6e90\u200b\u3002</li> <li><code>master</code>: \u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b\u7269\u7406\u200b\u7f51\u5361\u200b</li> </ul>"},{"location":"advance/multi-nic/#kube-ovn-subnet","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet","text":"<p>\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet, \u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>cidrBlock</code> \u200b\u548c\u200b <code>exclude_ips</code>\uff0c<code>provider</code> \u200b\u5e94\u8be5\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;name&gt;.&lt;namespace&gt;</code>\uff0c \u200b\u4f8b\u5982\u200b\u7528\u200b macvlan \u200b\u63d0\u4f9b\u200b\u9644\u52a0\u200b\u7f51\u5361\u200b\uff0c\u200b\u521b\u5efa\u200b Subnet \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: macvlan\nspec:\n  protocol: IPv4\n  provider: macvlan.default\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre> <p><code>gateway</code>, <code>private</code>, <code>nat</code> \u200b\u53ea\u200b\u5bf9\u200b <code>provider</code> \u200b\u7c7b\u578b\u200b\u4e3a\u200b ovn \u200b\u7684\u200b\u7f51\u7edc\u200b\u751f\u6548\u200b\uff0c\u200b\u4e0d\u9002\u200b\u7528\u4e8e\u200b attachment network\u3002</p>"},{"location":"advance/multi-nic/#pod","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u591a\u200b\u7f51\u7edc\u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u5730\u5740\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u7684\u200b Pod\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b annotation <code>k8s.v1.cni.cncf.io/networks</code>,\u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"advance/multi-nic/#ip-pod","title":"\u521b\u5efa\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b Pod\uff0c\u200b\u6dfb\u52a0\u200b <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/ip_address</code> annotation\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: static-ip\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\n    ovn.kubernetes.io/ip_address: 10.16.0.15\n    ovn.kubernetes.io/mac_address: 00:00:00:53:6B:B6\n    macvlan.default.kubernetes.io/ip_address: 172.17.0.100\n    macvlan.default.kubernetes.io/mac_address: 00:00:00:53:6B:BB\nspec:\n  containers:\n  - name: static-ip\n    image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"advance/multi-nic/#ip","title":"\u521b\u5efa\u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d","text":"<p>\u200b\u5bf9\u4e8e\u200b\u4f7f\u7528\u200b ippool \u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b, \u200b\u6dfb\u52a0\u200b <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/ip_pool</code> annotations:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  namespace: default\n  name: static-workload\n  labels:\n    app: static-workload\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: static-workload\n  template:\n    metadata:\n      labels:\n        app: static-workload\n      annotations:\n        k8s.v1.cni.cncf.io/networks: default/macvlan\n        ovn.kubernetes.io/ip_pool: 10.16.0.15,10.16.0.16,10.16.0.17\n        macvlan.default.kubernetes.io/ip_pool: 172.17.0.200,172.17.0.201,172.17.0.202\n    spec:\n      containers:\n      - name: static-workload\n        image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"advance/multi-nic/#macvlan-pod","title":"\u521b\u5efa\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u4f7f\u7528\u200b macvlan \u200b\u4f5c\u4e3a\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u7684\u200b Pod\uff0c\u200b\u82e5\u200b\u5e0c\u671b\u200b\u5c06\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4f5c\u4e3a\u200b Pod \u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b annotation\uff0c<code>default-route</code> \u200b\u4e3a\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod-route\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: '[{\n      \"name\": \"macvlan\",\n      \"namespace\": \"default\",\n      \"default-route\": [\"172.17.0.1\"]\n    }]'\nspec:\n  containers:\n  - name: samplepod-route\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"advance/multi-nic/#macvlan-pod_1","title":"\u521b\u5efa\u200b\u4e3b\u200b\u7f51\u5361\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u4f7f\u7528\u200b macvlan \u200b\u4f5c\u4e3a\u200b\u4e3b\u200b\u7f51\u5361\u200b\u7684\u200b Pod\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b annotation <code>v1.multus-cni.io/default-network</code>, \u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod-macvlan\n  namespace: default\n  annotations:\n    v1.multus-cni.io/default-network: default/macvlan\nspec:\n  containers:\n  - name: samplepod-macvlan\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"advance/multi-nic/#kube-ovn-subnetprovider-ovn","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet\uff08Provider ovn\uff09","text":"<p>\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet\uff0c\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>cidrBlock</code> \u200b\u548c\u200b <code>exclude_ips</code>, <code>provider</code> \u200b\u4e3a\u200b ovn\uff0c\u200b\u521b\u5efa\u200b Subnet \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: macvlan\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"advance/multi-nic/#pod_1","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u591a\u200b\u7f51\u7edc\u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u9700\u8981\u200b\u4ece\u200b <code>provider</code> \u200b\u7c7b\u578b\u200b\u4e3a\u200b ovn \u200b\u7684\u200b subnet \u200b\u4e2d\u200b\u83b7\u53d6\u200b IP \u200b\u7684\u200b Pod\uff0c\u200b\u9700\u200b\u5c06\u200b annotation <code>k8s.v1.cni.cncf.io/networks</code> \u200b\u548c\u200b <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/logical_switch</code> \u200b\u7ed3\u5408\u200b\u4f7f\u7528\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\n    macvlan.default.kubernetes.io/logical_switch: macvlan\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre> <ul> <li><code>k8s.v1.cni.cncf.io/networks</code>: \u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code></li> <li><code>macvlan.default.kubernetes.io/logical_switch</code>: \u200b\u53d6\u503c\u200b\u4e3a\u5b50\u200b\u7f51\u540d\u200b</li> </ul> <p>\u200b\u6ce8\u610f\u200b: \u200b\u901a\u8fc7\u200b<code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/logical_switch</code> \u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\u9ad8\u4e8e\u200b\u901a\u8fc7\u200b provider \u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u57fa\u4e8e\u200b ovn \u200b\u7c7b\u578b\u200b\u7684\u200b subnet \u200b\u63d0\u4f9b\u200b ipam \u200b\u540c\u6837\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b Pod\u3001\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u3001\u200b\u521b\u5efa\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod\uff0c\u200b\u4f46\u200b\u4e0d\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u4e3b\u200b\u7f51\u5361\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod\u3002</p>"},{"location":"advance/multi-nic/#kube-ovn","title":"\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7f51\u5361","text":"<p>\u200b\u6b64\u65f6\u200b\u591a\u5757\u200b\u7f51\u5361\u200b\u5747\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7f51\u5361\u200b\u3002</p>"},{"location":"advance/multi-nic/#networkattachmentdefinition_1","title":"\u521b\u5efa\u200b NetworkAttachmentDefinition","text":"<p>\u200b\u5c06\u200b <code>provider</code> \u200b\u7684\u200b\u540e\u7f00\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>ovn</code>\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: attachnet\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"attachnet.default.ovn\"\n    }'\n</code></pre> <ul> <li><code>spec.config.type</code>: \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>kube-ovn</code> \u200b\u6765\u200b\u89e6\u53d1\u200b CNI \u200b\u63d2\u4ef6\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u5b50\u7f51\u200b\u3002</li> <li><code>server_socket</code>: Kube-OVN \u200b\u901a\u4fe1\u200b\u4f7f\u7528\u200b\u7684\u200b socket \u200b\u6587\u4ef6\u200b\u3002 \u200b\u9ed8\u8ba4\u200b\u4f4d\u7f6e\u200b\u4e3a\u200b <code>/run/openvswitch/kube-ovn-daemon.sock</code>\u3002</li> <li><code>provider</code>: \u200b\u5f53\u524d\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;name&gt;.&lt;namespace&gt;.ovn</code> , Kube-OVN \u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u8fd9\u4e9b\u200b\u4fe1\u606f\u200b\u627e\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b Subnet \u200b\u8d44\u6e90\u200b\uff0c\u200b\u6ce8\u610f\u200b\u540e\u7f00\u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b ovn\u3002</li> </ul>"},{"location":"advance/multi-nic/#kube-ovn-subnet_1","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet","text":"<p>\u200b\u5982\u679c\u200b\u4ee5\u200b Kube-OVN \u200b\u4f5c\u4e3a\u200b\u9644\u52a0\u200b\u7f51\u5361\u200b\uff0c\u200b\u5219\u200b <code>provider</code> \u200b\u5e94\u8be5\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;name&gt;.&lt;namespace&gt;.ovn</code>\uff0c\u200b\u5e76\u200b\u8981\u200b\u4ee5\u200b <code>ovn</code> \u200b\u4f5c\u4e3a\u200b\u540e\u7f00\u200b\u7ed3\u675f\u200b\u3002 \u200b\u7528\u200b Kube-OVN \u200b\u63d0\u4f9b\u200b\u9644\u52a0\u200b\u7f51\u5361\u200b\uff0c\u200b\u521b\u5efa\u200b Subnet \u200b\u793a\u4f8b\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attachnet\nspec:\n  protocol: IPv4\n  provider: attachnet.default.ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"advance/multi-nic/#pod_2","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u591a\u200b\u7f51\u7edc\u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u5730\u5740\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u7684\u200b Pod\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b annotation <code>k8s.v1.cni.cncf.io/networks</code>, \u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"advance/multi-nic/#kube-ovn-subnetprovider-ovn_1","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet\uff08Provider ovn\uff09","text":"<p>\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet\uff0c\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>cidrBlock</code> \u200b\u548c\u200b <code>exclude_ips</code>, <code>provider</code> \u200b\u4e3a\u200b ovn\uff0c\u200b\u521b\u5efa\u200b Subnet \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attachnet\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"advance/multi-nic/#pod_3","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u591a\u200b\u7f51\u7edc\u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u9700\u8981\u200b\u4ece\u200b <code>provider</code> \u200b\u7c7b\u578b\u200b\u4e3a\u200b ovn \u200b\u7684\u200b subnet \u200b\u4e2d\u200b\u83b7\u53d6\u200b IP \u200b\u7684\u200b Pod\uff0c\u200b\u9700\u200b\u5c06\u200b annotation <code>k8s.v1.cni.cncf.io/networks</code> \u200b\u548c\u200b <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.ovn.kubernetes.io/logical_switch</code> \u200b\u7ed3\u5408\u200b\u4f7f\u7528\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\n    attachnet.default.ovn.kubernetes.io/logical_switch: attachnet\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre> <ul> <li><code>k8s.v1.cni.cncf.io/networks</code>: \u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code></li> <li><code>attachnet.default.ovn.kubernetes.io/logical_switch</code>: \u200b\u53d6\u503c\u200b\u4e3a\u5b50\u200b\u7f51\u540d\u200b</li> </ul> <p>\u200b\u6ce8\u610f\u200b: \u200b\u901a\u8fc7\u200b<code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/logical_switch</code> \u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\u9ad8\u4e8e\u200b\u901a\u8fc7\u200b provider \u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u5bf9\u4e8e\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7684\u200b Pod\uff0c\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b Pod\u3001\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u3001\u200b\u521b\u5efa\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod\uff0c\u200b\u540c\u65f6\u200b\u4e5f\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u4e3b\u200b\u7f51\u5361\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7684\u200b Pod\uff0c\u200b\u914d\u7f6e\u200b\u65b9\u5f0f\u200b\u53ef\u200b\u53c2\u8003\u200b\u4e0a\u200b\u4e00\u8282\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/nat-policy-rule/","title":"\u9ed8\u8ba4\u200b VPC NAT \u200b\u7b56\u7565\u200b\u89c4\u5219","text":""},{"location":"advance/nat-policy-rule/#_1","title":"\u7528\u9014","text":"<p>\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Overlay \u200b\u5b50\u7f51\u200b\uff0c\u200b\u6253\u5f00\u200b <code>natOutgoing</code> \u200b\u5f00\u5173\u200b\u65f6\u200b\uff0cSubnet \u200b\u4e0b\u200b\u7684\u200b\u6240\u6709\u200b Pod \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u90fd\u200b\u9700\u8981\u200b\u505a\u200b SNAT \u200b\u6210\u200b\u8282\u70b9\u200b\u7684\u200b IP\uff0c\u200b\u4f46\u662f\u200b\u6709\u4e9b\u200b\u573a\u666f\u200b\u6211\u4eec\u200b\u5e76\u200b\u4e0d\u200b\u5e0c\u671b\u200b\u5b50\u7f51\u200b\u5185\u200b\u6240\u6709\u200b Pod \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u90fd\u200b\u505a\u200b SNAT\u3002</p> <p>\u200b\u56e0\u6b64\u200b NAT \u200b\u7b56\u7565\u200b\u5c31\u662f\u200b\u4e3a\u4e86\u200b\u63d0\u4f9b\u200b\u4e00\u4e2a\u200b\u63a5\u53e3\u200b\u8ba9\u200b\u7528\u6237\u200b\u51b3\u5b9a\u200b\u5b50\u7f51\u200b\u5185\u200b\u7684\u200b\u54ea\u4e9b\u200b CIDR \u200b\u6216\u8005\u200b IP \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u505a\u200b SNAT\u3002</p>"},{"location":"advance/nat-policy-rule/#_2","title":"\u4f7f\u7528\u200b\u65b9\u6cd5","text":"<p>\u200b\u5728\u200b <code>subnet.Spec</code> \u200b\u4e2d\u200b\u5f00\u542f\u200b <code>natOutgoing</code> \u200b\u5f00\u5173\u200b\uff0c \u200b\u5e76\u4e14\u200b\u6dfb\u52a0\u200b\u5b57\u200b\u6bb5\u200b <code>natOutgoingPolicyRules</code> \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>spec:\n  natOutgoing: true\n  natOutgoingPolicyRules:\n    - action: forward\n      match:\n        srcIPs: 10.0.11.0/30,10.0.11.254\n    - action: nat\n      match:\n        srcIPs: 10.0.11.128/26\n        dstIPs: 114.114.114.114,8.8.8.8\n</code></pre> <p>\u200b\u4ee5\u4e0a\u200b\u6848\u4f8b\u200b\u8868\u793a\u200b\u6709\u200b\u4e24\u6761\u200b NAT \u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\uff1a</p> <ol> <li>\u200b\u6e90\u200b IP \u200b\u662f\u200b 10.0.11.0/30 \u200b\u6216\u8005\u200b 10.0.11.254  \u200b\u7684\u200b\u62a5\u6587\u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u65f6\u200b\u4e0d\u4f1a\u200b\u505a\u200b SNAT\u3002</li> <li>\u200b\u6e90\u200b IP \u200b\u662f\u200b 10.0.11.128/26 \u200b\u5e76\u4e14\u200b\u76ee\u7684\u200b IP \u200b\u662f\u200b 114.114.114.114 \u200b\u6216\u8005\u200b 8.8.8.8 \u200b\u7684\u200b\u62a5\u6587\u200b\u8bbf\u95ee\u200b\u5916\u200b\u7f51\u200b\u65f6\u4f1a\u200b\u505a\u200b SNAT\u3002</li> </ol> <p>\u200b\u5b57\u200b\u6bb5\u200b\u63cf\u8ff0\u200b\uff1a</p> <p><code>action</code>\uff1a\u200b\u6ee1\u8db3\u200b <code>match</code> \u200b\u5bf9\u5e94\u200b\u6761\u4ef6\u200b\u7684\u200b\u62a5\u6587\u200b\uff0c\u200b\u4f1a\u200b\u6267\u884c\u200b\u7684\u200b action, action \u200b\u5206\u4e3a\u200b\u4e24\u79cd\u200b <code>forward</code> \u200b\u548c\u200b <code>nat</code> \uff0c<code>forward</code> \u200b\u8868\u793a\u200b\u62a5\u6587\u200b\u51fa\u5916\u200b\u7f51\u4e0d\u505a\u200b SNAT, <code>nat</code> \u200b\u8868\u793a\u200b\u62a5\u6587\u200b\u51fa\u5916\u200b\u7f51\u505a\u200b SNAT\u3002 \u200b\u6ca1\u6709\u200b\u914d\u7f6e\u200b natOutgoingPolicyRules \u200b\u65f6\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u62a5\u6587\u200b\u4ecd\u7136\u200b\u662f\u200b\u505a\u200b SNAT\u3002</p> <p><code>match</code>\uff1a\u200b\u8868\u793a\u200b\u62a5\u6587\u200b\u7684\u200b\u5339\u914d\u6bb5\u200b\uff0c\u200b\u5339\u914d\u6bb5\u200b\u6709\u200b <code>srcIPs</code> \u200b\u548c\u200b <code>dstIPs</code>\uff0c \u200b\u8fd9\u91cc\u200b\u8868\u793a\u200b\u4ece\u200b\u5b50\u7f51\u200b\u5185\u5230\u200b\u5916\u7f51\u200b\u65b9\u5411\u200b\u4e0a\u200b\u7684\u200b\u62a5\u6587\u200b\u7684\u200b\u6e90\u200b IP \u200b\u548c\u200b \u200b\u76ee\u7684\u200b IP\u3002<code>match.srcIPs</code> \u200b\u548c\u200b <code>match.dstIPs</code> \u200b\u652f\u6301\u200b\u591a\u4e2a\u200b CIDR \u200b\u548c\u200b IP\uff0c\u200b\u4e4b\u95f4\u200b\u7528\u200b\u9017\u53f7\u200b\u95f4\u9694\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u51fa\u73b0\u200b\u591a\u4e2a\u200b match \u200b\u89c4\u5219\u200b\u91cd\u53e0\u200b\uff0c\u200b\u5219\u200b\u6309\u7167\u200b <code>natOutgoingPolicyRules</code> \u200b\u6570\u7ec4\u200b\u987a\u5e8f\u200b\u8fdb\u884c\u200b\u5339\u914d\u200b\uff0c\u200b\u6700\u5148\u200b\u88ab\u200b\u5339\u914d\u200b\u7684\u200b action \u200b\u4f1a\u200b\u88ab\u200b\u6267\u884c\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/node-local-dns/","title":"\u8282\u70b9\u200b\u672c\u5730\u200b DNS \u200b\u7f13\u5b58\u200b\u548c\u200b Kube-OVN \u200b\u9002\u914d","text":"<p>NodeLocal DNSCache \u200b\u662f\u200b\u901a\u8fc7\u200b\u96c6\u7fa4\u200b\u8282\u70b9\u200b\u4e0a\u200b\u4f5c\u4e3a\u200b DaemonSet \u200b\u8fd0\u884c\u200b DNS \u200b\u7f13\u5b58\u200b\u6765\u200b\u63d0\u9ad8\u200b\u96c6\u7fa4\u200b DNS \u200b\u6027\u80fd\u200b\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u548c\u200b Kube-OVN \u200b\u9002\u914d\u200b\u3002</p>"},{"location":"advance/node-local-dns/#dns","title":"\u8282\u70b9\u200b\u672c\u5730\u200b DNS \u200b\u7f13\u5b58\u200b\u90e8\u7f72","text":""},{"location":"advance/node-local-dns/#kubernetes-dns","title":"\u90e8\u7f72\u200b Kubernetes \u200b\u7684\u200b\u8282\u70b9\u200b\u672c\u5730\u200b DNS \u200b\u7f13\u5b58","text":"<p>\u200b\u8be5\u200b\u6b65\u9aa4\u200b\u53c2\u8003\u200b Kubernetes \u200b\u5b98\u7f51\u200b\u914d\u7f6e\u200b Nodelocaldnscache\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u200b\u811a\u672c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>#!bin/bash\n\nlocaldns=169.254.20.10\ndomain=cluster.local\nkubedns=10.96.0.10\n\nwget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/dns/nodelocaldns/nodelocaldns.yaml\nsed -i \"s/__PILLAR__LOCAL__DNS__/$localdns/g; s/__PILLAR__DNS__DOMAIN__/$domain/g; s/,__PILLAR__DNS__SERVER__//g; s/__PILLAR__CLUSTER__DNS__/$kubedns/g\" nodelocaldns.yaml\n\nkubectl apply -f nodelocaldns.yaml\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u7684\u200b kubelet \u200b\u914d\u7f6e\u6587\u4ef6\u200b\uff0c\u200b\u5c06\u200b <code>/var/lib/kubelet/config.yaml</code> \u200b\u4e2d\u200b\u7684\u200b clusterDNS \u200b\u5b57\u200b\u6bb5\u200b\u4fee\u6539\u200b\u4e3a\u200b\u672c\u5730\u200b DNS IP 169.254.20.10\uff0c\u200b\u7136\u540e\u200b\u91cd\u542f\u200b kubelet \u200b\u670d\u52a1\u200b\u3002</p>"},{"location":"advance/node-local-dns/#kube-ovn-dns","title":"Kube-OVN \u200b\u76f8\u5e94\u200b DNS \u200b\u914d\u7f6e","text":"<p>\u200b\u90e8\u7f72\u200b\u597d\u200b Kubernetes \u200b\u7684\u200b Nodelocal DNScache \u200b\u7ec4\u4ef6\u200b\u540e\u200b\uff0c Kube-OVN \u200b\u9700\u8981\u200b\u505a\u51fa\u200b\u4e0b\u9762\u200b\u4fee\u6539\u200b\uff1a</p>"},{"location":"advance/node-local-dns/#underlay-subnet-u2o","title":"Underlay Subnet \u200b\u5f00\u542f\u200b U2O \u200b\u5f00\u5173","text":"<p>\u200b\u5982\u679c\u200b\u662f\u200b Underlay Subnet \u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u672c\u5730\u200b DNS \u200b\u529f\u80fd\u200b\uff0c\u200b\u9700\u8981\u200b\u5f00\u542f\u200b U2O \u200b\u529f\u80fd\u200b\uff0c\u200b\u5373\u200b\u5728\u200b <code>kubectl edit subnet {your subnet}</code> \u200b\u4e2d\u200b\u914d\u7f6e\u200b <code>spec.u2oInterconnection = true</code> , \u200b\u5982\u679c\u200b\u662f\u200b Overlay Subnet \u200b\u5219\u200b\u4e0d\u200b\u9700\u8981\u200b\u8fd9\u6b65\u200b\u64cd\u4f5c\u200b\u3002</p>"},{"location":"advance/node-local-dns/#kube-ovn-controller-dns-ip","title":"\u7ed9\u200b Kube-ovn-controller \u200b\u6307\u5b9a\u200b\u5bf9\u5e94\u200b\u7684\u200b\u672c\u5730\u200b DNS IP","text":"<pre><code>kubectl edit deployment kube-ovn-controller -n kube-system\n</code></pre> <p>\u200b\u7ed9\u200b <code>spec.template.spec.containers.args</code> \u200b\u589e\u52a0\u200b\u5b57\u200b\u6bb5\u200b <code>--node-local-dns-ip=169.254.20.10</code></p>"},{"location":"advance/node-local-dns/#pod","title":"\u91cd\u5efa\u200b\u5df2\u7ecf\u200b\u521b\u5efa\u200b\u7684\u200b Pod","text":"<p>\u200b\u8fd9\u6b65\u200b\u539f\u56e0\u200b\u662f\u200b\u8ba9\u200b Pod \u200b\u91cd\u65b0\u200b\u751f\u6210\u200b <code>/etc/resolv.conf</code> \u200b\u8ba9\u200b nameserver \u200b\u6307\u5411\u200b\u672c\u5730\u200b DNS IP\uff0c\u200b\u5982\u679c\u200b\u6ca1\u6709\u200b\u91cd\u5efa\u200b Pod \u200b\u7684\u200b nameserver \u200b\u5c06\u200b\u4ecd\u7136\u200b\u4f7f\u7528\u200b\u96c6\u7fa4\u200b\u7684\u200b DNS ClusterIP\u3002\u200b\u540c\u65f6\u200b u2o \u200b\u5f00\u5173\u200b\u5982\u679c\u200b\u5f00\u542f\u200b\u4e5f\u200b\u9700\u8981\u200b\u91cd\u5efa\u200b Pod \u200b\u6765\u200b\u91cd\u65b0\u200b\u751f\u6210\u200b Pod \u200b\u7f51\u5173\u200b\u3002</p>"},{"location":"advance/node-local-dns/#dns_1","title":"\u9a8c\u8bc1\u200b\u8282\u70b9\u200b\u672c\u5730\u200b DNS \u200b\u7f13\u5b58\u200b\u529f\u80fd","text":"<p>\u200b\u4ee5\u4e0a\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b\u540e\u200b\u53ef\u4ee5\u200b\u627e\u5230\u200b Pod \u200b\u9a8c\u8bc1\u200b\u5982\u4e0b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b Pod \u200b\u7684\u200b DNS \u200b\u670d\u52a1\u5668\u200b\u662f\u200b\u6307\u5411\u200b\u672c\u5730\u200b 169.254.20.10 \uff0c\u200b\u5e76\u200b\u6210\u529f\u200b\u89e3\u6790\u200b\u57df\u540d\u200b\uff1a</p> <pre><code># kubectl exec -it pod1 -- nslookup github.com\nServer:         169.254.20.10\nAddress:        169.254.20.10:53\n\n\nName:   github.com\nAddress: 20.205.243.166\n</code></pre> <p>\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u5728\u200b\u8282\u70b9\u200b\u6293\u5305\u200b\u9a8c\u8bc1\u200b\u5982\u4e0b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b DNS \u200b\u67e5\u8be2\u200b\u62a5\u6587\u200b\u901a\u8fc7\u200b ovn0 \u200b\u7f51\u5361\u200b\u5230\u8fbe\u200b\u672c\u5730\u200b\u7684\u200b DNS \u200b\u670d\u52a1\u200b\uff0cDNS \u200b\u54cd\u5e94\u200b\u62a5\u6587\u200b\u539f\u200b\u8def\u200b\u8fd4\u56de\u200b:</p> <pre><code># tcpdump -i any port 53\n\n06:20:00.441889 659246098c56_h P   ifindex 17 00:00:00:73:f1:06 ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1291+ A? baidu.com. (27)\n06:20:00.441889 ovn0  In  ifindex 7 00:00:00:50:32:cd ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1291+ A? baidu.com. (27)\n06:20:00.441950 659246098c56_h P   ifindex 17 00:00:00:73:f1:06 ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1611+ AAAA? baidu.com. (27)\n06:20:00.441950 ovn0  In  ifindex 7 00:00:00:50:32:cd ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1611+ AAAA? baidu.com. (27)\n06:20:00.442203 ovn0  Out ifindex 7 00:00:00:52:99:d8 ethertype IPv4 (0x0800), length 145: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1611* 0/1/0 (97)\n06:20:00.442219 659246098c56_h Out ifindex 17 00:00:00:ea:b3:5e ethertype IPv4 (0x0800), length 145: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1611* 0/1/0 (97)\n06:20:00.442273 ovn0  Out ifindex 7 00:00:00:52:99:d8 ethertype IPv4 (0x0800), length 125: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1291* 2/0/0 A 39.156.66.10, A 110.242.68.66 (77)\n06:20:00.442278 659246098c56_h Out ifindex 17 00:00:00:ea:b3:5e ethertype IPv4 (0x0800), length 125: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1291* 2/0/0 A 39.156.66.10, A 110.242.68.66 (77)\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/offload-corigine/","title":"\u82af\u542f\u6e90\u200b\u7f51\u5361\u200b Offload \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u5728\u200b\u6700\u7ec8\u200b\u7684\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u4f7f\u7528\u200b OVS \u200b\u6765\u200b\u5b8c\u6210\u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u76f8\u5173\u200b\u7684\u200b\u6d41\u8868\u200b\u5339\u914d\u200b\uff0c\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u7b49\u200b\u529f\u80fd\u200b\u4e3a\u200b CPU \u200b\u5bc6\u96c6\u578b\u200b\uff0c\u200b\u5728\u200b\u5927\u200b\u6d41\u91cf\u200b\u4e0b\u4f1a\u200b\u6d88\u8017\u200b\u5927\u91cf\u200b CPU \u200b\u8d44\u6e90\u200b\u5e76\u200b\u5bfc\u81f4\u200b \u200b\u5ef6\u8fdf\u200b\u4e0a\u5347\u200b\u548c\u200b\u541e\u5410\u91cf\u200b\u4e0b\u964d\u200b\u3002\u200b\u82af\u542f\u6e90\u200b\u7684\u200b Agilio CX \u200b\u7cfb\u5217\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b\u53ef\u4ee5\u200b\u5c06\u200b OVS \u200b\u76f8\u5173\u200b\u7684\u200b\u64cd\u4f5c\u200b\u5378\u8f7d\u200b\u5230\u200b\u786c\u4ef6\u200b\u7f51\u5361\u200b\u4e2d\u200b\u6267\u884c\u200b\u3002 \u200b\u8be5\u200b\u6280\u672f\u200b\u53ef\u4ee5\u200b\u5728\u200b\u65e0\u9700\u200b\u5bf9\u200b OVS \u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7f29\u77ed\u200b\u6570\u636e\u200b\u8def\u5f84\u200b\uff0c\u200b\u907f\u514d\u200b\u5bf9\u200b\u4e3b\u673a\u200b CPU \u200b\u8d44\u6e90\u200b\u7684\u200b\u4f7f\u7528\u200b\uff0c\u200b\u5927\u5e45\u200b\u964d\u4f4e\u200b\u5ef6\u8fdf\u200b\u5e76\u200b\u663e\u8457\u200b\u63d0\u5347\u200b\u541e\u5410\u91cf\u200b\u3002</p> <p></p>"},{"location":"advance/offload-corigine/#_1","title":"\u524d\u7f6e\u6761\u4ef6","text":"<ul> <li>\u200b\u82af\u542f\u6e90\u200b Agilio CX \u200b\u7cfb\u5217\u200b\u7684\u200b\u786c\u4ef6\u200b\u7f51\u5361\u200b\u3002</li> <li>CentOS 8 Stream \u200b\u6216\u200b\u4e0a\u6e38\u200b Linux 5.7 \u200b\u4ee5\u4e0a\u200b\u5185\u6838\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u5f53\u524d\u200b\u7f51\u5361\u200b\u4e0d\u200b\u652f\u6301\u200b <code>dp_hash</code> \u200b\u548c\u200b <code>hash</code> \u200b\u64cd\u4f5c\u200b\u5378\u8f7d\u200b\uff0c\u200b\u9700\u200b\u5173\u95ed\u200b OVN LB \u200b\u529f\u80fd\u200b\u3002</li> </ul>"},{"location":"advance/offload-corigine/#sr-iov","title":"\u8bbe\u7f6e\u200b\u7f51\u5361\u200b SR-IOV \u200b\u6a21\u5f0f","text":"<p>\u200b\u7528\u6237\u200b\u53ef\u200b\u53c2\u8003\u200b Agilio Open vSwitch TC User Guide \u200b\u83b7\u5f97\u200b\u8be5\u200b\u7f51\u5361\u200b\u4f7f\u7528\u200b\u7684\u200b\u66f4\u200b\u591a\u200b\u8be6\u7ec6\u4fe1\u606f\u200b\u3002</p> <p>\u200b\u4fdd\u5b58\u200b\u4e0b\u5217\u200b\u811a\u672c\u200b\u7528\u4e8e\u200b\u540e\u7eed\u200b\u6267\u884c\u200b\u56fa\u4ef6\u200b\u76f8\u5173\u200b\u64cd\u4f5c\u200b\uff1a</p> <pre><code>#!/bin/bash\nDEVICE=${1}\nDEFAULT_ASSY=scan\nASSY=${2:-${DEFAULT_ASSY}}\nAPP=${3:-flower}\n\nif [ \"x${DEVICE}\" = \"x\" -o ! -e /sys/class/net/${DEVICE} ]; then\n    echo Syntax: ${0} device [ASSY] [APP]\n    echo\n    echo This script associates the TC Offload firmware\n    echo with a Netronome SmartNIC.\n    echo\n    echo device: is the network device associated with the SmartNIC\n    echo ASSY: defaults to ${DEFAULT_ASSY}\n    echo APP: defaults to flower. flower-next is supported if updated\n    echo      firmware has been installed.\n    exit 1\nfi\n\n# It is recommended that the assembly be determined by inspection\n# The following code determines the value via the debug interface\nif [ \"${ASSY}x\" = \"scanx\" ]; then\n    ethtool -W ${DEVICE} 0\n    DEBUG=$(ethtool -w ${DEVICE} data /dev/stdout | strings)\n    SERIAL=$(echo \"${DEBUG}\" | grep \"^SN:\")\n    ASSY=$(echo ${SERIAL} | grep -oE AMDA[0-9]{4})\nfi\n\nPCIADDR=$(basename $(readlink -e /sys/class/net/${DEVICE}/device))\nFWDIR=\"/lib/firmware/netronome\"\n\n# AMDA0081 and AMDA0097 uses the same firmware\nif [ \"${ASSY}\" = \"AMDA0081\" ]; then\n    if [ ! -e ${FWDIR}/${APP}/nic_AMDA0081.nffw ]; then\n       ln -sf nic_AMDA0097.nffw ${FWDIR}/${APP}/nic_AMDA0081.nffw\n   fi\nfi\n\nFW=\"${FWDIR}/pci-${PCIADDR}.nffw\"\nln -sf \"${APP}/nic_${ASSY}.nffw\" \"${FW}\"\n\n# insert distro-specific initramfs section here...\n</code></pre> <p>\u200b\u5207\u6362\u200b\u56fa\u4ef6\u200b\u9009\u9879\u200b\u5e76\u200b\u91cd\u8f7d\u200b\u9a71\u52a8\u200b\uff1a</p> <pre><code>./agilio-tc-fw-select.sh ens47np0 scan\nrmmod nfp\nmodprobe nfp\n</code></pre> <p>\u200b\u68c0\u67e5\u200b\u53ef\u7528\u200b VF \u200b\u6570\u91cf\u200b\uff0c\u200b\u5e76\u200b\u521b\u5efa\u200b VF\uff1a</p> <pre><code># cat /sys/class/net/ens3/device/sriov_totalvfs\n65\n\n# echo 4 &gt; /sys/class/net/ens47/device/sriov_numvfs\n</code></pre>"},{"location":"advance/offload-corigine/#sr-iov-device-plugin","title":"\u5b89\u88c5\u200b SR-IOV Device Plugin","text":"<p>\u200b\u7531\u4e8e\u200b\u6bcf\u4e2a\u200b\u673a\u5668\u200b\u7684\u200b VF \u200b\u6570\u91cf\u200b\u6709\u9650\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u4f7f\u7528\u200b\u52a0\u901f\u200b\u7684\u200b Pod \u200b\u4f1a\u200b\u5360\u7528\u200b VF \u200b\u8d44\u6e90\u200b\uff0c\u200b\u6211\u4eec\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b SR-IOV Device Plugin \u200b\u7ba1\u7406\u200b\u76f8\u5e94\u200b\u8d44\u6e90\u200b\uff0c\u200b\u4f7f\u5f97\u200b\u8c03\u5ea6\u200b\u5668\u200b\u77e5\u9053\u200b\u5982\u4f55\u200b\u6839\u636e\u200b \u200b\u8d44\u6e90\u200b\u8fdb\u884c\u200b\u8c03\u5ea6\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b SR-IOV \u200b\u76f8\u5173\u200b Configmap\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: sriovdp-config\n  namespace: kube-system\ndata:\n  config.json: |\n    {\n      \"resourceList\": [{\n          \"resourcePrefix\": \"corigine.com\",\n          \"resourceName\": \"agilio_sriov\",\n          \"selectors\": {\n                  \"vendors\": [\"19ee\"],\n                  \"devices\": [\"6003\"],\n                  \"drivers\": [\"nfp_netvf\"]\n              }\n      }\n      ]\n    }\n</code></pre> <p>\u200b\u53c2\u8003\u200b SR-IOV \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b:</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/intel/sriov-network-device-plugin/master/deployments/k8s-v1.16/sriovdp-daemonset.yaml\n</code></pre> <p>\u200b\u68c0\u67e5\u200b SR-IOV \u200b\u8d44\u6e90\u200b\u662f\u5426\u200b\u5df2\u7ecf\u200b\u6ce8\u518c\u200b\u5230\u200b Kubernetes Node \u200b\u4e2d\u200b\uff1a</p> <pre><code>kubectl describe no containerserver  | grep corigine\n\ncorigine.com/agilio_sriov:  4\ncorigine.com/agilio_sriov:  4\ncorigine.com/agilio_sriov  0           0\n</code></pre>"},{"location":"advance/offload-corigine/#multus-cni","title":"\u5b89\u88c5\u200b Multus-CNI","text":"<p>SR-IOV Device Plugin \u200b\u8c03\u5ea6\u200b\u65f6\u200b\u83b7\u5f97\u200b\u7684\u200b\u8bbe\u5907\u200b ID \u200b\u9700\u8981\u200b\u901a\u8fc7\u200b Multus-CNI \u200b\u4f20\u9012\u200b\u7ed9\u200b Kube-OVN\uff0c\u200b\u56e0\u6b64\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b Multus-CNI \u200b\u914d\u5408\u200b\u5b8c\u6210\u200b\u76f8\u5173\u200b\u4efb\u52a1\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b Multus-CNI \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/multus-cni/master/deployments/multus-daemonset.yml\n</code></pre> <p>\u200b\u521b\u5efa\u200b <code>NetworkAttachmentDefinition</code>\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: default\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/resourceName: corigine.com/agilio_sriov\nspec:\n  config: '{\n    \"cniVersion\": \"0.3.1\",\n    \"name\": \"kube-ovn\",\n    \"plugins\":[\n        {\n            \"type\":\"kube-ovn\",\n            \"server_socket\":\"/run/openvswitch/kube-ovn-daemon.sock\",\n            \"provider\": \"default.default.ovn\"\n        },\n        {\n            \"type\":\"portmap\",\n            \"capabilities\":{\n                \"portMappings\":true\n            }\n        }\n    ]\n}'\n</code></pre> <ul> <li><code>provider</code>: \u200b\u683c\u5f0f\u200b\u4e3a\u200b\u5f53\u524d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {name}.{namespace}.ovn\u3002</li> </ul>"},{"location":"advance/offload-corigine/#kube-ovn","title":"Kube-OVN \u200b\u4e2d\u200b\u5f00\u542f\u200b\u5378\u8f7d\u200b\u6a21\u5f0f","text":"<p>\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/alauda/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\uff0c<code>IFACE</code> \u200b\u9700\u8981\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u8be5\u200b\u7f51\u5361\u200b\u9700\u8981\u200b\u6709\u200b\u53ef\u200b\u8def\u7531\u200b IP\uff1a</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"ensp01\"\n</code></pre> <p>\u200b\u5b89\u88c5\u200b Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"advance/offload-corigine/#vf-pod","title":"\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u7f51\u5361\u200b\u7684\u200b Pod","text":"<p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b yaml \u200b\u683c\u5f0f\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx\n  namespace: default\n  annotations:\n    v1.multus-cni.io/default-network: default/default\nspec:\n  containers:\n    - name: nginx\n      image: docker.io/library/nginx:alpine\n      resources:\n        requests:\n          corigine.com/agilio_sriov: '1'\n        limits:\n          corigine.com/agilio_sriov: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: \u200b\u4e3a\u200b\u4e0a\u200b\u4e00\u200b\u6b65\u9aa4\u200b\u4e2d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {namespace}/{name}\u3002</li> </ul> <p>\u200b\u53ef\u200b\u901a\u8fc7\u200b\u5728\u200b Pod \u200b\u8fd0\u884c\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\u4e2d\u200b\u8fd0\u884c\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u89c2\u5bdf\u200b\u5378\u8f7d\u200b\u662f\u5426\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># ovs-appctl dpctl/dump-flows -m type=offloaded\nufid:91cc45de-e7e9-4935-8f82-1890430b0f66, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(5b45c61b307e_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:c5:6d:4e,dst=00:00:00:e7:16:ce),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:941539, bytes:62142230, used:0.260s, offloaded:yes, dp:tc, actions:54235e5753b8_h\nufid:e00768d7-e652-4d79-8182-3291d852b791, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(54235e5753b8_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:e7:16:ce,dst=00:00:00:c5:6d:4e),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:82386659, bytes:115944854173, used:0.260s, offloaded:yes, dp:tc, actions:5b45c61b307e_h\n</code></pre> <p>\u200b\u5982\u679c\u200b\u6709\u200b <code>offloaded:yes, dp:tc</code> \u200b\u5185\u5bb9\u200b\u8bc1\u660e\u200b\u5378\u8f7d\u200b\u6210\u529f\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/offload-mellanox/","title":"Mellanox \u200b\u7f51\u5361\u200b Offload \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u5728\u200b\u6700\u7ec8\u200b\u7684\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u4f7f\u7528\u200b OVS \u200b\u6765\u200b\u5b8c\u6210\u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u76f8\u5173\u200b\u7684\u200b\u6d41\u8868\u200b\u5339\u914d\u200b\uff0c\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u7b49\u200b\u529f\u80fd\u200b\u4e3a\u200b CPU \u200b\u5bc6\u96c6\u578b\u200b\uff0c\u200b\u5728\u200b\u5927\u200b\u6d41\u91cf\u200b\u4e0b\u4f1a\u200b\u6d88\u8017\u200b\u5927\u91cf\u200b CPU \u200b\u8d44\u6e90\u200b\u5e76\u200b\u5bfc\u81f4\u200b \u200b\u5ef6\u8fdf\u200b\u4e0a\u5347\u200b\u548c\u200b\u541e\u5410\u91cf\u200b\u4e0b\u964d\u200b\u3002Mellanox \u200b\u7684\u200b Accelerated Switching And Packet Processing (ASAP\u00b2) \u200b\u6280\u672f\u200b\u53ef\u4ee5\u200b\u5c06\u200b OVS \u200b\u76f8\u5173\u200b\u7684\u200b\u64cd\u4f5c\u200b\u5378\u8f7d\u200b\u5230\u200b\u786c\u4ef6\u200b\u7f51\u5361\u200b\u5185\u200b\u7684\u200b eSwitch \u200b\u4e0a\u200b\u6267\u884c\u200b\u3002\u200b\u8be5\u200b\u6280\u672f\u200b\u53ef\u4ee5\u200b\u5728\u200b\u65e0\u9700\u200b\u5bf9\u200b OVS \u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7f29\u77ed\u200b\u6570\u636e\u200b\u8def\u5f84\u200b\uff0c\u200b\u907f\u514d\u200b\u5bf9\u200b\u4e3b\u673a\u200b CPU \u200b\u8d44\u6e90\u200b\u7684\u200b\u4f7f\u7528\u200b\uff0c\u200b\u5927\u5e45\u200b\u964d\u4f4e\u200b\u5ef6\u8fdf\u200b\u5e76\u200b\u663e\u8457\u200b\u63d0\u5347\u200b\u541e\u5410\u91cf\u200b\u3002</p> <p></p>"},{"location":"advance/offload-mellanox/#_1","title":"\u524d\u7f6e\u6761\u4ef6","text":"<ul> <li>Mellanox CX5/CX6/CX7/BlueField \u200b\u7b49\u200b\u652f\u6301\u200b ASAP\u00b2 \u200b\u7684\u200b\u786c\u4ef6\u200b\u7f51\u5361\u200b\u3002</li> <li>CentOS 8 Stream \u200b\u6216\u200b\u4e0a\u6e38\u200b Linux 5.7 \u200b\u4ee5\u4e0a\u200b\u5185\u6838\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u5f53\u524d\u200b\u7f51\u5361\u200b\u4e0d\u200b\u652f\u6301\u200b <code>dp_hash</code> \u200b\u548c\u200b <code>hash</code> \u200b\u64cd\u4f5c\u200b\u5378\u8f7d\u200b\uff0c\u200b\u9700\u200b\u5173\u95ed\u200b OVN LB \u200b\u529f\u80fd\u200b\u3002</li> <li>\u200b\u4e3a\u4e86\u200b\u914d\u7f6e\u200b\u5378\u8f7d\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u7f51\u5361\u200b\u4e0d\u80fd\u200b\u7ed1\u5b9a\u200b bond\u3002</li> </ul>"},{"location":"advance/offload-mellanox/#sr-iov-device-plugin","title":"\u914d\u7f6e\u200b SR-IOV \u200b\u548c\u200b Device Plugin","text":"<p>Mellanox \u200b\u7f51\u5361\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u914d\u7f6e\u200b offload \u200b\u7684\u200b\u65b9\u5f0f\u200b\uff0c\u200b\u4e00\u79cd\u200b\u624b\u52a8\u200b\u914d\u7f6e\u200b\u7f51\u5361\u200b SR-IOV \u200b\u548c\u200b Device Plugin\uff0c\u200b\u53e6\u200b\u4e00\u79cd\u200b\u901a\u8fc7\u200b sriov-network-operator \u200b\u8fdb\u884c\u200b\u81ea\u52a8\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"advance/offload-mellanox/#sr-iov-device-plugin_1","title":"\u624b\u52a8\u200b\u914d\u7f6e\u200b SR-IOV \u200b\u548c\u200b Device Plugin","text":""},{"location":"advance/offload-mellanox/#sr-iov","title":"\u914d\u7f6e\u200b SR-IOV","text":"<p>\u200b\u67e5\u8be2\u200b\u7f51\u5361\u200b\u7684\u200b\u8bbe\u5907\u200b ID\uff0c\u200b\u4e0b\u9762\u200b\u7684\u200b\u4f8b\u5b50\u200b\u4e2d\u4e3a\u200b <code>84:00.0</code> \u200b\u548c\u200b <code>84.00.1</code>\uff1a</p> <pre><code># lspci -nn | grep ConnectX-5\n84:00.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n84:00.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n</code></pre> <p>\u200b\u6839\u636e\u200b\u8bbe\u5907\u200b ID \u200b\u627e\u5230\u200b\u5bf9\u5e94\u200b\u7f51\u5361\u200b\uff1a</p> <pre><code># ls -l /sys/class/net/ | grep 84:00.0\nlrwxrwxrwx 1 root root 0 Feb 4 16:16 enp132s0f0np0 -&gt; ../../devices/pci0000:80/0000:80:08.0/0000:84:00.0/net/enp132s0f0np0\n# ls -l /sys/class/net/ | grep 84:00.1\nlrwxrwxrwx 1 root root 0 Feb 4 16:16 enp132s0f1np1 -&gt; ../../devices/pci0000:80/0000:80:08.0/0000:84:00.1/net/enp132s0f1np1\n</code></pre> <p>\u200b\u68c0\u67e5\u200b\u7f51\u5361\u200b\u662f\u5426\u200b\u7ed1\u5b9a\u200b bond\uff1a</p> <p>\u200b\u672c\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u7f51\u5361\u200b enp132s0f0np0 \u200b\u548c\u200b enp132s0f1np1 \u200b\u7ed1\u5b9a\u200b bond1</p> <pre><code># ip link show enp132s0f0np0 | grep bond\n160: enp132s0f0np0: &lt;BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP&gt; mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000\n# ip link show enp132s0f1np1 | grep bond\n169: enp132s0f1np1: &lt;BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP&gt; mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000\n</code></pre> <p>\u200b\u79fb\u9664\u200b bond \u200b\u548c\u200b\u73b0\u6709\u200b\u7684\u200b VF\uff1a</p> <pre><code>ifenslave -d bond1 enp132s0f0np0\nifenslave -d bond1 enp132s0f1np1\necho 0 &gt; /sys/class/net/enp132s0f0np0/device/sriov_numvfs\necho 0 &gt; /sys/class/net/enp132s0f1np1/device/sriov_numvfs\nip link set enp132s0f0np0 down\nip link set enp132s0f1np1 down\n</code></pre> <p>\u200b\u914d\u7f6e\u200b\u89c4\u5219\u200b\u4e0b\u53d1\u200b\u6a21\u5f0f\u200b\uff1a</p> <p>OVS \u200b\u5185\u6838\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u89c4\u5219\u200b\u63d2\u5165\u200b\u786c\u4ef6\u200b\u7684\u200b\u6a21\u5f0f\u200b\uff1aSMFS \u200b\u548c\u200b DMFS</p> <ul> <li>SMFS (software-managed flow steering)\uff1a\u200b\u9ed8\u8ba4\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u89c4\u5219\u200b\u7531\u200b\u8f6f\u4ef6\u200b\uff08\u200b\u9a71\u52a8\u7a0b\u5e8f\u200b\uff09\u200b\u76f4\u63a5\u63d2\u5165\u200b\u786c\u4ef6\u200b\u3002\u200b\u8fd9\u79cd\u200b\u6a21\u5f0f\u200b\u5bf9\u200b\u89c4\u5219\u200b\u63d2\u5165\u200b\u8fdb\u884c\u200b\u4e86\u200b\u4f18\u5316\u200b\u3002</li> <li>DMFS (device-managed flow steering)\uff1a\u200b\u89c4\u5219\u200b\u63d2\u5165\u200b\u662f\u200b\u901a\u8fc7\u200b\u56fa\u4ef6\u200b\u547d\u4ee4\u200b\u5b8c\u6210\u200b\u7684\u200b\u3002\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u9488\u5bf9\u200b\u7cfb\u7edf\u200b\u4e2d\u200b\u5c11\u91cf\u200b\u89c4\u5219\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u8fdb\u884c\u200b\u4e86\u200b\u4f18\u5316\u200b\u3002</li> </ul> <p>\u200b\u53ef\u200b\u5728\u200b\u652f\u6301\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u7684\u200b\u5185\u6838\u200b\u4e2d\u200b\u901a\u8fc7\u200b sysfs \u200b\u6216\u200b devlink API \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code># \u200b\u901a\u8fc7\u200b sysfs \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\necho &lt;smfs|dmfs&gt; &gt; /sys/class/net/enp132s0f0np0/compat/devlink/steering_mode\necho &lt;smfs|dmfs&gt; &gt; /sys/class/net/enp132s0f1np1/compat/devlink/steering_mode\n# \u200b\u901a\u8fc7\u200b devlink \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\ndevlink dev param set pci/84:00.0 name flow_steering_mode value smfs cmode runtime\ndevlink dev param set pci/84:00.1 name flow_steering_mode value smfs cmode runtime\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u82e5\u200b\u4e0d\u200b\u4e86\u89e3\u200b\u5e94\u8be5\u200b\u9009\u62e9\u200b\u54ea\u4e2a\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u5219\u200b\u53ef\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u65e0\u9700\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u68c0\u67e5\u200b\u53ef\u7528\u200b VF \u200b\u6570\u91cf\u200b\uff1a</p> <pre><code># cat /sys/class/net/enp132s0f0np0/device/sriov_totalvfs\n127\n# cat /sys/class/net/enp132s1f0np1/device/sriov_totalvfs\n127\n</code></pre> <p>\u200b\u521b\u5efa\u200b VF\uff0c\u200b\u603b\u6570\u200b\u4e0d\u8981\u200b\u8d85\u8fc7\u200b\u4e0a\u9762\u200b\u67e5\u8be2\u200b\u51fa\u200b\u7684\u200b\u6570\u91cf\u200b\uff1a</p> <pre><code># echo '4' &gt; /sys/class/net/enp132s0f0np0/device/sriov_numvfs\n# echo '4' &gt; /sys/class/net/enp132s1f0np1/device/sriov_numvfs\n# ip link show enp132s0f0np0\n160: enp132s0f0np0: &lt;NO-CARRIER,BROADCAST,MULTICAST,UP&gt; mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000\n    link/ether 08:c0:eb:74:c3:4a brd ff:ff:ff:ff:ff:ff\n    vf 0 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 1 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 2 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 3 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n# ip link show enp132s0f1np1\n169: enp132s0f1np1: &lt;NO-CARRIER,BROADCAST,MULTICAST,UP&gt; mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000\n    link/ether 08:c0:eb:74:c3:4b brd ff:ff:ff:ff:ff:ff\n    vf 0 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 1 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 2 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 3 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n# ip link set enp132s0f0np0 up\n# ip link set enp132s0f1np1 up\n</code></pre> <p>\u200b\u627e\u5230\u200b\u4e0a\u8ff0\u200b VF \u200b\u5bf9\u5e94\u200b\u7684\u200b\u8bbe\u5907\u200b ID\uff1a</p> <pre><code># lspci -nn | grep ConnectX-5 | grep Virtual\n84:00.2 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.3 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.4 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.5 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.6 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.7 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:01.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:01.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n</code></pre> <p>\u200b\u5c06\u200b VF \u200b\u4ece\u200b\u9a71\u52a8\u200b\u4e2d\u89e3\u200b\u7ed1\u200b\uff1a</p> <pre><code>echo 0000:84:00.2 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.3 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.4 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.5 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.6 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.7 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:01.0 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:01.1 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\n</code></pre> <p>\u200b\u5f00\u542f\u200b eSwitch \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u5e76\u200b\u8bbe\u7f6e\u200b\u786c\u4ef6\u200b\u5378\u8f7d\u200b\uff1a</p> <pre><code>devlink dev eswitch set pci/0000:84:00.0 mode switchdev\ndevlink dev eswitch set pci/0000:84:00.1 mode switchdev\nethtool -K enp132s0f0np0 hw-tc-offload on\nethtool -K enp132s0f1np1 hw-tc-offload on\n</code></pre> <p>SR-IOV VF \u200b\u94fe\u8def\u200b\u805a\u5408\u200b\u914d\u7f6e\u200b\uff1a</p> <p>SR-IOV VF LAG \u200b\u5141\u8bb8\u200b\u7f51\u5361\u200b\u7684\u200b PF \u200b\u83b7\u53d6\u200b OVS \u200b\u8bd5\u56fe\u200b\u5378\u8f7d\u200b\u5230\u200b\u7ed1\u5b9a\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u7684\u200b\u89c4\u5219\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u5176\u200b\u5378\u8f7d\u200b\u5230\u200b\u786c\u4ef6\u200b e-switch \u200b\u4e0a\u200b\u3002\u200b\u652f\u6301\u200b\u7684\u200b bond \u200b\u6a21\u5f0f\u200b\u5982\u4e0b\u200b\uff1a</p> <ul> <li>Active-backup</li> <li>XOR</li> <li>LACP</li> </ul> <p>SR-IOV VF LAG \u200b\u53ef\u200b\u5c06\u200b LAG \u200b\u529f\u80fd\u200b\u5b8c\u5168\u200b\u5378\u8f7d\u200b\u7ed9\u200b\u786c\u4ef6\u200b\u3002bond \u200b\u4f1a\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b\u5355\u4e00\u200b\u7684\u200b bond PF \u200b\u7aef\u53e3\u200b\u3002\u200b\u5f53\u200b\u4f7f\u7528\u200b\u786c\u4ef6\u200b\u5378\u8f7d\u200b\u65f6\u200b\uff0c\u200b\u4e24\u4e2a\u200b\u7aef\u53e3\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u53ef\u200b\u8f6c\u53d1\u200b\u5230\u200b\u4efb\u4f55\u200b\u4e00\u4e2a\u200b VF\u3002\u200b\u6765\u81ea\u200b VF \u200b\u7684\u200b\u6d41\u91cf\u200b\u53ef\u200b\u6839\u636e\u200b bond \u200b\u72b6\u6001\u200b\u8f6c\u53d1\u200b\u5230\u200b\u4e24\u4e2a\u200b\u7aef\u53e3\u200b\u3002\u200b\u8fd9\u200b\u610f\u5473\u7740\u200b\uff0c\u200b\u5728\u200b\u4e3b\u5907\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u53ea\u6709\u200b\u4e00\u4e2a\u200b PF \u200b\u5904\u4e8e\u200b\u8fd0\u884c\u200b\u72b6\u6001\u200b\uff0c\u200b\u6765\u81ea\u200b\u4efb\u4f55\u200b VF \u200b\u7684\u200b\u6d41\u91cf\u200b\u90fd\u200b\u4f1a\u200b\u901a\u8fc7\u200b\u8be5\u200b PF\u3002\u200b\u5728\u200b XOR \u200b\u6216\u200b LACP \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u5982\u679c\u200b\u4e24\u4e2a\u200b PF \u200b\u90fd\u200b\u6b63\u5e38\u200b\u8fd0\u884c\u200b\uff0c\u200b\u5219\u200b\u6765\u81ea\u200b\u4efb\u4f55\u200b VF \u200b\u7684\u200b\u6d41\u91cf\u200b\u90fd\u200b\u4f1a\u200b\u5728\u200b\u8fd9\u200b\u4e24\u4e2a\u200b PF \u200b\u4e4b\u95f4\u200b\u5206\u914d\u200b\u3002</p> <p>\u200b\u672c\u200b\u793a\u4f8b\u200b\u4e2d\u5c06\u200b\u91c7\u7528\u200b LACP \u200b\u7684\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u914d\u7f6e\u200b\u65b9\u5f0f\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>modprobe bonding mode=802.3ad\nip link set enp132s0f0np0 master bond1\nip link set enp132s0f1np1 master bond1\nip link set enp132s0f0np0 up\nip link set enp132s0f1np1 up\nip link set bond1 up\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u82e5\u200b\u4e0d\u200b\u9700\u8981\u200b\u7ed1\u5b9a\u200b bond\uff0c\u200b\u8bf7\u200b\u5ffd\u7565\u200b\u4e0a\u8ff0\u200b\u64cd\u4f5c\u200b\u3002</p> <p>\u200b\u91cd\u65b0\u200b\u7ed1\u5b9a\u200b\u9a71\u52a8\u200b\uff0c\u200b\u5b8c\u6210\u200b VF \u200b\u8bbe\u7f6e\u200b\uff1a</p> <pre><code>echo 0000:84:00.2 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.3 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.4 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.5 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.6 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.7 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:01.0 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:01.1 &gt; /sys/bus/pci/drivers/mlx5_core/bind\n</code></pre> <p><code>NetworkManager</code> \u200b\u7684\u200b\u4e00\u4e9b\u200b\u884c\u4e3a\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u5bfc\u81f4\u200b\u9a71\u52a8\u200b\u5f02\u5e38\u200b\uff0c\u200b\u5982\u679c\u200b\u5378\u8f7d\u200b\u51fa\u73b0\u200b\u95ee\u9898\u200b\u5efa\u8bae\u200b\u5173\u95ed\u200b <code>NetworkManager</code> \u200b\u518d\u200b\u8fdb\u884c\u200b\u5c1d\u8bd5\u200b\uff1a</p> <pre><code>systemctl stop NetworkManager\nsystemctl disable NetworkManager\n</code></pre>"},{"location":"advance/offload-mellanox/#device-plugin","title":"\u914d\u7f6e\u200b Device Plugin","text":"<p>\u200b\u7531\u4e8e\u200b\u6bcf\u4e2a\u200b\u673a\u5668\u200b\u7684\u200b VF \u200b\u6570\u91cf\u200b\u4f18\u5148\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u4f7f\u7528\u200b\u52a0\u901f\u200b\u7684\u200b Pod \u200b\u4f1a\u200b\u5360\u7528\u200b VF \u200b\u8d44\u6e90\u200b\uff0c\u200b\u6211\u4eec\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b SR-IOV Device Plugin \u200b\u7ba1\u7406\u200b\u76f8\u5e94\u200b\u8d44\u6e90\u200b\uff0c\u200b\u4f7f\u5f97\u200b\u8c03\u5ea6\u200b\u5668\u200b\u77e5\u9053\u200b\u5982\u4f55\u200b\u6839\u636e\u200b \u200b\u8d44\u6e90\u200b\u8fdb\u884c\u200b\u8c03\u5ea6\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b SR-IOV \u200b\u76f8\u5173\u200b Configmap\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: sriovdp-config\n  namespace: kube-system\ndata:\n  config.json: |\n    {\n      \"resourceList\": [{\n          \"resourcePrefix\": \"mellanox.com\",\n          \"resourceName\": \"cx5_sriov_switchdev\",\n          \"selectors\": {\n                  \"vendors\": [\"15b3\"],\n                  \"devices\": [\"1018\"],\n                  \"drivers\": [\"mlx5_core\"]\n              }\n      }\n      ]\n    }\n</code></pre> <p>SR-IOV Device Plugin \u200b\u4f1a\u200b\u6839\u636e\u200b\u5173\u8054\u200b\u7684\u200b ConfigMap \u200b\u4e2d\u200b\u6307\u5b9a\u200b\u7684\u200b\u914d\u7f6e\u200b\u521b\u5efa\u200b\u8bbe\u5907\u200b\u63d2\u4ef6\u200b\u7aef\u70b9\u200b\uff0cConfigMap \u200b\u7684\u200b name \u200b\u4e3a\u200b sriovdp-config\u3002</p> <ul> <li><code>selectors</code>: VF \u200b\u9009\u62e9\u5668\u200b</li> <li><code>vendors</code>: \u200b\u76ee\u6807\u200b\u8bbe\u5907\u200b\u4f9b\u5e94\u5546\u200b\u5341\u516d\u8fdb\u5236\u200b\u4ee3\u7801\u200b\u5b57\u7b26\u4e32\u200b</li> <li><code>devices</code>: \u200b\u76ee\u6807\u200b\u8bbe\u5907\u200b\u7684\u200b\u8bbe\u5907\u200b\u5341\u516d\u8fdb\u5236\u200b\u4ee3\u7801\u200b\u5b57\u7b26\u4e32\u200b</li> <li><code>drivers</code>: \u200b\u4ee5\u200b\u5b57\u7b26\u4e32\u200b\u5f62\u5f0f\u200b\u663e\u793a\u200b\u7684\u200b\u76ee\u6807\u200b\u8bbe\u5907\u200b\u9a71\u52a8\u7a0b\u5e8f\u200b\u540d\u79f0\u200b</li> </ul> <p><code>selectors</code> \u200b\u8fd8\u200b\u652f\u6301\u200b\u57fa\u4e8e\u200b <code>pciAddresses</code>\u3001<code>acpiIndexes</code> \u200b\u7b49\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b VF \u200b\u7684\u200b\u9009\u62e9\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u8be6\u7ec6\u200b\u914d\u7f6e\u200b\u8bf7\u200b\u53c2\u8003\u200bSR-IOV ConfigMap \u200b\u914d\u7f6e\u200b</p> <p>\u200b\u53c2\u8003\u200b SR-IOV \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b:</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/sriov-network-device-plugin/v3.6.2/deployments/sriovdp-daemonset.yaml\n</code></pre> <p>\u200b\u68c0\u67e5\u200b SR-IOV \u200b\u8d44\u6e90\u200b\u662f\u5426\u200b\u5df2\u7ecf\u200b\u6ce8\u518c\u200b\u5230\u200b Kubernetes Node \u200b\u4e2d\u200b\uff1a</p> <pre><code>kubectl describe node kube-ovn-01  | grep mellanox\n\nmellanox.com/cx5_sriov_switchdev:  8\nmellanox.com/cx5_sriov_switchdev:  8\nmellanox.com/cx5_sriov_switchdev  0           0\n</code></pre>"},{"location":"advance/offload-mellanox/#sriov-network-operator-sr-iov-device-plugin","title":"\u4f7f\u7528\u200b sriov-network-operator \u200b\u914d\u7f6e\u200b SR-IOV \u200b\u548c\u200b Device Plugin","text":"<p>\u200b\u5b89\u88c5\u200b node-feature-discovery \u200b\u81ea\u52a8\u68c0\u6d4b\u200b\u786c\u4ef6\u200b\u7684\u200b\u529f\u80fd\u200b\u548c\u200b\u7cfb\u7edf\u914d\u7f6e\u200b:</p> <pre><code>kubectl apply -k https://github.com/kubernetes-sigs/node-feature-discovery/deployment/overlays/default?ref=v0.11.3\n</code></pre> <p>\u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff0c\u200b\u624b\u52a8\u200b\u7ed9\u200b\u6709\u200b offload \u200b\u80fd\u529b\u200b\u7684\u200b\u7f51\u5361\u200b\u589e\u52a0\u200b annotation:</p> <pre><code>kubectl label nodes [offloadNicNode] feature.node.kubernetes.io/network-sriov.capable=true\n</code></pre> <p>\u200b\u514b\u9686\u200b\u4ee3\u7801\u200b\u4ed3\u5e93\u200b\u5e76\u200b\u5b89\u88c5\u200b Operator\uff1a</p> <pre><code>git clone --depth=1 https://github.com/kubeovn/sriov-network-operator.git\nkubectl apply -k sriov-network-operator/deploy\n</code></pre> <p>\u200b\u68c0\u67e5\u200b Operator \u200b\u7ec4\u4ef6\u200b\u662f\u5426\u200b\u5de5\u4f5c\u200b\u6b63\u5e38\u200b\uff1a</p> <pre><code># kubectl get -n kube-system all | grep sriov\nNAME                                          READY   STATUS    RESTARTS   AGE\npod/sriov-network-config-daemon-bf9nt         1/1     Running   0          8s\npod/sriov-network-operator-54d7545f65-296gb   1/1     Running   0          10s\n\nNAME                                         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                                                 AGE\ndaemonset.apps/sriov-network-config-daemon   1         1         1       1            1           beta.kubernetes.io/os=linux,feature.node.kubernetes.io/network-sriov.capable=true   8s\n\nNAME                                     READY   UP-TO-DATE   AVAILABLE   AGE\ndeployment.apps/sriov-network-operator   1/1     1            1           10s\n\nNAME                                                DESIRED   CURRENT   READY   AGE\nreplicaset.apps/sriov-network-operator-54d7545f65   1         1         1       10s\n</code></pre> <p>\u200b\u68c0\u67e5\u200b <code>SriovNetworkNodeState</code>\uff0c\u200b\u4e0b\u9762\u200b\u4ee5\u200b <code>node1</code> \u200b\u8282\u70b9\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u8be5\u200b\u8282\u70b9\u200b\u4e0a\u200b\u6709\u200b\u4e24\u4e2a\u200b Mellanox \u200b\u7f51\u5361\u200b\uff1a</p> <pre><code># kubectl get sriovnetworknodestates.sriovnetwork.openshift.io -n kube-system node1 -o yaml\napiVersion: sriovnetwork.openshift.io/v1\nkind: SriovNetworkNodeState\nspec: ...\nstatus:\n  interfaces:\n  - deviceID: \"1017\"\n    driver: mlx5_core\n    mtu: 1500\n    pciAddress: \"0000:5f:00.0\"\n    totalvfs: 8\n    vendor: \"15b3\"\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    name: ens41f0np0\n  - deviceID: \"1017\"\n    driver: mlx5_core\n    mtu: 1500\n    pciAddress: \"0000:5f:00.1\"\n    totalvfs: 8\n    vendor: \"15b3\"\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    name: ens41f1np1\n</code></pre> <p>\u200b\u521b\u5efa\u200b <code>SriovNetworkNodePolicy</code> \u200b\u8d44\u6e90\u200b\uff0c\u200b\u5e76\u200b\u901a\u8fc7\u200b <code>nicSelector</code> \u200b\u9009\u62e9\u200b\u8981\u200b\u7ba1\u7406\u200b\u7684\u200b\u7f51\u5361\u200b\uff1a</p> <pre><code>apiVersion: sriovnetwork.openshift.io/v1\nkind: SriovNetworkNodePolicy\nmetadata:\n  name: policy\n  namespace: kube-system\nspec:\n  nodeSelector:\n    feature.node.kubernetes.io/network-sriov.capable: \"true\"\n  eSwitchMode: switchdev\n  numVfs: 3\n  nicSelector:\n    pfNames:\n    - ens41f0np0\n    - ens41f1np1\n  resourceName: cx_sriov_switchdev\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u68c0\u67e5\u200b <code>SriovNetworkNodeState</code> \u200b\u7684\u200b <code>status</code> \u200b\u5b57\u200b\u6bb5\u200b\uff1a</p> <pre><code># kubectl get sriovnetworknodestates.sriovnetwork.openshift.io -n kube-system node1 -o yaml\n\n...\nspec:\n  interfaces:\n  - eSwitchMode: switchdev\n    name: ens41f0np0\n    numVfs: 3\n    pciAddress: 0000:5f:00.0\n    vfGroups:\n    - policyName: policy\n      vfRange: 0-2\n      resourceName: cx_sriov_switchdev\n  - eSwitchMode: switchdev\n    name: ens41f1np1\n    numVfs: 3\n    pciAddress: 0000:5f:00.1\n    vfGroups:\n    - policyName: policy\n      vfRange: 0-2\n      resourceName: cx_sriov_switchdev\nstatus:\n  interfaces\n  - Vfs:\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.2\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.3\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.4\n      vendor: \"15b3\"\n    deviceID: \"1017\"\n    driver: mlx5_core\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:ab\n    mtu: 1500\n    name: ens41f0np0\n    numVfs: 3\n    pciAddress: 0000:5f:00.0\n    totalvfs: 3\n    vendor: \"15b3\"\n  - Vfs:\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.5\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.6\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.7\n      vendor: \"15b3\"\n    deviceID: \"1017\"\n    driver: mlx5_core\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    mtu: 1500\n    name: ens41f1np1\n    numVfs: 3\n    pciAddress: 0000:5f:00.1\n    totalvfs: 3\n    vendor: \"15b3\"\n</code></pre> <p>\u200b\u68c0\u67e5\u200b VF \u200b\u7684\u200b\u72b6\u6001\u200b\uff1a</p> <pre><code># lspci -nn | grep ConnectX\n5f:00.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n5f:00.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n5f:00.2 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.3 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.4 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.5 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.6 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.7 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n</code></pre> <p>\u200b\u68c0\u67e5\u200b PF \u200b\u5de5\u4f5c\u200b\u6a21\u5f0f\u200b\uff1a</p> <pre><code># cat /sys/class/net/ens41f0np0/compat/devlink/mode\nswitchdev\n</code></pre>"},{"location":"advance/offload-mellanox/#multus-cni","title":"\u5b89\u88c5\u200b Multus-CNI","text":"<p>SR-IOV Device Plugin \u200b\u8c03\u5ea6\u200b\u65f6\u200b\u83b7\u5f97\u200b\u7684\u200b\u8bbe\u5907\u200b ID \u200b\u9700\u8981\u200b\u901a\u8fc7\u200b Multus-CNI \u200b\u4f20\u9012\u200b\u7ed9\u200b Kube-OVN\uff0c\u200b\u56e0\u6b64\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b Multus-CNI \u200b\u914d\u5408\u200b\u5b8c\u6210\u200b\u76f8\u5173\u200b\u4efb\u52a1\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b Multus-CNI \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/multus-cni/v4.0.2/deployments/multus-daemonset-thick.yml\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1amultus \u200b\u63d0\u4f9b\u200b\u4e86\u200b Thin \u200b\u548c\u200b Thick \u200b\u7248\u672c\u200b\u7684\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u82e5\u200b\u8981\u200b\u652f\u6301\u200b SR-IOV \u200b\u5219\u200b\u9700\u8981\u200b\u5b89\u88c5\u200b Thick \u200b\u7248\u672c\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b <code>NetworkAttachmentDefinition</code>\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: sriov\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/resourceName: mellanox.com/cx5_sriov_switchdev\nspec:\n  config: '{\n    \"cniVersion\": \"0.3.1\",\n    \"name\": \"kube-ovn\",\n    \"plugins\":[\n        {\n            \"type\":\"kube-ovn\",\n            \"server_socket\":\"/run/openvswitch/kube-ovn-daemon.sock\",\n            \"provider\": \"sriov.default.ovn\"\n        },\n        {\n            \"type\":\"portmap\",\n            \"capabilities\":{\n                \"portMappings\":true\n            }\n        }\n    ]\n}'\n</code></pre> <ul> <li><code>provider</code>: \u200b\u683c\u5f0f\u200b\u4e3a\u200b\u5f53\u524d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {name}.{namespace}.ovn\u3002</li> </ul>"},{"location":"advance/offload-mellanox/#overlay","title":"Overlay \u200b\u5378\u8f7d","text":""},{"location":"advance/offload-mellanox/#kube-ovn","title":"Kube-OVN \u200b\u4e2d\u200b\u5f00\u542f\u200b\u5378\u8f7d\u200b\u6a21\u5f0f","text":"<p>\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\uff0c<code>IFACE</code> \u200b\u9700\u8981\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u8be5\u200b\u7f51\u5361\u200b\u9700\u8981\u200b\u6709\u200b\u53ef\u200b\u8def\u7531\u200b IP\uff1a</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"bond1\"\n# \u200b\u4ee5\u200b\u624b\u52a8\u200b\u914d\u7f6e\u200b SR-IOV \u200b\u548c\u200b Device Plugin \u200b\u4e2d\u200b\u7684\u200b\u7f51\u5361\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u82e5\u200b\u7ed1\u5b9a\u200b bond\uff0c\u200b\u5219\u200b\u5c06\u200b IFACE \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b bond1\uff0c\u200b\u82e5\u200b\u672a\u200b\u7ed1\u5b9a\u200b bond\uff0c\u200b\u5219\u200b\u53ef\u200b\u5c06\u200b IFACE \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b enp132s0f0np0 \u200b\u6216\u200b enp132s0f1np1\n</code></pre> <p>\u200b\u5b89\u88c5\u200b Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"advance/offload-mellanox/#vf-pod","title":"\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u7f51\u5361\u200b\u7684\u200b Pod","text":"<p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b yaml \u200b\u683c\u5f0f\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-overlay\n  annotations:\n    v1.multus-cni.io/default-network: default/sriov\n    sriov.default.ovn.kubernetes.io/logical_switch: ovn-default\nspec:\n  containers:\n  - name: nginx-overlay\n    image: docker.io/library/nginx:alpine\n    resources:\n      requests:\n        mellanox.com/cx5_sriov_switchdev: '1'\n      limits:\n        mellanox.com/cx5_sriov_switchdev: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: \u200b\u4e3a\u200b\u4e0a\u200b\u4e00\u200b\u6b65\u9aa4\u200b\u4e2d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {namespace}/{name}\u3002</li> <li><code>sriov.default.ovn.kubernetes.io/logical_switch</code>: \u200b\u6307\u5b9a\u200b Pod \u200b\u6240\u5c5e\u200b\u7684\u200b Subnet\uff0c\u200b\u82e5\u200b\u5e0c\u671b\u200b Pod \u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e3a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u5219\u200b\u8be5\u884c\u200b\u6ce8\u89e3\u200b\u53ef\u200b\u7701\u7565\u200b\u3002</li> </ul>"},{"location":"advance/offload-mellanox/#underlay","title":"Underlay \u200b\u5378\u8f7d","text":""},{"location":"advance/offload-mellanox/#kube-ovn_1","title":"Kube-OVN \u200b\u4e2d\u200b\u5f00\u542f\u200b\u5378\u8f7d\u200b\u6a21\u5f0f","text":"<p>\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\uff0c<code>IFACE</code> \u200b\u9700\u8981\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u8be5\u200b\u7f51\u5361\u200b\u9700\u8981\u200b\u6709\u200b\u53ef\u200b\u8def\u7531\u200b IP\uff1a</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"\"\n# \u200b\u82e5\u200b\u9700\u8981\u200b Underlay \u200b\u5378\u8f7d\u200b\uff0cIFACE \u200b\u9700\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5176\u5b83\u200b\u975e\u200b PF \u200b\u7684\u200b\u7f51\u5361\u200b\u3002\uff08IFACE \u200b\u4e3a\u7a7a\u200b\u65f6\u4f1a\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b K8s \u200b\u96c6\u7fa4\u200b\u901a\u4fe1\u200b\u7684\u200b\u7f51\u5361\u200b\uff0c\u200b\u6ce8\u610f\u200b\u8fd9\u5f20\u200b\u7f51\u5361\u200b\u4e0d\u80fd\u200b\u662f\u200b PF \u200b\u7684\u200b\u7f51\u5361\u200b\uff09\n</code></pre> <p>\u200b\u5b89\u88c5\u200b Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"advance/offload-mellanox/#vf-pod_1","title":"\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u7f51\u5361\u200b\u7684\u200b Pod","text":"<p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b yaml \u200b\u683c\u5f0f\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: underlay-offload\nspec:\n  defaultInterface: bond1\n\n---\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan0\nspec:\n  id: 0\n  provider: underlay-offload\n\n---\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vlan0\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 10.10.204.0/24\n  gateway: 10.10.204.254\n  vlan: vlan0\n  excludeIps:\n  - 10.10.204.1..10.10.204.100\n\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-underlay\n  annotations:\n    k8s.v1.cni.cncf.io/networks: '[{\n      \"name\": \"sriov\",\n      \"namespace\": \"default\",\n      \"default-route\": [\"10.10.204.254\"]\n    }]'\n    sriov.default.ovn.kubernetes.io/logical_switch: vlan0\nspec:\n  containers:\n  - name: nginx-underlay\n    image: docker.io/library/nginx:alpine\n    resources:\n      requests:\n        mellanox.com/cx5_sriov_switchdev: '1'\n      limits:\n        mellanox.com/cx5_sriov_switchdev: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: \u200b\u4e3a\u200b\u4e0a\u200b\u4e00\u200b\u6b65\u9aa4\u200b\u4e2d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {namespace}/{name}\u3002</li> </ul> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u4e0a\u8ff0\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u901a\u8fc7\u200b multus \u200b\u521b\u5efa\u200b\u4e86\u200b\u4f7f\u7528\u200b VF \u200b\u4f5c\u4e3a\u200b\u526f\u200b\u7f51\u5361\u200b\u7684\u200b Pod\uff0c\u200b\u540c\u65f6\u200b\u5c06\u200b VF \u200b\u4f5c\u4e3a\u200b Pod \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u3002\u200b\u8fd8\u200b\u53ef\u4ee5\u200b\u5c06\u200b VF \u200b\u4f5c\u4e3a\u200b Pod \u200b\u7684\u200b\u4e3b\u200b\u7f51\u5361\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b multus \u200b\u914d\u7f6e\u200b\u8be6\u89c1\u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b\u3002</p> <p>\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u7684\u200b\u662f\u200b\u4ecd\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b yaml \u200b\u683c\u5f0f\u200b\u521b\u5efa\u200b\u4e0d\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-underlay-noVF\n  annotations:\n    ovn.kubernetes.io/logical_switch: vlan0\nspec:\n  containers:\n  - name: nginx-underlay-noVF\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u4e0a\u8ff0\u200b\u793a\u4f8b\u200b\u4f1a\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b\u4e0d\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod\uff0c\u200b\u5176\u6d41\u8868\u200b\u4ecd\u4f1a\u200b\u88ab\u200b\u4e0b\u53d1\u200b\u81f3\u200b ovs-kernel \u200b\u4e2d\u200b\u800c\u200b\u4e0d\u4f1a\u200b\u4e0b\u53d1\u200b\u5230\u200b e-switch \u200b\u4e2d\u200b\u3002</p>"},{"location":"advance/offload-mellanox/#_2","title":"\u5378\u8f7d\u200b\u9a8c\u8bc1","text":"<p>\u200b\u53ef\u200b\u901a\u8fc7\u200b\u5728\u200b Pod \u200b\u8fd0\u884c\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\u4e2d\u200b\u8fd0\u884c\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u89c2\u5bdf\u200b\u5378\u8f7d\u200b\u662f\u5426\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># ovs-appctl dpctl/dump-flows -m type=offloaded\nufid:91cc45de-e7e9-4935-8f82-1890430b0f66, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(5b45c61b307e_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:c5:6d:4e,dst=00:00:00:e7:16:ce),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:941539, bytes:62142230, used:0.260s, offloaded:yes, dp:tc, actions:54235e5753b8_h\nufid:e00768d7-e652-4d79-8182-3291d852b791, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(54235e5753b8_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:e7:16:ce,dst=00:00:00:c5:6d:4e),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:82386659, bytes:115944854173, used:0.260s, offloaded:yes, dp:tc, actions:5b45c61b307e_h\n</code></pre> <p>\u200b\u5982\u679c\u200b\u6709\u200b <code>offloaded:yes, dp:tc</code> \u200b\u5185\u5bb9\u200b\u8bc1\u660e\u200b\u5378\u8f7d\u200b\u6210\u529f\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/overlay-with-route/","title":"Overlay \u200b\u4e0b\u200b\u8def\u7531\u200b\u65b9\u5f0f\u200b\u7f51\u7edc\u200b\u6253\u901a","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u7f51\u7edc\u200b\u73af\u5883\u200b\u4e0d\u200b\u652f\u6301\u200b Underlay \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u4f46\u662f\u200b\u4f9d\u7136\u200b\u9700\u8981\u200b Pod \u200b\u80fd\u200b\u548c\u200b\u5916\u90e8\u200b\u8bbe\u65bd\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b IP \u200b\u8fdb\u884c\u200b\u4e92\u8bbf\u200b\uff0c \u200b\u8fd9\u65f6\u5019\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u8def\u7531\u200b\u65b9\u5f0f\u200b\u5c06\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u548c\u200b\u5916\u90e8\u200b\u8054\u901a\u200b\u3002</p> <p>\u200b\u8def\u7531\u200b\u6a21\u5f0f\u200b\u53ea\u200b\u652f\u6301\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Overlay \u200b\u7f51\u7edc\u200b\u548c\u200b\u5916\u90e8\u200b\u6253\u901a\u200b\uff0c\u200b\u5728\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0cPod IP \u200b\u4f1a\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u653e\u5f00\u200b\u5173\u4e8e\u200b\u6e90\u5730\u5740\u200b\u548c\u200b\u76ee\u200b\u5730\u5740\u200b\u7684\u200b IP \u200b\u68c0\u67e5\u200b\u3002</p>"},{"location":"advance/overlay-with-route/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ul> <li>\u200b\u6b64\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u4e3b\u673a\u200b\u9700\u8981\u200b\u5f00\u653e\u200b <code>ip_forward</code>\u3002</li> <li>\u200b\u68c0\u67e5\u200b\u4e3b\u673a\u200b iptables \u200b\u89c4\u5219\u200b\u4e2d\u200b\u662f\u5426\u200b\u5728\u200b forward \u200b\u94fe\u4e2d\u200b\u662f\u5426\u200b\u6709\u200b Drop \u200b\u89c4\u5219\u200b\uff0c\u200b\u9700\u8981\u200b\u653e\u884c\u200b\u5bb9\u5668\u200b\u76f8\u5173\u200b\u6d41\u91cf\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u53ef\u80fd\u200b\u5b58\u5728\u200b\u975e\u5bf9\u79f0\u200b\u8def\u7531\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0c\u200b\u4e3b\u673a\u200b\u9700\u200b\u653e\u884c\u200b ct \u200b\u72b6\u6001\u200b\u4e3a\u200b <code>INVALID</code> \u200b\u7684\u200b\u6570\u636e\u5305\u200b\u3002</li> </ul>"},{"location":"advance/overlay-with-route/#_2","title":"\u8bbe\u7f6e\u200b\u6b65\u9aa4","text":"<p>\u200b\u5bf9\u4e8e\u200b\u9700\u8981\u200b\u5bf9\u5916\u200b\u76f4\u63a5\u200b\u8def\u7531\u200b\u7684\u200b\u5b50\u7f51\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b\u5b50\u7f51\u200b\u7684\u200b <code>natOutgoing</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code>\uff0c\u200b\u5173\u95ed\u200b nat \u200b\u6620\u5c04\u200b\uff0c\u200b\u4f7f\u5f97\u200b Pod IP \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: routed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: distributed\n  natOutgoing: false\n</code></pre> <p>\u200b\u6b64\u65f6\u200b\uff0cPod \u200b\u7684\u200b\u6570\u636e\u5305\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4e3b\u673a\u200b\u8def\u7531\u200b\u5230\u8fbe\u200b\u5bf9\u7aef\u200b\u8282\u70b9\u200b\uff0c\u200b\u4f46\u662f\u200b\u5bf9\u7aef\u200b\u8282\u70b9\u200b\u8fd8\u200b\u4e0d\u200b\u77e5\u9053\u200b\u56de\u7a0b\u200b\u6570\u636e\u5305\u200b\u5e94\u8be5\u200b\u53d1\u9001\u5230\u200b\u54ea\u91cc\u200b\uff0c\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u56de\u7a0b\u200b\u8def\u7531\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u5bf9\u7aef\u200b\u4e3b\u673a\u200b\u548c\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u5bbf\u4e3b\u673a\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u4e8c\u5c42\u200b\u7f51\u7edc\u200b\uff0c\u200b\u6211\u4eec\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u5728\u200b\u5bf9\u200b\u7aef\u200b\u4e3b\u673a\u200b\u6dfb\u52a0\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u5c06\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u6307\u5411\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b\u4efb\u610f\u200b\u4e00\u53f0\u200b\u673a\u5668\u200b\u3002</p> <pre><code>ip route add 10.166.0.0/16 via 192.168.2.10 dev eth0\n</code></pre> <p><code>10.166.0.0/16</code> \u200b\u4e3a\u200b\u5bb9\u5668\u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b\uff0c<code>192.168.2.10</code> \u200b\u4e3a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u5185\u200b\u4efb\u610f\u200b\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u3002</p> <p>\u200b\u82e5\u200b\u5bf9\u200b\u7aef\u200b\u4e3b\u673a\u200b\u548c\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u5bbf\u4e3b\u673a\u200b\u4e0d\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u4e8c\u5c42\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u5728\u200b\u8def\u7531\u5668\u200b\u4e0a\u200b\u914d\u7f6e\u200b\u76f8\u5e94\u200b\u7684\u200b\u89c4\u5219\u200b\uff0c\u200b\u901a\u8fc7\u200b\u8def\u7531\u5668\u200b\u8fdb\u884c\u200b\u6253\u901a\u200b\u3002</p> <p>\u200b\u6ce8\u610f\u200b\uff1a \u200b\u6307\u5b9a\u200b\u67d0\u4e2a\u200b\u8282\u70b9\u200b IP \u200b\u5b58\u5728\u200b\u5355\u70b9\u6545\u969c\u200b\u7684\u200b\u53ef\u80fd\u200b\uff0c\u200b\u5982\u679c\u200b\u5e0c\u671b\u200b\u505a\u5230\u200b\u5feb\u901f\u200b\u7684\u200b\u6545\u969c\u200b\u5207\u6362\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Keepalived \u200b\u7ed9\u200b\u591a\u4e2a\u200b\u8282\u70b9\u200b\u8bbe\u7f6e\u200b VIP\uff0c\u200b\u540c\u65f6\u200b\u5c06\u200b\u8def\u7531\u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u6307\u5411\u200b VIP\u3002</p> <p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u865a\u62df\u5316\u200b\u73af\u5883\u200b\u4e2d\u200b\uff0c\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u4f1a\u200b\u5c06\u200b\u975e\u5bf9\u79f0\u200b\u6d41\u91cf\u200b\u8bc6\u522b\u200b\u4e3a\u200b\u975e\u6cd5\u200b\u6d41\u91cf\u200b\u5e76\u200b\u4e22\u5f03\u200b\u3002 \u200b\u6b64\u65f6\u200b\u9700\u8981\u200b\u5c06\u200b Subnet \u200b\u7684\u200b <code>gatewayType</code> \u200b\u8c03\u6574\u200b\u4e3a\u200b <code>centralized</code>\uff0c\u200b\u5e76\u200b\u5728\u200b\u8def\u7531\u200b\u8bbe\u7f6e\u200b\u65f6\u200b\u5c06\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>gatewayNode</code> \u200b\u8282\u70b9\u200b\u7684\u200b IP\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: routed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: centralized\n  gatewayNode: \"node1\"\n  natOutgoing: false\n</code></pre> <p>\u200b\u5982\u679c\u200b\u5bf9\u4e8e\u200b\u90e8\u5206\u200b\u6d41\u91cf\u200b\uff08\u200b\u5982\u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u7684\u200b\u6d41\u91cf\u200b\uff09\u200b\u4ecd\u7136\u200b\u5e0c\u671b\u200b\u8fdb\u884c\u200b nat \u200b\u5904\u7406\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b\u9ed8\u8ba4\u200b VPC NAT \u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/ovn-eip-fip-snat/","title":"OVN EIP FIP SNAT DNAT \u200b\u652f\u6301","text":"<pre><code>\ngraph LR\n\npod--&gt;subnet--&gt;vpc--&gt;lrp--bind--&gt;gw-chassis--&gt;snat--&gt;lsp--&gt;external-subnet\nlrp-.-peer-.-lsp\n</code></pre> <p>Pod \u200b\u57fa\u4e8e\u200b SNAT \u200b\u51fa\u200b\u516c\u7f51\u200b\u7684\u200b\u5927\u81f4\u200b\u6d41\u7a0b\u200b\uff0c\u200b\u6700\u540e\u200b\u662f\u200b\u7ecf\u8fc7\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u5361\u200b\u3002 Pod \u200b\u57fa\u4e8e\u200b Fip \u200b\u4f7f\u7528\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u8def\u5f84\u200b\u4e5f\u200b\u7c7b\u4f3c\u200b\u3002</p> <pre><code>\ngraph LR\n\n\npod--&gt;subnet--&gt;vpc--&gt;lrp--bind--&gt;local-chassis--&gt;snat--&gt;lsp--&gt;external-subnet\n\n\nlrp-.-peer-.-lsp\n</code></pre> <p>Pod \u200b\u57fa\u4e8e\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b FIP (dnat_and_snat) \u200b\u51fa\u200b\u516c\u7f51\u200b\u7684\u200b\u5927\u81f4\u200b\u6d41\u7a0b\u200b\uff0c\u200b\u6700\u540e\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b\u672c\u5730\u200b\u8282\u70b9\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u5361\u200b\u51fa\u200b\u516c\u7f51\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u6240\u200b\u652f\u6301\u200b\u7684\u200b CRD \u200b\u5728\u200b\u4f7f\u7528\u200b\u4e0a\u5c06\u200b\u548c\u200b iptable nat gw \u200b\u516c\u7f51\u200b\u65b9\u6848\u200b\u4fdd\u6301\u200b\u57fa\u672c\u4e00\u81f4\u200b\u3002</p> <ul> <li>ovn eip: \u200b\u7528\u4e8e\u200b\u516c\u7f51\u200b ip \u200b\u5360\u4f4d\u200b\uff0c\u200b\u4ece\u200b underlay provider network vlan subnet \u200b\u4e2d\u200b\u5206\u914d\u200b</li> <li>ovn fip\uff1a \u200b\u4e00\u5bf9\u4e00\u200b dnat snat\uff0c\u200b\u4e3a\u200b vpc \u200b\u5185\u200b\u7684\u200b ip \u200b\u6216\u8005\u200b vip \u200b\u63d0\u4f9b\u200b\u516c\u7f51\u200b\u76f4\u63a5\u200b\u8bbf\u95ee\u200b\u80fd\u529b\u200b</li> <li>ovn snat\uff1a\u200b\u6574\u4e2a\u200b\u5b50\u7f51\u200b\u6216\u8005\u200b\u5355\u4e2a\u200b vpc \u200b\u5185\u200b ip \u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b snat \u200b\u8bbf\u95ee\u200b\u516c\u7f51\u200b</li> <li>ovn dnat\uff1a\u200b\u57fa\u4e8e\u200b router lb \u200b\u5b9e\u73b0\u200b, \u200b\u57fa\u4e8e\u200b\u516c\u7f51\u200b ip + \u200b\u7aef\u53e3\u200b \u200b\u76f4\u63a5\u200b\u8bbf\u95ee\u200b vpc \u200b\u5185\u200b\u7684\u200b \u200b\u4e00\u7ec4\u200b endpoints</li> </ul>"},{"location":"advance/ovn-eip-fip-snat/#1","title":"1. \u200b\u90e8\u7f72","text":"<p>\u200b\u76ee\u524d\u200b\u5141\u8bb8\u200b\u6240\u6709\u200b\uff08\u200b\u9ed8\u8ba4\u200b\u4ee5\u53ca\u200b\u81ea\u5b9a\u4e49\u200b\uff09 vpc \u200b\u4f7f\u7528\u200b\u540c\u4e00\u4e2a\u200b\u9ed8\u8ba4\u200b provider vlan subnet \u200b\u8d44\u6e90\u200b\uff0c\u200b\u540c\u65f6\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u652f\u6301\u200b\u6269\u5c55\u200b provider vlan subnet \u200b\u4ece\u800c\u200b\u5b9e\u73b0\u200b\u4f7f\u7528\u200b\u591a\u4e2a\u200b\u516c\u7f51\u200b\uff0c\u200b\u517c\u5bb9\u200b\u9ed8\u8ba4\u200b VPC EIP/SNAT\u200b\u7684\u200b\u573a\u666f\u200b\u3002</p> <p>\u200b\u7c7b\u4f3c\u200b neutron ovn\uff0c\u200b\u670d\u52a1\u200b\u542f\u52a8\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b provider network \u200b\u76f8\u5173\u200b\u7684\u200b\u914d\u7f6e\u200b\uff0c\u200b\u4e0b\u8ff0\u200b\u7684\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u4e5f\u200b\u662f\u200b\u4e3a\u4e86\u200b\u517c\u5bb9\u200b VPC EIP/SNAT \u200b\u7684\u200b\u5b9e\u73b0\u200b\u3002</p> <p>\u200b\u90e8\u7f72\u200b\u9636\u6bb5\u200b\uff0c\u200b\u6839\u636e\u200b\u5b9e\u9645\u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u80fd\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b\u9ed8\u8ba4\u200b\u516c\u7f51\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u3002 \u200b\u5982\u679c\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u4e2d\u200b\u6ca1\u6709\u200b vlan\uff08\u200b\u4f7f\u7528\u200b vlan 0\uff09\uff0c\u200b\u90a3\u4e48\u200b\u4e0b\u8ff0\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u65e0\u9700\u200b\u914d\u7f6e\u200b\u3002</p> <pre><code># \u200b\u90e8\u7f72\u200b\u7684\u200b\u65f6\u5019\u200b\u4f60\u200b\u9700\u8981\u200b\u53c2\u8003\u200b\u4ee5\u4e0a\u200b\u573a\u666f\u200b\uff0c\u200b\u6839\u636e\u200b\u5b9e\u9645\u200b\u60c5\u51b5\u200b\uff0c\u200b\u6309\u200b\u9700\u200b\u6307\u5b9a\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b\n# 1. kube-ovn-controller \u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b\uff1a\n          - --external-gateway-vlanid=204\n          - --external-gateway-switch=external204\n\n# 2. kube-ovn-cni \u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b:\n          - --external-gateway-switch=external204 \n\n### \u200b\u4ee5\u4e0a\u200b\u914d\u7f6e\u200b\u90fd\u200b\u548c\u200b\u4e0b\u9762\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b vlan id \u200b\u548c\u200b\u8d44\u6e90\u200b\u540d\u200b\u4fdd\u6301\u4e00\u81f4\u200b\uff0c\u200b\u76ee\u524d\u200b\u4ec5\u200b\u652f\u6301\u200b\u6307\u5b9a\u200b\u4e00\u4e2a\u200b underlay \u200b\u516c\u7f51\u200b\u4f5c\u4e3a\u200b\u9ed8\u8ba4\u200b\u5916\u90e8\u200b\u516c\u7f51\u200b\u3002\n</code></pre> <p>\u200b\u8be5\u200b\u914d\u7f6e\u200b\u9879\u200b\u7684\u200b\u8bbe\u8ba1\u200b\u548c\u200b\u4f7f\u7528\u200b\u4e3b\u8981\u200b\u8003\u8651\u200b\u4e86\u200b\u5982\u4e0b\u200b\u56e0\u7d20\u200b\uff1a</p> <ul> <li>\u200b\u57fa\u4e8e\u200b\u8be5\u200b\u914d\u7f6e\u200b\u9879\u200b\u53ef\u4ee5\u200b\u5bf9\u200b\u63a5\u5230\u200b provider network\uff0cvlan\uff0csubnet \u200b\u7684\u200b\u8d44\u6e90\u200b\u3002</li> <li>\u200b\u57fa\u4e8e\u200b\u8be5\u200b\u914d\u7f6e\u200b\u9879\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u9ed8\u8ba4\u200b vpc enable_eip_snat \u200b\u529f\u80fd\u200b\u5bf9\u200b\u63a5\u5230\u200b\u5df2\u6709\u200b\u7684\u200b vlan\uff0csubnet \u200b\u8d44\u6e90\u200b\uff0c\u200b\u540c\u65f6\u200b\u652f\u6301\u200b\u516c\u7f51\u200b ip \u200b\u7684\u200b ipam\u3002</li> <li>\u200b\u5982\u679c\u200b\u4ec5\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b vpc \u200b\u7684\u200b enable_eip_snat \u200b\u6a21\u5f0f\u200b, \u200b\u4e14\u200b\u4ec5\u200b\u4f7f\u7528\u200b\u65e7\u200b\u7684\u200b\u57fa\u4e8e\u200b pod annotaion \u200b\u7684\u200b fip snat\uff0c\u200b\u90a3\u4e48\u200b\u8fd9\u4e2a\u200b\u914d\u7f6e\u200b\u65e0\u9700\u200b\u914d\u7f6e\u200b\u3002</li> <li>\u200b\u57fa\u4e8e\u200b\u8be5\u200b\u914d\u7f6e\u200b\u53ef\u4ee5\u200b\u4e0d\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b vpc enable_eip_snat \u200b\u6d41\u7a0b\u200b\uff0c\u200b\u4ec5\u200b\u901a\u8fc7\u200b\u5bf9\u5e94\u200b\u5230\u200b vlan\uff0csubnet \u200b\u6d41\u7a0b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u517c\u5bb9\u200b\u4ec5\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u4f7f\u7528\u200b eip snat \u200b\u7684\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\u3002</li> </ul>"},{"location":"advance/ovn-eip-fip-snat/#11-underlay","title":"1.1 \u200b\u51c6\u5907\u200b underlay \u200b\u516c\u7f51\u200b\u7f51\u7edc","text":"<pre><code># \u200b\u51c6\u5907\u200b provider-network\uff0c vlan\uff0c subnet\n# cat 01-provider-network.yaml\n\napiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: external204\nspec:\n  defaultInterface: vlan\n\n# cat 02-vlan.yaml\n\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan204\nspec:\n  id: 204\n  provider: external204\n\n# cat 03-vlan-subnet.yaml\n\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: external204\nspec:\n  protocol: IPv4\n  cidrBlock: 10.5.204.0/24\n  gateway: 10.5.204.254\n  vlan: vlan204\n  excludeIps:\n  - 10.5.204.1..10.5.204.100\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#12-vpc-eip_snat","title":"1.2 \u200b\u9ed8\u8ba4\u200b vpc \u200b\u542f\u7528\u200b eip_snat","text":"<pre><code># \u200b\u542f\u7528\u200b\u9ed8\u8ba4\u200b vpc \u200b\u548c\u200b\u4e0a\u8ff0\u200b underlay \u200b\u516c\u7f51\u200b provider subnet \u200b\u4e92\u8054\u200b\n# cat 00-centralized-external-gw-no-ip.yaml\n\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-external-gw-config\n  namespace: kube-system\ndata:\n  enable-external-gw: \"true\"\n  external-gw-nodes: \"pc-node-1,pc-node-2,pc-node-3\"\n  type: \"centralized\" \n  external-gw-nic: \"vlan\" # \u200b\u7528\u4e8e\u200b\u63a5\u5165\u200b ovs \u200b\u516c\u7f51\u200b\u7f51\u6865\u200b\u7684\u200b\u7f51\u5361\u200b\n  external-gw-addr: \"10.5.204.254/24\" # underlay \u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u7684\u200b ip\n</code></pre> <p>\u200b\u76ee\u524d\u200b\u8be5\u200b\u529f\u80fd\u200b\u5df2\u200b\u652f\u6301\u200b\u53ef\u4ee5\u200b\u4e0d\u200b\u6307\u5b9a\u200b logical router port (lrp) ip \u200b\u548c\u200b mac\uff0c\u200b\u5df2\u200b\u652f\u6301\u200b\u4ece\u200b underlay \u200b\u516c\u7f51\u200b\u4e2d\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\uff0c\u200b\u521b\u5efa\u200b lrp \u200b\u7c7b\u578b\u200b\u7684\u200b ovn eip \u200b\u8d44\u6e90\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u6307\u5b9a\u200b\u4e86\u200b\uff0c\u200b\u5219\u200b\u76f8\u5f53\u4e8e\u200b\u4ee5\u200b\u6307\u5b9a\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\u521b\u5efa\u200b\u4e86\u200b\u4e00\u4e2a\u200b lrp \u200b\u7c7b\u578b\u200b\u7684\u200b ovn-eip\u3002 \u200b\u5f53\u7136\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u63d0\u524d\u200b\u624b\u52a8\u200b\u521b\u5efa\u200b lrp \u200b\u7c7b\u578b\u200b\u7684\u200b ovn eip\u3002</p>"},{"location":"advance/ovn-eip-fip-snat/#13-vpc-eip-snat-fip","title":"1.3 \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u542f\u7528\u200b eip snat fip \u200b\u529f\u80fd","text":"<p>\u200b\u96c6\u7fa4\u200b\u4e00\u822c\u200b\u9700\u8981\u200b\u591a\u4e2a\u200b\u7f51\u5173\u200b node \u200b\u6765\u200b\u5b9e\u73b0\u200b\u9ad8\u200b\u53ef\u7528\u200b\uff0c\u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># \u200b\u9996\u5148\u200b\u901a\u8fc7\u200b\u6dfb\u52a0\u200b\u6807\u7b7e\u200b\u6307\u5b9a\u200b external-gw-nodes\nkubectl label nodes pc-node-1 pc-node-2 pc-node-3 ovn.kubernetes.io/external-gw=true\n</code></pre> <pre><code># cat 00-ns.yml\n\napiVersion: v1\nkind: Namespace\nmetadata:\n  name: vpc1\n\n# cat 01-vpc-ecmp-enable-external-bfd.yml\n\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true\n# vpc \u200b\u542f\u7528\u200b enableExternal \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u521b\u5efa\u200b lrp \u200b\u5173\u8054\u200b\u5230\u200b\u4e0a\u8ff0\u200b\u6307\u5b9a\u200b\u7684\u200b\u516c\u7f51\u200b\n\n# cat 02-subnet.yml\n\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vpc1-subnet1\nspec:\n  cidrBlock: 192.168.0.0/24\n  default: false\n  disableGatewayCheck: false\n  disableInterConnection: true\n  enableEcmp: true\n  gatewayNode: \"\"\n  gatewayType: distributed\n  #gatewayType: centralized\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n  provider: ovn\n  vpc: vpc1\n  namespaces:\n  - vpc1\n\n# \u200b\u8fd9\u91cc\u200b\u5b50\u7f51\u200b\u548c\u200b\u4e4b\u524d\u200b\u4f7f\u7528\u200b\u5b50\u7f51\u200b\u4e00\u6837\u200b\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u5728\u200b subnet \u200b\u4e0a\u200b\u6ca1\u6709\u200b\u65b0\u589e\u200b\u5c5e\u6027\u200b\uff0c\u200b\u6ca1\u6709\u200b\u4efb\u4f55\u200b\u53d8\u66f4\u200b\n</code></pre> <p>\u200b\u4ee5\u4e0a\u200b\u6a21\u677f\u200b\u5e94\u7528\u200b\u540e\u200b\uff0c\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\u5b58\u5728\u200b</p> <pre><code># k ko nbctl show vpc1\n\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 21d853b0-f7b4-40bd-9a53-31d2e2745739\n        external ip: \"10.5.204.115\"\n        logical ip: \"192.168.0.0/24\"\n        type: \"snat\"\n</code></pre> <pre><code># k ko nbctl lr-route-list vpc1\n\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0              10.5.204.254 dst-ip\n# \u200b\u76ee\u524d\u200b\u8be5\u200b\u8def\u7531\u200b\u5df2\u200b\u81ea\u52a8\u200b\u7ef4\u62a4\u200b\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#14","title":"1.4 \u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc","text":""},{"location":"advance/ovn-eip-fip-snat/#141-underlay","title":"1.4.1 \u200b\u51c6\u5907\u200b\u989d\u5916\u200b underlay \u200b\u516c\u7f51\u200b\u7f51\u7edc","text":"<p>\u200b\u989d\u5916\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\u5728\u200b\u542f\u52a8\u200b\u9ed8\u8ba4\u200b eip snat fip \u200b\u529f\u80fd\u200b\u540e\u200b\u624d\u200b\u4f1a\u200b\u542f\u7528\u200b\uff0c\u200b\u82e5\u200b\u53ea\u6709\u200b 1 \u200b\u4e2a\u200b\u516c\u7f51\u200b\u7f51\u5361\u200b\uff0c\u200b\u8bf7\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b eip snat fip \u200b\u529f\u80fd\u200b</p> <pre><code># \u200b\u51c6\u5907\u200b provider-network\uff0c vlan\uff0c subnet\n# cat 01-extra-provider-network.yaml\napiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: extra\nspec:\n  defaultInterface: vlan\n# cat 02-extra-vlan.yaml\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan0\nspec:\n  id: 0\n  provider: extra\n# cat 03-extra-vlan-subnet.yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: extra\nspec:\n  protocol: IPv4\n  cidrBlock: 10.10.204.0/24\n  gateway: 10.10.204.254\n  vlan: vlan0\n  excludeIps:\n  - 10.10.204.1..10.10.204.100\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#142-vpc","title":"1.4.2 \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u914d\u7f6e","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vpc\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true  # \u200b\u5f00\u542f\u200b enableExternal \u200b\u540e\u200b vpc \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u8fde\u63a5\u200b\u540d\u4e3a\u200b external \u200b\u7684\u200b ls\n  addExternalSubnets: # \u200b\u914d\u7f6e\u200b addExternalSubnets \u200b\u652f\u6301\u200b\u8fde\u63a5\u200b\u591a\u4e2a\u200b\u989d\u5916\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\n  - extra\n</code></pre> <p>\u200b\u4ee5\u4e0a\u200b\u6a21\u677f\u200b\u5e94\u7528\u200b\u540e\u200b\uff0c\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\u5b58\u5728\u200b</p> <pre><code># k ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    port vpc1-extra\n        mac: \"00:00:00:EF:6A:C7\"\n        networks: [\"10.10.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#2-ovn-eip","title":"2. ovn-eip","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u548c\u200b iptables-eip \u200b\u8bbe\u8ba1\u200b\u548c\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u57fa\u672c\u4e00\u81f4\u200b\uff0covn-eip \u200b\u76ee\u524d\u200b\u6709\u200b\u4e09\u79cd\u200b type</p> <ul> <li>nat: \u200b\u662f\u200b\u6307\u200b ovn dnat\uff0cfip, snat \u200b\u8fd9\u200b\u4e09\u79cd\u200b nat \u200b\u8d44\u6e90\u7c7b\u578b\u200b</li> <li>lrp: \u200b\u8f6f\u200b\u8def\u7531\u200b\u57fa\u4e8e\u200b\u8be5\u200b\u7aef\u53e3\u200b\u548c\u200b underlay \u200b\u516c\u7f51\u200b\u4e92\u8054\u200b\uff0c\u200b\u8be5\u200b lrp \u200b\u7aef\u53e3\u200b\u7684\u200b ip \u200b\u53ef\u4ee5\u200b\u88ab\u200b\u5176\u4ed6\u200b dnat snat \u200b\u590d\u7528\u200b</li> <li>lsp: \u200b\u7528\u4e8e\u200b ovn \u200b\u57fa\u4e8e\u200b bfd \u200b\u7684\u200b ecmp \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u573a\u666f\u200b\uff0c\u200b\u5728\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u4e0a\u200b\u63d0\u4f9b\u200b\u4e00\u4e2a\u200b ovs internal port \u200b\u4f5c\u4e3a\u200b ecmp \u200b\u8def\u7531\u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b</li> </ul> <pre><code>---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: external204\n  type: nat\n\n# \u200b\u52a8\u6001\u5206\u914d\u200b\u4e00\u4e2a\u200b eip \u200b\u8d44\u6e90\u200b\uff0c\u200b\u8be5\u200b\u8d44\u6e90\u200b\u9884\u7559\u200b\u7528\u4e8e\u200b fip \u200b\u573a\u666f\u200b\n</code></pre> <p>externalSubnet \u200b\u5b57\u200b\u6bb5\u200b\u53ef\u4e0d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff0c\u200b\u82e5\u200b\u672a\u200b\u914d\u7f6e\u200b\u5219\u200b\u4f1a\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u9ed8\u8ba4\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b external204\u3002</p> <p>\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b externalSubnet \u200b\u663e\u5f0f\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u6269\u5c55\u200b\u4f7f\u7528\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u6269\u5c55\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b extra\u3002</p>"},{"location":"advance/ovn-eip-fip-snat/#21-ovn-fip-pod-fip","title":"2.1 ovn-fip \u200b\u4e3a\u200b pod \u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b fip","text":"<pre><code># k get po -o wide -n vpc1 vpc-1-busybox01\nNAME              READY   STATUS    RESTARTS   AGE     IP            NODE\nvpc-1-busybox01   1/1     Running   0          3d15h   192.168.0.2   pc-node-2\n\n# k get ip vpc-1-busybox01.vpc1\nNAME                   V4IP          V6IP   MAC                 NODE        SUBNET\nvpc-1-busybox01.vpc1   192.168.0.2          00:00:00:0A:DD:27   pc-node-2   vpc1-subnet1\n\n---\n\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  ovnEip: eip-static\n  ipName: vpc-1-busybox01.vpc1  # \u200b\u6ce8\u610f\u200b\u8fd9\u91cc\u200b\u662f\u200b ip crd \u200b\u7684\u200b\u540d\u5b57\u200b\uff0c\u200b\u5177\u6709\u200b\u552f\u4e00\u6027\u200b\n\n--\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  ovnEip: eip-static\n  vpc: vpc1\n  v4Ip: 192.168.0.2\n</code></pre> <pre><code># k get ofip\nNAME          VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-for-vip   vpc1   10.5.204.106   192.168.0.3   true    vip      test-fip-vip\neip-static    vpc1   10.5.204.101   192.168.0.2   true             vpc-1-busybox01.vpc1\n# k get ofip eip-static\nNAME         VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-static   vpc1   10.5.204.101   192.168.0.2   true             vpc-1-busybox01.vpc1\n\n[root@pc-node-1 03-cust-vpc]# ping 10.5.204.101\nPING 10.5.204.101 (10.5.204.101) 56(84) bytes of data.\n64 bytes from 10.5.204.101: icmp_seq=2 ttl=62 time=1.21 ms\n64 bytes from 10.5.204.101: icmp_seq=3 ttl=62 time=0.624 ms\n64 bytes from 10.5.204.101: icmp_seq=4 ttl=62 time=0.368 ms\n^C\n--- 10.5.204.101 ping statistics ---\n4 packets transmitted, 3 received, 25% packet loss, time 3049ms\nrtt min/avg/max/mdev = 0.368/0.734/1.210/0.352 ms\n[root@pc-node-1 03-cust-vpc]#\n\n# \u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5728\u200b node ping \u200b\u9ed8\u8ba4\u200b vpc \u200b\u4e0b\u200b\u7684\u200b pod \u200b\u7684\u200b\u516c\u7f51\u200b ip \u200b\u662f\u200b\u80fd\u901a\u200b\u7684\u200b\n</code></pre> <pre><code># \u200b\u8be5\u200b\u516c\u7f51\u200b ip \u200b\u80fd\u901a\u200b\u7684\u200b\u5173\u952e\u200b\u8d44\u6e90\u200b\u4e3b\u8981\u200b\u5305\u62ec\u200b\u4ee5\u4e0b\u200b\u90e8\u5206\u200b\n# k ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 813523e7-c68c-408f-bd8c-cba30cb2e4f4\n        external ip: \"10.5.204.101\"\n        logical ip: \"192.168.0.2\"\n        type: \"dnat_and_snat\"\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#22-ovn-fip-vip-fip","title":"2.2 ovn-fip \u200b\u4e3a\u200b vip \u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b fip","text":"<p>\u200b\u4e3a\u4e86\u200b\u4fbf\u4e8e\u200b\u4e00\u4e9b\u200b vip \u200b\u573a\u666f\u200b\u7684\u200b\u4f7f\u7528\u200b\uff0c\u200b\u6bd4\u5982\u200b kubevirt \u200b\u865a\u62df\u673a\u200b\u5185\u90e8\u200b\u6211\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u4f7f\u7528\u200b\u4e00\u4e9b\u200b vip \u200b\u63d0\u4f9b\u200b\u7ed9\u200b keepalived\uff0ckube-vip \u200b\u7b49\u200b\u573a\u666f\u200b\u6765\u200b\u4f7f\u7528\u200b\uff0c\u200b\u540c\u65f6\u200b\u652f\u6301\u200b\u516c\u7f51\u200b\u8bbf\u95ee\u200b\u3002</p> <p>\u200b\u90a3\u4e48\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b fip \u200b\u7ed1\u5b9a\u200b vpc \u200b\u5185\u90e8\u200b\u7684\u200b vip \u200b\u7684\u200b\u65b9\u5f0f\u200b\u6765\u200b\u63d0\u4f9b\u200b vip \u200b\u7684\u200b\u516c\u7f51\u200b\u80fd\u529b\u200b\u3002</p> <pre><code># \u200b\u5148\u200b\u521b\u5efa\u200b vip\uff0ceip\uff0c\u200b\u518d\u200b\u5c06\u200b eip \u200b\u7ed1\u5b9a\u200b\u5230\u200b vip\n# cat vip.yaml\n\napiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: test-fip-vip\nspec:\n  subnet: vpc1-subnet1\n\n# cat 04-fip.yaml\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  ovnEip: eip-for-vip\n  ipType: vip         # \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b fip \u200b\u662f\u200b\u9762\u5411\u200b pod ip \u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u9700\u8981\u200b\u6807\u6ce8\u200b\u6307\u5b9a\u200b\u5bf9\u200b\u63a5\u5230\u200b vip \u200b\u8d44\u6e90\u200b\n  ipName: test-fip-vip\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  ovnEip: eip-for-vip\n  ipType: vip         # \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b fip \u200b\u662f\u200b\u9762\u5411\u200b pod ip \u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u9700\u8981\u200b\u6807\u6ce8\u200b\u6307\u5b9a\u200b\u5bf9\u200b\u63a5\u5230\u200b vip \u200b\u8d44\u6e90\u200b\n  vpc: vpc1\n  v4Ip: 192.168.0.3\n</code></pre> <pre><code># k get ofip\nNAME          VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-for-vip   vpc1   10.5.204.106   192.168.0.3   true    vip      test-fip-vip\n\n\n[root@pc-node-1 fip-vip]# ping  10.5.204.106\nPING 10.5.204.106 (10.5.204.106) 56(84) bytes of data.\n64 bytes from 10.5.204.106: icmp_seq=1 ttl=62 time=0.694 ms\n64 bytes from 10.5.204.106: icmp_seq=2 ttl=62 time=0.436 ms\n\n# \u200b\u5728\u200b node \u200b\u4e0a\u200b\u662f\u200b ping \u200b\u5f97\u901a\u200b\u7684\u200b\n\n\n# pod \u200b\u5185\u90e8\u200b\u7684\u200b ip \u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u5927\u81f4\u200b\u5c31\u662f\u200b\u5982\u4e0b\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\n\n[root@pc-node-1 fip-vip]# k -n vpc1 exec -it vpc-1-busybox03 -- bash\n[root@vpc-1-busybox03 /]#\n[root@vpc-1-busybox03 /]#\n[root@vpc-1-busybox03 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1568: eth0@if1569: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:56:40:e5 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.5/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet 192.168.0.3/24 scope global secondary eth0  # \u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b vip \u200b\u7684\u200b\u914d\u7f6e\u200b\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe56:40e5/64 scope link\n       valid_lft forever preferred_lft forever\n\n[root@vpc-1-busybox03 /]# tcpdump -i eth0 host  192.168.0.3 -netvv\ntcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes\n00:00:00:ed:8e:c7 &gt; 00:00:00:56:40:e5, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 62, id 44830, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.32.51 &gt; 192.168.0.3: ICMP echo request, id 177, seq 1, length 64\n00:00:00:56:40:e5 &gt; 00:00:00:ed:8e:c7, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 64, id 43962, offset 0, flags [none], proto ICMP (1), length 84)\n    192.168.0.3 &gt; 10.5.32.51: ICMP echo reply, id 177, seq 1, length 64\n\n# pod \u200b\u5185\u90e8\u200b\u53ef\u4ee5\u200b\u6293\u200b\u5230\u200b fip \u200b\u76f8\u5173\u200b\u7684\u200b icmp \u200b\u5305\u200b\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#3-ovn-snat","title":"3. ovn-snat","text":""},{"location":"advance/ovn-eip-fip-snat/#31-ovn-snat-subnet-cidr","title":"3.1 ovn-snat \u200b\u5bf9\u5e94\u200b\u4e00\u4e2a\u200b subnet \u200b\u7684\u200b cidr","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u548c\u200b iptables-snat \u200b\u8bbe\u8ba1\u200b\u548c\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u57fa\u672c\u4e00\u81f4\u200b</p> <pre><code># cat 03-subnet-snat.yaml\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpcSubnet: vpc1-subnet1 # eip \u200b\u5bf9\u5e94\u200b\u6574\u4e2a\u200b\u7f51\u6bb5\u200b\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b subnet cidr \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpc: vpc1\n  v4IpCidr: 192.168.0.0/24 # \u200b\u8be5\u5b57\u6bb5\u200b\u53ef\u4ee5\u200b\u662f\u200b cidr \u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u662f\u200b ip\n</code></pre> <p>\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b externalSubnet \u200b\u663e\u5f0f\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u6269\u5c55\u200b\u4f7f\u7528\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u6269\u5c55\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b extra\u3002</p>"},{"location":"advance/ovn-eip-fip-snat/#32-ovn-snat-pod-ip","title":"3.2 ovn-snat \u200b\u5bf9\u5e94\u200b\u5230\u200b\u4e00\u4e2a\u200b pod ip","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u548c\u200b iptables-snat \u200b\u8bbe\u8ba1\u200b\u548c\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u57fa\u672c\u4e00\u81f4\u200b</p> <pre><code># cat 03-pod-snat.yaml\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-pod-vpc-ip\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat01\nspec:\n  ovnEip: snat-for-pod-vpc-ip\n  ipName: vpc-1-busybox02.vpc1 # eip \u200b\u5bf9\u5e94\u200b\u5355\u4e2a\u200b pod ip\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpc: vpc1\n  v4IpCidr: 192.168.0.4\n</code></pre> <p>\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b externalSubnet \u200b\u663e\u5f0f\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u6269\u5c55\u200b\u4f7f\u7528\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u6269\u5c55\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b extra\u3002</p> <p>\u200b\u4ee5\u4e0a\u200b\u8d44\u6e90\u200b\u521b\u5efa\u200b\u540e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b snat \u200b\u516c\u7f51\u200b\u529f\u80fd\u200b\u4f9d\u8d56\u200b\u7684\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\u3002</p> <pre><code># kubectl ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 21d853b0-f7b4-40bd-9a53-31d2e2745739\n        external ip: \"10.5.204.115\"\n        logical ip: \"192.168.0.0/24\"\n        type: \"snat\"\n    nat da77a11f-c523-439c-b1d1-72c664196a0f\n        external ip: \"10.5.204.116\"\n        logical ip: \"192.168.0.4\"\n        type: \"snat\"\n</code></pre> <pre><code>[root@pc-node-1 03-cust-vpc]# k get po -A -o wide  | grep busy\nvpc1            vpc-1-busybox01                                 1/1     Running   0                3d15h   192.168.0.2   pc-node-2   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox02                                 1/1     Running   0                17h     192.168.0.4   pc-node-1   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox03                                 1/1     Running   0                17h     192.168.0.5   pc-node-1   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox04                                 1/1     Running   0                17h     192.168.0.6   pc-node-3   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox05                                 1/1     Running   0                17h     192.168.0.7   pc-node-1   &lt;none&gt;           &lt;none&gt;\n\n# k exec -it -n vpc1            vpc-1-busybox04   bash\nkubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.\n[root@vpc-1-busybox04 /]#\n[root@vpc-1-busybox04 /]#\n[root@vpc-1-busybox04 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n17095: eth0@if17096: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:76:94:55 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.6/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe76:9455/64 scope link\n       valid_lft forever preferred_lft forever\n[root@vpc-1-busybox04 /]# ping 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=1 ttl=114 time=22.2 ms\n64 bytes from 223.5.5.5: icmp_seq=2 ttl=114 time=21.8 ms\n\n[root@pc-node-1 03-cust-vpc]# k exec -it -n vpc1            vpc-1-busybox02   bash\nkubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1566: eth0@if1567: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:0b:e9:d0 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.4/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe0b:e9d0/64 scope link\n       valid_lft forever preferred_lft forever\n[root@vpc-1-busybox02 /]# ping 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=2 ttl=114 time=22.7 ms\n64 bytes from 223.5.5.5: icmp_seq=3 ttl=114 time=22.6 ms\n64 bytes from 223.5.5.5: icmp_seq=4 ttl=114 time=22.1 ms\n^C\n--- 223.5.5.5 ping statistics ---\n4 packets transmitted, 3 received, 25% packet loss, time 3064ms\nrtt min/avg/max/mdev = 22.126/22.518/22.741/0.278 ms\n\n# \u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u4e24\u4e2a\u200b pod \u200b\u53ef\u4ee5\u200b\u5206\u522b\u200b\u57fa\u4e8e\u200b\u8fd9\u200b\u4e24\u79cd\u200b snat \u200b\u8d44\u6e90\u200b\u4e0a\u200b\u5916\u7f51\u200b\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#4-ovn-dnat","title":"4. ovn-dnat","text":""},{"location":"advance/ovn-eip-fip-snat/#41-ovn-dnat-pod-dnat","title":"4.1 ovn-dnat \u200b\u4e3a\u200b pod \u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b dnat","text":"<pre><code>kind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: underlay\n\n---\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ovnEip: eip-dnat\n  ipName: vpc-1-busybox01.vpc1 # \u200b\u6ce8\u610f\u200b\u8fd9\u91cc\u200b\u662f\u200b pod ip crd \u200b\u7684\u200b\u540d\u5b57\u200b\uff0c\u200b\u5177\u6709\u200b\u552f\u4e00\u6027\u200b\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ovnEip: eip-dnat\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n  vpc: vpc1\n  v4Ip: 192.168.0.3\n</code></pre> <p>\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b externalSubnet \u200b\u663e\u5f0f\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u6269\u5c55\u200b\u4f7f\u7528\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u6269\u5c55\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b extra\u3002</p> <p>OvnDnatRule \u200b\u7684\u200b\u914d\u7f6e\u200b\u4e0e\u200b IptablesDnatRule \u200b\u7c7b\u4f3c\u200b</p> <pre><code># kubectl get oeip eip-dnat\nNAME       V4IP        V6IP   MAC                 TYPE   READY\neip-dnat   10.5.49.4          00:00:00:4D:CE:49   dnat   true\n\n# kubectl get odnat\nNAME                   EIP                    PROTOCOL   V4EIP        V4IP           INTERNALPORT   EXTERNALPORT   IPNAME                                READY\neip-dnat               eip-dnat               tcp        10.5.49.4    192.168.0.3    22             22             vpc-1-busybox01.vpc1                  true\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#42-ovn-dnat-vip-dnat","title":"4.2 ovn-dnat \u200b\u4e3a\u200b vip \u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b dnat","text":"<pre><code>kind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ipType: vip  # \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b dnat \u200b\u662f\u200b\u9762\u5411\u200b pod ip \u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u9700\u8981\u200b\u6807\u6ce8\u200b\u6307\u5b9a\u200b\u5bf9\u200b\u63a5\u5230\u200b vip \u200b\u8d44\u6e90\u200b\n  ovnEip: eip-dnat\n  ipName: test-dnat-vip\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ipType: vip  # \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b dnat \u200b\u662f\u200b\u9762\u5411\u200b pod ip \u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u9700\u8981\u200b\u6807\u6ce8\u200b\u6307\u5b9a\u200b\u5bf9\u200b\u63a5\u5230\u200b vip \u200b\u8d44\u6e90\u200b\n  ovnEip: eip-dnat\n  ipName: test-dnat-vip\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n  vpc: vpc1\n  v4Ip: 192.168.0.4\n</code></pre> <p>OvnDnatRule \u200b\u7684\u200b\u914d\u7f6e\u200b\u4e0e\u200b IptablesDnatRule \u200b\u7c7b\u4f3c\u200b</p> <pre><code># kubectl get vip test-dnat-vip\nNAME            V4IP          PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET         READY\ntest-dnat-vip   192.168.0.4           00:00:00:D0:C0:B5                         vpc1-subnet1   true\n\n# kubectl get oeip eip-dnat\nNAME       V4IP        V6IP   MAC                 TYPE   READY\neip-dnat   10.5.49.4          00:00:00:4D:CE:49   dnat   true\n\n# kubectl get odnat eip-dnat \nNAME       EIP        PROTOCOL   V4EIP       V4IP          INTERNALPORT   EXTERNALPORT   IPNAME          READY\neip-dnat   eip-dnat   tcp        10.5.49.4   192.168.0.4   22             22             test-dnat-vip   true\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/ovn-ipsec/","title":"\u4f7f\u7528\u200b IPsec \u200b\u52a0\u5bc6\u200b\u8282\u70b9\u200b\u95f4\u901a\u4fe1","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4ece\u200b v1.10.11 \u200b\u548c\u200b v1.11.4 \u200b\u540e\u200b\u5f00\u59cb\u200b\u652f\u6301\u200b\uff0ckernel \u200b\u7248\u672c\u200b\u81f3\u5c11\u200b\u662f\u200b 3.10.0 \u200b\u4ee5\u4e0a\u200b\uff0c\u200b\u540c\u65f6\u200b\u9700\u8981\u200b\u4fdd\u8bc1\u200b\u4e3b\u673a\u200b UDP 500 \u200b\u548c\u200b 4500 \u200b\u7aef\u53e3\u200b\u53ef\u7528\u200b\u3002</p>"},{"location":"advance/ovn-ipsec/#ipsec_1","title":"\u542f\u52a8\u200b IPsec","text":"<p>\u200b\u4ece\u200b Kube-OVN \u200b\u6e90\u7801\u200b\u62f7\u8d1d\u200b\u811a\u672c\u200b ipsec.sh\uff0c\u200b\u6267\u884c\u547d\u4ee4\u200b\u5982\u4e0b\u200b\uff0c\u200b\u8be5\u200b\u811a\u672c\u200b\u4f1a\u200b\u8c03\u7528\u200b ovs-pki \u200b\u751f\u6210\u200b\u548c\u200b\u5206\u914d\u200b\u52a0\u5bc6\u200b\u9700\u8981\u200b\u7684\u200b\u8bc1\u4e66\u200b\uff1a</p> <pre><code>bash ipsec.sh init\n</code></pre> <p>\u200b\u6267\u884c\u200b\u5b8c\u6bd5\u200b\u540e\u200b\uff0c\u200b\u8282\u70b9\u200b\u4e4b\u95f4\u200b\u4f1a\u200b\u534f\u5546\u200b\u4e00\u6bb5\u65f6\u95f4\u200b\u5efa\u7acb\u200b IPsec \u200b\u96a7\u9053\u200b\uff0c\u200b\u7ecf\u9a8c\u503c\u200b\u662f\u200b\u5341\u51e0\u79d2\u200b\u5230\u200b\u4e00\u5206\u949f\u200b\u4e4b\u95f4\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5982\u4e0b\u200b\u547d\u4ee4\u200b\u6765\u200b\u67e5\u770b\u200b IPsec \u200b\u72b6\u6001\u200b\uff1a</p> <pre><code># bash ipsec.sh status\n Pod {ovs-ovn-d7hdt} ipsec status...\nInterface name: ovn-a4718e-0 v1 (CONFIGURED)\n  Tunnel Type:    geneve\n  Local IP:       172.18.0.2\n  Remote IP:      172.18.0.4\n  Address Family: IPv4\n  SKB mark:       None\n  Local cert:     /etc/ipsec.d/certs/8aebd9df-46ef-47b9-85e3-73e9a765296d-cert.pem\n  Local name:     8aebd9df-46ef-47b9-85e3-73e9a765296d\n  Local key:      /etc/ipsec.d/private/8aebd9df-46ef-47b9-85e3-73e9a765296d-privkey.pem\n  Remote cert:    None\n  Remote name:    a4718e55-5b85-4f46-90e6-63527d080590\n  CA cert:        /etc/ipsec.d/cacerts/cacert.pem\n  PSK:            None\n  Custom Options: {}\n  Ofport:         2\n  CFM state:      Disabled\nKernel policies installed:\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\nKernel security associations installed:\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\nIPsec connections that are active:\n\n Pod {ovs-ovn-fvbbj} ipsec status...\nInterface name: ovn-8aebd9-0 v1 (CONFIGURED)\n  Tunnel Type:    geneve\n  Local IP:       172.18.0.4\n  Remote IP:      172.18.0.2\n  Address Family: IPv4\n  SKB mark:       None\n  Local cert:     /etc/ipsec.d/certs/a4718e55-5b85-4f46-90e6-63527d080590-cert.pem\n  Local name:     a4718e55-5b85-4f46-90e6-63527d080590\n  Local key:      /etc/ipsec.d/private/a4718e55-5b85-4f46-90e6-63527d080590-privkey.pem\n  Remote cert:    None\n  Remote name:    8aebd9df-46ef-47b9-85e3-73e9a765296d\n  CA cert:        /etc/ipsec.d/cacerts/cacert.pem\n  PSK:            None\n  Custom Options: {}\n  Ofport:         1\n  CFM state:      Disabled\nKernel policies installed:\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\nKernel security associations installed:\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\nIPsec connections that are active:\n</code></pre> <p>\u200b\u5efa\u7acb\u200b\u5b8c\u6210\u200b\u540e\u200b\u53ef\u4ee5\u200b\u6293\u5305\u200b\u89c2\u5bdf\u200b\u62a5\u6587\u200b\u5df2\u7ecf\u200b\u88ab\u200b\u52a0\u5bc6\u200b\uff1a</p> <pre><code># tcpdump -i eth0 -nel esp\n10:01:40.349896 IP kube-ovn-worker &gt; kube-ovn-control-plane.kind: ESP(spi=0xcc91322a,seq=0x13d0), length 156\n10:01:40.350015 IP kube-ovn-control-plane.kind &gt; kube-ovn-worker: ESP(spi=0xc8df4221,seq=0x1d37), length 156\n</code></pre> <p>\u200b\u5f53\u200b\u6267\u884c\u200b\u5b8c\u200b\u811a\u672c\u200b\u540e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u6267\u884c\u547d\u4ee4\u200b\u5173\u95ed\u200b IPsec\uff1a</p> <pre><code># bash ipsec.sh stop\n</code></pre> <p>\u200b\u6216\u8005\u200b\u6267\u884c\u547d\u4ee4\u200b\u518d\u6b21\u200b\u6253\u5f00\u200b\uff1a</p> <pre><code># bash ipsec.sh start\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/","title":"OVN SNAT \u200b\u57fa\u4e8e\u200b ECMP BFD \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u7684\u200b L3 HA \u200b\u652f\u6301","text":"<p>\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u57fa\u4e8e\u200b ovn snat \u200b\u540e\u200b\u57fa\u4e8e\u200b ecmp \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u54c8\u5e0c\u200b\u5230\u200b\u591a\u4e2a\u200b gw node ovnext0 \u200b\u7f51\u5361\u200b\u51fa\u200b\u516c\u7f51\u200b</p> <ul> <li>\u200b\u652f\u6301\u200b\u57fa\u4e8e\u200b bfd \u200b\u7684\u200b\u9ad8\u200b\u53ef\u7528\u200b</li> <li>\u200b\u4ec5\u200b\u652f\u6301\u200b hash \u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b</li> </ul> <pre><code>graph LR\n\npod--&gt;vpc-subnet--&gt;vpc--&gt;snat--&gt;ecmp--&gt;external-subnet--&gt;gw-node1-ovnext0--&gt; node1-external-switch\nexternal-subnet--&gt;gw-node2-ovnext0--&gt; node2-external-switch\nexternal-subnet--&gt;gw-node3-ovnext0--&gt; node3-external-switch</code></pre> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u548c\u200bovn-eip-fip-snat.md \u200b\u57fa\u672c\u4e00\u81f4\u200b\uff0c\u200b\u4e00\u81f4\u200b\u7684\u200b\u90e8\u5206\u200b\u5305\u62ec\u200b install.sh \u200b\u7684\u200b\u90e8\u7f72\u200b\u90e8\u5206\u200b\uff0cprovider-network\uff0cvlan\uff0csubnet \u200b\u7684\u200b\u51c6\u5907\u200b\u90e8\u5206\u200b\u3002</p> <p>\u200b\u81f3\u4e8e\u200b\u4e0d\u200b\u76f8\u540c\u200b\u7684\u200b\u90e8\u5206\u200b\uff0c\u200b\u4f1a\u200b\u5728\u200b\u4ee5\u4e0b\u200b\u90e8\u5206\u200b\u5177\u4f53\u200b\u9610\u8ff0\u200b\uff0c\u200b\u4e3b\u8981\u200b\u5305\u62ec\u200b lsp \u200b\u7c7b\u578b\u200b\u7684\u200b ovn-eip \u200b\u7684\u200b\u521b\u5efa\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u57fa\u4e8e\u200b vpc enable_bfd \u200b\u81ea\u52a8\u200b\u7ef4\u62a4\u200b bfd \u200b\u4ee5\u53ca\u200b ecmp \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u3002</p>"},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#1","title":"1. \u200b\u90e8\u7f72","text":""},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#11-underlay","title":"1.1 \u200b\u51c6\u5907\u200b underlay \u200b\u516c\u7f51\u200b\u7f51\u7edc","text":""},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#12-vpc-eip_snat","title":"1.2 \u200b\u9ed8\u8ba4\u200b vpc \u200b\u542f\u7528\u200b eip_snat","text":""},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#13-vpc-eip-snat-fip","title":"1.3 \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u542f\u7528\u200b eip snat fip \u200b\u529f\u80fd","text":"<p>\u200b\u4ee5\u4e0a\u200b\u90e8\u5206\u200b\u548c\u200b ovn-eip-fip-snat.md \u200b\u5b8c\u5168\u4e00\u81f4\u200b\uff0c\u200b\u8fd9\u4e9b\u200b\u529f\u80fd\u200b\u9a8c\u8bc1\u200b\u901a\u8fc7\u200b\u540e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u57fa\u4e8e\u200b\u5982\u4e0b\u200b\u65b9\u5f0f\u200b\uff0c\u200b\u5c06\u200b vpc \u200b\u5207\u6362\u200b\u5230\u200b\u57fa\u4e8e\u200b ecmp \u200b\u7684\u200b bfd \u200b\u9759\u6001\u200b\u8def\u7531\u200b\uff0c\u200b\u5f53\u7136\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u5207\u56de\u200b\u3002</p> <p>\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u4f7f\u7528\u200b\u8be5\u200b\u529f\u80fd\u200b\u4e4b\u524d\u200b\uff0c\u200b\u9700\u8981\u200b\u5148\u200b\u63d0\u4f9b\u200b\u597d\u7f51\u200b\u5173\u8282\u70b9\u200b\uff0c\u200b\u81f3\u5c11\u200b\u9700\u8981\u200b\u63d0\u4f9b\u200b 2 \u200b\u4e2a\u200b\u4ee5\u4e0a\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\uff0c\u200b\u6ce8\u610f\u200b\u5f53\u524d\u200b\u5b9e\u73b0\u200b ovn-eip \u200b\u7684\u200b\u540d\u5b57\u200b\u5fc5\u987b\u200b\u548c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u540d\u200b\u4fdd\u6301\u4e00\u81f4\u200b\uff0c\u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u505a\u200b\u8be5\u200b\u8d44\u6e90\u200b\u7684\u200b\u81ea\u52a8\u5316\u200b\u7ef4\u62a4\u200b\u3002</p> <pre><code># cat gw-node-eip.yaml\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-1\nspec:\n  externalSubnet: external204\n  type: lsp\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-2\nspec:\n  externalSubnet: external204\n  type: lsp\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-3\nspec:\n  externalSubnet: external204\n  type: lsp\n</code></pre> <p>\u200b\u7531\u4e8e\u200b\u8fd9\u4e2a\u200b\u573a\u666f\u200b\u76ee\u524d\u200b\u8bbe\u8ba1\u200b\u4e0a\u200b\u662f\u200b\u4f9b\u200b vpc ecmp \u200b\u51fa\u200b\u516c\u7f51\u200b\u4f7f\u7528\u200b\uff0c\u200b\u6240\u4ee5\u200b\u4ee5\u4e0a\u200b\u5728\u200b\u6ca1\u6709\u200b vpc \u200b\u542f\u7528\u200b bfd \u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u5373\u200b\u4e0d\u200b\u5b58\u5728\u200b\u5e26\u6709\u200b enable bfd \u200b\u6807\u7b7e\u200b\u7684\u200b lrp \u200b\u7684\u200b ovn eip \u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u4e0d\u4f1a\u200b\u89e6\u53d1\u200b\u521b\u5efa\u200b\u7f51\u5173\u200b\u7f51\u5361\u200b\uff0c\u200b\u4e5f\u200b\u65e0\u6cd5\u200b\u6210\u529f\u200b\u542f\u52a8\u200b\u5bf9\u7aef\u200b bfd \u200b\u4f1a\u8bdd\u200b\u7684\u200b\u76d1\u542c\u200b\u3002</p>"},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#2-vpc-ecmp-bfd-l3-ha","title":"2. \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u542f\u7528\u200b ecmp bfd L3 HA \u200b\u516c\u7f51\u200b\u529f\u80fd","text":"<pre><code># cat 01-vpc-ecmp-enable-external-bfd.yml\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true\n  enableBfd: true # bfd \u200b\u5f00\u5173\u200b\u53ef\u4ee5\u200b\u968f\u610f\u200b\u5207\u6362\u200b\uff0c\u200b\u5f00\u200b\u8868\u793a\u200b\u542f\u7528\u200b bfd ecmp \u200b\u8def\u7531\u200b\n  #enableBfd: false \n\n\n# cat 02-subnet.yml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vpc1-subnet1\nspec:\n  cidrBlock: 192.168.0.0/24\n  default: false\n  disableGatewayCheck: false\n  disableInterConnection: true\n  enableEcmp: true  # \u200b\u53ea\u200b\u9700\u200b\u5f00\u542f\u200b ecmp\n  gatewayNode: \"\"\n  gatewayType: distributed\n  #gatewayType: centralized\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n  provider: ovn\n  vpc: vpc1\n  namespaces:\n  - vpc1\n</code></pre> <p>\u200b\u4f7f\u7528\u200b\u4e0a\u200b\u7684\u200b\u6ce8\u610f\u200b\u70b9\u200b:</p> <ol> <li>\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u4e0b\u200b\u7684\u200b ecmp \u200b\u53ea\u7528\u200b\u9759\u6001\u200b ecmp bfd \u200b\u8def\u7531\u200b\uff0cvpc enableBfd \u200b\u548c\u200b subnet enableEcmp \u200b\u540c\u65f6\u200b\u5f00\u542f\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u624d\u200b\u4f1a\u200b\u751f\u6548\u200b\uff0c\u200b\u624d\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u7ba1\u7406\u200b\u9759\u6001\u200b ecmp bfd \u200b\u8def\u7531\u200b\u3002</li> <li>\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u5173\u95ed\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5207\u56de\u200b\u5e38\u89c4\u200b\u9ed8\u8ba4\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u3002</li> <li>\u200b\u9ed8\u8ba4\u200b vpc \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u8be5\u200b\u529f\u80fd\u200b\uff0c\u200b\u4ec5\u200b\u652f\u6301\u200b\u81ea\u5b9a\u4e49\u200b vpc\uff0c\u200b\u9ed8\u8ba4\u200b vpc \u200b\u6709\u200b\u66f4\u200b\u590d\u6742\u200b\u7684\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4ee5\u53ca\u200b snat \u200b\u8bbe\u8ba1\u200b\u3002</li> <li>\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u7684\u200b subnet \u200b\u7684\u200b enableEcmp \u200b\u4ec5\u200b\u4f7f\u7528\u200b\u9759\u6001\u200b\u8def\u7531\u200b\uff0c\u200b\u7f51\u5173\u200b\u7c7b\u578b\u200b gatewayType \u200b\u6ca1\u6709\u200b\u4f5c\u7528\u200b\u3002</li> <li>\u200b\u5f53\u200b\u5173\u95ed\u200b EnableExternal \u200b\u65f6\u200b\uff0cvpc \u200b\u5185\u200b\u65e0\u6cd5\u200b\u901a\u5916\u200b\u7f51\u200b\u3002</li> <li>\u200b\u5f53\u200b\u5f00\u542f\u200b EnableExternal \u200b\u65f6\u200b\uff0c\u200b\u5173\u95ed\u200b EnableBfd \u200b\u65f6\u200b\uff0c\u200b\u4f1a\u200b\u57fa\u4e8e\u200b\u666e\u901a\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u4e0a\u200b\u5916\u7f51\u200b\uff0c\u200b\u4e0d\u200b\u5177\u5907\u200b\u9ad8\u200b\u53ef\u7528\u200b\u3002</li> </ol> <pre><code># \u200b\u4e0a\u8ff0\u200b\u6a21\u677f\u200b\u5e94\u7528\u200b\u540e\u200b ovn \u200b\u903b\u8f91\u200b\u5c42\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\n# \u200b\u67e5\u770b\u200b vpc\n# k get vpc\nNAME          ENABLEEXTERNAL   ENABLEBFD   STANDBY   SUBNETS                                NAMESPACES\novn-cluster   true                         true      [\"external204\",\"join\",\"ovn-default\"]\nvpc1          true             true        true      [\"vpc1-subnet1\"]                       [\"vpc1\"]\n\n# \u200b\u9ed8\u8ba4\u200b vpc \u200b\u672a\u200b\u652f\u6301\u200b ENABLEBFD\n# \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u5df2\u200b\u652f\u6301\u200b\u4e14\u200b\u5df2\u200b\u542f\u7528\u200b\n\n\n# 1. \u200b\u521b\u5efa\u200b\u4e86\u200b bfd \u200b\u4f1a\u8bdd\u200b\n# k ko nbctl list bfd\n_uuid               : be7df545-2c4c-4751-878f-b3507987f050\ndetect_mult         : 3\ndst_ip              : \"10.5.204.121\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n_uuid               : 684c4489-5b59-4693-8d8c-3beab93f8093\ndetect_mult         : 3\ndst_ip              : \"10.5.204.109\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n_uuid               : f0f62077-2ae9-4e79-b4f8-a446ec6e784c\ndetect_mult         : 3\ndst_ip              : \"10.5.204.108\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n### \u200b\u6ce8\u610f\u200b\u6240\u6709\u200b status \u200b\u6b63\u5e38\u200b\u90fd\u200b\u5e94\u8be5\u200b\u662f\u200b up \u200b\u7684\u200b\n\n# 2. \u200b\u521b\u5efa\u200b\u4e86\u200b\u57fa\u4e8e\u200b bfd \u200b\u7684\u200b\u9759\u6001\u200b\u8def\u7531\u200b\n# k ko nbctl lr-route-list vpc1\nIPv4 Routes\nRoute Table &lt;main&gt;:\n           192.168.0.0/24              10.5.204.108 src-ip ecmp ecmp-symmetric-reply bfd\n           192.168.0.0/24              10.5.204.109 src-ip ecmp ecmp-symmetric-reply bfd\n           192.168.0.0/24              10.5.204.121 src-ip ecmp ecmp-symmetric-reply bfd\n\n# 3. \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u8be6\u60c5\u200b\n# k ko nbctl find Logical_Router_Static_Route  policy=src-ip options=ecmp_symmetric_reply=\"true\"\n_uuid               : 3aacb384-d5ee-4b14-aebf-59e8c11717ba\nbfd                 : 684c4489-5b59-4693-8d8c-3beab93f8093\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.109\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n\n_uuid               : 18bcc585-bc05-430b-925b-ef673c8e1aef\nbfd                 : f0f62077-2ae9-4e79-b4f8-a446ec6e784c\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.108\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n\n_uuid               : 7d0a4e6b-cde0-4110-8176-fbaf19738498\nbfd                 : be7df545-2c4c-4751-878f-b3507987f050\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.121\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n</code></pre> <pre><code># \u200b\u540c\u65f6\u200b\u5728\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u90fd\u200b\u5e94\u8be5\u200b\u5177\u5907\u200b\u4ee5\u4e0b\u200b\u8d44\u6e90\u200b\n\n[root@pc-node-1 ~]# ip netns exec ovnext bash ip a\n/usr/sbin/ip: /usr/sbin/ip: cannot execute binary file\n[root@pc-node-1 ~]#\n[root@pc-node-1 ~]# ip netns exec ovnext ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1541: ovnext0: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1400 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/ether 00:00:00:ab:bd:87 brd ff:ff:ff:ff:ff:ff\n    inet 10.5.204.108/24 brd 10.5.204.255 scope global ovnext0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:feab:bd87/64 scope link\n       valid_lft forever preferred_lft forever\n[root@pc-node-1 ~]#\n[root@pc-node-1 ~]# ip netns exec ovnext route -n\nKernel IP routing table\nDestination     Gateway         Genmask         Flags Metric Ref    Use Iface\n0.0.0.0         10.5.204.254    0.0.0.0         UG    0      0        0 ovnext0\n10.5.204.0      0.0.0.0         255.255.255.0   U     0      0        0 ovnext0\n\n## \u200b\u6ce8\u610f\u200b\u4ee5\u4e0a\u200b\u5185\u5bb9\u200b\u548c\u200b\u4e00\u4e2a\u200b internal port unerlay \u200b\u516c\u7f51\u200b pod \u200b\u5185\u90e8\u200b\u7684\u200b ns \u200b\u5927\u81f4\u200b\u662f\u200b\u4e00\u81f4\u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u53ea\u662f\u200b\u5728\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u4e0a\u200b\u5355\u72ec\u200b\u7ef4\u62a4\u200b\u4e86\u200b\u4e00\u4e2a\u200b ns\n\n[root@pc-node-1 ~]# ip netns exec ovnext bfdd-control status\nThere are 1 sessions:\nSession 1\n id=1 local=10.5.204.108 (p) remote=10.5.204.122 state=Up\n\n## \u200b\u8fd9\u91cc\u200b\u5373\u200b\u662f\u200b lrp bfd \u200b\u4f1a\u8bdd\u200b\u7684\u200b\u53e6\u4e00\u7aef\u200b\uff0c\u200b\u4e5f\u200b\u662f\u200b lrp ecmp \u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u7684\u200b\u5176\u4e2d\u200b\u4e00\u4e2a\u200b\n\n\n[root@pc-node-1 ~]# ip netns exec ovnext ping -c1 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=1 ttl=115 time=21.6 ms\n\n# \u200b\u5230\u200b\u516c\u7f51\u200b\u6ca1\u200b\u95ee\u9898\u200b\n</code></pre> <p>\u200b\u53ef\u4ee5\u200b\u5728\u200b\u67d0\u200b\u4e00\u4e2a\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u7684\u200b ovnext ns \u200b\u5185\u200b\u6293\u200b\u5230\u200b\u51fa\u53bb\u200b\u7684\u200b\u5305\u200b</p> <pre><code># tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n^C\n0 packets captured\n0 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-1 ~]# exit\n[root@pc-node-1 ~]# ssh pc-node-2\nLast login: Thu Feb 23 09:21:08 2023 from 10.5.32.51\n[root@pc-node-2 ~]# ip netns exec ovnext bash\n[root@pc-node-2 ~]# tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n^C\n0 packets captured\n0 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-2 ~]# exit\n[root@pc-node-2 ~]# logout\nConnection to pc-node-2 closed.\n[root@pc-node-1 ~]# ssh pc-node-3\nLast login: Thu Feb 23 08:32:41 2023 from 10.5.32.51\n[root@pc-node-3 ~]#  ip netns exec ovnext bash\n[root@pc-node-3 ~]# tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n00:00:00:2d:f8:ce &gt; 00:00:00:fd:b2:a4, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 63, id 57978, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.204.102 &gt; 223.5.5.5: ICMP echo request, id 22, seq 71, length 64\n00:00:00:fd:b2:a4 &gt; dc:ef:80:5a:44:1a, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 62, id 57978, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.204.102 &gt; 223.5.5.5: ICMP echo request, id 22, seq 71, length 64\n^C\n2 packets captured\n2 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-3 ~]#\n\n# \u200b\u53ef\u4ee5\u200b\u5728\u200b\u8be5\u200b\u8282\u70b9\u200b down \u200b\u6389\u200b\u51fa\u53bb\u200b\u7684\u200b\u7f51\u5361\u200b\uff0c\u200b\u7136\u540e\u200b\u770b\u200b pod \u200b\u51fa\u53bb\u200b\u7684\u200b\u5305\u200b\u5728\u200b\u7f51\u7edc\u200b\u4e2d\u65ad\u200b\u4e2d\u200b\u4f1a\u200b\u51fa\u73b0\u200b\u51e0\u4e2a\u200b\u5305\u200b\n# \u200b\u4e00\u822c\u200b\u90fd\u200b\u4f1a\u200b\u770b\u5230\u200b\u4e22\u200b 3 \u200b\u4e2a\u200b\u5305\u200b\n</code></pre>"},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#3-bfd","title":"3. \u200b\u5173\u95ed\u200b bfd \u200b\u6a21\u5f0f","text":"<p>\u200b\u5728\u200b\u67d0\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u53ef\u80fd\u200b\u60f3\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\uff08\u200b\u96c6\u4e2d\u5f0f\u200b\uff09\u200b\u5355\u4e2a\u200b\u7f51\u5173\u200b\u76f4\u63a5\u200b\u51fa\u200b\u516c\u7f51\u200b\uff0c\u200b\u8fd9\u4e2a\u200b\u65f6\u5019\u200b\u548c\u200b\u9ed8\u8ba4\u200b vpc enable_eip_snat \u200b\u7684\u200b\u4f7f\u7528\u200b\u6a21\u5f0f\u200b\u662f\u200b\u4e00\u81f4\u200b\u7684\u200b</p> <pre><code># cat 01-vpc-ecmp-enable-external-bfd.yml\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc2\nspec:\n  namespaces:\n  - vpc2\n  enableExternal: true\n  #enableBfd: true\n  enableBfd: false\n\n## \u200b\u5c06\u200b bfd \u200b\u529f\u80fd\u200b\u76f4\u63a5\u200b\u7981\u7528\u200b\u5373\u53ef\u200b\n\n# k ko nbctl lr-route-list vpc2\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0              10.5.204.254 dst-ip\n\n# \u200b\u5e94\u7528\u200b\u540e\u200b\u8def\u7531\u200b\u4f1a\u200b\u5207\u6362\u200b\u56de\u200b\u6b63\u5e38\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u9759\u6001\u200b\u8def\u7531\u200b\n# \u200b\u540c\u65f6\u200b nbctl list bfd  \u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b lrp \u200b\u5173\u8054\u200b\u7684\u200b bfd \u200b\u4f1a\u8bdd\u200b\u5df2\u7ecf\u200b\u79fb\u9664\u200b\n# \u200b\u800c\u4e14\u200b ovnext ns \u200b\u4e2d\u200b\u7684\u200b\u5bf9\u200b\u7aef\u200b bfd \u200b\u4f1a\u8bdd\u200b\u4e5f\u200b\u81ea\u52a8\u200b\u79fb\u9664\u200b\n# \u200b\u8be5\u200b\u5207\u6362\u200b\u8fc7\u7a0b\u200b\u4fdd\u6301\u200b vpc subnet \u200b\u5185\u200b\u4fdd\u6301\u200b ping \u200b\u672a\u200b\u770b\u5230\u200b(\u200b\u79d2\u7ea7\u200b)\u200b\u4e22\u5305\u200b\n# \u200b\u518d\u200b\u5207\u6362\u200b\u56de\u53bb\u200b \u200b\u4e5f\u200b\u672a\u200b\u770b\u5230\u200b(\u200b\u79d2\u7ea7\u200b)\u200b\u4e22\u5305\u200b\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/ovn-remote-port-mirroring/","title":"OVN \u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"<p>\u200b\u6b64\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u6307\u5b9a\u200b Pod\u3001\u200b\u6307\u5b9a\u200b\u65b9\u5411\u200b\u7684\u200b\u6d41\u91cf\u200b\uff0c\u200b\u901a\u8fc7\u200b GRE/ERSPAN \u200b\u5c01\u88c5\u200b\u540e\u200b\uff0c\u200b\u4f20\u8f93\u200b\u5230\u200b\u8fdc\u7aef\u200b\u3002</p> <p>\u200b\u6b64\u200b\u529f\u80fd\u200b\u8981\u6c42\u200b Kube-OVN \u200b\u7248\u672c\u200b\u4e0d\u200b\u4f4e\u4e8e\u200b v1.12\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#multus-cni","title":"\u90e8\u7f72\u200b Multus-CNI","text":"<p>\u200b\u53c2\u8003\u200b Multus-CNI \u200b\u6587\u6863\u200b \u200b\u90e8\u7f72\u200b Multus\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#_1","title":"\u521b\u5efa\u200b\u9644\u5c5e\u200b\u7f51\u7edc","text":"<p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u5185\u5bb9\u200b\u521b\u5efa\u200b\u9644\u5c5e\u200b\u7f51\u7edc\u200b\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: attachnet\n  namespace: default\nspec:\n  config: |\n    {\n      \"cniVersion\": \"0.3.1\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"attachnet.default.ovn\"\n    }\n</code></pre> <p>\u200b\u5176\u4e2d\u200b <code>provider</code> \u200b\u5b57\u200b\u6bb5\u200b\u683c\u5f0f\u200b\u4e3a\u200b <code>&lt;NAME&gt;.&lt;NAMESPACE&gt;.ovn</code>\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#underlay","title":"\u521b\u5efa\u200b Underlay \u200b\u7f51\u7edc","text":"<p>\u200b\u955c\u50cf\u200b\u6d41\u91cf\u200b\u662f\u200b\u5c01\u88c5\u200b\u540e\u200b\u8fdb\u884c\u200b\u4f20\u8f93\u200b\u7684\u200b\uff0c\u200b\u56e0\u6b64\u200b\u7528\u4e8e\u200b\u4f20\u8f93\u200b\u7684\u200b\u7f51\u7edc\u200b\uff0cMTU \u200b\u9700\u8981\u200b\u5927\u4e8e\u200b\u88ab\u200b\u955c\u50cf\u200b\u7684\u200b LSP/Pod\u3002\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b Underlay \u200b\u4f5c\u4e3a\u200b\u4f20\u8f93\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u5185\u5bb9\u200b\u521b\u5efa\u200b Underlay \u200b\u7f51\u7edc\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: net1\nspec:\n  defaultInterface: eth1\n---\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan1\nspec:\n  id: 0\n  provider: net1\n---\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 172.19.0.0/16\n  excludeIps:\n  - 172.19.0.2..172.19.0.20\n  gateway: 172.19.0.1\n  vlan: vlan1\n  provider: attachnet.default.ovn\n</code></pre> <p>\u200b\u5176\u4e2d\u200b\uff0c\u200b\u5b50\u7f51\u200b\u7684\u200b <code>provider</code> \u200b\u5fc5\u987b\u200b\u4e0e\u200b\u9644\u5c5e\u200b\u7f51\u7edc\u200b\u7684\u200b <code>provider</code> \u200b\u76f8\u540c\u200b\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#pod","title":"\u521b\u5efa\u200b\u6d41\u91cf\u200b\u63a5\u6536\u200b Pod","text":"<p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u5185\u5bb9\u200b\u521b\u5efa\u200b\u7528\u4e8e\u200b\u63a5\u6536\u200b\u955c\u50cf\u200b\u6d41\u91cf\u200b\u7684\u200b Pod\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: pod1\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\nspec:\n  containers:\n  - name: bash\n    image: docker.io/kubeovn/kube-ovn:v1.13.0\n    args:\n    - bash\n    - -c\n    - sleep infinity\n    securityContext:\n      privileged: true\n</code></pre> <p>\u200b\u521b\u5efa\u200b\u5b8c\u6210\u200b\u540e\u200b\uff0c\u200b\u67e5\u770b\u200b Pod \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff1a</p> <pre><code>$ kubectl get ips | grep pod1\npod1.default                        10.16.0.12   00:00:00:FF:34:24  kube-ovn-worker  ovn-default\npod1.default.attachnet.default.ovn  172.19.0.21  00:00:00:A0:30:68  kube-ovn-worker  subnet1\n</code></pre> <p>\u200b\u8bb0\u4f4f\u200b\u7b2c\u4e8c\u200b\u7f51\u5361\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b <code>172.19.0.21</code>\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#ovn_1","title":"\u521b\u5efa\u200b OVN \u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"<p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\u521b\u5efa\u200b OVN \u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\uff1a</p> <pre><code>kubectl ko nbctl mirror-add mirror1 gre 99 from-lport 172.19.0.21\nkubectl ko nbctl lsp-attach-mirror coredns-787d4945fb-gpnkb.kube-system mirror1\n</code></pre> <p>\u200b\u5176\u4e2d\u200b <code>coredns-787d4945fb-gpnkb.kube-system</code> \u200b\u662f\u200b OVN LSP \u200b\u7684\u200b\u540d\u79f0\u200b\uff0c\u200b\u683c\u5f0f\u200b\u901a\u5e38\u200b\u4e3a\u200b <code>&lt;POD_NAME&gt;.&lt;POD_NAMESPACE&gt;</code>\u3002</p> <p>\u200b\u76f8\u5173\u200b\u7684\u200b OVN \u200b\u547d\u4ee4\u200b\u4f7f\u7528\u200b\u65b9\u6cd5\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>ovn-nbctl mirror-add &lt;NAME&gt; &lt;TYPE&gt; &lt;INDEX&gt; &lt;FILTER&gt; &lt;IP&gt;\n\nNAME   - add a mirror with given name\nTYPE   - specify TYPE 'gre' or 'erspan'\nINDEX  - specify the tunnel INDEX value\n         (indicates key if GRE, erpsan_idx if ERSPAN)\nFILTER - specify FILTER for mirroring selection\n         ('to-lport' / 'from-lport')\nIP     - specify Sink / Destination i.e. Remote IP\n\novn-nbctl mirror-del [NAME]         remove mirrors\novn-nbctl mirror-list               print mirrors\n\novn-nbctl lsp-attach-mirror PORT MIRROR   attach source PORT to MIRROR\novn-nbctl lsp-detach-mirror PORT MIRROR   detach source PORT from MIRROR\n</code></pre>"},{"location":"advance/ovn-remote-port-mirroring/#pod_1","title":"\u914d\u7f6e\u200b\u6d41\u91cf\u200b\u63a5\u6536\u200b Pod","text":"<p>\u200b\u5728\u200b\u524d\u9762\u200b\u521b\u5efa\u200b\u7684\u200b Pod \u200b\u4e2d\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>root@pod1:/kube-ovn# ip link add mirror1 type gretap local 172.19.0.21 key 99 dev net1\nroot@pod1:/kube-ovn# ip link set mirror1 up\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u5c31\u200b\u53ef\u4ee5\u200b\u5728\u200b\u63a5\u6536\u200b\u6d41\u91cf\u200b\u7684\u200b Pod \u200b\u4e2d\u200b\u8fdb\u884c\u200b\u6293\u5305\u200b\u9a8c\u8bc1\u200b\uff1a</p> <pre><code>root@pod1:/kube-ovn# tcpdump -i mirror1 -nnve\ntcpdump: listening on mirror1, link-type EN10MB (Ethernet), snapshot length 262144 bytes\n05:13:30.328808 00:00:00:a3:f5:e2 &gt; 00:00:00:97:0f:6e, ethertype ARP (0x0806), length 42: Ethernet (len 6), IPv4 (len 4), Request who-has 10.16.0.7 tell 10.16.0.4, length 28\n05:13:30.559167 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 212: (tos 0x0, ttl 64, id 57364, offset 0, flags [DF], proto UDP (17), length 198)\n    10.16.0.4.53 &gt; 10.16.0.6.50472: 34511 NXDomain*- 0/1/1 (170)\n05:13:30.559343 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 212: (tos 0x0, ttl 64, id 57365, offset 0, flags [DF], proto UDP (17), length 198)\n    10.16.0.4.53 &gt; 10.16.0.6.45177: 1659 NXDomain*- 0/1/1 (170)\n05:13:30.560625 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 200: (tos 0x0, ttl 64, id 57367, offset 0, flags [DF], proto UDP (17), length 186)\n    10.16.0.4.53 &gt; 10.16.0.6.43848: 2636*- 0/1/1 (158)\n05:13:30.562774 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 191: (tos 0x0, ttl 64, id 57368, offset 0, flags [DF], proto UDP (17), length 177)\n    10.16.0.4.53 &gt; 10.16.0.6.37755: 48737 NXDomain*- 0/1/1 (149)\n05:13:30.563523 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 187: (tos 0x0, ttl 64, id 57369, offset 0, flags [DF], proto UDP (17), length 173)\n    10.16.0.4.53 &gt; 10.16.0.6.53887: 45519 NXDomain*- 0/1/1 (145)\n05:13:30.564940 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 201: (tos 0x0, ttl 64, id 57370, offset 0, flags [DF], proto UDP (17), length 187)\n    10.16.0.4.53 &gt; 10.16.0.6.40846: 25745 NXDomain*- 0/1/1 (159)\n05:13:30.565140 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 201: (tos 0x0, ttl 64, id 57371, offset 0, flags [DF], proto UDP (17), length 187)\n    10.16.0.4.53 &gt; 10.16.0.6.45214: 61875 NXDomain*- 0/1/1 (159)\n05:13:30.566023 00:00:00:a3:f5:e2 &gt; 00:00:00:55:e4:4e, ethertype IPv4 (0x0800), length 80: (tos 0x0, ttl 64, id 45937, offset 0, flags [DF], proto UDP (17), length 66)\n    10.16.0.4.44116 &gt; 172.18.0.1.53: 16025+ [1au] AAAA? alauda.cn. (38)\n</code></pre>"},{"location":"advance/ovn-remote-port-mirroring/#_2","title":"\u6ce8\u610f\u4e8b\u9879","text":"<ol> <li>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b ERSPAN \u200b\u4f5c\u4e3a\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\uff0cOVN \u200b\u8282\u70b9\u200b\u53ca\u200b\u8fdc\u7aef\u200b\u8bbe\u5907\u200b\u7684\u200b Linux \u200b\u5185\u6838\u200b\u7248\u672c\u200b\u4e0d\u5f97\u200b\u4f4e\u4e8e\u200b 4.14\u3002\u200b\u82e5\u200b\u4f7f\u7528\u200b ERSPAN \u200b\u4f5c\u4e3a\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\u4e14\u200b\u4f7f\u7528\u200b IPv6 \u200b\u4f5c\u4e3a\u200b\u4f20\u8f93\u200b\u7f51\u7edc\u200b\uff0cLinux \u200b\u5185\u6838\u200b\u7248\u672c\u200b\u4e0d\u5f97\u200b\u4f4e\u4e8e\u200b 4.16\u3002</li> <li>\u200b\u955c\u50cf\u200b\u6d41\u91cf\u200b\u7684\u200b\u4f20\u8f93\u200b\u662f\u200b\u5355\u5411\u200b\u7684\u200b\uff0c\u200b\u53ea\u200b\u9700\u200b\u4fdd\u8bc1\u200b OVN \u200b\u8282\u70b9\u200b\u80fd\u591f\u200b\u8bbf\u95ee\u200b\u8fdc\u7aef\u200b\u8bbe\u5907\u200b\u5373\u53ef\u200b\u3002</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/performance-tuning/","title":"\u6027\u80fd\u200b\u8c03\u4f18","text":"<p>\u200b\u4e3a\u4e86\u200b\u4fdd\u6301\u200b\u5b89\u88c5\u200b\u7684\u200b\u7b80\u5355\u200b\u548c\u200b\u529f\u80fd\u200b\u7684\u200b\u5b8c\u5907\u200b\uff0cKube-OVN \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u5e76\u200b\u6ca1\u6709\u200b\u5bf9\u200b\u6027\u80fd\u200b\u9488\u5bf9\u6027\u200b\u7684\u200b\u4f18\u5316\u200b\u3002\u200b\u5982\u679c\u200b\u5e94\u7528\u200b\u5bf9\u200b\u5ef6\u8fdf\u200b\u548c\u200b\u541e\u5410\u91cf\u200b\u654f\u611f\u200b\uff0c \u200b\u7ba1\u7406\u5458\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u672c\u200b\u6587\u6863\u200b\u5bf9\u200b\u6027\u80fd\u200b\u8fdb\u884c\u200b\u9488\u5bf9\u6027\u200b\u4f18\u5316\u200b\u3002</p> <p>\u200b\u793e\u533a\u200b\u4f1a\u200b\u4e0d\u65ad\u200b\u8fed\u4ee3\u200b\u63a7\u5236\u9762\u677f\u200b\u548c\u200b\u4f18\u5316\u200b\u9762\u200b\u7684\u200b\u6027\u80fd\u200b\uff0c\u200b\u90e8\u5206\u200b\u901a\u7528\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u5df2\u7ecf\u200b\u96c6\u6210\u200b\u5230\u200b\u6700\u65b0\u200b\u7248\u672c\u200b\uff0c\u200b\u5efa\u8bae\u200b\u4f7f\u7528\u200b\u6700\u65b0\u200b\u7248\u672c\u200b\u83b7\u5f97\u200b\u66f4\u597d\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u6027\u80fd\u200b\u3002</p> <p>\u200b\u66f4\u200b\u591a\u200b\u5173\u4e8e\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u7684\u200b\u8fc7\u7a0b\u200b\u548c\u200b\u65b9\u6cd5\u8bba\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u89c2\u770b\u200b\u89c6\u9891\u200b\u5206\u4eab\u200b\uff1aKube-OVN \u200b\u5bb9\u5668\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u4e4b\u65c5\u200b\u3002</p>"},{"location":"advance/performance-tuning/#_2","title":"\u57fa\u51c6\u200b\u6d4b\u8bd5","text":"<p>\u200b\u7531\u4e8e\u200b\u8f6f\u786c\u4ef6\u200b\u73af\u5883\u200b\u7684\u200b\u5dee\u5f02\u200b\u6781\u5927\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u63d0\u4f9b\u200b\u7684\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u6570\u636e\u200b\u53ea\u80fd\u200b\u4f5c\u4e3a\u200b\u53c2\u8003\u200b\uff0c\u200b\u5b9e\u9645\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b\u4f1a\u200b\u548c\u200b\u672c\u200b\u6587\u6863\u200b\u4e2d\u200b\u7684\u200b\u7ed3\u679c\u200b\u5b58\u5728\u200b\u8f83\u5927\u200b\u5dee\u5f02\u200b\u3002 \u200b\u5efa\u8bae\u200b\u6bd4\u8f83\u200b\u4f18\u5316\u200b\u524d\u540e\u200b\u7684\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b\uff0c\u200b\u548c\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u548c\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u200b\u6bd4\u8f83\u200b\u3002</p>"},{"location":"advance/performance-tuning/#overlay","title":"Overlay \u200b\u4f18\u5316\u200b\u524d\u540e\u200b\u6027\u80fd\u200b\u5bf9\u6bd4","text":"<p>\u200b\u73af\u5883\u200b\u4fe1\u606f\u200b\uff1a</p> <ul> <li>Kubernetes: 1.22.0</li> <li>OS: CentOS 7</li> <li>Kube-OVN: 1.8.0 Overlay \u200b\u6a21\u5f0f\u200b</li> <li>CPU: Intel(R) Xeon(R) E-2278G</li> <li>Network: 2*10Gbps, xmit_hash_policy=layer3+4</li> </ul> <p>\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b <code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1 -vu tcp_lat tcp_bw udp_lat udp_bw</code> \u200b\u6d4b\u8bd5\u200b  1 \u200b\u5b57\u8282\u200b\u5c0f\u5305\u200b\u4e0b\u200b tcp/udp \u200b\u7684\u200b\u5e26\u5bbd\u200b\u548c\u200b\u5ef6\u8fdf\u200b\uff0c\u200b\u5206\u522b\u200b\u6d4b\u8bd5\u200b\u4f18\u5316\u200b\u524d\u200b\uff0c\u200b\u4f18\u5316\u200b\u540e\u200b\u4ee5\u53ca\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u200b\uff1a</p> Type tcp_lat (us) udp_lat (us) tcp_bw (Mb/s) udp_bw(Mb/s) Kube-OVN Default 25.7 22.9 27.1 1.59 Kube-OVN Optimized 13.9 12.9 27.6 5.57 HOST Network 13.1 12.4 28.2 6.02"},{"location":"advance/performance-tuning/#overlay-underlay-calico","title":"Overlay\uff0c Underlay \u200b\u4ee5\u53ca\u200b Calico \u200b\u4e0d\u540c\u200b\u6a21\u5f0f\u200b\u6027\u80fd\u200b\u5bf9\u6bd4","text":"<p>\u200b\u4e0b\u9762\u200b\u6211\u4eec\u200b\u4f1a\u200b\u6bd4\u8f83\u200b\u4f18\u5316\u200b\u540e\u200b Kube-OVN \u200b\u5728\u200b\u4e0d\u540c\u200b\u5305\u200b\u5927\u5c0f\u200b\u4e0b\u200b\u7684\u200b Overlay \u200b\u548c\u200b Underlay \u200b\u6027\u80fd\u200b\uff0c\u200b\u5e76\u200b\u548c\u200b Calico \u200b\u7684\u200b <code>IPIP Always</code>, <code>IPIP never</code> \u200b\u4ee5\u53ca\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u505a\u200b\u6bd4\u8f83\u200b\u3002</p> <p>Environment:</p> <ul> <li>Kubernetes: 1.22.0</li> <li>OS: CentOS 7</li> <li>Kube-OVN: 1.8.0</li> <li>CPU: AMD EPYC 7402P 24-Core Processor</li> <li>Network: Intel Corporation Ethernet Controller XXV710 for 25GbE SFP28</li> </ul> <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1 -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Mb/s) udp_bw(Mb/s) Kube-OVN Overlay 15.2 14.6 23.6 2.65 Kube-OVN Underlay 14.3 13.8 24.2 3.46 Calico IPIP 21.4 20.2 23.6 1.18 Calico NoEncap 19.3 16.9 23.6 1.76 HOST Network 16.6 15.4 24.8 2.64 <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1K -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Gb/s) udp_bw(Gb/s) Kube-OVN Overlay 16.5 15.8 10.2 2.77 Kube-OVN Underlay 15.9 14.5 9.6 3.22 Calico IPIP 22.5 21.5 1.45 1.14 Calico NoEncap 19.4 18.3 3.76 1.63 HOST Network 18.1 16.6 9.32 2.66 <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:4K -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Gb/s) udp_bw(Gb/s) Kube-OVN Overlay 34.7 41.6 16.0 9.23 Kube-OVN Underlay 32.6 44 15.1 6.71 Calico IPIP 44.8 52.9 2.94 3.26 Calico NoEncap 40 49.6 6.56 4.19 HOST Network 35.9 45.9 14.6 5.59 <p>\u200b\u5728\u200b\u90e8\u5206\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u200b\u4f1a\u200b\u4f18\u4e8e\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\uff0c\u200b\u8fd9\u662f\u200b\u4f18\u4e8e\u200b\u7ecf\u8fc7\u200b\u4f18\u5316\u200b\u540e\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u8def\u5f84\u200b\u5b8c\u5168\u200b\u7ed5\u8fc7\u200b\u4e86\u200b netfilter\uff0c \u200b\u800c\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7531\u4e8e\u200b <code>kube-proxy</code> \u200b\u7684\u200b\u5b58\u5728\u200b\u6240\u6709\u200b\u6570\u636e\u5305\u200b\u5747\u200b\u9700\u200b\u7ecf\u8fc7\u200b netfilter\uff0c\u200b\u4f1a\u200b\u5bfc\u81f4\u200b\u5728\u200b\u4e00\u4e9b\u200b\u73af\u5883\u200b\u4e0b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b \u200b\u7684\u200b\u6d88\u8017\u200b\u76f8\u5bf9\u200b\u66f4\u200b\u5c0f\u200b\uff0c\u200b\u56e0\u6b64\u200b\u4f1a\u200b\u6709\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u8868\u73b0\u200b\u3002</p>"},{"location":"advance/performance-tuning/#_3","title":"\u6570\u636e\u200b\u5e73\u9762\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u65b9\u6cd5","text":"<p>\u200b\u8fd9\u91cc\u200b\u4ecb\u7ecd\u200b\u7684\u200b\u4f18\u5316\u200b\u65b9\u6cd5\u200b\u548c\u200b\u8f6f\u786c\u4ef6\u200b\u73af\u5883\u200b\u4ee5\u53ca\u200b\u6240\u200b\u9700\u8981\u200b\u7684\u200b\u529f\u80fd\u200b\u76f8\u5173\u200b\uff0c\u200b\u8bf7\u200b\u4ed4\u7ec6\u200b\u4e86\u89e3\u200b\u4f18\u5316\u200b\u7684\u200b\u524d\u63d0\u6761\u4ef6\u200b\u518d\u200b\u8fdb\u884c\u200b\u5c1d\u8bd5\u200b\u3002</p>"},{"location":"advance/performance-tuning/#cpu","title":"CPU \u200b\u6027\u80fd\u200b\u6a21\u5f0f\u200b\u8c03\u6574","text":"<p>\u200b\u90e8\u5206\u200b\u73af\u5883\u200b\u4e0b\u200b CPU \u200b\u8fd0\u884c\u200b\u5728\u200b\u8282\u80fd\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u6027\u80fd\u200b\u8868\u73b0\u200b\u5c06\u4f1a\u200b\u4e0d\u200b\u7a33\u5b9a\u200b\uff0c\u200b\u5ef6\u8fdf\u200b\u4f1a\u200b\u51fa\u73b0\u200b\u660e\u663e\u589e\u52a0\u200b\uff0c\u200b\u5efa\u8bae\u200b\u4f7f\u7528\u200b CPU \u200b\u7684\u200b\u6027\u80fd\u200b\u6a21\u5f0f\u200b\u83b7\u5f97\u200b\u66f4\u200b\u7a33\u5b9a\u200b\u7684\u200b\u6027\u80fd\u200b\u8868\u73b0\u200b\uff1a</p> <pre><code>cpupower frequency-set -g performance\n</code></pre>"},{"location":"advance/performance-tuning/#_4","title":"\u7f51\u5361\u200b\u786c\u4ef6\u200b\u961f\u5217\u200b\u8c03\u6574","text":"<p>\u200b\u5728\u200b\u6d41\u91cf\u200b\u589e\u5927\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7f13\u51b2\u200b\u961f\u5217\u200b\u8fc7\u200b\u77ed\u200b\u53ef\u80fd\u200b\u5bfc\u81f4\u200b\u8f83\u200b\u9ad8\u200b\u7684\u200b\u4e22\u200b\u5305\u7387\u200b\u5bfc\u81f4\u200b\u6027\u80fd\u200b\u663e\u8457\u200b\u4e0b\u964d\u200b\uff0c\u200b\u9700\u8981\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b</p> <p>\u200b\u68c0\u67e5\u200b\u5f53\u524d\u200b\u7f51\u5361\u200b\u961f\u5217\u200b\u957f\u5ea6\u200b\uff1a</p> <pre><code># ethtool -g eno1\n Ring parameters for eno1:\n Pre-set maximums:\n RX:             4096\n RX Mini:        0\n RX Jumbo:       0\n TX:             4096\n Current hardware settings:\n RX:             255\n RX Mini:        0\n RX Jumbo:       0\n TX:             255\n</code></pre> <p>\u200b\u589e\u52a0\u200b\u961f\u5217\u200b\u957f\u5ea6\u200b\u81f3\u200b\u6700\u5927\u503c\u200b\uff1a</p> <pre><code>ethtool -G eno1 rx 4096\nethtool -G eno1 tx 4096\n</code></pre>"},{"location":"advance/performance-tuning/#tuned","title":"\u4f7f\u7528\u200b tuned \u200b\u4f18\u5316\u200b\u7cfb\u7edf\u200b\u53c2\u6570","text":"<p>tuned \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e00\u7cfb\u5217\u200b\u9884\u7f6e\u200b\u7684\u200b profile \u200b\u6587\u4ef6\u200b\u4fdd\u5b58\u200b\u4e86\u200b\u9488\u5bf9\u200b\u7279\u5b9a\u200b\u573a\u666f\u200b\u7684\u200b\u4e00\u7cfb\u5217\u200b\u7cfb\u7edf\u4f18\u5316\u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u9488\u5bf9\u200b\u5ef6\u8fdf\u200b\u4f18\u5148\u200b\u573a\u666f\u200b\uff1a</p> <pre><code>tuned-adm profile network-latency\n</code></pre> <p>\u200b\u9488\u5bf9\u200b\u541e\u5410\u91cf\u200b\u4f18\u5148\u200b\u573a\u666f\u200b\uff1a</p> <pre><code>tuned-adm profile network-throughput\n</code></pre>"},{"location":"advance/performance-tuning/#_5","title":"\u4e2d\u65ad\u200b\u7ed1\u5b9a","text":"<p>\u200b\u6211\u4eec\u200b\u63a8\u8350\u200b\u7981\u7528\u200b <code>irqbalance</code> \u200b\u5e76\u200b\u5c06\u200b\u7f51\u5361\u200b\u4e2d\u65ad\u200b\u548c\u200b\u7279\u5b9a\u200b CPU \u200b\u8fdb\u884c\u200b\u7ed1\u5b9a\u200b\uff0c\u200b\u6765\u200b\u907f\u514d\u200b\u5728\u200b\u591a\u4e2a\u200b CPU \u200b\u4e4b\u95f4\u200b\u5207\u6362\u200b\u5bfc\u81f4\u200b\u7684\u200b\u6027\u80fd\u200b\u6ce2\u52a8\u200b\u3002</p>"},{"location":"advance/performance-tuning/#ovn-lb","title":"\u5173\u95ed\u200b OVN LB","text":"<p>OVN \u200b\u7684\u200b L2 LB \u200b\u5b9e\u73b0\u200b\u8fc7\u7a0b\u200b\u4e2d\u200b\u9700\u8981\u200b\u8c03\u7528\u200b\u5185\u6838\u200b\u7684\u200b <code>conntrack</code> \u200b\u6a21\u5757\u200b\u5e76\u200b\u8fdb\u884c\u200b recirculate \u200b\u5bfc\u81f4\u200b\u5927\u91cf\u200b\u7684\u200b CPU \u200b\u5f00\u9500\u200b\uff0c\u200b\u7ecf\u200b\u6d4b\u8bd5\u200b\u8be5\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5e26\u6765\u200b 20% \u200b\u5de6\u53f3\u200b\u7684\u200b CPU \u200b\u5f00\u9500\u200b\uff0c \u200b\u5728\u200b Overlay \u200b\u7f51\u7edc\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b <code>kube-proxy</code> \u200b\u5b8c\u6210\u200b Service \u200b\u8f6c\u53d1\u200b\u529f\u80fd\u200b\uff0c\u200b\u83b7\u5f97\u200b\u66f4\u597d\u200b\u7684\u200b Pod-to-Pod \u200b\u6027\u80fd\u200b\u3002\u200b\u53ef\u4ee5\u200b\u5728\u200b <code>kube-ovn-controller</code> \u200b\u4e2d\u200b\u5173\u95ed\u200b\u8be5\u200b\u529f\u80fd\u200b\uff1a</p> <pre><code>command:\n- /kube-ovn/start-controller.sh\nargs:\n...\n- --enable-lb=false\n...\n</code></pre> <p>Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b <code>kube-proxy</code> \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b iptables \u200b\u6216\u200b ipvs \u200b\u63a7\u5236\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u6d41\u91cf\u200b\uff0c\u200b\u5982\u9700\u200b\u5173\u95ed\u200b LB \u200b\u529f\u80fd\u200b\u9700\u8981\u200b\u786e\u8ba4\u200b\u662f\u5426\u200b\u4e0d\u200b\u9700\u8981\u200b Service \u200b\u529f\u80fd\u200b\u3002</p>"},{"location":"advance/performance-tuning/#fastpath","title":"\u5185\u6838\u200b FastPath \u200b\u6a21\u5757","text":"<p>\u200b\u7531\u4e8e\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u548c\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u5728\u200b\u4e0d\u540c\u200b\u7684\u200b network ns\uff0c\u200b\u6570\u636e\u5305\u200b\u5728\u200b\u8de8\u200b\u5bbf\u4e3b\u673a\u200b\u4f20\u8f93\u200b\u65f6\u4f1a\u200b\u591a\u6b21\u200b\u7ecf\u8fc7\u200b netfilter \u200b\u6a21\u5757\u200b\uff0c\u200b\u4f1a\u200b\u5e26\u6765\u200b\u8fd1\u200b 20% \u200b\u7684\u200b CPU \u200b\u5f00\u9500\u200b\u3002\u200b\u7531\u4e8e\u200b\u5927\u90e8\u5206\u200b\u60c5\u51b5\u200b\u4e0b\u200b \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u5185\u200b\u5e94\u7528\u200b\u65e0\u987b\u200b\u4f7f\u7528\u200b netfilter \u200b\u6a21\u5757\u200b\u7684\u200b\u529f\u80fd\u200b\uff0c<code>FastPath</code> \u200b\u6a21\u5757\u200b\u53ef\u4ee5\u200b\u7ed5\u8fc7\u200b netfilter \u200b\u964d\u4f4e\u200b CPU \u200b\u5f00\u9500\u200b\u3002</p> <p>\u200b\u5982\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u5185\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b netfilter \u200b\u63d0\u4f9b\u200b\u7684\u200b\u529f\u80fd\u200b\u5982\u200b iptables\uff0cipvs\uff0cnftables \u200b\u7b49\u200b\uff0c\u200b\u8be5\u200b\u6a21\u5757\u200b\u4f1a\u200b\u4f7f\u200b\u76f8\u5173\u200b\u529f\u80fd\u200b\u5931\u6548\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u5185\u6838\u6a21\u5757\u200b\u548c\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u76f8\u5173\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u63d0\u4f9b\u200b\u4e00\u4e2a\u200b\u5355\u4e00\u200b\u9002\u5e94\u200b\u6240\u6709\u200b\u5185\u6838\u200b\u7684\u200b\u5185\u6838\u6a21\u5757\u200b\u5236\u54c1\u200b\u3002\u200b\u6211\u4eec\u200b\u9884\u5148\u200b\u7f16\u8bd1\u200b\u4e86\u200b\u90e8\u5206\u200b\u5185\u6838\u200b\u7684\u200b <code>FastPath</code> \u200b\u6a21\u5757\u200b\uff0c \u200b\u53ef\u4ee5\u200b\u524d\u5f80\u200b tunning-package \u200b\u8fdb\u884c\u200b\u4e0b\u8f7d\u200b\u3002</p> <p>\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u624b\u52a8\u200b\u8fdb\u884c\u200b\u7f16\u8bd1\u200b\uff0c\u200b\u65b9\u6cd5\u200b\u53c2\u8003\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b FastPath \u200b\u6a21\u5757\u200b</p> <p>\u200b\u83b7\u5f97\u200b\u5185\u6838\u6a21\u5757\u200b\u540e\u200b\u53ef\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4f7f\u7528\u200b <code>insmod kube_ovn_fastpath.ko</code> \u200b\u52a0\u8f7d\u200b <code>FastPath</code> \u200b\u6a21\u5757\u200b\uff0c\u200b\u5e76\u200b\u4f7f\u7528\u200b <code>dmesg</code> \u200b\u9a8c\u8bc1\u200b\u6a21\u5757\u200b\u52a0\u8f7d\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># dmesg\n...\n[619631.323788] init_module,kube_ovn_fastpath_local_out\n[619631.323798] init_module,kube_ovn_fastpath_post_routing\n[619631.323800] init_module,kube_ovn_fastpath_pre_routing\n[619631.323801] init_module,kube_ovn_fastpath_local_in\n...\n</code></pre>"},{"location":"advance/performance-tuning/#ovs","title":"OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u4f18\u5316","text":"<p>OVS \u200b\u7684\u200b flow \u200b\u5904\u7406\u200b\u5305\u62ec\u200b\u54c8\u5e0c\u200b\u8ba1\u7b97\u200b\uff0c\u200b\u5339\u914d\u200b\u7b49\u200b\u64cd\u4f5c\u200b\u4f1a\u200b\u6d88\u8017\u200b\u5927\u7ea6\u200b 10% \u200b\u5de6\u53f3\u200b\u7684\u200b CPU \u200b\u8d44\u6e90\u200b\u3002\u200b\u73b0\u4ee3\u200b x86 CPU \u200b\u4e0a\u200b\u7684\u200b\u4e00\u4e9b\u200b\u6307\u4ee4\u96c6\u200b\u4f8b\u5982\u200b <code>popcnt</code> \u200b\u548c\u200b <code>sse4.2</code> \u200b\u53ef\u4ee5\u200b \u200b\u52a0\u901f\u200b\u76f8\u5173\u200b\u8ba1\u7b97\u200b\u8fc7\u7a0b\u200b\uff0c\u200b\u4f46\u200b\u5185\u6838\u200b\u9ed8\u8ba4\u200b\u7f16\u8bd1\u200b\u672a\u200b\u5f00\u542f\u200b\u76f8\u5173\u200b\u9009\u9879\u200b\u3002\u200b\u7ecf\u200b\u6d4b\u8bd5\u200b\u5728\u200b\u5f00\u542f\u200b\u76f8\u5e94\u200b\u6307\u4ee4\u96c6\u200b\u4f18\u5316\u200b\u540e\u200b\uff0cflow \u200b\u76f8\u5173\u200b\u64cd\u4f5c\u200b CPU \u200b\u6d88\u8017\u200b\u5c06\u4f1a\u200b\u964d\u81f3\u200b 5% \u200b\u5de6\u53f3\u200b\u3002</p> <p>\u200b\u548c\u200b <code>FastPath</code> \u200b\u6a21\u5757\u200b\u7684\u200b\u7f16\u8bd1\u200b\u7c7b\u4f3c\u200b\uff0c\u200b\u7531\u4e8e\u200b\u5185\u6838\u6a21\u5757\u200b\u548c\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u76f8\u5173\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u63d0\u4f9b\u200b\u4e00\u4e2a\u200b\u5355\u4e00\u200b\u9002\u5e94\u200b\u6240\u6709\u200b\u5185\u6838\u200b\u7684\u200b\u5185\u6838\u6a21\u5757\u200b\u5236\u54c1\u200b\u3002\u200b\u7528\u6237\u200b\u9700\u8981\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b\u6216\u8005\u200b \u200b\u524d\u5f80\u200b tunning-package \u200b\u67e5\u770b\u200b\u662f\u5426\u200b\u6709\u200b\u5df2\u200b\u7f16\u8bd1\u200b\u597d\u200b\u7684\u200b\u5236\u54c1\u200b\u8fdb\u884c\u200b\u4e0b\u8f7d\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u8be5\u200b\u5185\u6838\u6a21\u5757\u200b\u524d\u200b\u8bf7\u200b\u5148\u200b\u786e\u8ba4\u200b CPU \u200b\u662f\u5426\u200b\u652f\u6301\u200b\u76f8\u5173\u200b\u6307\u4ee4\u96c6\u200b\uff1a</p> <pre><code>cat /proc/cpuinfo  | grep popcnt\ncat /proc/cpuinfo  | grep sse4_2\n</code></pre>"},{"location":"advance/performance-tuning/#centos","title":"CentOS \u200b\u4e0b\u200b\u7f16\u8bd1\u200b\u5b89\u88c5","text":"<p>\u200b\u5b89\u88c5\u200b\u76f8\u5173\u200b\u7f16\u8bd1\u200b\u4f9d\u8d56\u200b\u548c\u200b\u5185\u6838\u200b\u5934\u6587\u4ef6\u200b\uff1a</p> <pre><code>yum install -y gcc kernel-devel-$(uname -r) python3 autoconf automake libtool rpm-build openssl-devel\n</code></pre> <p>\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u5e76\u200b\u751f\u6210\u200b\u5bf9\u5e94\u200b RPM \u200b\u6587\u4ef6\u200b:</p> <pre><code>git clone -b branch-2.17 --depth=1 https://github.com/openvswitch/ovs.git\ncd ovs\ncurl -s  https://github.com/kubeovn/ovs/commit/2d2c83c26d4217446918f39d5cd5838e9ac27b32.patch |  git apply\n./boot.sh\n./configure --with-linux=/lib/modules/$(uname -r)/build CFLAGS=\"-g -O2 -mpopcnt -msse4.2\"\nmake rpm-fedora-kmod\ncd rpm/rpmbuild/RPMS/x86_64/\n</code></pre> <p>\u200b\u590d\u5236\u200b RPM \u200b\u5230\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u5e76\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a</p> <pre><code>rpm -i openvswitch-kmod-2.15.2-1.el7.x86_64.rpm\n</code></pre> <p>\u200b\u82e5\u200b\u4e4b\u524d\u200b\u5df2\u7ecf\u200b\u542f\u52a8\u200b\u8fc7\u200b Kube-OVN\uff0c\u200b\u65e7\u7248\u672c\u200b OVS \u200b\u6a21\u5757\u200b\u5df2\u200b\u52a0\u8f7d\u200b\u81f3\u200b\u5185\u6838\u200b\uff0c\u200b\u5efa\u8bae\u200b\u91cd\u542f\u200b\u673a\u5668\u200b\u91cd\u65b0\u200b\u52a0\u8f7d\u200b\u65b0\u7248\u200b\u5185\u6838\u6a21\u5757\u200b\u3002</p>"},{"location":"advance/performance-tuning/#ubuntu","title":"Ubuntu \u200b\u4e0b\u200b\u7f16\u8bd1\u200b\u5b89\u88c5","text":"<p>\u200b\u5b89\u88c5\u200b\u76f8\u5173\u200b\u7f16\u8bd1\u200b\u4f9d\u8d56\u200b\u548c\u200b\u5185\u6838\u200b\u5934\u6587\u4ef6\u200b\uff1a</p> <pre><code>apt install -y autoconf automake libtool gcc build-essential libssl-dev\n</code></pre> <p>\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u5e76\u200b\u5b89\u88c5\u200b\uff1a</p> <pre><code>apt install -y autoconf automake libtool gcc build-essential libssl-dev\n\ngit clone -b branch-2.17 --depth=1 https://github.com/openvswitch/ovs.git\ncd ovs\ncurl -s  https://github.com/kubeovn/ovs/commit/2d2c83c26d4217446918f39d5cd5838e9ac27b32.patch |  git apply\n./boot.sh\n./configure --prefix=/usr/ --localstatedir=/var --enable-ssl --with-linux=/lib/modules/$(uname -r)/build\nmake -j `nproc`\nmake install\nmake modules_install\n\ncat &gt; /etc/depmod.d/openvswitch.conf &lt;&lt; EOF\noverride openvswitch * extra\noverride vport-* * extra\nEOF\n\ndepmod -a\ncp debian/openvswitch-switch.init /etc/init.d/openvswitch-switch\n/etc/init.d/openvswitch-switch force-reload-kmod\n</code></pre> <p>\u200b\u82e5\u200b\u4e4b\u524d\u200b\u5df2\u7ecf\u200b\u542f\u52a8\u200b\u8fc7\u200b Kube-OVN\uff0c\u200b\u65e7\u7248\u672c\u200b OVS \u200b\u6a21\u5757\u200b\u5df2\u200b\u52a0\u8f7d\u200b\u81f3\u200b\u5185\u6838\u200b\uff0c\u200b\u5efa\u8bae\u200b\u91cd\u542f\u200b\u673a\u5668\u200b\u91cd\u65b0\u200b\u52a0\u8f7d\u200b\u65b0\u7248\u200b\u5185\u6838\u6a21\u5757\u200b\u3002</p>"},{"location":"advance/performance-tuning/#stt","title":"\u4f7f\u7528\u200b STT \u200b\u7c7b\u578b\u200b\u96a7\u9053","text":"<p>\u200b\u5e38\u89c1\u200b\u7684\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\u4f8b\u5982\u200b Geneve \u200b\u548c\u200b Vxlan \u200b\u4f7f\u7528\u200b UDP \u200b\u534f\u8bae\u200b\u5bf9\u200b\u6570\u636e\u5305\u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u5728\u200b\u5185\u6838\u200b\u4e2d\u6709\u200b\u826f\u597d\u200b\u7684\u200b\u652f\u6301\u200b\u3002\u200b\u4f46\u662f\u200b\u5f53\u200b\u4f7f\u7528\u200b UDP \u200b\u5c01\u88c5\u200b TCP \u200b\u6570\u636e\u5305\u200b\u65f6\u200b\uff0c \u200b\u73b0\u4ee3\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u548c\u200b\u7f51\u5361\u200b\u9488\u5bf9\u200b TCP \u200b\u534f\u8bae\u200b\u7684\u200b\u4f18\u5316\u200b\u548c\u200b offload \u200b\u529f\u80fd\u200b\u5c06\u200b\u65e0\u6cd5\u200b\u987a\u5229\u200b\u5de5\u4f5c\u200b\uff0c\u200b\u5bfc\u81f4\u200b TCP \u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u51fa\u73b0\u200b\u663e\u8457\u200b\u4e0b\u964d\u200b\u3002\u200b\u5728\u200b\u865a\u62df\u5316\u200b\u573a\u666f\u200b\u4e0b\u200b\u7531\u4e8e\u200b CPU \u200b\u7684\u200b\u9650\u5236\u200b\uff0c TCP \u200b\u5927\u5305\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u751a\u81f3\u200b\u53ef\u80fd\u200b\u53ea\u6709\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7684\u200b\u5341\u5206\u4e4b\u4e00\u200b\u3002</p> <p>STT \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u79cd\u200b\u521b\u65b0\u200b\u5f0f\u200b\u7684\u200b\u4f7f\u7528\u200b TCP \u200b\u683c\u5f0f\u200b\u6570\u636e\u5305\u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\u7684\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\uff0c\u200b\u8be5\u200b\u5c01\u88c5\u200b\u53ea\u662f\u200b\u6a21\u62df\u200b\u4e86\u200b TCP \u200b\u534f\u8bae\u200b\u7684\u200b\u5934\u90e8\u200b\u683c\u5f0f\u200b\uff0c\u200b\u5e76\u200b\u6ca1\u6709\u200b\u771f\u6b63\u200b\u5efa\u7acb\u200b TCP \u200b\u8fde\u63a5\u200b\uff0c\u200b\u4f46\u662f\u200b\u53ef\u4ee5\u200b \u200b\u5145\u5206\u5229\u7528\u200b\u73b0\u4ee3\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u548c\u200b\u7f51\u5361\u200b\u7684\u200b TCP \u200b\u4f18\u5316\u200b\u80fd\u529b\u200b\u3002\u200b\u5728\u200b\u6211\u4eec\u200b\u7684\u200b\u6d4b\u8bd5\u200b\u4e2d\u200b TCP \u200b\u5927\u5305\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u80fd\u200b\u6709\u200b\u6570\u500d\u200b\u7684\u200b\u63d0\u5347\u200b\uff0c\u200b\u8fbe\u5230\u200b\u63a5\u8fd1\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u200b\u6c34\u5e73\u200b\u3002</p> <p>STT \u200b\u96a7\u9053\u200b\u5e76\u200b\u6ca1\u6709\u200b\u9884\u200b\u5b89\u88c5\u200b\u5728\u200b\u5185\u6838\u200b\u5185\u200b\uff0c\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u6765\u200b\u5b89\u88c5\u200b\uff0cOVS \u200b\u5185\u6838\u6a21\u5757\u200b\u7684\u200b\u7f16\u8bd1\u200b\u65b9\u6cd5\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u4e0a\u200b\u4e00\u8282\u200b\u3002</p> <p>STT \u200b\u96a7\u9053\u200b\u5f00\u542f\u200b\uff1a</p> <pre><code>kubectl set env daemonset/ovs-ovn -n kube-system TUNNEL_TYPE=stt\n\nkubectl delete pod -n kube-system -lapp=ovs\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/security-group/","title":"SecurityGroup \u200b\u4f7f\u7528","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u4e86\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u914d\u7f6e\u200b\uff0c\u200b\u914d\u7f6e\u200b\u5b89\u5168\u200b\u7ec4\u200b\u4f7f\u7528\u200b\u7684\u200b CRD \u200b\u4e3a\u200b SecurityGroup\u3002</p>"},{"location":"advance/security-group/#_1","title":"\u5b89\u5168\u200b\u7ec4\u200b\u793a\u4f8b","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: SecurityGroup\nmetadata:\n  name: sg-example\nspec:\n  allowSameGroupTraffic: true\n  egressRules:\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: all\n    remoteAddress: 10.16.0.13 # 10.16.0.0/16 \u200b\u914d\u7f6e\u200b\u7f51\u6bb5\u200b\n    remoteType: address\n  ingressRules:\n  - ipVersion: ipv4\n    policy: deny\n    priority: 1\n    protocol: icmp\n    remoteAddress: 10.16.0.14\n    remoteType: address\n</code></pre> <p>\u200b\u5b89\u5168\u200b\u7ec4\u5404\u5b57\u200b\u6bb5\u200b\u7684\u200b\u5177\u4f53\u200b\u542b\u4e49\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u63a5\u53e3\u200b\u89c4\u8303\u200b\u3002</p> <p>Pod \u200b\u901a\u8fc7\u200b\u6dfb\u52a0\u200b annotation \u200b\u6765\u200b\u7ed1\u5b9a\u200b\u5b89\u5168\u200b\u7ec4\u200b\uff0c\u200b\u4f7f\u7528\u200b\u7684\u200b annotation \u200b\u6709\u200b\u4e24\u4e2a\u200b\uff1a</p> <pre><code>    ovn.kubernetes.io/port_security: \"true\"\n    ovn.kubernetes.io/security_groups: sg-example\n</code></pre>"},{"location":"advance/security-group/#_2","title":"\u6ce8\u610f\u4e8b\u9879","text":"<ul> <li> <p>\u200b\u5b89\u5168\u200b\u7ec4\u200b\u6700\u540e\u200b\u662f\u200b\u901a\u8fc7\u200b\u8bbe\u7f6e\u200b ACL \u200b\u89c4\u5219\u200b\u6765\u200b\u9650\u5236\u200b\u8bbf\u95ee\u200b\u7684\u200b\uff0cOVN \u200b\u6587\u6863\u200b\u4e2d\u200b\u63d0\u5230\u200b\uff0c\u200b\u5982\u679c\u200b\u5339\u914d\u200b\u5230\u200b\u7684\u200b\u4e24\u4e2a\u200b ACL \u200b\u89c4\u5219\u200b\u62e5\u6709\u200b\u76f8\u540c\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u5b9e\u9645\u200b\u8d77\u200b\u4f5c\u7528\u200b\u7684\u200b\u662f\u200b\u54ea\u4e2a\u200b ACL \u200b\u662f\u200b\u4e0d\u200b\u786e\u5b9a\u200b\u7684\u200b\u3002\u200b\u56e0\u6b64\u200b\u8bbe\u7f6e\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u533a\u5206\u200b\u4f18\u5148\u7ea7\u200b\u3002</p> </li> <li> <p>\u200b\u5f53\u200b\u6dfb\u52a0\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u8981\u200b\u6e05\u695a\u200b\u7684\u200b\u77e5\u9053\u200b\u662f\u200b\u5728\u200b\u6dfb\u52a0\u200b\u4ec0\u4e48\u200b\u9650\u5236\u200b\u3002Kube-OVN \u200b\u4f5c\u4e3a\u200b CNI\uff0c\u200b\u521b\u5efa\u200b Pod \u200b\u540e\u200b\u4f1a\u200b\u8fdb\u884c\u200b Pod \u200b\u5230\u200b\u7f51\u5173\u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u5982\u679c\u200b\u8bbf\u95ee\u200b\u4e0d\u901a\u200b\u7f51\u5173\u200b\uff0c\u200b\u5c31\u200b\u4f1a\u200b\u5bfc\u81f4\u200b Pod \u200b\u4e00\u76f4\u200b\u5904\u4e8e\u200b ContainerCreating \u200b\u72b6\u6001\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u987a\u5229\u200b\u5207\u6362\u200b\u5230\u200b Running \u200b\u72b6\u6001\u200b\u3002</p> </li> </ul>"},{"location":"advance/security-group/#_3","title":"\u5b9e\u9645\u200b\u6d4b\u8bd5","text":"<p>\u200b\u5229\u7528\u200b\u4ee5\u4e0b\u200b yaml \u200b\u521b\u5efa\u200b Pod\uff0c\u200b\u5728\u200b annotation \u200b\u4e2d\u200b\u6307\u5b9a\u200b\u7ed1\u5b9a\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u7684\u200b\u5b89\u5168\u200b\u7ec4\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  labels:\n    app: static\n  annotations:\n    ovn.kubernetes.io/port_security: 'true'\n    ovn.kubernetes.io/security_groups: 'sg-example'\n  name: sg-test-pod\n  namespace: default\nspec:\n  nodeName: kube-ovn-worker\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>\u200b\u5b9e\u9645\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u663e\u793a\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># kubectl get pod -o wide\nNAME                   READY   STATUS              RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES\nsg-test-pod            0/1     ContainerCreating   0          5h32m   &lt;none&gt;       kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\ntest-99fff7f86-52h9r   1/1     Running             0          5h41m   10.16.0.14   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\ntest-99fff7f86-qcgjw   1/1     Running             0          5h43m   10.16.0.13   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>\u200b\u6267\u884c\u200b kubectl describe pod \u200b\u67e5\u770b\u200b Pod \u200b\u7684\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u62a5\u9519\u200b\u63d0\u793a\u200b\uff1a</p> <pre><code># kubectl describe pod sg-test-pod\nName:         sg-test-pod\nNamespace:    default\nPriority:     0\nNode:         kube-ovn-worker/172.18.0.2\nStart Time:   Tue, 28 Feb 2023 10:29:36 +0800\nLabels:       app=static\nAnnotations:  ovn.kubernetes.io/allocated: true\n              ovn.kubernetes.io/cidr: 10.16.0.0/16\n              ovn.kubernetes.io/gateway: 10.16.0.1\n              ovn.kubernetes.io/ip_address: 10.16.0.15\n              ovn.kubernetes.io/logical_router: ovn-cluster\n              ovn.kubernetes.io/logical_switch: ovn-default\n              ovn.kubernetes.io/mac_address: 00:00:00:FA:17:97\n              ovn.kubernetes.io/pod_nic_type: veth-pair\n              ovn.kubernetes.io/port_security: true\n              ovn.kubernetes.io/routed: true\n              ovn.kubernetes.io/security_groups: sg-allow-reject\nStatus:       Pending\nIP:\nIPs:          &lt;none&gt;\n\u00b7\n\u00b7\n\u00b7\nEvents:\n  Type     Reason                  Age                    From     Message\n  ----     ------                  ----                   ----     -------\n  Warning  FailedCreatePodSandBox  5m3s (x70 over 4h59m)  kubelet  (combined from similar events): Failed to create pod sandbox: rpc error: code = Unknown desc = failed to setup network for sandbox \"40636e0c7f1ade5500fa958486163d74f2e2300051a71522a9afd7ba0538afb6\": plugin type=\"kube-ovn\" failed (add): RPC failed; request ip return 500 configure nic failed 10.16.0.15 network not ready after 200 ping 10.16.0.1\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u89c4\u5219\u200b\uff0c\u200b\u6dfb\u52a0\u200b\u5230\u200b\u7f51\u5173\u200b\u7684\u200b\u8bbf\u95ee\u200b\u89c4\u5219\u200b\uff0c\u200b\u53c2\u8003\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SecurityGroup\nmetadata:\n  name: sg-gw-both\nspec:\n  allowSameGroupTraffic: true\n  egressRules:\n  - ipVersion: ipv4\n    policy: allow\n    priority: 2\n    protocol: all\n    remoteAddress: 10.16.0.13\n    remoteType: address\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: all\n    remoteAddress: 10.16.0.1\n    remoteType: address\n  ingressRules:\n  - ipVersion: ipv4\n    policy: deny\n    priority: 2\n    protocol: icmp\n    remoteAddress: 10.16.0.14\n    remoteType: address\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: icmp\n    remoteAddress: 10.16.0.1\n    remoteType: address\n</code></pre> <p>\u200b\u5206\u522b\u200b\u5728\u200b\u5165\u200b\u65b9\u5411\u200b\u548c\u200b\u51fa\u200b\u65b9\u5411\u200b\u89c4\u5219\u200b\u4e2d\u200b\uff0c\u200b\u6dfb\u52a0\u200b\u5141\u8bb8\u200b\u5230\u200b\u7f51\u5173\u200b\u7684\u200b\u8bbf\u95ee\u200b\u89c4\u5219\u200b\uff0c\u200b\u5e76\u4e14\u200b\u8bbe\u7f6e\u200b\u8be5\u200b\u89c4\u5219\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\u6700\u9ad8\u200b\u3002</p> <p>\u200b\u5229\u7528\u200b\u4ee5\u4e0b\u200b yaml \u200b\u7ed1\u5b9a\u200b\u5b89\u5168\u200b\u7ec4\u200b\uff0c\u200b\u90e8\u7f72\u200b Pod \u200b\u540e\u200b\uff0c\u200b\u786e\u8ba4\u200b Pod \u200b\u53ef\u4ee5\u200b\u6b63\u5e38\u200b\u8fd0\u884c\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  labels:\n    app: static\n  annotations:\n    ovn.kubernetes.io/port_security: 'true'\n    ovn.kubernetes.io/security_groups: 'sg-gw-both'\n  name: sg-gw-both\n  namespace: default\nspec:\n  nodeName: kube-ovn-worker\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>\u200b\u90e8\u7f72\u200b\u540e\u200b\u67e5\u770b\u200b Pod \u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get pod -o wide\nNAME                   READY   STATUS              RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES\nsg-test-pod            0/1     ContainerCreating   0          5h41m   &lt;none&gt;       kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\nsg-gw-both             1/1     Running             0          5h37m   10.16.0.19   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>\u200b\u56e0\u6b64\u200b\u5bf9\u4e8e\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u4f7f\u7528\u200b\uff0c\u200b\u8981\u200b\u7279\u522b\u200b\u660e\u786e\u200b\u6dfb\u52a0\u200b\u7684\u200b\u9650\u5236\u200b\u89c4\u5219\u200b\u7684\u200b\u4f5c\u7528\u200b\u3002\u200b\u5982\u679c\u200b\u5355\u7eaf\u200b\u662f\u200b\u9650\u5236\u200b\u6d41\u91cf\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u8003\u8651\u200b\u4f7f\u7528\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u5b9e\u73b0\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/vip/","title":"VIP \u200b\u9884\u7559\u200b IP","text":"<p>VIP \u200b\u5373\u200b\u865a\u62df\u200b IP\uff0c \u200b\u7528\u4e8e\u200b\u9884\u7559\u200b IP \u200b\u8d44\u6e90\u200b\u3002\u200b\u4e4b\u6240\u4ee5\u200b\u8bbe\u8ba1\u200b VIP \u200b\u662f\u56e0\u4e3a\u200b kube-ovn \u200b\u7684\u200b IP \u200b\u548c\u200b POD \u200b\u5728\u200b\u547d\u540d\u200b\u4e0a\u200b\u76f4\u63a5\u200b\u5173\u8054\u200b\uff0c\u200b\u6240\u4ee5\u200b\u65e0\u6cd5\u200b\u57fa\u4e8e\u200b IP \u200b\u5b9e\u73b0\u200b\u76f4\u63a5\u200b\u5b9e\u73b0\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u529f\u80fd\u200b\u3002 VIP \u200b\u8bbe\u8ba1\u200b\u4e4b\u521d\u200b\u53c2\u8003\u200b\u4e86\u200b Openstack neutron Allowed-Address-Pairs\uff08AAP\uff09 \u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u7528\u4e8e\u200b Openstack octavia \u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u9879\u76ee\u200b\u3002 \u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u7528\u4e8e\u200b\u63d0\u4f9b\u200b\u865a\u62df\u673a\u200b\u5185\u90e8\u200b\u7684\u200b\u5e94\u7528\u200b\uff08POD\uff09IP\uff0c\u200b\u8fd9\u70b9\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b aliyun terway \u200b\u9879\u76ee\u200b\u3002 \u200b\u53e6\u5916\u200b\uff0c\u200b\u7531\u4e8e\u200b neutron \u200b\u6709\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u6240\u4ee5\u200b\u5bf9\u200b VIP \u200b\u8fdb\u884c\u200b\u4e86\u200b\u4e00\u5b9a\u200b\u6269\u5c55\u200b\uff0c\u200b\u4f7f\u5f97\u200b VIP \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u7528\u4e8e\u200b\u4e3a\u200b POD \u200b\u9884\u7559\u200b IP\uff0c\u200b\u4f46\u200b\u7531\u4e8e\u200b\u8fd9\u79cd\u200b\u8bbe\u8ba1\u200b\u4f1a\u200b\u5bfc\u81f4\u200b VIP \u200b\u548c\u200b IP \u200b\u7684\u200b\u529f\u80fd\u200b\u53d8\u5f97\u200b\u6a21\u7cca\u200b\uff0c\u200b\u5728\u200b\u5b9e\u73b0\u200b\u4e0a\u200b\u5e76\u200b\u4e0d\u662f\u200b\u4e00\u4e2a\u200b\u4f18\u96c5\u200b\u7684\u200b\u65b9\u5f0f\u200b\uff0c\u200b\u6240\u4ee5\u200b\u4e0d\u200b\u63a8\u8350\u200b\u5728\u200b\u751f\u4ea7\u200b\u4f7f\u7528\u200b\u3002 \u200b\u800c\u4e14\u200b\uff0c \u200b\u7531\u4e8e\u200b OVN \u200b\u7684\u200b Switch LB \u200b\u53ef\u4ee5\u200b\u63d0\u4f9b\u200b\u4e00\u79cd\u200b\u4ee5\u200b\u5b50\u7f51\u200b\u5185\u90e8\u200b IP \u200b\u4e3a\u200b LB \u200b\u524d\u7aef\u200b VIP \u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u6240\u4ee5\u200b\u53c8\u200b\u5bf9\u200b VIP \u200b\u5728\u200b\u5b50\u7f51\u200b\u5185\u200b\u4f7f\u7528\u200b OVN Switch LB Rule \u200b\u573a\u666f\u200b\u8fdb\u884c\u200b\u4e86\u200b\u6269\u5c55\u200b\u3002 \u200b\u603b\u4e4b\u200b\uff0c\u200b\u76ee\u524d\u200b VIP \u200b\u5728\u200b\u8bbe\u8ba1\u200b\u4e0a\u200b\u53ea\u6709\u200b\u4e09\u79cd\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\uff1a</p> <ul> <li>Allowed-Address-Pairs VIP</li> <li>Switch LB rule VIP</li> <li>Pod \u200b\u4f7f\u7528\u200b VIP \u200b\u6765\u200b\u56fa\u5b9a\u200b IP</li> </ul>"},{"location":"advance/vip/#1-allowed-address-pairs-vip","title":"1. Allowed-Address-Pairs VIP","text":"<p>\u200b\u5728\u200b\u8be5\u200b\u573a\u666f\u200b\u4e0b\u200b\u6211\u4eec\u200b\u5e0c\u671b\u200b\u52a8\u6001\u200b\u7684\u200b\u9884\u7559\u200b\u4e00\u90e8\u5206\u200b IP \u200b\u4f46\u662f\u200b\u5e76\u200b\u4e0d\u200b\u5206\u914d\u200b\u7ed9\u200b Pod \u200b\u800c\u662f\u200b\u5206\u914d\u200b\u7ed9\u200b\u5176\u4ed6\u200b\u7684\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u542f\u7528\u200b\uff0c\u200b\u4f8b\u5982\u200b\uff1a</p> <ul> <li>Kubernetes \u200b\u5d4c\u5957\u200b Kubernetes \u200b\u7684\u200b\u573a\u666f\u200b\u4e2d\u4e0a\u5c42\u200b Kubernetes \u200b\u4f7f\u7528\u200b Underlay \u200b\u7f51\u7edc\u200b\u4f1a\u200b\u5360\u7528\u200b\u5e95\u5c42\u200b Subnet \u200b\u53ef\u7528\u200b\u5730\u5740\u200b\u3002</li> <li>LB \u200b\u6216\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u4e00\u4e2a\u200b Subnet \u200b\u5185\u200b\u7684\u200b IP\uff0c\u200b\u4f46\u200b\u4e0d\u4f1a\u200b\u5355\u72ec\u200b\u8d77\u200b Pod\u3002</li> </ul> <p>\u200b\u6b64\u5916\u200b\uff0cVIP \u200b\u8fd8\u200b\u53ef\u4ee5\u200b\u4e3a\u200b Allowed-Address-Pairs \u200b\u9884\u7559\u200b IP \u200b\u7528\u6765\u200b\u652f\u6301\u200b\u5355\u4e2a\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b\u591a\u4e2a\u200b IP \u200b\u7684\u200b\u573a\u666f\u200b\uff0c\u200b\u4f8b\u5982\u200b\uff1a</p> <ul> <li>Keepalived \u200b\u901a\u8fc7\u200b\u914d\u7f6e\u200b\u989d\u5916\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u5bf9\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u5b9e\u73b0\u200b\u5feb\u901f\u200b\u6545\u969c\u200b\u5207\u6362\u200b\u548c\u200b\u7075\u6d3b\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u67b6\u6784\u200b</li> </ul>"},{"location":"advance/vip/#11-vip","title":"1.1 \u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u5730\u5740\u200b VIP","text":"<p>\u200b\u5982\u679c\u200b\u53ea\u662f\u200b\u4e3a\u4e86\u200b\u9884\u7559\u200b\u82e5\u5e72\u200b IP \u200b\u800c\u200b\u5bf9\u200b IP \u200b\u5730\u5740\u200b\u672c\u8eab\u200b\u6ca1\u6709\u200b\u8981\u6c42\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u521b\u5efa\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: vip-dynamic-01\nspec:\n  subnet: ovn-default\n  type: \"\"\n</code></pre> <ul> <li><code>subnet</code>: \u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b Subnet \u200b\u4e2d\u200b\u9884\u7559\u200b IP\u3002</li> <li><code>type</code>: \u200b\u76ee\u524d\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u7c7b\u578b\u200b\uff0c\u200b\u4e3a\u7a7a\u200b\u8868\u793a\u200b\u4ec5\u200b\u7528\u4e8e\u200b ipam ip \u200b\u5360\u4f4d\u200b\uff0c<code>switch_lb_vip</code> \u200b\u8868\u793a\u200b\u8be5\u200b vip \u200b\u4ec5\u200b\u7528\u4e8e\u200b switch lb \u200b\u524d\u7aef\u200b vip \u200b\u548c\u200b\u540e\u200b\u7aef\u200b ip \u200b\u9700\u200b\u5904\u4e8e\u200b\u540c\u4e00\u200b\u5b50\u7f51\u200b\u3002</li> </ul> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b VIP\uff1a</p> <pre><code># kubectl get vip\nNAME             V4IP         PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET        READY\nvip-dynamic-01   10.16.0.12           00:00:00:F0:DB:25                         ovn-default   true\n</code></pre> <p>\u200b\u53ef\u89c1\u200b\u8be5\u200b VIP \u200b\u88ab\u200b\u5206\u914d\u200b\u4e86\u200b <code>10.16.0.12</code> \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u53ef\u4ee5\u200b\u4e4b\u540e\u200b\u4f9b\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u4f7f\u7528\u200b\u3002</p>"},{"location":"advance/vip/#12-vip","title":"1.2 \u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b VIP","text":"<p>\u200b\u5982\u5bf9\u200b\u9884\u7559\u200b\u7684\u200b VIP \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u6709\u200b\u9700\u6c42\u200b\u53ef\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u56fa\u5b9a\u200b\u5206\u914d\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: static-vip01\nspec:\n  subnet: ovn-default \n  v4ip: \"10.16.0.121\"\n</code></pre> <ul> <li><code>subnet</code>: \u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b Subnet \u200b\u4e2d\u200b\u9884\u7559\u200b IP\u3002</li> <li><code>v4ip</code>: \u200b\u56fa\u5b9a\u200b\u5206\u914d\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u9700\u5728\u200b <code>subnet</code> \u200b\u7684\u200b CIDR \u200b\u8303\u56f4\u200b\u5185\u200b\u3002</li> </ul> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b VIP\uff1a</p> <pre><code># kubectl get vip\nNAME             V4IP         PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET        READY\nstatic-vip01   10.16.0.121           00:00:00:F0:DB:26                         ovn-default   true\n</code></pre> <p>\u200b\u53ef\u89c1\u200b\u8be5\u200b VIP \u200b\u88ab\u200b\u5206\u914d\u200b\u4e86\u200b\u6240\u200b\u9884\u671f\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</p>"},{"location":"advance/vip/#13-pod-vip-aap","title":"1.3 Pod \u200b\u4f7f\u7528\u200b VIP \u200b\u5f00\u542f\u200b AAP","text":"<p>Pod \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b annotation \u200b\u6307\u5b9a\u200b VIP \u200b\u5f00\u542f\u200b AAP \u200b\u529f\u80fd\u200b\uff0clabels \u200b\u9700\u8981\u200b\u6ee1\u8db3\u200b VIP \u200b\u4e2d\u200b\u8282\u70b9\u200b\u9009\u62e9\u5668\u200b\u7684\u200b\u6761\u4ef6\u200b\u3002</p> <p>Pod annotation \u200b\u652f\u6301\u200b\u6307\u5b9a\u200b\u591a\u4e2a\u200b VIP\uff0c\u200b\u914d\u7f6e\u200b\u683c\u5f0f\u200b\u4e3a\u200b\uff1aovn.kubernetes.io/aaps: vip-aap,vip-aap2,vip-aap3</p> <p>AAP \u200b\u529f\u80fd\u200b\u652f\u6301\u200b\u591a\u200b\u7f51\u5361\u200b\u573a\u666f\u200b\uff0c\u200b\u82e5\u200b Pod \u200b\u914d\u7f6e\u200b\u4e86\u200b\u591a\u200b\u7f51\u5361\u200b\uff0cAAP \u200b\u4f1a\u200b\u5bf9\u200b Pod \u200b\u4e2d\u200b\u548c\u200b VIP \u200b\u540c\u4e00\u200b subnet \u200b\u7684\u200b\u5bf9\u5e94\u200b Port \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b</p>"},{"location":"advance/vip/#131-vip-aap","title":"1.3.1 \u200b\u521b\u5efa\u200b VIP \u200b\u652f\u6301\u200b AAP","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: vip-aap\nspec:\n  subnet: ovn-default\n  namespace: default\n  selector:\n    - \"app: aap1\"\n</code></pre> <p>VIP \u200b\u540c\u6837\u200b\u652f\u6301\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u548c\u200b\u968f\u673a\u200b\u5730\u5740\u200b\u7684\u200b\u5206\u914d\u200b\uff0c\u200b\u5206\u914d\u200b\u65b9\u5f0f\u200b\u5982\u4e0a\u200b\u6587\u200b\u6240\u8ff0\u200b\u3002</p> <ul> <li><code>namespace</code>: AAP \u200b\u573a\u666f\u200b\u4e0b\u200b\uff0cVIP \u200b\u9700\u663e\u5f0f\u200b\u5730\u200b\u6307\u5b9a\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\uff0cVIP \u200b\u4ec5\u200b\u5141\u8bb8\u200b\u76f8\u540c\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u7684\u200b\u8d44\u6e90\u200b\u5f00\u542f\u200b AAP \u200b\u529f\u80fd\u200b\u3002</li> <li><code>selector</code>: AAP \u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u7528\u4e8e\u200b\u9009\u62e9\u200b VIP \u200b\u6240\u200b\u9644\u5c5e\u200b\u7684\u200b Pod \u200b\u7684\u200b\u8282\u70b9\u200b\u9009\u62e9\u5668\u200b\uff0c\u200b\u683c\u5f0f\u200b\u548c\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b NodeSelector \u200b\u683c\u5f0f\u200b\u76f8\u540c\u200b\u3002</li> </ul> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b VIP \u200b\u5bf9\u5e94\u200b\u7684\u200b Port\uff1a</p> <pre><code># kubectl ko nbctl show ovn-default\nswitch e32e1d3b-c539-45f4-ab19-be4e33a061f6 (ovn-default)\n    port aap-vip\n        type: virtual\n</code></pre> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: busybox\n  annotations:\n    ovn.kubernetes.io/aaps: vip-aap\n  labels:\n    app: aap1\nspec:\n  containers:\n    - name: busybox\n      image: busybox\n      command: [\"sleep\", \"3600\"]\n      securityContext: \n        capabilities:\n          add:\n            - NET_ADMIN\n</code></pre> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b AAP \u200b\u5bf9\u5e94\u200b\u7684\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code># kubectl ko nbctl list logical_switch_port aap-vip\n_uuid               : cd930750-0533-4f06-a6c0-217ddac73272\naddresses           : []\ndhcpv4_options      : []\ndhcpv6_options      : []\ndynamic_addresses   : []\nenabled             : []\nexternal_ids        : {ls=ovn-default, vendor=kube-ovn}\nha_chassis_group    : []\nmirror_rules        : []\nname                : aap-vip\noptions             : {virtual-ip=\"10.16.0.100\", virtual-parents=\"busybox.default\"}\nparent_name         : []\nport_security       : []\ntag                 : []\ntag_request         : []\ntype                : virtual\nup                  : false\n</code></pre> <p>virtual-ip \u200b\u88ab\u200b\u914d\u7f6e\u200b\u4e3a\u200b VIP \u200b\u9884\u7559\u200b\u7684\u200b IP\uff0cvirtual-parents \u200b\u914d\u7f6e\u200b\u4e3a\u200b\u5f00\u542f\u200b AAP \u200b\u529f\u80fd\u200b\u7684\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b Port\u3002</p> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code># kubectl exec -it busybox -- ip addr add 10.16.0.100/16 dev eth0\n# kubectl exec -it busybox01 -- ip addr show eth0\n35: eth0@if36: &lt;BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN&gt; mtu 1400 qdisc noqueue \n    link/ether 00:00:00:e2:ab:0c brd ff:ff:ff:ff:ff:ff\n    inet 10.16.0.7/16 brd 10.16.255.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet 10.16.0.100/16 scope global secondary eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fee2:ab0c/64 scope link \n       valid_lft forever preferred_lft forever\n</code></pre> <p>\u200b\u9664\u200b Pod \u200b\u521b\u5efa\u200b\u65f6\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u7684\u200b IP\uff0cVIP \u200b\u7684\u200b IP \u200b\u4e5f\u200b\u88ab\u200b\u6210\u529f\u200b\u7ed1\u5b9a\u200b\uff0c\u200b\u5e76\u4e14\u200b\u5f53\u524d\u200b subnet \u200b\u5185\u200b\u7684\u200b\u5176\u5b83\u200b Pod \u200b\u80fd\u200b\u548c\u200b\u8fd9\u200b\u4e24\u4e2a\u200b IP \u200b\u8fdb\u884c\u200b\u901a\u4fe1\u200b\u3002</p>"},{"location":"advance/vip/#2-switch-lb-rule-vip","title":"2. Switch LB rule vip","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: slr-01\nspec:\n  subnet: ovn-default\n  type: switch_lb_vip\n</code></pre> <ul> <li><code>subnet</code>: \u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b Subnet \u200b\u4e2d\u200b\u9884\u7559\u200b IP\u3002</li> <li><code>type</code>: \u200b\u76ee\u524d\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u7c7b\u578b\u200b\uff0c\u200b\u4e3a\u7a7a\u200b\u8868\u793a\u200b\u4ec5\u200b\u7528\u4e8e\u200b ipam ip \u200b\u5360\u4f4d\u200b\uff0c<code>switch_lb_vip</code> \u200b\u8868\u793a\u200b\u8be5\u200b vip \u200b\u4ec5\u200b\u7528\u4e8e\u200b switch lb \u200b\u524d\u7aef\u200b vip \u200b\u548c\u200b\u540e\u200b\u7aef\u200b ip \u200b\u9700\u200b\u5904\u4e8e\u200b\u540c\u4e00\u200b\u5b50\u7f51\u200b\u3002</li> </ul>"},{"location":"advance/vip/#3-pod-vip-ip","title":"3. Pod \u200b\u4f7f\u7528\u200b VIP \u200b\u6765\u200b\u56fa\u5b9a\u200b IP","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4ece\u200b v1.12 \u200b\u5f00\u59cb\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u8be5\u200b\u529f\u80fd\u200b\u548c\u200b IP \u200b\u529f\u80fd\u200b\u754c\u9650\u200b\u4e0d\u200b\u6e05\u6670\u200b\uff0c\u200b\u4e0d\u200b\u63a8\u8350\u200b\u5728\u200b\u751f\u4ea7\u200b\u4f7f\u7528\u200b</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: pod-use-vip\nspec:\n  subnet: ovn-default\n  type: \"\"\n</code></pre> <p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b annotation \u200b\u5c06\u200b\u67d0\u4e2a\u200b VIP \u200b\u5206\u914d\u200b\u7ed9\u200b\u4e00\u4e2a\u200b Pod\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: static-ip\n  annotations:\n    ovn.kubernetes.io/vip: pod-use-vip # \u200b\u6307\u5b9a\u200b vip\n  namespace: default\nspec:\n  containers:\n    - name: static-ip\n      image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"advance/vip/#31-statefulset-kubevirt-vm-vip","title":"3.1 StatefulSet \u200b\u548c\u200b Kubevirt VM \u200b\u4fdd\u7559\u200b VIP","text":"<p>\u200b\u9488\u5bf9\u200b <code>StatefulSet</code> \u200b\u548c\u200b <code>VM</code> \u200b\u7684\u200b\u7279\u6b8a\u6027\u200b\uff0c\u200b\u5728\u200b\u4ed6\u4eec\u200b\u7684\u200b Pod \u200b\u9500\u6bc1\u200b\u518d\u62c9\u8d77\u200b\u8d77\u540e\u200b\u4f1a\u200b\u91cd\u65b0\u200b\u4f7f\u7528\u200b\u4e4b\u524d\u200b\u8bbe\u7f6e\u200b\u7684\u200b VIP\u3002</p> <p>VM \u200b\u4fdd\u7559\u200b VIP \u200b\u9700\u8981\u200b\u786e\u4fdd\u200b <code>kube-ovn-controller</code> \u200b\u7684\u200b <code>keep-vm-ip</code> \u200b\u53c2\u6570\u200b\u4e3a\u200b <code>true</code>\u3002\u200b\u8bf7\u200b\u53c2\u8003\u200b Kubevirt VM \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u5f00\u542f\u200b\u8bbe\u7f6e\u200b</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/vpc-internal-dns/","title":"\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b DNS","text":"<p>\u200b\u7531\u4e8e\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u548c\u200b \u200b\u9ed8\u8ba4\u200b VPC \u200b\u7f51\u7edc\u200b\u76f8\u4e92\u200b\u9694\u79bb\u200b\uff0c\u200b\u81ea\u200b\u5b9a\u200b VPC \u200b\u5185\u200b\u65e0\u6cd5\u8bbf\u95ee\u200b\u5230\u200b\u90e8\u7f72\u200b\u5728\u200b\u9ed8\u8ba4\u200b VPC \u200b\u5185\u200b\u7684\u200b coredns\u3002 \u200b\u5982\u679c\u200b\u7528\u6237\u200b\u5e0c\u671b\u200b\u5728\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u4f7f\u7528\u200b Kubernetes \u200b\u63d0\u4f9b\u200b\u7684\u200b\u96c6\u7fa4\u200b\u5185\u200b\u57df\u540d\u89e3\u6790\u200b\u80fd\u529b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u672c\u200b\u6587\u6863\u200b\uff0c\u200b\u5229\u7528\u200b <code>vpc-dns</code> CRD \u200b\u6765\u200b\u5b9e\u73b0\u200b\u3002</p> <p>\u200b\u8be5\u200b CRD \u200b\u6700\u7ec8\u200b\u4f1a\u200b\u90e8\u7f72\u200b\u4e00\u4e2a\u200b coredns\uff0c\u200b\u8be5\u200b Pod \u200b\u6709\u200b\u4e24\u4e2a\u200b\u7f51\u5361\u200b\uff0c\u200b\u4e00\u4e2a\u200b\u7f51\u5361\u200b\u5728\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC\uff0c\u200b\u53e6\u200b\u4e00\u4e2a\u200b\u7f51\u5361\u200b\u5728\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4ece\u800c\u200b\u5b9e\u73b0\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\uff0c\u200b\u540c\u65f6\u200b\u901a\u8fc7\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u63d0\u4f9b\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u3002</p>"},{"location":"advance/vpc-internal-dns/#vpc-dns_1","title":"\u90e8\u7f72\u200b vpc-dns \u200b\u6240\u200b\u4f9d\u8d56\u200b\u7684\u200b\u8d44\u6e90","text":"<pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: system:vpc-dns\nrules:\n  - apiGroups:\n    - \"\"\n    resources:\n    - endpoints\n    - services\n    - pods\n    - namespaces\n    verbs:\n    - list\n    - watch\n  - apiGroups:\n    - discovery.k8s.io\n    resources:\n    - endpointslices\n    verbs:\n    - list\n    - watch\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  annotations:\n    rbac.authorization.kubernetes.io/autoupdate: \"true\"\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: vpc-dns\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: system:vpc-dns\nsubjects:\n- kind: ServiceAccount\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-corefile\n  namespace: kube-system\ndata:\n  Corefile: |\n    .:53 {\n        errors\n        health {\n          lameduck 5s\n        }\n        ready\n        kubernetes cluster.local in-addr.arpa ip6.arpa {\n          pods insecure\n          fallthrough in-addr.arpa ip6.arpa\n        }\n        prometheus :9153\n        forward . /etc/resolv.conf {\n          prefer_udp\n        }\n        cache 30\n        loop\n        reload\n        loadbalance\n    }\n</code></pre> <p>\u200b\u9664\u4e86\u200b\u4ee5\u4e0a\u200b\u8d44\u6e90\u200b\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u8fd8\u200b\u4f9d\u8d56\u200b nat-gw-pod \u200b\u955c\u50cf\u200b\u8fdb\u884c\u200b\u8def\u7531\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"advance/vpc-internal-dns/#_1","title":"\u914d\u7f6e\u200b\u9644\u52a0\u200b\u7f51\u5361","text":"<pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-nad\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"ovn-nad.default.ovn\"\n    }'\n</code></pre>"},{"location":"advance/vpc-internal-dns/#vpc-dns-configmap","title":"\u914d\u7f6e\u200b vpc-dns \u200b\u7684\u200b Configmap","text":"<p>\u200b\u5728\u200b kube-system \u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u4e0b\u200b\u521b\u5efa\u200b configmap\uff0c\u200b\u914d\u7f6e\u200b vpc-dns \u200b\u4f7f\u7528\u200b\u53c2\u6570\u200b\uff0c\u200b\u7528\u4e8e\u200b\u540e\u9762\u200b\u542f\u52a8\u200b vpc-dns \u200b\u529f\u80fd\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-config\n  namespace: kube-system\ndata:\n  coredns-vip: 10.96.0.3\n  enable-vpc-dns: \"true\"\n  nad-name: ovn-nad\n  nad-provider: ovn-nad.default.ovn\n</code></pre> <ul> <li><code>enable-vpc-dns</code>\uff1a\u200b\u662f\u5426\u200b\u542f\u7528\u200b\u529f\u80fd\u200b\uff0c\u200b\u9ed8\u8ba4\u200b <code>true</code>\u3002</li> <li><code>coredns-image</code>\uff1adns \u200b\u90e8\u7f72\u200b\u955c\u50cf\u200b\u3002\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b coredns \u200b\u90e8\u7f72\u200b\u7248\u672c\u200b\u3002</li> <li><code>coredns-vip</code>\uff1a\u200b\u4e3a\u200b coredns \u200b\u63d0\u4f9b\u200b lb \u200b\u670d\u52a1\u200b\u7684\u200b vip\u3002</li> <li><code>coredns-template</code>\uff1acoredns \u200b\u90e8\u7f72\u200b\u6a21\u677f\u200b\u6240\u5728\u200b\u7684\u200b URL\u3002\u200b\u9ed8\u8ba4\u200b\u83b7\u53d6\u200b\u5f53\u524d\u200b\u7248\u672c\u200b ovn \u200b\u76ee\u5f55\u200b\u4e0b\u200b <code>coredns-template.yaml</code> \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>https://raw.githubusercontent.com/kubeovn/kube-ovn/\u200b\u5f53\u524d\u200b\u7248\u672c\u200b/yamls/coredns-template.yaml</code> \u3002</li> <li><code>nad-name</code>\uff1a\u200b\u914d\u7f6e\u200b\u7684\u200b <code>network-attachment-definitions</code> \u200b\u8d44\u6e90\u200b\u540d\u79f0\u200b\u3002</li> <li><code>nad-provider</code>\uff1a\u200b\u4f7f\u7528\u200b\u7684\u200b provider \u200b\u540d\u79f0\u200b\u3002</li> <li><code>k8s-service-host</code>\uff1a\u200b\u7528\u4e8e\u200b coredns \u200b\u8bbf\u95ee\u200b k8s apiserver \u200b\u670d\u52a1\u200b\u7684\u200b ip\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u5185\u200b apiserver \u200b\u5730\u5740\u200b\u3002</li> <li><code>k8s-service-port</code>\uff1a\u200b\u7528\u4e8e\u200b coredns \u200b\u8bbf\u95ee\u200b k8s apiserver \u200b\u670d\u52a1\u200b\u7684\u200b port\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u5185\u200b apiserver \u200b\u7aef\u53e3\u200b\u3002</li> </ul>"},{"location":"advance/vpc-internal-dns/#vpc-dns_2","title":"\u90e8\u7f72\u200b vpc-dns","text":"<p>\u200b\u914d\u7f6e\u200b vpc-dns yaml\uff1a</p> <pre><code>kind: VpcDns\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-cjh1\nspec:\n  vpc: cjh-vpc-1\n  subnet: cjh-subnet-1\n  replicas: 2\n</code></pre> <ul> <li><code>vpc</code> \uff1a \u200b\u7528\u4e8e\u200b\u90e8\u7f72\u200b dns \u200b\u7ec4\u4ef6\u200b\u7684\u200b vpc \u200b\u540d\u79f0\u200b\u3002</li> <li><code>subnet</code>\uff1a\u200b\u7528\u4e8e\u200b\u90e8\u7f72\u200b dns \u200b\u7ec4\u4ef6\u200b\u7684\u200b\u5b50\u200b\u540d\u79f0\u200b\u3002</li> <li><code>replicas</code>: vpc dns deployment replicas</li> </ul> <p>\u200b\u67e5\u770b\u200b\u90e8\u7f72\u200b\u8d44\u6e90\u200b\u7684\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get vpc-dns\nNAME        ACTIVE   VPC         SUBNET   \ntest-cjh1   false    cjh-vpc-1   cjh-subnet-1   \ntest-cjh2   true     cjh-vpc-1   cjh-subnet-2 \n</code></pre> <p><code>ACTIVE</code> : <code>true</code> \u200b\u90e8\u7f72\u200b\u4e86\u200b\u81ea\u5b9a\u4e49\u200b dns \u200b\u7ec4\u4ef6\u200b\uff0c<code>false</code> \u200b\u65e0\u200b\u90e8\u7f72\u200b\u3002</p> <p>\u200b\u9650\u5236\u200b\uff1a\u200b\u4e00\u4e2a\u200b VPC \u200b\u4e0b\u200b\u53ea\u4f1a\u200b\u90e8\u7f72\u200b\u4e00\u4e2a\u200b\u81ea\u5b9a\u4e49\u200b dns \u200b\u7ec4\u4ef6\u200b;</p> <ul> <li>\u200b\u5f53\u200b\u4e00\u4e2a\u200b VPC \u200b\u4e0b\u200b\u914d\u7f6e\u200b\u591a\u4e2a\u200b vpc-dns \u200b\u8d44\u6e90\u200b\uff08\u200b\u5373\u200b\u540c\u4e00\u4e2a\u200b VPC \u200b\u4e0d\u540c\u200b\u7684\u200b subnet\uff09\uff0c\u200b\u53ea\u6709\u200b\u4e00\u4e2a\u200b vpc-dns \u200b\u8d44\u6e90\u200b\u72b6\u6001\u200b <code>true</code>\uff0c\u200b\u5176\u4ed6\u200b\u4e3a\u200b <code>fasle</code>;</li> <li>\u200b\u5f53\u200b <code>true</code> \u200b\u7684\u200b vpc-dns \u200b\u88ab\u200b\u5220\u9664\u200b\u6389\u200b\uff0c\u200b\u4f1a\u200b\u83b7\u53d6\u200b\u5176\u4ed6\u200b <code>false</code> \u200b\u7684\u200b vpc-dns \u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\u3002</li> </ul>"},{"location":"advance/vpc-internal-dns/#_2","title":"\u9a8c\u8bc1\u200b\u90e8\u7f72\u200b\u7ed3\u679c","text":"<p>\u200b\u67e5\u770b\u200b vpc-dns Pod \u200b\u72b6\u6001\u200b\uff0c\u200b\u4f7f\u7528\u200b label <code>app=vpc-dns</code>\uff0c\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b\u6240\u6709\u200b vpc-dns pod \u200b\u72b6\u6001\u200b\uff1a</p> <pre><code># kubectl -n kube-system get pods -l app=vpc-dns\nNAME                                 READY   STATUS    RESTARTS   AGE\nvpc-dns-test-cjh1-7b878d96b4-g5979   1/1     Running   0          28s\nvpc-dns-test-cjh1-7b878d96b4-ltmf9   1/1     Running   0          28s\n</code></pre> <p>\u200b\u67e5\u770b\u200b slr \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl -n kube-system get slr\nNAME                VIP         PORT(S)                  SERVICE                             AGE\nvpc-dns-test-cjh1   10.96.0.3   53/UDP,53/TCP,9153/TCP   kube-system/slr-vpc-dns-test-cjh1   113s\n</code></pre> <p>\u200b\u8fdb\u5165\u200b\u8be5\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Pod\uff0c\u200b\u6d4b\u8bd5\u200b dns \u200b\u89e3\u6790\u200b:</p> <pre><code>nslookup kubernetes.default.svc.cluster.local 10.96.0.3\n</code></pre> <p>\u200b\u8be5\u200b VPC \u200b\u4e0b\u200b\u7684\u200b switch lb rule \u200b\u6240\u5728\u200b\u7684\u200b\u5b50\u7f51\u200b\u4ee5\u53ca\u200b\u540c\u4e00\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u5176\u4ed6\u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b pod \u200b\u90fd\u200b\u53ef\u4ee5\u200b\u89e3\u6790\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/vpc-internal-lb/","title":"\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861","text":"<p>Kubernetes \u200b\u63d0\u4f9b\u200b\u7684\u200b Service \u200b\u53ef\u4ee5\u200b\u7528\u4f5c\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\uff0c \u200b\u4f46\u662f\u200b\u5728\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c \u200b\u4f7f\u7528\u200b Service \u200b\u4f5c\u4e3a\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u5b58\u5728\u200b\u5982\u4e0b\u200b\u51e0\u4e2a\u200b\u95ee\u9898\u200b\uff1a</p> <ol> <li>Service IP \u200b\u8303\u56f4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u8d44\u6e90\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5171\u4eab\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u91cd\u53e0\u200b\u3002</li> <li>\u200b\u7528\u6237\u200b\u65e0\u6cd5\u200b\u6309\u7167\u200b\u81ea\u5df1\u200b\u610f\u613f\u200b\u8bbe\u7f6e\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</li> </ol> <p>\u200b\u4e3a\u4e86\u200b\u89e3\u51b3\u200b\u4e0a\u8ff0\u200b\u95ee\u9898\u200b\uff0cKube-OVN \u200b\u5728\u200b 1.11 \u200b\u5f15\u5165\u200b <code>SwitchLBRule</code> CRD\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u8bbe\u7f6e\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u7684\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\u3002</p> <p><code>SwitchLBRule</code> \u200b\u652f\u6301\u200b\u4ee5\u4e0b\u200b\u4e24\u79cd\u200b\u65b9\u5f0f\u200b\u8bbe\u7f6e\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u7684\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\u3002</p>"},{"location":"advance/vpc-internal-lb/#selector","title":"<code>Selector</code> \u200b\u81ea\u52a8\u200b\u751f\u6210\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219","text":"<p>\u200b\u901a\u8fc7\u200b <code>selector</code> \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b <code>label</code> \u200b\u81ea\u52a8\u200b\u5173\u8054\u200b <code>pod</code> \u200b\u914d\u7f6e\u200b\u751f\u6210\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\u3002</p> <p><code>SwitchLBRule</code> \u200b\u6837\u200b\u4f8b\u5982\u200b\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  cjh-slr-nginx\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  selector:\n    - app:nginx\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\n</code></pre> <ul> <li> <p><code>selector</code>, <code>sessionAffinity</code> \u200b\u548c\u200b <code>port</code> \u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u540c\u200b Kubernetes Service\u3002</p> </li> <li> <p><code>vip</code>\uff1a\u200b\u81ea\u5b9a\u4e49\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</p> </li> <li> <p><code>namespace</code>\uff1a<code>selector</code> \u200b\u6240\u200b\u9009\u62e9\u200b Pod \u200b\u6240\u5728\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u3002</p> </li> </ul> <p>Kube-OVN \u200b\u4f1a\u200b\u6839\u636e\u200b <code>SwitchLBRule</code> \u200b\u5b9a\u4e49\u200b\u9009\u62e9\u200b\u7684\u200b Pod \u200b\u5f97\u51fa\u200b Pod \u200b\u6240\u5728\u200b VPC \u200b\u5e76\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b L2 LB\u3002</p>"},{"location":"advance/vpc-internal-lb/#endpoints","title":"<code>Endpoints</code> \u200b\u81ea\u5b9a\u4e49\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219","text":"<p>\u200b\u901a\u8fc7\u200b <code>endpoints</code> \u200b\u53ef\u4ee5\u200b\u81ea\u5b9a\u4e49\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\uff0c\u200b\u7528\u4ee5\u200b\u652f\u6301\u200b\u65e0\u6cd5\u200b\u901a\u8fc7\u200b <code>selector</code> \u200b\u81ea\u52a8\u200b\u751f\u6210\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\u7684\u200b\u573a\u666f\u200b\uff0c\u200b\u6bd4\u5982\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u540e\u7aef\u200b\u662f\u200b <code>kubevirt</code> \u200b\u521b\u5efa\u200b\u7684\u200b <code>vm</code> \u3002</p> <p><code>SwitchLBRule</code> \u200b\u6837\u200b\u4f8b\u5982\u200b\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  cjh-slr-nginx\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  endpoints:\n    - 192.168.0.101\n    - 192.168.0.102\n    - 192.168.0.103\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\n</code></pre> <ul> <li><code>sessionAffinity</code> \u200b\u548c\u200b <code>port</code> \u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u540c\u200b Kubernetes Service\u3002</li> <li><code>vip</code>\uff1a\u200b\u81ea\u5b9a\u4e49\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</li> <li><code>namespace</code>\uff1a<code>selector</code> \u200b\u6240\u200b\u9009\u62e9\u200b Pod \u200b\u6240\u5728\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u3002</li> <li><code>endpoints</code>\uff1a\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u540e\u200b\u7aef\u200b IP \u200b\u5217\u8868\u200b\u3002</li> </ul> <p>\u200b\u5982\u679c\u200b\u540c\u65f6\u200b\u914d\u7f6e\u200b\u4e86\u200b <code>selector</code> \u200b\u548c\u200b <code>endpoints</code>, \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5ffd\u7565\u200b <code>selector</code> \u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"advance/vpc-internal-lb/#_1","title":"\u5065\u5eb7\u68c0\u67e5","text":"<p><code>OVN</code> \u200b\u652f\u6301\u200b <code>IPv4</code> \u200b\u7684\u200b\u8d1f\u8f7d\u5e73\u8861\u200b\u5668\u200b\u670d\u52a1\u200b\u7ec8\u7aef\u200b\u7684\u200b\u8fd0\u884c\u72b6\u51b5\u200b\u68c0\u67e5\u200b\u3002 \u200b\u542f\u7528\u200b\u8fd0\u884c\u72b6\u51b5\u200b\u68c0\u67e5\u200b\u540e\u200b\uff0c\u200b\u8d1f\u8f7d\u5e73\u8861\u200b\u5668\u4f1a\u200b\u5bf9\u200b\u670d\u52a1\u200b\u7ec8\u7aef\u200b\u7684\u200b\u72b6\u6001\u200b\u8fdb\u884c\u200b\u68c0\u6d4b\u200b\u7ef4\u62a4\u200b\uff0c\u200b\u5e76\u200b\u4ec5\u200b\u4f7f\u7528\u200b\u8fd0\u884c\u72b6\u51b5\u200b\u826f\u597d\u200b\u7684\u200b\u670d\u52a1\u200b\u7ec8\u7aef\u200b\u3002</p> <p>[Health Checks](https://www.ovn.org/support/dist-docs/ovn-nb.5.html)</p> <p>\u200b\u6839\u636e\u200b <code>ovn</code> \u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u7684\u200b\u8fd0\u884c\u72b6\u51b5\u200b\u68c0\u67e5\u200b\uff0c\u200b\u5bf9\u200b <code>SwitchLBRule</code> \u200b\u6dfb\u52a0\u200b\u5065\u5eb7\u68c0\u67e5\u200b\u3002\u200b\u5728\u200b\u521b\u5efa\u200b <code>SwitchLBRule</code> \u200b\u7684\u200b\u540c\u65f6\u200b\uff0c\u200b\u4ece\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>VPC</code> \u200b\u548c\u200b <code>subnet</code> \u200b\u4e2d\u200b\u83b7\u53d6\u200b\u4e00\u4e2a\u200b\u53ef\u200b\u590d\u7528\u200b\u7684\u200b <code>vip</code> \u200b\u4f5c\u4e3a\u200b\u68c0\u6d4b\u200b\u7aef\u70b9\u200b\uff0c\u200b\u5e76\u200b\u6dfb\u52a0\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>ip_port_mappings</code> \u200b\u548c\u200b <code>load_balancer_health_check</code> \u200b\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u4e0a\u200b\u3002</p> <ul> <li>\u200b\u68c0\u6d4b\u200b\u7aef\u70b9\u200b <code>vip</code> \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5728\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>subnet</code> \u200b\u4e2d\u200b\u5224\u65ad\u200b\u662f\u5426\u200b\u5b58\u5728\u200b\uff0c\u200b\u5e76\u4e14\u200b\u4e0e\u200b <code>subnet</code> \u200b\u540c\u540d\u200b\uff0c\u200b\u5982\u679c\u200b\u4e0d\u200b\u5b58\u5728\u200b\u5219\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u521b\u5efa\u200b\uff0c\u200b\u5e76\u4e14\u200b\u5728\u200b\u6240\u6709\u200b\u5173\u8054\u200b\u7684\u200b <code>SwitchLBRule</code> \u200b\u88ab\u200b\u5220\u9664\u200b\u540e\u200b\u81ea\u52a8\u200b\u88ab\u200b\u5220\u9664\u200b\u3002</li> <li>\u200b\u6682\u65f6\u200b\u53ea\u200b\u652f\u6301\u200b\u901a\u8fc7\u200b <code>Selector</code> \u200b\u81ea\u52a8\u200b\u751f\u6210\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b</li> </ul>"},{"location":"advance/vpc-internal-lb/#_2","title":"\u521b\u5efa\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219","text":"<pre><code>root@server:~# kubectl get po -o wide -n vulpecula\nNAME                     READY   STATUS    RESTARTS   AGE     IP          NODE     NOMINATED NODE   READINESS GATES\nnginx-78d9578975-f4qn4   1/1     Running   3          4d16h   10.16.0.4   worker   &lt;none&gt;           &lt;none&gt;\nnginx-78d9578975-t8tm5   1/1     Running   3          4d16h   10.16.0.6   worker   &lt;none&gt;           &lt;none&gt;\n\n# \u200b\u521b\u5efa\u200b slr\nroot@server:~# cat &lt;&lt; END &gt; slr.yaml\napiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  nginx\n  namespace:  vulpecula\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  selector:\n    - app:nginx\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\nEND\nroot@server:~# kubectl apply -f slr.yaml\nroot@server:~# kubectl get slr\nNAME              VIP       PORT(S)    SERVICE                       AGE\nvulpecula-nginx   1.1.1.1   8888/TCP   default/slr-vulpecula-nginx   3d21h\n</code></pre> <p>\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u4e0e\u200b <code>subnet</code> \u200b\u540c\u540d\u200b\u7684\u200b <code>vip</code> \u200b\u5df2\u7ecf\u200b\u88ab\u200b\u521b\u5efa\u200b\u3002</p> <pre><code># \u200b\u67e5\u770b\u200b\u68c0\u6d4b\u200b\u7aef\u70b9\u200b vip\n\nroot@server:~# kubectl get vip\nNAME          NS    V4IP        MAC                 V6IP    PMAC   SUBNET        READY   TYPE\nvulpecula-subnet    10.16.0.2   00:00:00:39:95:C1   &lt;nil&gt;          vulpecula-subnet   true   \n</code></pre> <p>\u200b\u901a\u8fc7\u200b\u547d\u4ee4\u200b\u53ef\u4ee5\u200b\u67e5\u8be2\u200b\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>Load_Balancer_Health_Check</code> \u200b\u548c\u200b <code>Service_Monitor</code>\u3002</p> <pre><code>root@server:~# kubectl ko nbctl list Load_Balancer\n_uuid               : 3cbb6d43-44aa-4028-962f-30d2dba9f0b8\nexternal_ids        : {}\nhealth_check        : [5bee3f12-6b54-411c-9cc8-c9def8f67356]\nip_port_mappings    : {\"10.16.0.4\"=\"nginx-78d9578975-f4qn4.default:10.16.0.2\", \"10.16.0.6\"=\"nginx-78d9578975-t8tm5.default:10.16.0.2\"}\nname                : cluster-tcp-session-loadbalancer\noptions             : {affinity_timeout=\"10800\"}\nprotocol            : tcp\nselection_fields    : [ip_src]\nvips                : {\"1.1.1.1:8888\"=\"10.16.0.4:80,10.16.0.6:80\"}\n\nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\n_uuid               : 5bee3f12-6b54-411c-9cc8-c9def8f67356\nexternal_ids        : {switch_lb_subnet=vulpecula-subnet}\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nvip                 : \"1.1.1.1:8888\"\n\nroot@server:~# kubectl ko sbctl list Service_Monitor\n_uuid               : 1bddc541-cc49-44ea-9935-a4208f627a91\nexternal_ids        : {}\nip                  : \"10.16.0.4\"\nlogical_port        : nginx-78d9578975-f4qn4.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n\n_uuid               : 84dd24c5-e1b4-4e97-9daa-13687ed59785\nexternal_ids        : {}\nip                  : \"10.16.0.6\"\nlogical_port        : nginx-78d9578975-t8tm5.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n</code></pre> <p>\u200b\u6b64\u65f6\u200b\u901a\u8fc7\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b <code>vip</code> \u200b\u53ef\u4ee5\u200b\u6210\u529f\u200b\u5f97\u5230\u200b\u670d\u52a1\u200b\u54cd\u5e94\u200b\u3002</p> <pre><code>root@server:~# kubectl exec -it -n vulpecula nginx-78d9578975-t8tm5 -- curl 1.1.1.1:8888\n&lt;!DOCTYPE html&gt;\n&lt;html&gt;\n&lt;head&gt;\n&lt;title&gt;Welcome to nginx!&lt;/title&gt;\n&lt;p&gt;&lt;em&gt;Thank you for using nginx.&lt;/em&gt;&lt;/p&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre>"},{"location":"advance/vpc-internal-lb/#_3","title":"\u66f4\u65b0\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u670d\u52a1\u200b\u7ec8\u7aef","text":"<p>\u200b\u901a\u8fc7\u200b\u5220\u9664\u200b <code>pod</code> \u200b\u66f4\u65b0\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u7684\u200b\u670d\u52a1\u200b\u7ec8\u7aef\u200b\u3002</p> <pre><code>kubectl delete po nginx-78d9578975-f4qn4\nkubectl get po -o wide -n vulpecula\nNAME                     READY   STATUS    RESTARTS   AGE     IP          NODE     NOMINATED NODE   READINESS GATES\nnginx-78d9578975-lxmvh   1/1     Running   0          31s     10.16.0.8   worker   &lt;none&gt;           &lt;none&gt;\nnginx-78d9578975-t8tm5   1/1     Running   3          4d16h   10.16.0.6   worker   &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>\u200b\u901a\u8fc7\u200b\u547d\u4ee4\u200b\u53ef\u4ee5\u200b\u67e5\u8be2\u200b\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>Load_Balancer_Health_Check</code> \u200b\u548c\u200b <code>Service_Monitor</code> \u200b\u5df2\u7ecf\u200b\u53d1\u751f\u200b\u4e86\u200b\u54cd\u5e94\u200b\u7684\u200b\u53d8\u5316\u200b\u3002</p> <pre><code>root@server:~# kubectl ko nbctl list Load_Balancer\n_uuid               : 3cbb6d43-44aa-4028-962f-30d2dba9f0b8\nexternal_ids        : {}\nhealth_check        : [5bee3f12-6b54-411c-9cc8-c9def8f67356]\nip_port_mappings    : {\"10.16.0.4\"=\"nginx-78d9578975-f4qn4.default:10.16.0.2\", \"10.16.0.6\"=\"nginx-78d9578975-t8tm5.default:10.16.0.2\", \"10.16.0.8\"=\"nginx-78d9578975-lxmvh.default:10.16.0.2\"}\nname                : cluster-tcp-session-loadbalancer\noptions             : {affinity_timeout=\"10800\"}\nprotocol            : tcp\nselection_fields    : [ip_src]\nvips                : {\"1.1.1.1:8888\"=\"10.16.0.6:80,10.16.0.8:80\"}\n\nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\n_uuid               : 5bee3f12-6b54-411c-9cc8-c9def8f67356\nexternal_ids        : {switch_lb_subnet=vulpecula-subnet}\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nvip                 : \"1.1.1.1:8888\"\n\nroot@server:~# kubectl ko sbctl list Service_Monitor\n_uuid               : 84dd24c5-e1b4-4e97-9daa-13687ed59785\nexternal_ids        : {}\nip                  : \"10.16.0.6\"\nlogical_port        : nginx-78d9578975-t8tm5.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n\n_uuid               : 5917b7b7-a999-49f2-a42d-da81f1eeb28f\nexternal_ids        : {}\nip                  : \"10.16.0.8\"\nlogical_port        : nginx-78d9578975-lxmvh.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n</code></pre> <p>\u200b\u5220\u9664\u200b <code>SwitchLBRule</code>\uff0c\u200b\u5e76\u200b\u786e\u8ba4\u200b\u8d44\u6e90\u200b\u72b6\u6001\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b <code>Load_Balancer_Health_Check</code> \u200b\u548c\u200b <code>Service_Monitor</code> \u200b\u90fd\u200b\u5df2\u7ecf\u200b\u88ab\u200b\u5220\u9664\u200b\uff0c\u200b\u5e76\u4e14\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>vip</code> \u200b\u4e5f\u200b\u88ab\u200b\u5220\u9664\u200b\u3002</p> <pre><code>root@server:~# kubectl delete -f slr.yaml \nswitchlbrule.kubeovn.io \"vulpecula-nginx\" deleted\nroot@server:~# kubectl get vip\nNo resources found\nroot@server:~# kubectl ko sbctl list Service_Monitor\nroot@server:~# \nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\nroot@server:~# \n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/vpc-peering/","title":"VPC \u200b\u4e92\u8054","text":"<p>VPC \u200b\u4e92\u8054\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u79cd\u200b\u5c06\u200b\u4e24\u4e2a\u200b VPC \u200b\u7f51\u7edc\u200b\u901a\u8fc7\u200b\u903b\u8f91\u200b\u8def\u7531\u200b\u6253\u901a\u200b\u7684\u200b\u673a\u5236\u200b\uff0c\u200b\u4ece\u800c\u200b\u4f7f\u200b\u4e24\u4e2a\u200b VPC \u200b\u5185\u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u53ef\u4ee5\u200b\u50cf\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u79c1\u6709\u200b\u7f51\u7edc\u200b\u4e00\u6837\u200b\uff0c \u200b\u901a\u8fc7\u200b\u79c1\u6709\u200b\u5730\u5740\u200b\u76f8\u4e92\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u65e0\u9700\u200b\u901a\u8fc7\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u8fdb\u884c\u200b NAT \u200b\u8f6c\u53d1\u200b\u3002</p>"},{"location":"advance/vpc-peering/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ol> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ea\u200b\u9002\u7528\u200b\u4e8e\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC\u3002</li> <li>\u200b\u4e3a\u4e86\u200b\u907f\u514d\u200b\u8def\u7531\u200b\u91cd\u53e0\u200b\u4e24\u4e2a\u200b VPC \u200b\u5185\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u80fd\u200b\u91cd\u53e0\u200b\u3002</li> <li>\u200b\u76ee\u524d\u200b\u53ea\u200b\u652f\u6301\u200b\u4e24\u4e2a\u200b VPC \u200b\u7684\u200b\u4e92\u8054\u200b\uff0c\u200b\u66f4\u200b\u591a\u7ec4\u200b VPC \u200b\u4e4b\u95f4\u200b\u7684\u200b\u4e92\u8054\u200b\u6682\u200b\u4e0d\u200b\u652f\u6301\u200b\u3002</li> </ol>"},{"location":"advance/vpc-peering/#_2","title":"\u4f7f\u7528\u200b\u65b9\u5f0f","text":"<p>\u200b\u9996\u5148\u200b\u521b\u5efa\u200b\u4e24\u4e2a\u200b\u4e0d\u200b\u4e92\u8054\u200b\u7684\u200b VPC\uff0c\u200b\u6bcf\u4e2a\u200b VPC \u200b\u4e0b\u200b\u5404\u6709\u200b\u4e00\u4e2a\u200b Subnet\uff0cSubnet \u200b\u7684\u200b CIDR \u200b\u4e92\u4e0d\u200b\u91cd\u53e0\u200b\u3002</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-1\nspec: {}\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net1\nspec:\n  vpc: vpc-1\n  cidrBlock: 10.0.0.0/16\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-2\nspec: {}\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: vpc-2\n  cidrBlock: 172.31.0.0/16\n</code></pre> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b VPC \u200b\u5185\u200b\u5206\u522b\u200b\u589e\u52a0\u200b <code>vpcPeerings</code> \u200b\u548c\u200b\u5bf9\u5e94\u200b\u7684\u200b\u9759\u6001\u200b\u8def\u7531\u200b\uff1a</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-1\nspec: \n  vpcPeerings:\n    - remoteVpc: vpc-2\n      localConnectIP: 169.254.0.1/30\n  staticRoutes:\n    - cidr: 172.31.0.0/16\n      nextHopIP: 169.254.0.2\n      policy: policyDst\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-2\nspec:\n  vpcPeerings:\n    - remoteVpc: vpc-1\n      localConnectIP: 169.254.0.2/30\n  staticRoutes:\n    - cidr: 10.0.0.0/16\n      nextHopIP: 169.254.0.1\n      policy: policyDst\n</code></pre> <ul> <li><code>remoteVpc</code>: \u200b\u4e92\u8054\u200b\u7684\u200b\u53e6\u200b\u4e00\u4e2a\u200b VPC \u200b\u7684\u200b\u540d\u5b57\u200b\u3002</li> <li><code>localConnectIP</code>: \u200b\u4f5c\u4e3a\u200b\u4e92\u8054\u200b\u7aef\u70b9\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u548c\u200b CIDR\uff0c\u200b\u6ce8\u610f\u200b\u4e24\u7aef\u200b IP \u200b\u5e94\u200b\u5c5e\u4e8e\u200b\u540c\u4e00\u200b CIDR\uff0c\u200b\u4e14\u200b\u4e0d\u80fd\u200b\u548c\u200b\u5df2\u6709\u200b\u5b50\u7f51\u200b\u51b2\u7a81\u200b\u3002</li> <li><code>cidr</code>\uff1a\u200b\u53e6\u4e00\u7aef\u200b Subnet \u200b\u7684\u200b CIDR\u3002</li> <li><code>nextHopIP</code>\uff1a\u200b\u4e92\u8054\u200b VPC \u200b\u53e6\u4e00\u7aef\u200b\u7684\u200b <code>localConnectIP</code>\u3002</li> </ul> <p>\u200b\u5206\u522b\u200b\u5728\u200b\u4e24\u4e2a\u200b Subnet \u200b\u4e0b\u200b\u521b\u5efa\u200b Pod</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net1\n  name: vpc-1-pod\nspec:\n  containers:\n    - name: vpc-1-pod\n      image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net2\n  name: vpc-2-pod\nspec:\n  containers:\n    - name: vpc-2-pod\n      image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u6d4b\u8bd5\u200b\u7f51\u7edc\u200b\u8fde\u901a\u6027\u200b</p> <pre><code># kubectl exec -it vpc-1-pod -- ping $(kubectl get pod vpc-2-pod -o jsonpath='{.status.podIP}')\nPING 172.31.0.2 (172.31.0.2): 56 data bytes\n64 bytes from 172.31.0.2: seq=0 ttl=62 time=0.655 ms\n64 bytes from 172.31.0.2: seq=1 ttl=62 time=0.086 ms\n64 bytes from 172.31.0.2: seq=2 ttl=62 time=0.098 ms\n^C\n--- 172.31.0.2 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.086/0.279/0.655 ms\n# kubectl exec -it vpc-2-pod -- ping $(kubectl get pod vpc-1-pod -o jsonpath='{.status.podIP}')\nPING 10.0.0.2 (10.0.0.2): 56 data bytes\n64 bytes from 10.0.0.2: seq=0 ttl=62 time=0.594 ms\n64 bytes from 10.0.0.2: seq=1 ttl=62 time=0.093 ms\n64 bytes from 10.0.0.2: seq=2 ttl=62 time=0.088 ms\n^C\n--- 10.0.0.2 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.088/0.258/0.594 ms\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/windows/","title":"Windows \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u5305\u542b\u200b Windows \u200b\u7cfb\u7edf\u200b\u8282\u70b9\u200b\u7684\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5c06\u200b Windows \u200b\u5bb9\u5668\u200b\u7684\u200b\u7f51\u7edc\u200b\u7edf\u4e00\u200b\u63a5\u5165\u200b\u8fdb\u884c\u200b\u7ba1\u7406\u200b\u3002</p>"},{"location":"advance/windows/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ul> <li>\u200b\u53c2\u8003\u200b Adding Windows nodes \u200b\u589e\u52a0\u200b Windows \u200b\u8282\u70b9\u200b\u3002</li> <li>Windows \u200b\u8282\u70b9\u200b\u5fc5\u987b\u200b\u5b89\u88c5\u200b KB4489899 \u200b\u8865\u4e01\u200b\u4ee5\u200b\u4f7f\u200b Overlay/VXLAN \u200b\u7f51\u7edc\u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\uff0c\u200b\u5efa\u8bae\u200b\u66f4\u65b0\u200b\u7cfb\u7edf\u200b\u81f3\u200b\u6700\u65b0\u200b\u7248\u672c\u200b\u3002</li> <li>Windows \u200b\u8282\u70b9\u200b\u5fc5\u987b\u200b\u5b89\u88c5\u200b Hyper-V \u200b\u53ca\u200b\u7ba1\u7406\u5de5\u5177\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b Windows \u200b\u9650\u5236\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u53ea\u80fd\u200b\u4f7f\u7528\u200b Vxlan \u200b\u6a21\u5f0f\u200b\u3002</li> <li>\u200b\u6682\u200b\u4e0d\u200b\u652f\u6301\u200b SSL\uff0cIPv6\uff0c\u200b\u53cc\u6808\u200b\uff0cQoS \u200b\u529f\u80fd\u200b\u3002</li> <li>\u200b\u6682\u200b\u4e0d\u200b\u652f\u6301\u200b\u52a8\u6001\u200b\u5b50\u7f51\u200b\uff0c\u200b\u52a8\u6001\u200b\u96a7\u9053\u200b\u63a5\u53e3\u200b\u529f\u80fd\u200b\uff0c\u200b\u9700\u5728\u200b\u5b89\u88c5\u200b Windows \u200b\u8282\u70b9\u200b\u524d\u200b\u5b8c\u6210\u200b\u5b50\u7f51\u200b\u521b\u5efa\u200b\uff0c\u200b\u5e76\u200b\u56fa\u5b9a\u200b\u7f51\u7edc\u63a5\u53e3\u200b\u3002</li> <li>\u200b\u4e0d\u200b\u652f\u6301\u200b\u591a\u4e2a\u200b <code>ProviderNetwork</code>\uff0c\u200b\u4e14\u200b\u65e0\u6cd5\u200b\u52a8\u6001\u200b\u8c03\u6574\u200b\u6865\u63a5\u200b\u63a5\u53e3\u200b\u914d\u7f6e\u200b\u3002</li> </ul>"},{"location":"advance/windows/#ovs","title":"\u5b89\u88c5\u200b OVS","text":"<p>\u200b\u7531\u4e8e\u200b\u4e0a\u6e38\u200b OVN \u200b\u548c\u200b OVS \u200b\u5bf9\u200b Windows \u200b\u5bb9\u5668\u200b\u652f\u6301\u200b\u5b58\u5728\u200b\u4e00\u4e9b\u200b\u95ee\u9898\u200b\uff0c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u63d0\u4f9b\u200b\u7684\u200b\u7ecf\u8fc7\u200b\u4fee\u6539\u200b\u7684\u200b\u5b89\u88c5\u5305\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\u6253\u5f00\u200b Windows \u200b\u8282\u70b9\u200b\u7684\u200b <code>TESTSIGNING</code> \u200b\u542f\u52a8\u9879\u200b\uff0c\u200b\u6267\u884c\u200b\u6210\u529f\u200b\u540e\u200b\u9700\u8981\u200b\u91cd\u542f\u200b\u7cfb\u7edf\u200b\u751f\u6548\u200b\uff1a</p> <pre><code>bcdedit /set LOADOPTIONS DISABLE_INTEGRITY_CHECKS\nbcdedit /set TESTSIGNING ON\nbcdedit /set nointegritychecks ON\n</code></pre> <p>\u200b\u5728\u200b Windows \u200b\u8282\u70b9\u200b\u4e0b\u8f7d\u200b Windows \u200b\u5b89\u88c5\u5305\u200b\u5e76\u200b\u89e3\u538b\u200b\u5b89\u88c5\u200b\u3002</p> <p>\u200b\u5b89\u88c5\u200b\u5b8c\u6210\u200b\u540e\u200b\u786e\u8ba4\u200b\u670d\u52a1\u200b\u6b63\u5e38\u200b\u8fd0\u884c\u200b\uff1a</p> <pre><code>PS &gt; Get-Service | findstr ovs\nRunning  ovsdb-server  Open vSwitch DB Service\nRunning  ovs-vswitchd  Open vSwitch Service\n</code></pre>"},{"location":"advance/windows/#kube-ovn","title":"\u5b89\u88c5\u200b Kube-OVN","text":"<p>\u200b\u5728\u200b Windows \u200b\u8282\u70b9\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b install.ps1\u3002</p> <p>\u200b\u8865\u5145\u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\u5e76\u200b\u6267\u884c\u200b\uff1a</p> <pre><code>.\\install.ps1 -KubeConfig C:\\k\\admin.conf -ApiServer https://192.168.140.180:6443 -ServiceCIDR 10.96.0.0/12\n</code></pre> <p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b, Kube-OVN \u200b\u4f7f\u7528\u200b\u8282\u70b9\u200b IP \u200b\u6240\u5728\u200b\u7684\u200b\u7f51\u5361\u200b\u4f5c\u4e3a\u200b\u96a7\u9053\u200b\u63a5\u53e3\u200b\u3002 \u200b\u5982\u679c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u5176\u5b83\u200b\u7f51\u5361\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u524d\u200b\u7ed9\u200b\u8282\u70b9\u200b\u6dfb\u52a0\u200b\u6307\u5b9a\u200b\u7684\u200b Annotation\uff0c\u200b\u5982\u200b <code>ovn.kubernetes.io/tunnel_interface=Ethernet1</code>\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-bgp/","title":"BGP \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u5c06\u200b Pod \u200b\u6216\u200b Subnet \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u901a\u8fc7\u200b BGP \u200b\u534f\u8bae\u200b\u5411\u200b\u5916\u90e8\u200b\u8fdb\u884c\u200b\u8def\u7531\u200b\u5e7f\u64ad\u200b\uff0c\u200b\u4ece\u800c\u200b\u4f7f\u5f97\u200b Pod IP \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b\u3002 \u200b\u5982\u679c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u8be5\u200b\u529f\u80fd\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u7279\u5b9a\u200b\u8282\u70b9\u200b\u5b89\u88c5\u200b <code>kube-ovn-speaker</code> \u200b\u5e76\u200b\u5bf9\u200b\u9700\u8981\u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b\u7684\u200b Pod \u200b\u6216\u200b Subnet \u200b\u589e\u52a0\u200b\u5bf9\u5e94\u200b\u7684\u200b annotation\u3002</p>"},{"location":"advance/with-bgp/#kube-ovn-speaker","title":"\u5b89\u88c5\u200b kube-ovn-speaker","text":"<p><code>kube-ovn-speaker</code> \u200b\u5185\u200b\u4f7f\u7528\u200b GoBGP \u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u8def\u7531\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u8bbf\u95ee\u200b\u66b4\u9732\u200b\u5730\u5740\u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u8def\u7531\u200b\u6307\u5411\u200b\u81ea\u8eab\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u90e8\u7f72\u200b <code>kube-ovn-speaker</code> \u200b\u7684\u200b\u8282\u70b9\u200b\u9700\u8981\u200b\u627f\u62c5\u200b\u56de\u7a0b\u200b\u6d41\u91cf\u200b\uff0c\u200b\u56e0\u6b64\u200b\u9700\u8981\u200b\u9009\u62e9\u200b\u7279\u5b9a\u200b\u8282\u70b9\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>kubectl label nodes speaker-node-1 ovn.kubernetes.io/bgp=true\nkubectl label nodes speaker-node-2 ovn.kubernetes.io/bgp=true\n</code></pre> <p>\u200b\u5f53\u200b\u5b58\u5728\u200b\u591a\u4e2a\u200b kube-ovn-speaker \u200b\u5b9e\u4f8b\u200b\u65f6\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u5b9e\u4f8b\u200b\u90fd\u200b\u4f1a\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u8def\u7531\u200b\uff0c\u200b\u4e0a\u6e38\u200b\u8def\u7531\u5668\u200b\u9700\u8981\u200b\u652f\u6301\u200b\u591a\u8def\u5f84\u200b ECMP\u3002</p> <p>\u200b\u4e0b\u8f7d\u200b\u5bf9\u5e94\u200b yaml:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/yamls/speaker.yaml\n</code></pre> <p>\u200b\u4fee\u6539\u200b yaml \u200b\u5185\u200b\u76f8\u5e94\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>--neighbor-address=10.32.32.1\n--neighbor-as=65030\n--cluster-as=65000\n</code></pre> <ul> <li><code>neighbor-address</code>: BGP Peer \u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u901a\u5e38\u200b\u4e3a\u200b\u8def\u7531\u5668\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\u3002</li> <li><code>neighbor-as</code>: BGP Peer \u200b\u7684\u200b AS \u200b\u53f7\u200b\u3002</li> <li><code>cluster-as</code>: \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b AS \u200b\u53f7\u200b\u3002</li> </ul> <p>\u200b\u90e8\u7f72\u200b yaml:</p> <pre><code>kubectl apply -f speaker.yaml\n</code></pre>"},{"location":"advance/with-bgp/#podsubnet","title":"\u53d1\u5e03\u200b Pod/Subnet \u200b\u8def\u7531","text":"<p>\u200b\u5982\u9700\u200b\u4f7f\u7528\u200b BGP \u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u8def\u7531\u200b\uff0c\u200b\u9996\u5148\u200b\u9700\u8981\u200b\u5c06\u200b\u5bf9\u5e94\u200b Subnet \u200b\u7684\u200b <code>natOutgoing</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code>\uff0c\u200b\u4f7f\u5f97\u200b Pod IP \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u589e\u52a0\u200b annotation \u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\uff1a</p> <pre><code>kubectl annotate pod sample ovn.kubernetes.io/bgp=true\nkubectl annotate subnet ovn-default ovn.kubernetes.io/bgp=true\n</code></pre> <p>\u200b\u5220\u9664\u200b annotation \u200b\u53d6\u6d88\u200b\u53d1\u5e03\u200b\uff1a</p> <pre><code>kubectl annotate pod perf-ovn-xzvd4 ovn.kubernetes.io/bgp-\nkubectl annotate subnet ovn-default ovn.kubernetes.io/bgp-\n</code></pre>"},{"location":"advance/with-bgp/#bgp_1","title":"BGP \u200b\u9ad8\u7ea7\u200b\u9009\u9879","text":"<p><code>kube-ovn-speaker</code> \u200b\u652f\u6301\u200b\u66f4\u200b\u591a\u200b BGP \u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u9ad8\u7ea7\u200b\u914d\u7f6e\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u200b\u6839\u636e\u200b\u81ea\u5df1\u200b\u7f51\u7edc\u200b\u73af\u5883\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <ul> <li><code>announce-cluster-ip</code>: \u200b\u662f\u5426\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b Service \u200b\u8def\u7531\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>false</code>\u3002</li> <li><code>auth-password</code>: BGP peer \u200b\u7684\u200b\u8bbf\u95ee\u200b\u5bc6\u7801\u200b\u3002</li> <li><code>holdtime</code>: BGP \u200b\u90bb\u5c45\u200b\u95f4\u200b\u7684\u200b\u5fc3\u8df3\u200b\u63a2\u6d4b\u200b\u65f6\u95f4\u200b\uff0c\u200b\u8d85\u8fc7\u200b\u6539\u200b\u65f6\u95f4\u200b\u6ca1\u6709\u200b\u6d88\u606f\u200b\u7684\u200b\u90bb\u5c45\u200b\u5c06\u4f1a\u200b\u88ab\u200b\u79fb\u9664\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 90 \u200b\u79d2\u200b\u3002</li> <li><code>graceful-restart</code>: \u200b\u662f\u5426\u200b\u542f\u7528\u200b BGP Graceful Restart\u3002</li> <li><code>graceful-restart-time</code>: BGP Graceful restart time \u200b\u53ef\u200b\u53c2\u8003\u200b RFC4724 3\u3002</li> <li><code>graceful-restart-deferral-time</code>: BGP Graceful restart deferral time \u200b\u53ef\u200b\u53c2\u8003\u200b RFC4724 4.1\u3002</li> <li><code>passivemode</code>: Speaker \u200b\u8fd0\u884c\u200b\u5728\u200b passive \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u4e0d\u200b\u4e3b\u52a8\u200b\u8fde\u63a5\u200b peer\u3002</li> <li><code>ebgp-multihop</code>: ebgp ttl \u200b\u9ed8\u8ba4\u503c\u200b\u4e3a\u200b 1\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-cilium/","title":"Cilium \u200b\u96c6\u6210","text":"<p>Cilium \u200b\u662f\u200b\u4e00\u6b3e\u200b\u57fa\u4e8e\u200b eBPF \u200b\u7684\u200b\u7f51\u7edc\u200b\u548c\u200b\u5b89\u5168\u200b\u7ec4\u4ef6\u200b\uff0cKube-OVN \u200b\u5229\u7528\u200b\u5176\u4e2d\u200b\u7684\u200b CNI Chaining \u200b\u6a21\u5f0f\u200b\u6765\u200b\u5bf9\u200b\u5df2\u6709\u200b\u529f\u80fd\u200b\u8fdb\u884c\u200b\u589e\u5f3a\u200b\u3002 \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u540c\u65f6\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u4e30\u5bcc\u200b\u7684\u200b\u7f51\u7edc\u200b\u62bd\u8c61\u200b\u80fd\u529b\u200b\u548c\u200b eBPF \u200b\u5e26\u6765\u200b\u7684\u200b\u76d1\u63a7\u200b\u548c\u200b\u5b89\u5168\u200b\u80fd\u529b\u200b\u3002</p> <p>\u200b\u901a\u8fc7\u200b\u96c6\u6210\u200b Cilium\uff0cKube-OVN \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u83b7\u5f97\u200b\u5982\u4e0b\u200b\u589e\u76ca\u200b\uff1a</p> <ul> <li>\u200b\u66f4\u200b\u4e30\u5bcc\u200b\u9ad8\u6548\u200b\u7684\u200b\u5b89\u5168\u7b56\u7565\u200b\u3002</li> <li>\u200b\u57fa\u4e8e\u200b Hubble \u200b\u7684\u200b\u76d1\u63a7\u200b\u89c6\u56fe\u200b\u3002</li> </ul> <p></p>"},{"location":"advance/with-cilium/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ol> <li>Linux \u200b\u5185\u6838\u200b\u7248\u672c\u200b\u9ad8\u4e8e\u200b 4.19 \u200b\u6216\u200b\u5176\u4ed6\u200b\u517c\u5bb9\u200b\u5185\u6838\u200b\u4ee5\u200b\u83b7\u5f97\u200b\u5b8c\u6574\u200b eBPF \u200b\u80fd\u529b\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u63d0\u524d\u200b\u90e8\u7f72\u200b Helm \u200b\u4e3a\u200b\u5b89\u88c5\u200b Cilium \u200b\u505a\u200b\u51c6\u5907\u200b\uff0c\u200b\u90e8\u7f72\u200b Helm \u200b\u8bf7\u200b\u53c2\u8003\u200b Installing Helm\u3002</li> </ol>"},{"location":"advance/with-cilium/#kube-ovn","title":"\u914d\u7f6e\u200b Kube-OVN","text":"<p>\u200b\u4e3a\u4e86\u200b\u5145\u5206\u200b\u4f7f\u7528\u200b Cilium \u200b\u7684\u200b\u5b89\u5168\u200b\u80fd\u529b\u200b\uff0c\u200b\u9700\u8981\u200b\u5173\u95ed\u200b Kube-OVN \u200b\u5185\u200b\u7684\u200b <code>networkpolicy</code> \u200b\u529f\u80fd\u200b\uff0c\u200b\u5e76\u200b\u8c03\u6574\u200b CNI \u200b\u914d\u7f6e\u200b\u4f18\u5148\u7ea7\u200b\u3002</p> <p>\u200b\u5728\u200b <code>install.sh</code> \u200b\u811a\u672c\u200b\u91cc\u200b\u4fee\u6539\u200b\u4e0b\u5217\u200b\u53d8\u91cf\u200b\uff1a</p> <pre><code>ENABLE_NP=false\nCNI_CONFIG_PRIORITY=10\n</code></pre> <p>\u200b\u82e5\u200b\u5df2\u200b\u90e8\u7f72\u200b\u5b8c\u6210\u200b\uff0c\u200b\u53ef\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> \u200b\u7684\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b <code>networkpolicy</code>\uff1a</p> <pre><code>args:\n- --enable-np=false\n</code></pre> <p>\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> \u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u8c03\u6574\u200b CNI \u200b\u914d\u7f6e\u200b\u4f18\u5148\u7ea7\u200b\uff1a</p> <pre><code>args:\n- --cni-conf-name=10-kube-ovn.conflist\n</code></pre> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u8c03\u6574\u200b Kube-OVN \u200b\u914d\u7f6e\u6587\u4ef6\u200b\u540d\u79f0\u200b\uff0c\u200b\u4ee5\u4fbf\u200b\u4f18\u5148\u200b\u4f7f\u7528\u200b Cilium \u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff1a</p> <pre><code>mv /etc/cni/net.d/01-kube-ovn.conflist /etc/cni/net.d/10-kube-ovn.conflist\n</code></pre>"},{"location":"advance/with-cilium/#cilium_1","title":"\u90e8\u7f72\u200b Cilium","text":"<p>\u200b\u521b\u5efa\u200b <code>chaining.yaml</code> \u200b\u914d\u7f6e\u6587\u4ef6\u200b\uff0c\u200b\u4f7f\u7528\u200b Cilium \u200b\u7684\u200b generic-veth \u200b\u6a21\u5f0f\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: cni-configuration\n  namespace: kube-system\ndata:\n  cni-config: |-\n    {\n      \"name\": \"generic-veth\",\n      \"cniVersion\": \"0.3.1\",\n      \"plugins\": [\n        {\n          \"type\": \"kube-ovn\",\n          \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n          \"ipam\": {\n              \"type\": \"kube-ovn\",\n              \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\"\n          }\n        },\n        {\n          \"type\": \"portmap\",\n          \"snat\": true,\n          \"capabilities\": {\"portMappings\": true}\n        },\n        {\n          \"type\": \"cilium-cni\"\n        }\n      ]\n    }\n</code></pre> <p>\u200b\u5b89\u88c5\u200b\u914d\u7f6e\u6587\u4ef6\u200b\uff1a</p> <pre><code>kubectl apply -f chaining.yaml\n</code></pre> <p>\u200b\u4f7f\u7528\u200b Helm \u200b\u90e8\u7f72\u200b Cilium\uff1a</p> <pre><code>helm repo add cilium https://helm.cilium.io/\nhelm install cilium cilium/cilium --version 1.11.6 \\\n    --namespace kube-system \\\n    --set cni.chainingMode=generic-veth \\\n    --set cni.customConf=true \\\n    --set cni.configMap=cni-configuration \\\n    --set tunnel=disabled \\\n    --set enableIPv4Masquerade=false \\\n    --set enableIdentityMark=false \n</code></pre> <p>\u200b\u786e\u8ba4\u200b Cilium \u200b\u5b89\u88c5\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># cilium  status\n    /\u00af\u00af\\\n /\u00af\u00af\\__/\u00af\u00af\\    Cilium:         OK\n \\__/\u00af\u00af\\__/    Operator:       OK\n /\u00af\u00af\\__/\u00af\u00af\\    Hubble:         disabled\n \\__/\u00af\u00af\\__/    ClusterMesh:    disabled\n    \\__/\n\nDaemonSet         cilium             Desired: 2, Ready: 2/2, Available: 2/2\nDeployment        cilium-operator    Desired: 2, Ready: 2/2, Available: 2/2\nContainers:       cilium             Running: 2\n                  cilium-operator    Running: 2\nCluster Pods:     8/11 managed by Cilium\nImage versions    cilium             quay.io/cilium/cilium:v1.10.5@sha256:0612218e28288db360c63677c09fafa2d17edda4f13867bcabf87056046b33bb: 2\n                  cilium-operator    quay.io/cilium/operator-generic:v1.10.5@sha256:2d2f730f219d489ff0702923bf24c0002cd93eb4b47ba344375566202f56d972: 2\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-openstack/","title":"OpenStack \u200b\u96c6\u6210","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7528\u6237\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b OpenStack \u200b\u8fd0\u884c\u200b\u865a\u62df\u673a\u200b\uff0c\u200b\u4f7f\u7528\u200b Kubernetes \u200b\u8fd0\u884c\u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u9700\u8981\u200b\u5bb9\u5668\u200b\u548c\u200b\u865a\u673a\u200b\u4e4b\u95f4\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\u5e76\u200b\u5904\u4e8e\u200b\u7edf\u4e00\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u4e0b\u200b\u3002\u200b\u5982\u679c\u200b OpenStack Neutron \u200b\u4fa7\u200b\u540c\u6837\u200b\u4f7f\u7528\u200b OVN \u200b\u4f5c\u4e3a\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u200b\u63a7\u5236\u200b\uff0c\u200b\u90a3\u4e48\u200b Kube-OVN \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u548c\u200b\u5171\u4eab\u200b\u5e95\u5c42\u200b OVN \u200b\u4e24\u79cd\u200b\u65b9\u5f0f\u200b\u6253\u901a\u200b OpenStack \u200b\u548c\u200b Kubernetes \u200b\u7684\u200b\u7f51\u7edc\u200b\u3002</p>"},{"location":"advance/with-openstack/#_1","title":"\u96c6\u7fa4\u200b\u4e92\u8054","text":"<p>\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u548c\u200b\u4f7f\u7528\u200b OVN-IC \u200b\u8fdb\u884c\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u6253\u901a\u200b\u4e24\u4e2a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u65b9\u5f0f\u200b\u7c7b\u4f3c\u200b\uff0c\u200b\u53ea\u4e0d\u8fc7\u200b\u5c06\u200b\u96c6\u7fa4\u200b\u4e24\u7aef\u200b\u6362\u6210\u200b OpenStack \u200b\u548c\u200b Kubernetes\u3002</p>"},{"location":"advance/with-openstack/#_2","title":"\u524d\u63d0\u6761\u4ef6","text":"<ol> <li>\u200b\u81ea\u52a8\u200b\u4e92\u8054\u200b\u6a21\u5f0f\u200b\u4e0b\u200b OpenStack \u200b\u548c\u200b Kubernetes \u200b\u5185\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u80fd\u200b\u76f8\u4e92\u200b\u91cd\u53e0\u200b\u3002</li> <li>\u200b\u9700\u8981\u200b\u5b58\u5728\u200b\u4e00\u7ec4\u200b\u673a\u5668\u200b\u53ef\u4ee5\u200b\u88ab\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u901a\u8fc7\u200b\u7f51\u7edc\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u7528\u6765\u200b\u90e8\u7f72\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u7684\u200b\u63a7\u5236\u5668\u200b\u3002</li> <li>\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u9700\u8981\u200b\u6709\u200b\u4e00\u7ec4\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b IP \u200b\u8fdb\u884c\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8bbf\u200b\u7684\u200b\u673a\u5668\u200b\u4f5c\u4e3a\u200b\u4e4b\u540e\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u3002</li> <li>\u200b\u8be5\u200b\u65b9\u6848\u200b\u53ea\u200b\u6253\u901a\u200b Kubernetes \u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u548c\u200b OpenStack \u200b\u7684\u200b\u9009\u5b9a\u200b VPC\u3002</li> </ol>"},{"location":"advance/with-openstack/#ovn-ic","title":"\u90e8\u7f72\u200b OVN-IC \u200b\u6570\u636e\u5e93","text":"<p>\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u542f\u52a8\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\uff1a</p> <pre><code>docker run --name=ovn-ic-db -d --network=host -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre>"},{"location":"advance/with-openstack/#kubernetes","title":"Kubernetes \u200b\u4fa7\u200b\u64cd\u4f5c","text":"<p>\u200b\u5728\u200b <code>kube-system</code> Namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b <code>ovn-ic-config</code> ConfigMap\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre> <ul> <li><code>enable-ic</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u3002</li> <li><code>az-name</code>: \u200b\u533a\u5206\u200b\u4e0d\u540c\u200b\u96c6\u7fa4\u200b\u7684\u200b\u96c6\u7fa4\u200b\u540d\u79f0\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u4e92\u8054\u200b\u96c6\u7fa4\u200b\u9700\u200b\u4e0d\u540c\u200b\u3002</li> <li><code>ic-db-host</code>: \u200b\u90e8\u7f72\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</li> <li><code>ic-nb-port</code>: <code>OVN-IC</code> \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 6645\u3002</li> <li><code>ic-sb-port</code>: <code>OVN-IC</code> \u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 6646\u3002</li> <li><code>gw-nodes</code>: \u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u4e2d\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u5de5\u4f5c\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u200b\uff0c\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u3002</li> <li><code>auto-route</code>: \u200b\u662f\u5426\u200b\u81ea\u52a8\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u548c\u200b\u5b66\u4e60\u200b\u8def\u7531\u200b\u3002</li> </ul>"},{"location":"advance/with-openstack/#openstack_1","title":"OpenStack \u200b\u4fa7\u200b\u64cd\u4f5c","text":"<p>\u200b\u521b\u5efa\u200b\u548c\u200b Kubernetes \u200b\u4e92\u8054\u200b\u7684\u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\uff1a</p> <pre><code># openstack router create router0\n# openstack router list\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| ID                                   | Name    | Status | State | Project                          |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| d5b38655-249a-4192-8046-71aa4d2b4af1 | router0 | ACTIVE | UP    | 98a29ab7388347e7b5ff8bdd181ba4f9 |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n</code></pre> <p>\u200b\u5728\u200b OpenStack \u200b\u5185\u200b\u7684\u200b OVN \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u4e2d\u200b\u8bbe\u7f6e\u200b\u53ef\u7528\u200b\u533a\u200b\u540d\u5b57\u200b\uff0c\u200b\u8be5\u200b\u540d\u79f0\u200b\u9700\u200b\u548c\u200b\u5176\u4ed6\u200b\u4e92\u8054\u200b\u96c6\u7fa4\u200b\u4e0d\u540c\u200b\uff1a</p> <pre><code>ovn-nbctl set NB_Global . name=op-az\n</code></pre> <p>\u200b\u5728\u200b\u53ef\u200b\u8bbf\u95ee\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u8282\u70b9\u200b\u542f\u52a8\u200b <code>OVN-IC</code> \u200b\u63a7\u5236\u5668\u200b\uff1a</p> <pre><code>/usr/share/ovn/scripts/ovn-ctl --ovn-ic-nb-db=tcp:192.168.65.3:6645 \\\n  --ovn-ic-sb-db=tcp:192.168.65.3:6646 \\\n  --ovn-northd-nb-db=unix:/run/ovn/ovnnb_db.sock \\\n  --ovn-northd-sb-db=unix:/run/ovn/ovnsb_db.sock \\\n  start_ic\n</code></pre> <ul> <li><code>ovn-ic-nb-db</code>\uff0c<code>ovn-ic-sb-db</code>: OVN-IC \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u548c\u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b\u5730\u5740\u200b\u3002</li> <li><code>ovn-northd-nb-db</code>\uff0c <code>ovn-northd-sb-db</code>: \u200b\u5f53\u524d\u200b\u96c6\u7fa4\u200b OVN \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u548c\u200b\u5357\u5411\u200b\u6570\u636e\u200b\u5730\u5740\u200b\u3002</li> </ul> <p>\u200b\u914d\u7f6e\u200b\u4e92\u8054\u7f51\u200b\u5173\u8282\u70b9\u200b\uff1a</p> <pre><code>ovs-vsctl set open_vswitch . external_ids:ovn-is-interconn=true\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u9700\u8981\u200b\u5728\u200b OpenStack \u200b\u7684\u200b OVN \u200b\u5185\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\u521b\u5efa\u200b\u903b\u8f91\u200b\u62d3\u6251\u200b\u3002</p> <p>\u200b\u8fde\u63a5\u200b <code>ts</code> \u200b\u4e92\u8054\u200b\u4ea4\u6362\u673a\u200b\u548c\u200b <code>router0</code> \u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\uff0c\u200b\u5e76\u200b\u8bbe\u7f6e\u200b\u76f8\u5173\u200b\u89c4\u5219\u200b\uff1a</p> <pre><code>ovn-nbctl lrp-add router0 lrp-router0-ts 00:02:ef:11:39:4f 169.254.100.73/24\novn-nbctl lsp-add ts lsp-ts-router0 -- lsp-set-addresses lsp-ts-router0 router \\\n  -- lsp-set-type lsp-ts-router0 router \\\n  -- lsp-set-options lsp-ts-router0  router-port=lrp-router0-ts\novn-nbctl lrp-set-gateway-chassis lrp-router0-ts {gateway chassis} 1000\novn-nbctl set NB_Global . options:ic-route-adv=true options:ic-route-learn=true\n</code></pre> <p>\u200b\u9a8c\u8bc1\u200b\u5df2\u200b\u5b66\u4e60\u200b\u5230\u200b Kubernetes \u200b\u8def\u7531\u200b\u89c4\u5219\u200b\uff1a</p> <pre><code># ovn-nbctl lr-route-list router0\nIPv4 Routes\n                10.0.0.22            169.254.100.34 dst-ip (learned)\n             10.16.0.0/16            169.254.100.34 dst-ip (learned)\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u5728\u200b <code>router0</code> \u200b\u7f51\u7edc\u200b\u4e0b\u200b\u521b\u5efa\u200b\u865a\u673a\u200b\u9a8c\u8bc1\u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u548c\u200b Kubernetes \u200b\u4e0b\u200b Pod \u200b\u4e92\u901a\u200b\u3002</p>"},{"location":"advance/with-openstack/#ovn","title":"\u5171\u4eab\u200b\u5e95\u5c42\u200b OVN","text":"<p>\u200b\u5728\u200b\u8be5\u200b\u65b9\u6848\u200b\u4e0b\u200b\uff0cOpenStack \u200b\u548c\u200b Kubernetes \u200b\u5171\u4eab\u200b\u4f7f\u7528\u200b\u540c\u4e00\u4e2a\u200b OVN\uff0c\u200b\u56e0\u6b64\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u4e24\u8005\u200b\u7684\u200b VPC \u200b\u548c\u200b Subnet \u200b\u7b49\u200b\u6982\u5ff5\u200b\u62c9\u9f50\u200b\uff0c\u200b\u5b9e\u73b0\u200b\u66f4\u597d\u200b\u7684\u200b\u63a7\u5236\u200b\u548c\u200b\u4e92\u8054\u200b\u3002</p> <p>\u200b\u5728\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u6211\u4eec\u200b\u6b63\u5e38\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u90e8\u7f72\u200b OVN\uff0cOpenStack \u200b\u4fee\u6539\u200b Neutron \u200b\u914d\u7f6e\u200b\u5b9e\u73b0\u200b\u8fde\u63a5\u200b\u540c\u4e00\u4e2a\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u3002OpenStack \u200b\u9700\u200b\u4f7f\u7528\u200b networking-ovn \u200b\u4f5c\u4e3a\u200b Neutron \u200b\u540e\u200b\u7aef\u200b\u5b9e\u73b0\u200b\u3002</p>"},{"location":"advance/with-openstack/#neutron","title":"Neutron \u200b\u914d\u7f6e\u200b\u4fee\u6539","text":"<p>\u200b\u4fee\u6539\u200b Neutron \u200b\u914d\u7f6e\u6587\u4ef6\u200b <code>/etc/neutron/plugins/ml2/ml2_conf.ini</code>\uff1a</p> <pre><code>[ovn]\n...\novn_nb_connection = tcp:[192.168.137.176]:6641,tcp:[192.168.137.177]:6641,tcp:[192.168.137.178]:6641\novn_sb_connection = tcp:[192.168.137.176]:6642,tcp:[192.168.137.177]:6642,tcp:[192.168.137.178]:6642\novn_l3_scheduler = OVN_L3_SCHEDULER\n</code></pre> <ul> <li><code>ovn_nb_connection</code>\uff0c <code>ovn_sb_connection</code>: \u200b\u5730\u5740\u200b\u9700\u200b\u4fee\u6539\u200b\u4e3a\u200b Kube-OVN \u200b\u90e8\u7f72\u200b <code>ovn-central</code> \u200b\u8282\u70b9\u200b\u7684\u200b\u5730\u5740\u200b\u3002</li> </ul> <p>\u200b\u4fee\u6539\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u7684\u200b OVS \u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ovs-vsctl set open . external-ids:ovn-remote=tcp:[192.168.137.176]:6642,tcp:[192.168.137.177]:6642,tcp:[192.168.137.178]:6642\novs-vsctl set open . external-ids:ovn-encap-type=geneve\novs-vsctl set open . external-ids:ovn-encap-ip=192.168.137.200\n</code></pre> <ul> <li><code>external-ids:ovn-remote</code>: \u200b\u5730\u5740\u200b\u9700\u200b\u4fee\u6539\u200b\u4e3a\u200b Kube-OVN \u200b\u90e8\u7f72\u200b <code>ovn-central</code> \u200b\u8282\u70b9\u200b\u7684\u200b\u5730\u5740\u200b\u3002</li> <li><code>ovn-encap-ip</code>: \u200b\u4fee\u6539\u200b\u4e3a\u200b\u5f53\u524d\u200b\u8282\u70b9\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</li> </ul>"},{"location":"advance/with-openstack/#kubernetes-openstack","title":"\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u4f7f\u7528\u200b OpenStack \u200b\u5185\u200b\u8d44\u6e90","text":"<p>\u200b\u63a5\u4e0b\u6765\u200b\u4ecb\u7ecd\u200b\u5982\u4f55\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u67e5\u8be2\u200b OpenStack \u200b\u7684\u200b\u7f51\u7edc\u8d44\u6e90\u200b\u5e76\u200b\u5728\u200b OpenStack \u200b\u7684\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u521b\u5efa\u200b Pod\u3002</p> <p>\u200b\u67e5\u8be2\u200b OpenStack \u200b\u4e2d\u200b\u5df2\u6709\u200b\u7684\u200b\u7f51\u7edc\u8d44\u6e90\u200b\uff0c\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\u5df2\u7ecf\u200b\u9884\u5148\u200b\u521b\u5efa\u200b\u5b8c\u6210\u200b\uff1a</p> <pre><code># openstack router list\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| ID                                   | Name    | Status | State | Project                          |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| 22040ed5-0598-4f77-bffd-e7fd4db47e93 | router0 | ACTIVE | UP    | 62381a21d569404aa236a5dd8712449c |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n# openstack network list\n+--------------------------------------+----------+--------------------------------------+\n| ID                                   | Name     | Subnets                              |\n+--------------------------------------+----------+--------------------------------------+\n| cd59e36a-37db-4c27-b709-d35379a7920f | provider | 01d73d9f-fdaa-426c-9b60-aa34abbfacae |\n+--------------------------------------+----------+--------------------------------------+\n# openstack subnet list\n+--------------------------------------+-------------+--------------------------------------+----------------+\n| ID                                   | Name        | Network                              | Subnet         |\n+--------------------------------------+-------------+--------------------------------------+----------------+\n| 01d73d9f-fdaa-426c-9b60-aa34abbfacae | provider-v4 | cd59e36a-37db-4c27-b709-d35379a7920f | 192.168.1.0/24 |\n+--------------------------------------+-------------+--------------------------------------+----------------+\n# openstack server list\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n| ID                                   | Name              | Status | Networks              | Image  | Flavor |\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n| 8433d622-a8d6-41a7-8b31-49abfd64f639 | provider-instance | ACTIVE | provider=192.168.1.61 | ubuntu | m1     |\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n</code></pre> <p>\u200b\u5728\u200b Kubernetes \u200b\u4fa7\u200b\uff0c\u200b\u67e5\u8be2\u200b VPC \u200b\u8d44\u6e90\u200b\uff1a</p> <pre><code># kubectl get vpc\nNAME                                           STANDBY   SUBNETS\nneutron-22040ed5-0598-4f77-bffd-e7fd4db47e93   true      [\"neutron-cd59e36a-37db-4c27-b709-d35379a7920f\"]\novn-cluster                                    true      [\"join\",\"ovn-default\"]\n</code></pre> <p><code>neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93</code> \u200b\u4e3a\u200b\u4ece\u200b OpenStack \u200b\u540c\u6b65\u200b\u8fc7\u6765\u200b\u7684\u200b VPC \u200b\u8d44\u6e90\u200b\u3002</p> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u6309\u7167\u200b Kube-OVN \u200b\u539f\u751f\u200b\u7684\u200b VPC \u200b\u548c\u200b Subnet \u200b\u64cd\u4f5c\u200b\u521b\u5efa\u200b Pod \u200b\u5e76\u200b\u8fd0\u884c\u200b\u3002</p> <p>VPC, Subnet \u200b\u7ed1\u5b9a\u200b Namespace <code>net2</code>\uff0c\u200b\u5e76\u200b\u521b\u5efa\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Namespace\nmetadata:\n  name: net2\n---\napiVersion: kubeovn.io/v1\nkind: Vpc\nmetadata:\n  creationTimestamp: \"2021-06-20T13:34:11Z\"\n  generation: 2\n  labels:\n    ovn.kubernetes.io/vpc_external: \"true\"\n  name: neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93\n  resourceVersion: \"583728\"\n  uid: 18d4c654-f511-4def-a3a0-a6434d237c1e\nspec:\n  namespaces:\n  - net2\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93\n  namespaces:\n    - net2\n  cidrBlock: 12.0.1.0/24\n  natOutgoing: false\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: ubuntu\n  namespace: net2\nspec:\n  containers:\n    - image: docker.io/kubeovn/kube-ovn:v1.8.0\n      command:\n        - \"sleep\"\n        - \"604800\"\n      imagePullPolicy: IfNotPresent\n      name: ubuntu\n  restartPolicy: Always\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-ovn-ic/","title":"\u4f7f\u7528\u200b OVN-IC \u200b\u8fdb\u884c\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u901a\u8fc7\u200b OVN-IC \u200b\u5c06\u200b\u4e24\u4e2a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b Pod \u200b\u7f51\u7edc\u200b\u6253\u901a\u200b\uff0c\u200b\u6253\u901a\u200b\u540e\u200b\u7684\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b Pod \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Pod IP \u200b\u8fdb\u884c\u200b\u76f4\u63a5\u200b\u901a\u4fe1\u200b\u3002 Kube-OVN \u200b\u4f7f\u7528\u200b\u96a7\u9053\u200b\u5bf9\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u4e4b\u95f4\u200b\u53ea\u8981\u200b\u5b58\u5728\u200b\u4e00\u7ec4\u200b IP \u200b\u53ef\u8fbe\u200b\u7684\u200b\u673a\u5668\u200b\u5373\u53ef\u200b\u5b8c\u6210\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u4e92\u901a\u200b\u3002</p> <p>\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u7684\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u4e3a\u200b Overlay \u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\uff0cUnderlay \u200b\u7f51\u7edc\u200b\u5982\u679c\u200b\u60f3\u8981\u200b\u5b9e\u73b0\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u9700\u8981\u200b\u5e95\u5c42\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u505a\u200b\u7f51\u7edc\u200b\u6253\u901a\u200b\u3002</p> <p></p>"},{"location":"advance/with-ovn-ic/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ol> <li> <p>1.11.16 \u200b\u4e4b\u540e\u200b\u7248\u672c\u200b\u90e8\u7f72\u200b\u7684\u200b\u96c6\u7fa4\u200b\u9ed8\u8ba4\u200b\u5173\u95ed\u200b\u4e86\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u7684\u200b\u5f00\u5173\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u90e8\u7f72\u200b\u811a\u672c\u200b <code>install.sh</code> \u200b\u91cc\u200b\u4fee\u6539\u200b\u4e0b\u5217\u200b\u53d8\u91cf\u200b\uff1a</p> <pre><code>ENABLE_IC=true\n</code></pre> <p>\u200b\u6253\u5f00\u200b\u5f00\u5173\u200b\u540e\u200b\u90e8\u7f72\u200b\u96c6\u7fa4\u200b\uff0c\u200b\u4f1a\u200b\u51fa\u73b0\u200b\u7ec4\u4ef6\u200b deployment ovn-ic-controller\u3002 2. \u200b\u81ea\u52a8\u200b\u4e92\u8054\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u4e0d\u540c\u200b\u96c6\u7fa4\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u80fd\u200b\u76f8\u4e92\u200b\u91cd\u53e0\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u9700\u5728\u200b\u5b89\u88c5\u200b\u65f6\u200b\u914d\u7f6e\u200b\u4e3a\u200b\u4e0d\u200b\u91cd\u53e0\u200b\u7684\u200b\u7f51\u6bb5\u200b\u3002\u200b\u82e5\u200b\u5b58\u5728\u200b\u91cd\u53e0\u200b\u9700\u200b\u53c2\u8003\u200b\u540e\u7eed\u200b\u624b\u52a8\u200b\u4e92\u8054\u200b\u8fc7\u7a0b\u200b\uff0c\u200b\u53ea\u80fd\u200b\u5c06\u200b\u4e0d\u200b\u91cd\u53e0\u200b\u7f51\u6bb5\u200b\u6253\u901a\u200b\u3002 3. \u200b\u9700\u8981\u200b\u5b58\u5728\u200b\u4e00\u7ec4\u200b\u673a\u5668\u200b\u53ef\u4ee5\u200b\u88ab\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u7684\u200b <code>kube-ovn-controller</code> \u200b\u901a\u8fc7\u200b IP \u200b\u8bbf\u95ee\u200b\uff0c\u200b\u7528\u6765\u200b\u90e8\u7f72\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u7684\u200b\u63a7\u5236\u5668\u200b\u3002 4. \u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u9700\u8981\u200b\u6709\u200b\u4e00\u7ec4\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b IP \u200b\u8fdb\u884c\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8bbf\u200b\u7684\u200b\u673a\u5668\u200b\u4f5c\u4e3a\u200b\u4e4b\u540e\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u3002 5. \u200b\u8be5\u200b\u529f\u80fd\u200b\u53ea\u200b\u5bf9\u200b\u9ed8\u8ba4\u200b VPC \u200b\u751f\u6548\u200b\uff0c\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u4e92\u8054\u200b\u529f\u80fd\u200b\u3002</p> </li> </ol>"},{"location":"advance/with-ovn-ic/#ovn-ic_1","title":"\u90e8\u7f72\u200b\u5355\u200b\u8282\u70b9\u200b OVN-IC \u200b\u6570\u636e\u5e93","text":""},{"location":"advance/with-ovn-ic/#1","title":"\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 1","text":"<p>\u200b\u4f18\u5148\u200b\u63a8\u8350\u200b\u65b9\u6848\u200b 1\uff0cKube-OVN v1.11.16 \u200b\u4e4b\u540e\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u8be5\u200b\u65b9\u6cd5\u200b\u4e0d\u200b\u533a\u522b\u200b \"\u200b\u5355\u200b\u8282\u70b9\u200b\" \u200b\u6216\u8005\u200b \"\u200b\u591a\u200b\u8282\u70b9\u200b\u9ad8\u200b\u53ef\u7528\u200b\" \u200b\u90e8\u7f72\u200b\uff0c\u200b\u63a7\u5236\u5668\u200b\u4f1a\u4ee5\u200b Deployment \u200b\u7684\u200b\u5f62\u5f0f\u200b\u90e8\u7f72\u200b\u5728\u200b master \u200b\u8282\u70b9\u200b\u4e0a\u200b\uff0c\u200b\u96c6\u7fa4\u200b master \u200b\u8282\u70b9\u200b\u4e3a\u200b 1\uff0c\u200b\u5373\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\uff0cmaster \u200b\u8282\u70b9\u200b\u4e3a\u200b\u591a\u4e2a\u200b\uff0c\u200b\u5373\u200b\u591a\u200b\u8282\u70b9\u200b\u9ad8\u200b\u53ef\u7528\u200b\u90e8\u7f72\u200b\u3002</p> <p>\u200b\u5148\u200b\u83b7\u53d6\u200b\u811a\u672c\u200b <code>install-ovn-ic.sh</code>\uff0c\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install-ic-server.sh\n</code></pre> <p>\u200b\u6267\u884c\u547d\u4ee4\u200b\u5b89\u88c5\u200b\uff0c\u200b\u5176\u4e2d\u200b <code>TS_NUM</code> \u200b\u8868\u793a\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u7684\u200b ECMP Path \u200b\u6570\u91cf\u200b\uff1a</p> <pre><code>sed 's/VERSION=.*/VERSION=v1.13.0/' dist/images/install-ic-server.sh | TS_NUM=3 bash\n</code></pre> <p>\u200b\u6267\u884c\u200b\u6210\u529f\u200b\u8f93\u51fa\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>deployment.apps/ovn-ic-server created\nWaiting for deployment spec update to be observed...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 0 out of 3 new replicas have been updated...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 0 of 3 updated replicas are available...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"ovn-ic-server\" successfully rolled out\nOVN IC Server installed Successfully\n</code></pre> <p>\u200b\u901a\u8fc7\u200b <code>kubectl ko icsbctl show</code> \u200b\u547d\u4ee4\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b\u5f53\u524d\u200b\u4e92\u8054\u200b\u63a7\u5236\u5668\u200b\u7684\u200b\u72b6\u6001\u200b\uff0c\u200b\u547d\u4ee4\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kubectl ko icsbctl show\navailability-zone az0\n    gateway 059b5c54-c540-4d77-b009-02d65f181a02\n        hostname: kube-ovn-worker\n        type: geneve\n            ip: 172.18.0.3\n        port ts-az0\n            transit switch: ts\n            address: [\"00:00:00:B4:8E:BE 169.254.100.97/24\"]\n    gateway 74ee4b9a-ba48-4a07-861e-1a8e4b9f905f\n        hostname: kube-ovn-worker2\n        type: geneve\n            ip: 172.18.0.2\n        port ts1-az0\n            transit switch: ts1\n            address: [\"00:00:00:19:2E:F7 169.254.101.90/24\"]\n    gateway 7e2428b6-344c-4dd5-a0d5-972c1ccec581\n        hostname: kube-ovn-control-plane\n        type: geneve\n            ip: 172.18.0.4\n        port ts2-az0\n            transit switch: ts2\n            address: [\"00:00:00:EA:32:BA 169.254.102.103/24\"]\navailability-zone az1\n    gateway 034da7cb-3826-4318-81ce-6a877a9bf285\n        hostname: kube-ovn1-worker\n        type: geneve\n            ip: 172.18.0.6\n        port ts-az1\n            transit switch: ts\n            address: [\"00:00:00:25:3A:B9 169.254.100.51/24\"]\n    gateway 2531a683-283e-4fb8-a619-bdbcb33539b8\n        hostname: kube-ovn1-worker2\n        type: geneve\n            ip: 172.18.0.5\n        port ts1-az1\n            transit switch: ts1\n            address: [\"00:00:00:52:87:F4 169.254.101.118/24\"]\n    gateway b0efb0be-e5a7-4323-ad4b-317637a757c4\n        hostname: kube-ovn1-control-plane\n        type: geneve\n            ip: 172.18.0.8\n        port ts2-az1\n            transit switch: ts2\n            address: [\"00:00:00:F6:93:1A 169.254.102.17/24\"]\n</code></pre>"},{"location":"advance/with-ovn-ic/#2","title":"\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 2","text":"<p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b <code>kube-ovn-controller</code> \u200b\u53ef\u200b\u901a\u8fc7\u200b IP \u200b\u8bbf\u95ee\u200b\u7684\u200b\u673a\u5668\u200b\u4e0a\u200b\u90e8\u7f72\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\uff0c\u200b\u8be5\u200b\u8282\u70b9\u200b\u5c06\u200b\u4fdd\u5b58\u200b\u5404\u4e2a\u200b\u96c6\u7fa4\u200b\u540c\u6b65\u200b\u4e0a\u6765\u200b\u7684\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u3002</p> <p>\u200b\u90e8\u7f72\u200b <code>docker</code> \u200b\u7684\u200b\u73af\u5883\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u542f\u52a8\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\uff1a</p> <pre><code>docker run --name=ovn-ic-db -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --network=host --privileged  -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>\u200b\u5bf9\u4e8e\u200b\u90e8\u7f72\u200b <code>containerd</code> \u200b\u53d6\u4ee3\u200b <code>docker</code> \u200b\u7684\u200b\u73af\u5883\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>ctr -n k8s.io run -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre>"},{"location":"advance/with-ovn-ic/#_2","title":"\u81ea\u52a8\u200b\u8def\u7531\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5728\u200b\u81ea\u52a8\u200b\u8def\u7531\u200b\u8bbe\u7f6e\u200b\u4e0b\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u4f1a\u200b\u5c06\u200b\u81ea\u5df1\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b Subnet \u200b\u7684\u200b CIDR \u200b\u4fe1\u606f\u200b\u540c\u6b65\u200b\u7ed9\u200b <code>OVN-IC</code>\uff0c\u200b\u56e0\u6b64\u200b\u8981\u200b\u786e\u4fdd\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u7684\u200b Subnet CIDR \u200b\u4e0d\u200b\u5b58\u5728\u200b\u91cd\u53e0\u200b\u3002</p> <p>\u200b\u5728\u200b <code>kube-system</code> Namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b <code>ovn-ic-config</code> ConfigMap\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre> <ul> <li><code>enable-ic</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u3002</li> <li><code>az-name</code>: \u200b\u533a\u5206\u200b\u4e0d\u540c\u200b\u96c6\u7fa4\u200b\u7684\u200b\u96c6\u7fa4\u200b\u540d\u79f0\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u4e92\u8054\u200b\u96c6\u7fa4\u200b\u9700\u200b\u4e0d\u540c\u200b\u3002</li> <li><code>ic-db-host</code>: \u200b\u90e8\u7f72\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</li> <li><code>ic-nb-port</code>: <code>OVN-IC</code> \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 6645\u3002</li> <li><code>ic-sb-port</code>: <code>OVN-IC</code> \u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 6646\u3002</li> <li><code>gw-nodes</code>: \u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u4e2d\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u5de5\u4f5c\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u200b\uff0c\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u3002</li> <li><code>auto-route</code>: \u200b\u662f\u5426\u200b\u81ea\u52a8\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u548c\u200b\u5b66\u4e60\u200b\u8def\u7531\u200b\u3002</li> </ul> <p>\u200b\u6ce8\u610f\u200b\uff1a \u200b\u4e3a\u4e86\u200b\u4fdd\u8bc1\u200b\u64cd\u4f5c\u200b\u7684\u200b\u6b63\u786e\u6027\u200b\uff0c<code>ovn-ic-config</code> \u200b\u8fd9\u4e2a\u200b ConfigMap \u200b\u4e0d\u200b\u5141\u8bb8\u200b\u4fee\u6539\u200b\u3002\u200b\u5982\u200b\u6709\u200b\u53c2\u6570\u200b\u9700\u8981\u200b\u53d8\u66f4\u200b\uff0c\u200b\u8bf7\u200b\u5220\u9664\u200b\u8be5\u200b ConfigMap\uff0c\u200b\u4fee\u6539\u200b\u540e\u200b\u518d\u200b\u5e94\u7528\u200b\u6b64\u200b ConfigMap\u3002</p> <p>\u200b\u5728\u200b <code>ovn-ic</code> \u200b\u5bb9\u5668\u200b\u5185\u200b\u901a\u8fc7\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u67e5\u770b\u200b\u662f\u5426\u200b\u5df2\u200b\u5efa\u7acb\u200b\u4e92\u8054\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b <code>ts</code>\uff1a</p> <pre><code># ovn-ic-sbctl show\navailability-zone az1\n    gateway deee03e0-af16-4f45-91e9-b50c3960f809\n        hostname: az1-gw\n        type: geneve\n            ip: 192.168.42.145\n        port ts-az1\n            transit switch: ts\n            address: [\"00:00:00:50:AC:8C 169.254.100.45/24\"]\navailability-zone az2\n    gateway e94cc831-8143-40e3-a478-90352773327b\n        hostname: az2-gw\n        type: geneve\n            ip: 192.168.42.149\n        port ts-az2\n            transit switch: ts\n            address: [\"00:00:00:07:4A:59 169.254.100.63/24\"]\n</code></pre> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u89c2\u5bdf\u200b\u903b\u8f91\u200b\u8def\u7531\u200b\u662f\u5426\u200b\u6709\u200b\u5b66\u4e60\u200b\u5230\u200b\u7684\u200b\u5bf9\u200b\u7aef\u200b\u8def\u7531\u200b\uff1a</p> <pre><code># kubectl ko nbctl lr-route-list ovn-cluster\nIPv4 Routes\n                10.42.1.1            169.254.100.45 dst-ip (learned)\n                10.42.1.3                100.64.0.2 dst-ip\n                10.16.0.2                100.64.0.2 src-ip\n                10.16.0.3                100.64.0.2 src-ip\n                10.16.0.4                100.64.0.2 src-ip\n                10.16.0.6                100.64.0.2 src-ip\n             10.17.0.0/16            169.254.100.45 dst-ip (learned)\n            100.65.0.0/16            169.254.100.45 dst-ip (learned)\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u5c1d\u8bd5\u200b\u5728\u200b\u96c6\u7fa4\u200b 1 \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b Pod \u200b\u5185\u200b\u76f4\u63a5\u200b <code>ping</code> \u200b\u96c6\u7fa4\u200b 2 \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b Pod IP \u200b\u89c2\u5bdf\u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u8054\u901a\u200b\u3002</p> <p>\u200b\u5bf9\u4e8e\u200b\u67d0\u4e2a\u200b\u4e0d\u60f3\u200b\u5bf9\u5916\u200b\u81ea\u52a8\u200b\u53d1\u5e03\u200b\u8def\u7531\u200b\u7684\u200b\u5b50\u7f51\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b Subnet \u200b\u91cc\u200b\u7684\u200b <code>disableInterConnection</code> \u200b\u6765\u200b\u7981\u6b62\u200b\u8def\u7531\u200b\u5e7f\u64ad\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: no-advertise\nspec:\n  cidrBlock: 10.199.0.0/16\n  disableInterConnection: true\n</code></pre>"},{"location":"advance/with-ovn-ic/#_3","title":"\u624b\u52a8\u200b\u8def\u7531\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5bf9\u4e8e\u200b\u96c6\u7fa4\u200b\u95f4\u200b\u5b58\u5728\u200b\u91cd\u53e0\u200b CIDR \u200b\u53ea\u200b\u5e0c\u671b\u200b\u505a\u200b\u90e8\u5206\u200b\u5b50\u7f51\u200b\u6253\u901a\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u624b\u52a8\u200b\u53d1\u5e03\u200b\u5b50\u200b\u7f51\u8def\u200b\u7531\u200b\u3002</p> <p>\u200b\u5728\u200b <code>kube-system</code> Namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b <code>ovn-ic-config</code> ConfigMap\uff0c\u200b\u5e76\u200b\u5c06\u200b <code>auto-route</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"false\"\n</code></pre> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u5206\u522b\u200b\u67e5\u770b\u200b\u8fdc\u7aef\u200b\u903b\u8f91\u200b\u7aef\u53e3\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u7528\u4e8e\u200b\u4e4b\u540e\u200b\u624b\u52a8\u200b\u914d\u7f6e\u200b\u8def\u7531\u200b\uff1a</p> <pre><code>[root@az1 ~]# kubectl ko nbctl show\nswitch a391d3a1-14a0-4841-9836-4bd930c447fb (ts)\n    port ts-az1\n        type: router\n        router-port: az1-ts\n    port ts-az2\n        type: remote\n        addresses: [\"00:00:00:4B:E2:9F 169.254.100.31/24\"]\n\n[root@az2 ~]# kubectl ko nbctl show\nswitch da6138b8-de81-4908-abf9-b2224ec4edf3 (ts)\n    port ts-az2\n        type: router\n        router-port: az2-ts\n    port ts-az1\n        type: remote\n        addresses: [\"00:00:00:FB:2A:F7 169.254.100.79/24\"]        \n</code></pre> <p>\u200b\u7531\u200b\u4e0a\u200b\u8f93\u51fa\u200b\u53ef\u77e5\u200b\uff0c\u200b\u96c6\u7fa4\u200b <code>az1</code> \u200b\u5230\u200b \u200b\u96c6\u7fa4\u200b <code>az2</code> \u200b\u7684\u200b\u8fdc\u7aef\u200b\u5730\u5740\u200b\u4e3a\u200b <code>169.254.100.31</code>\uff0c<code>az2</code> \u200b\u5230\u200b <code>az1</code> \u200b\u7684\u200b\u8fdc\u7aef\u200b\u5730\u5740\u200b\u4e3a\u200b <code>169.254.100.79</code>\u3002</p> <p>\u200b\u4e0b\u9762\u200b\u624b\u52a8\u200b\u8bbe\u7f6e\u200b\u8def\u7531\u200b\uff0c\u200b\u5728\u200b\u8be5\u200b\u4f8b\u5b50\u200b\u4e2d\u200b\uff0c\u200b\u96c6\u7fa4\u200b <code>az1</code> \u200b\u5185\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>10.16.0.0/24</code>\uff0c\u200b\u96c6\u7fa4\u200b <code>az2</code> \u200b\u5185\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>10.17.0.0/24</code>\u3002</p> <p>\u200b\u5728\u200b\u96c6\u7fa4\u200b <code>az1</code> \u200b\u8bbe\u7f6e\u200b\u5230\u200b\u96c6\u7fa4\u200b <code>az2</code> \u200b\u7684\u200b\u8def\u7531\u200b:</p> <pre><code>kubectl ko nbctl lr-route-add ovn-cluster 10.17.0.0/24 169.254.100.31\n</code></pre> <p>\u200b\u5728\u200b\u96c6\u7fa4\u200b <code>az2</code> \u200b\u8bbe\u7f6e\u200b\u5230\u200b\u96c6\u7fa4\u200b <code>az1</code> \u200b\u7684\u200b\u8def\u7531\u200b:</p> <pre><code>kubectl ko nbctl lr-route-add ovn-cluster 10.16.0.0/24 169.254.100.79\n</code></pre>"},{"location":"advance/with-ovn-ic/#ovn-ic_2","title":"\u9ad8\u200b\u53ef\u7528\u200b OVN-IC \u200b\u6570\u636e\u5e93\u200b\u90e8\u7f72","text":""},{"location":"advance/with-ovn-ic/#1_1","title":"\u9ad8\u200b\u53ef\u7528\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 1","text":"<p>\u200b\u4f18\u5148\u200b\u63a8\u8350\u200b\u65b9\u6848\u200b 1\uff0cKube-OVN v1.11.16 \u200b\u4e4b\u540e\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u65b9\u6cd5\u200b\u540c\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 1</p>"},{"location":"advance/with-ovn-ic/#2_1","title":"\u9ad8\u200b\u53ef\u7528\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 2","text":"<p><code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u4e4b\u95f4\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Raft \u200b\u534f\u8bae\u200b\u7ec4\u6210\u200b\u4e00\u4e2a\u200b\u9ad8\u200b\u53ef\u7528\u200b\u96c6\u7fa4\u200b\uff0c\u200b\u8be5\u200b\u90e8\u7f72\u200b\u6a21\u5f0f\u200b\u9700\u8981\u200b\u81f3\u5c11\u200b 3 \u200b\u4e2a\u200b\u8282\u70b9\u200b\u3002</p> <p>\u200b\u9996\u5148\u200b\u5728\u200b\u7b2c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u542f\u52a8\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b leader\u3002</p> <p>\u200b\u90e8\u7f72\u200b <code>docker</code> \u200b\u73af\u5883\u200b\u7684\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>docker run --name=ovn-ic-db -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --network=host --privileged -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn -e LOCAL_IP=\"192.168.65.3\"  -e NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"   kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>\u200b\u5982\u679c\u200b\u662f\u200b\u90e8\u7f72\u200b <code>containerd</code> \u200b\u7684\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>ctr -n k8s.io run -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\"  --env=\"NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"\" --env=\"LOCAL_IP=\"192.168.65.3\"\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre> <ul> <li><code>LOCAL_IP</code>\uff1a \u200b\u5f53\u524d\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740\u200b\u3002</li> <li><code>NODE_IPS</code>\uff1a \u200b\u8fd0\u884c\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u4e09\u4e2a\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u4f7f\u7528\u200b\u9017\u53f7\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b\u3002</li> </ul> <p>\u200b\u63a5\u4e0b\u6765\u200b\uff0c\u200b\u5728\u200b\u53e6\u5916\u200b\u4e24\u4e2a\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b follower\u3002</p> <p>\u200b\u90e8\u7f72\u200b <code>docker</code> \u200b\u73af\u5883\u200b\u7684\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>docker run --name=ovn-ic-db -d --network=host --privileged -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn -e LOCAL_IP=\"192.168.65.2\"  -e NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\" -e LEADER_IP=\"192.168.65.3\"  kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>\u200b\u5982\u679c\u200b\u662f\u200b\u90e8\u7f72\u200b <code>containerd</code> \u200b\u7684\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>ctr -n k8s.io run -d --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\"  --env=\"NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"\" --env=\"LOCAL_IP=\"192.168.65.2\"\" --env=\"LEADER_IP=\"192.168.65.3\"\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre> <ul> <li><code>LOCAL_IP</code>\uff1a \u200b\u5f53\u524d\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740\u200b\u3002</li> <li><code>NODE_IPS</code>\uff1a \u200b\u8fd0\u884c\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u4e09\u4e2a\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u4f7f\u7528\u200b\u9017\u53f7\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b\u3002</li> <li><code>LEADER_IP</code>: \u200b\u8fd0\u884c\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b leader \u200b\u8282\u70b9\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</li> </ul> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u521b\u5efa\u200b <code>ovn-ic-config</code> \u200b\u65f6\u200b\u6307\u5b9a\u200b\u591a\u4e2a\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3,192.168.65.2,192.168.65.1\"\n  ic-nb-port: \"6645\"\n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre>"},{"location":"advance/with-ovn-ic/#ecmp","title":"\u652f\u6301\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b ECMP","text":"<p>\u200b\u524d\u63d0\u200b\u63a7\u5236\u5668\u200b\u662f\u200b\u6309\u7167\u200b\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 1\u200b\u90e8\u7f72\u200b</p> <p>\u200b\u8be5\u200b\u65b9\u6848\u200b\u9ed8\u8ba4\u200b\u652f\u6301\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b ECMP\uff0cECMP path \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 3\uff0c\u200b\u540c\u65f6\u200b\u4e5f\u200b\u652f\u6301\u200b\u4fee\u6539\u200b ECMP path \u200b\u6761\u6570\u200b\uff0c\u200b\u4f7f\u7528\u200b\u547d\u4ee4\u200b:</p> <pre><code>kubectl edit deployment ovn-ic-server -n kube-system\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u73af\u5883\u53d8\u91cf\u200b 'TS_NUM' \u200b\u6570\u503c\u200b\u5373\u53ef\u200b\uff0c<code>TS_NUM</code> \u200b\u8868\u793a\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u4e4b\u95f4\u200b\u8bbf\u95ee\u200b\u7684\u200b ECMP Path \u200b\u6761\u6570\u200b\u3002</p>"},{"location":"advance/with-ovn-ic/#_4","title":"\u624b\u52a8\u200b\u91cd\u7f6e","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7531\u4e8e\u200b\u914d\u7f6e\u200b\u9519\u8bef\u200b\u9700\u8981\u200b\u5bf9\u200b\u6574\u4e2a\u200b\u4e92\u8054\u200b\u914d\u7f6e\u200b\u8fdb\u884c\u200b\u6e05\u7406\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u6e05\u7406\u200b\u73af\u5883\u200b\u3002</p> <p>\u200b\u5220\u9664\u200b\u5f53\u524d\u200b\u7684\u200b <code>ovn-ic-config</code> Configmap\uff1a</p> <pre><code>kubectl -n kube-system delete cm ovn-ic-config\n</code></pre> <p>\u200b\u5220\u9664\u200b <code>ts</code> \u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\uff1a</p> <pre><code>kubectl ko nbctl ls-del ts\n</code></pre> <p>\u200b\u5728\u200b\u5bf9\u200b\u7aef\u200b\u96c6\u7fa4\u200b\u91cd\u590d\u200b\u540c\u6837\u200b\u7684\u200b\u6b65\u9aa4\u200b\u3002</p>"},{"location":"advance/with-ovn-ic/#az-name","title":"\u4fee\u6539\u200b az-name","text":"<p>\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b <code>kubectl edit</code> \u200b\u7684\u200b\u65b9\u5f0f\u200b\u5bf9\u200b <code>ovn-ic-config</code> \u200b\u8fd9\u4e2a\u200b configmap \u200b\u4e2d\u200b\u7684\u200b <code>az-name</code> \u200b\u5b57\u200b\u6bb5\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002 \u200b\u4f46\u662f\u200b\u9700\u8981\u200b\u5728\u200b\u6bcf\u4e2a\u200b ovn-cni pod \u200b\u4e0a\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff0c\u200b\u5426\u5219\u200b\u53ef\u80fd\u200b\u51fa\u73b0\u200b\u6700\u957f\u200b 10 \u200b\u5206\u949f\u200b\u7684\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u4e2d\u65ad\u200b\u3002</p> <pre><code>ovn-appctl -t ovn-controller inc-engine/recompute\n</code></pre>"},{"location":"advance/with-ovn-ic/#_5","title":"\u6e05\u7406\u200b\u96c6\u7fa4\u200b\u4e92\u8054","text":"<p>\u200b\u5220\u9664\u200b\u6240\u6709\u200b\u96c6\u7fa4\u200b\u7684\u200b <code>ovn-ic-config</code> Configmap\uff1a</p> <pre><code>kubectl -n kube-system delete cm ovn-ic-config\n</code></pre> <p>\u200b\u5220\u9664\u200b\u6240\u6709\u200b\u96c6\u7fa4\u200b\u7684\u200b <code>ts</code> \u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\uff1a</p> <pre><code>kubectl ko nbctl ls-del ts\n</code></pre> <p>\u200b\u5220\u9664\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u63a7\u5236\u5668\u200b\uff0c\u200b\u5982\u679c\u200b\u662f\u200b\u9ad8\u200b\u53ef\u7528\u200b OVN-IC \u200b\u6570\u636e\u5e93\u200b\u90e8\u7f72\u200b\uff0c\u200b\u9700\u8981\u200b\u90fd\u200b\u6e05\u7406\u200b\u6389\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u63a7\u5236\u5668\u200b\u662f\u200b <code>docker</code> \u200b\u90e8\u7f72\u200b\u6267\u884c\u547d\u4ee4\u200b\uff1a</p> <pre><code>docker stop ovn-ic-db \ndocker rm ovn-ic-db\n</code></pre> <p>\u200b\u5982\u679c\u200b\u63a7\u5236\u5668\u200b\u662f\u200b <code>containerd</code> \u200b\u90e8\u7f72\u200b\u6267\u884c\u547d\u4ee4\u200b\uff1a</p> <pre><code>ctr -n k8s.io task kill ovn-ic-db\nctr -n k8s.io containers rm ovn-ic-db\n</code></pre> <p>\u200b\u5982\u679c\u200b\u63a7\u5236\u5668\u200b\u662f\u200b\u4f7f\u7528\u200b deployment <code>ovn-ic-server</code> \u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>kubectl delete deployment ovn-ic-server -n kube-system\n</code></pre> <p>\u200b\u7136\u540e\u200b\u5728\u200b\u6bcf\u4e2a\u200b master \u200b\u8282\u70b9\u200b\u4e0a\u200b\u6e05\u7406\u200b\u4e92\u8054\u200b\u76f8\u5173\u200b\u7684\u200b DB\uff0c\u200b\u547d\u4ee4\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>rm -f /etc/origin/ovn/ovn_ic_nb_db.db\nrm -f /etc/origin/ovn/ovn_ic_sb_db.db\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-submariner/","title":"\u4f7f\u7528\u200b Submariner \u200b\u8fdb\u884c\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054","text":"<p>Submariner \u200b\u4f5c\u4e3a\u200b\u53ef\u4ee5\u200b\u6253\u901a\u200b\u591a\u4e2a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b Pod \u200b\u548c\u200b Service \u200b\u7f51\u7edc\u200b\u7684\u200b\u5f00\u6e90\u200b\u7f51\u7edc\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u80fd\u591f\u200b\u5e2e\u52a9\u200b  Kube-OVN \u200b\u5b9e\u73b0\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u3002</p> <p>\u200b\u76f8\u6bd4\u200b\u901a\u8fc7\u200b OVN-IC \u200b\u6253\u901a\u200b\u591a\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u7684\u200b\u65b9\u5f0f\u200b\uff0cSubmariner \u200b\u53ef\u4ee5\u200b\u6253\u901a\u200b Kube-OVN \u200b\u548c\u200b\u975e\u200b Kube-OVN \u200b\u7684\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e76\u200b \u200b\u80fd\u200b\u63d0\u4f9b\u200b Service \u200b\u7684\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u80fd\u529b\u200b\u3002\u200b\u4f46\u662f\u200b Submariner \u200b\u76ee\u524d\u200b\u53ea\u80fd\u200b\u5b9e\u73b0\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u7684\u200b\u6253\u901a\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u5b9e\u73b0\u200b\u591a\u5b50\u200b\u7f51\u200b\u9009\u62e9\u6027\u200b\u6253\u901a\u200b\u3002</p>"},{"location":"advance/with-submariner/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ul> <li>\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u7684\u200b Service CIDR \u200b\u548c\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u4e0d\u80fd\u200b\u91cd\u53e0\u200b\u3002</li> </ul>"},{"location":"advance/with-submariner/#submariner_1","title":"\u90e8\u7f72\u200b Submariner","text":"<p>\u200b\u4e0b\u8f7d\u200b <code>subctl</code> \u200b\u4e8c\u8fdb\u5236\u200b\u6587\u4ef6\u200b\uff0c\u200b\u5e76\u200b\u90e8\u7f72\u200b\u5230\u200b\u76f8\u5e94\u200b\u8def\u5f84\u200b\uff1a</p> <pre><code>curl -Ls https://get.submariner.io | bash\nexport PATH=$PATH:~/.local/bin\necho export PATH=\\$PATH:~/.local/bin &gt;&gt; ~/.profile\n</code></pre> <p>\u200b\u5207\u6362\u200b <code>kubeconfig</code> \u200b\u81f3\u200b\u5e0c\u671b\u200b\u90e8\u7f72\u200b <code>submariner-broker</code> \u200b\u7684\u200b\u96c6\u7fa4\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>subctl deploy-broker\n</code></pre> <p>\u200b\u5728\u200b\u672c\u200b\u6587\u6863\u200b\u4e2d\u200b <code>cluster0</code> \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>10.16.0.0/16</code>\uff0cjoin \u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>100.64.0.0/16</code>\uff0c<code>cluster1</code> \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>11.16.0.0/16</code>\uff0cjoin \u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b '100.68.0.0/16'\u3002</p> <p>\u200b\u5207\u6362\u200b <code>kubeconfig</code> \u200b\u81f3\u200b <code>cluster0</code> \u200b\u6ce8\u518c\u200b\u96c6\u7fa4\u200b\u81f3\u200b broker\uff0c\u200b\u5e76\u200b\u6ce8\u518c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b:</p> <pre><code>subctl  join broker-info.subm --clusterid  cluster0 --clustercidr 100.64.0.0/16,10.16.0.0/16  --natt=false --cable-driver vxlan --health-check=false\nkubectl label nodes cluster0 submariner.io/gateway=true\n</code></pre> <p>\u200b\u5207\u6362\u200b <code>kubeconfig</code> \u200b\u81f3\u200b <code>cluster1</code> \u200b\u6ce8\u518c\u200b\u96c6\u7fa4\u200b\u81f3\u200b broker\uff0c\u200b\u5e76\u200b\u6ce8\u518c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b:</p> <pre><code>subctl  join broker-info.subm --clusterid  cluster1 --clustercidr 100.68.0.0/16,11.16.0.0/16  --natt=false --cable-driver vxlan --health-check=false\nkubectl label nodes cluster1 submariner.io/gateway=true\n</code></pre> <p>\u200b\u5982\u679c\u200b\u6267\u884c\u200b <code>join</code> \u200b\u547d\u4ee4\u200b\u4e4b\u540e\u200b\u6ca1\u6709\u200b\u65b0\u200b\u7684\u200b <code>gateway, routeagent</code>pod \u200b\u51fa\u73b0\u200b\u7684\u8bdd\u200b, \u200b\u8bf7\u200b\u4e3a\u200b <code>submariner-operator</code> \u200b\u8fd9\u4e2a\u200b <code>clusterrole</code> \u200b\u589e\u52a0\u200b\u4ee5\u4e0b\u200b\u6743\u9650\u200b:</p> <pre><code>- apiGroups:\n  - \"apps\"\n  resources:\n  - daemonsets\n  verbs:\n  - create\n  - get\n  - list\n  - watch\n  - update\n</code></pre> <p>\u200b\u5bf9\u4e8e\u200b\u591a\u200b\u8282\u70b9\u200b\u7684\u200b\u96c6\u7fa4\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b\u9ed8\u8ba4\u200b\u7684\u200b <code>subnet</code> <code>ovn-default</code> \u200b\u7684\u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b\u6539\u4e3a\u200b <code>centralized</code>\u3002\u200b\u4e3a\u200b submariner \u200b\u914d\u7f6e\u200b\u7684\u200b <code>gateway</code> \u200b\u8282\u70b9\u200b\u9700\u8981\u200b\u548c\u200b <code>subnet</code> \u200b\u8282\u70b9\u200b\u5b8c\u5168\u76f8\u540c\u200b\u3002</p> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u5728\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u5185\u200b\u5206\u522b\u200b\u542f\u52a8\u200b Pod \u200b\u5e76\u200b\u5c1d\u8bd5\u200b\u4f7f\u7528\u200b IP \u200b\u8fdb\u884c\u200b\u76f8\u4e92\u200b\u8bbf\u95ee\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u51fa\u73b0\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\u95ee\u9898\u200b\u53ef\u200b\u901a\u8fc7\u200b <code>subctl</code> \u200b\u547d\u4ee4\u200b\u8fdb\u884c\u200b\u8bca\u65ad\u200b\uff1a</p> <pre><code>subctl show all\nsubctl diagnose all\n</code></pre> <p>\u200b\u66f4\u200b\u591a\u200b Submariner \u200b\u76f8\u5173\u200b\u64cd\u4f5c\u200b\u8bf7\u200b\u67e5\u770b\u200b Submariner \u200b\u7528\u6237\u624b\u518c\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/custom-routes/","title":"\u81ea\u5b9a\u4e49\u200b\u8def\u7531","text":"<p>\u200b\u53ef\u4ee5\u200b\u5728\u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\u901a\u8fc7\u200b Annotations \u200b\u6765\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b\u7684\u200b\u8def\u7531\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: custom-routes\n  annotations:\n    ovn.kubernetes.io/routes: |\n      [{\n        \"dst\": \"192.168.0.101/24\",\n        \"gw\": \"10.16.0.254\"\n      }, {\n        \"gw\": \"10.16.0.254\"\n      }]\nspec:\n  containers:\n  - name: nginx\n    image: docker.io/library/nginx:alpine\n</code></pre> <p><code>dst</code> \u200b\u5b57\u6bb5\u200b\u4e3a\u200b\u7a7a\u200b\u8868\u793a\u200b\u4fee\u6539\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u4e3a\u200b Deployment\u3001DaemonSet \u200b\u6216\u200b StatefulSet\uff0c\u200b\u5bf9\u5e94\u200b\u7684\u200b Annotation \u200b\u9700\u8981\u200b\u914d\u7f6e\u200b\u5728\u200b\u8d44\u6e90\u200b\u7684\u200b <code>.spec.template.metadata.annotations</code> \u200b\u4e2d\u200b\uff0c\u200b\u793a\u4f8b\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: custom-routes\n  labels:\n    app: nginx\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: nginx\n  template:\n    metadata:\n      labels:\n        app: nginx\n      annotations:\n        ovn.kubernetes.io/routes: |\n          [{\n            \"dst\": \"192.168.0.101/24\",\n            \"gw\": \"10.16.0.254\"\n          }, {\n            \"gw\": \"10.16.0.254\"\n          }]\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/library/nginx:alpine\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/dual-stack/","title":"\u53cc\u6808\u200b\u4f7f\u7528","text":"<p>Kube-OVN \u200b\u4e2d\u200b\u4e0d\u540c\u200b\u7684\u200b\u5b50\u7f51\u200b\u53ef\u4ee5\u200b\u652f\u6301\u200b\u4e0d\u540c\u200b\u7684\u200b\u534f\u8bae\u200b\uff0c\u200b\u4e00\u4e2a\u200b\u96c6\u7fa4\u200b\u5185\u200b\u53ef\u4ee5\u200b\u540c\u65f6\u200b\u5b58\u5728\u200b IPv4\uff0cIPv6 \u200b\u548c\u200b\u53cc\u6808\u200b\u7c7b\u578b\u200b\u7684\u200b\u5b50\u7f51\u200b\u3002 \u200b\u6211\u4eec\u200b\u63a8\u8350\u200b\u4e00\u4e2a\u200b\u96c6\u7fa4\u200b\u5185\u200b\u4f7f\u7528\u200b\u7edf\u4e00\u200b\u7684\u200b\u534f\u8bae\u200b\u7c7b\u578b\u200b\u4ee5\u200b\u7b80\u5316\u200b\u4f7f\u7528\u200b\u548c\u200b\u7ef4\u62a4\u200b\u3002</p> <p>\u200b\u4e3a\u4e86\u200b\u652f\u6301\u200b\u53cc\u6808\u200b\uff0c\u200b\u9700\u8981\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u6ee1\u8db3\u200b\u53cc\u6808\u200b\u8981\u6c42\u200b\uff0c\u200b\u540c\u65f6\u200b\u9700\u8981\u200b\u5bf9\u200b Kubernetes \u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\u505a\u200b\u8c03\u6574\u200b\uff0c \u200b\u8bf7\u200b\u53c2\u8003\u200b Kubernetes \u200b\u7684\u200b\u53cc\u6808\u200b\u5b98\u65b9\u200b\u6307\u5bfc\u200b\u3002</p>"},{"location":"guide/dual-stack/#_2","title":"\u521b\u5efa\u200b\u53cc\u6808\u200b\u5b50\u7f51","text":"<p>\u200b\u5728\u200b\u914d\u7f6e\u200b\u53cc\u6808\u200b\u65f6\u200b\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u5b50\u7f51\u200b CIDR \u200b\u683c\u5f0f\u200b\u4e3a\u200b <code>cidr=&lt;IPv4 CIDR&gt;,&lt;IPv6 CIDR&gt;</code> \u200b\u5373\u53ef\u200b\u3002 CIDR \u200b\u987a\u5e8f\u200b\u8981\u6c42\u200b IPv4 \u200b\u5728\u200b\u524d\u200b\uff0cIPv6 \u200b\u5728\u200b\u540e\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata: \n  name: ovn-test\nspec:\n  cidrBlock: 10.16.0.0/16,fd00:10:16::/64\n  excludeIps:\n  - 10.16.0.1\n  - fd00:10:16::1\n  gateway: 10.16.0.1,fd00:10:16::1\n</code></pre> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u65f6\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b\u53cc\u6808\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u4fee\u6539\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>POD_CIDR=\"10.16.0.0/16,fd00:10:16::/64\"\nJOIN_CIDR=\"100.64.0.0/16,fd00:100:64::/64\"\n</code></pre>"},{"location":"guide/dual-stack/#pod","title":"\u67e5\u770b\u200b Pod \u200b\u5730\u5740","text":"<p>\u200b\u914d\u7f6e\u200b\u53cc\u6808\u200b\u7f51\u7edc\u200b\u7684\u200b Pod \u200b\u5c06\u4f1a\u200b\u4ece\u200b\u8be5\u200b\u5b50\u7f51\u200b\u540c\u65f6\u200b\u5206\u914d\u200b IPv4 \u200b\u548c\u200b IPv6 \u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u5206\u914d\u200b\u7ed3\u679c\u200b\u4f1a\u200b\u663e\u793a\u200b\u5728\u200b Pod \u200b\u7684\u200b annotation \u200b\u4e2d\u200b:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/allocated: \"true\"\n    ovn.kubernetes.io/cidr: 10.16.0.0/16,fd00:10:16::/64\n    ovn.kubernetes.io/gateway: 10.16.0.1,fd00:10:16::1\n    ovn.kubernetes.io/ip_address: 10.16.0.9,fd00:10:16::9\n    ovn.kubernetes.io/logical_switch: ovn-default\n    ovn.kubernetes.io/mac_address: 00:00:00:14:88:09\n    ovn.kubernetes.io/network_types: geneve\n    ovn.kubernetes.io/routed: \"true\"\n...\npodIP: 10.16.0.9\n  podIPs:\n  - ip: 10.16.0.9\n  - ip: fd00:10:16::9\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/eip-snat/","title":"EIP \u200b\u548c\u200b SNAT \u200b\u914d\u7f6e","text":"<p>\u200b\u8be5\u200b\u914d\u7f6e\u200b\u9488\u5bf9\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u8bf7\u200b\u53c2\u8003\u200b VPC \u200b\u7f51\u5173\u200b</p> <p>Kube-OVN \u200b\u652f\u6301\u200b\u5229\u7528\u200b OVN \u200b\u4e2d\u200b\u7684\u200b L3 Gateway \u200b\u529f\u80fd\u200b\u6765\u200b\u5b9e\u73b0\u200b Pod \u200b\u7ea7\u522b\u200b\u7684\u200b SNAT \u200b\u548c\u200b EIP \u200b\u529f\u80fd\u200b\u3002 \u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b SNAT\uff0c\u200b\u4e00\u7ec4\u200b Pod \u200b\u53ef\u4ee5\u200b\u5171\u4eab\u200b\u4e00\u4e2a\u200b IP \u200b\u5730\u5740\u200b\u5bf9\u5916\u200b\u8fdb\u884c\u200b\u8bbf\u95ee\u200b\u3002 \u200b\u901a\u8fc7\u200b EIP \u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u4e00\u4e2a\u200b Pod \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u548c\u200b\u4e00\u4e2a\u200b\u5916\u90e8\u200b IP \u200b\u5173\u8054\u200b\uff0c \u200b\u5916\u90e8\u200b\u670d\u52a1\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b EIP \u200b\u76f4\u63a5\u200b\u8bbf\u95ee\u200b Pod\uff0cPod \u200b\u4e5f\u200b\u5c06\u200b\u901a\u8fc7\u200b\u8fd9\u4e2a\u200b EIP \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u670d\u52a1\u200b\u3002</p> <p></p>"},{"location":"guide/eip-snat/#_1","title":"\u51c6\u5907\u200b\u5de5\u4f5c","text":"<ul> <li>\u200b\u4e3a\u4e86\u200b\u4f7f\u7528\u200b OVN \u200b\u7684\u200b L3 Gateway \u200b\u80fd\u529b\u200b\uff0c\u200b\u5fc5\u987b\u200b\u5c06\u200b\u4e00\u4e2a\u200b\u5355\u72ec\u200b\u7684\u200b\u7f51\u5361\u200b\u63a5\u5165\u200b OVS \u200b\u7f51\u6865\u200b\u4e2d\u200b\u8fdb\u884c\u200b Overlay \u200b\u548c\u200b Underlay \u200b\u7f51\u7edc\u200b\u7684\u200b\u6253\u901a\u200b\uff0c \u200b\u4e3b\u673a\u200b\u5fc5\u987b\u200b\u6709\u200b\u5176\u4ed6\u200b\u7684\u200b\u7f51\u5361\u200b\u7528\u4e8e\u200b\u8fd0\u7ef4\u200b\u7ba1\u7406\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u7ecf\u8fc7\u200b NAT \u200b\u540e\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u4f1a\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b Underlay \u200b\u7f51\u7edc\u200b\uff0c\u200b\u5fc5\u987b\u200b\u786e\u8ba4\u200b\u5f53\u524d\u200b\u7684\u200b\u7f51\u7edc\u200b\u67b6\u6784\u200b\u4e0b\u200b\u6b64\u7c7b\u200b\u6570\u636e\u5305\u200b\u53ef\u4ee5\u200b\u5b89\u5168\u200b\u901a\u8fc7\u200b\u3002</li> <li>\u200b\u76ee\u524d\u200b EIP \u200b\u548c\u200b SNAT \u200b\u5730\u5740\u200b\u6ca1\u6709\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\uff0c\u200b\u9700\u8981\u200b\u7ba1\u7406\u5458\u200b\u624b\u52a8\u200b\u5206\u914d\u200b\u907f\u514d\u200b\u5730\u5740\u200b\u51b2\u7a81\u200b\u3002</li> </ul>"},{"location":"guide/eip-snat/#_2","title":"\u521b\u5efa\u200b\u914d\u7f6e\u6587\u4ef6","text":"<p>\u200b\u5728\u200b <code>kube-system</code> \u200b\u4e0b\u200b\u521b\u5efa\u200b ConfigMap <code>ovn-external-gw-config</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-external-gw-config\n  namespace: kube-system\ndata:\n  enable-external-gw: \"true\"\n  external-gw-nodes: \"kube-ovn-worker\"\n  external-gw-nic: \"eth1\"\n  external-gw-addr: \"172.56.0.1/16\"\n  nic-ip: \"172.56.0.254/16\"\n  nic-mac: \"16:52:f3:13:6a:25\"\n</code></pre> <ul> <li><code>enable-external-gw</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b SNAT \u200b\u548c\u200b EIP \u200b\u529f\u80fd\u200b\u3002</li> <li><code>type</code>: <code>centrailized</code> \u200b\u6216\u200b <code>distributed</code>\uff0c \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>centralized</code> \u200b\u5982\u679c\u200b\u4f7f\u7528\u200b <code>distributed</code>\uff0c\u200b\u5219\u200b\u96c6\u7fa4\u200b\u6240\u6709\u200b\u8282\u70b9\u200b\u90fd\u200b\u9700\u8981\u200b\u6709\u200b\u540c\u540d\u200b\u7f51\u5361\u200b\u6765\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u529f\u80fd\u200b\u3002</li> <li><code>external-gw-nodes</code>: <code>centralized</code> \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u4f5c\u7528\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u200b\uff0c\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u3002</li> <li><code>external-gw-nic</code>: \u200b\u8282\u70b9\u200b\u4e0a\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u4f5c\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\u540d\u200b\u3002</li> <li><code>external-gw-addr</code>: \u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u7f51\u5173\u200b\u7684\u200b IP \u200b\u548c\u200b\u63a9\u7801\u200b\u3002</li> <li><code>nic-ip</code>,<code>nic-mac</code>: \u200b\u5206\u914d\u200b\u7ed9\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\u7aef\u53e3\u200b\u7684\u200b IP \u200b\u548c\u200b Mac\uff0c\u200b\u9700\u4e3a\u200b\u7269\u7406\u200b\u6bb5\u200b\u672a\u200b\u88ab\u200b\u5360\u7528\u200b\u7684\u200b IP \u200b\u548c\u200b Mac\u3002</li> </ul>"},{"location":"guide/eip-snat/#ovn-ovs","title":"\u89c2\u5bdf\u200b OVN \u200b\u548c\u200b OVS \u200b\u72b6\u6001\u200b\u786e\u8ba4\u200b\u914d\u7f6e\u200b\u751f\u6548","text":"<p>\u200b\u68c0\u67e5\u200b OVN-NB \u200b\u72b6\u6001\u200b, \u200b\u786e\u8ba4\u200b <code>ovn-external</code> \u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u5b58\u5728\u200b\uff0c\u200b\u5e76\u4e14\u200b <code>ovn-cluster-ovn-external</code> \u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\u7aef\u53e3\u200b\u4e0a\u200b \u200b\u7ed1\u5b9a\u200b\u4e86\u200b\u6b63\u786e\u200b\u7684\u200b\u5730\u5740\u200b\u548c\u200b chassis\u3002</p> <pre><code># kubectl ko nbctl show\nswitch 3de4cea7-1a71-43f3-8b62-435a57ef16a6 (ovn-external)\n    port ln-ovn-external\n        type: localnet\n        addresses: [\"unknown\"]\n    port ovn-external-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-external\nrouter e1eb83ad-34be-4ed5-9a02-fcc8b1d357c4 (ovn-cluster)\n    port ovn-cluster-ovn-external\n        mac: \"ac:1f:6b:2d:33:f1\"\n        networks: [\"172.56.0.100/16\"]\n        gateway chassis: [a5682814-2e2c-46dd-9c1c-6803ef0dab66]\n</code></pre> <p>\u200b\u68c0\u67e5\u200b OVS \u200b\u72b6\u6001\u200b\uff0c\u200b\u786e\u8ba4\u200b\u76f8\u5e94\u200b\u7684\u200b\u7f51\u5361\u200b\u5df2\u7ecf\u200b\u6865\u63a5\u200b\u8fdb\u200b <code>br-external</code> \u200b\u7f51\u6865\u200b\uff1a</p> <pre><code># kubectl ko vsctl ${gateway node name} show\ne7d81150-7743-4d6e-9e6f-5c688232e130\n    Bridge br-external\n        Port br-external\n            Interface br-external\n                type: internal\n        Port eno2\n            Interface eno2\n        Port patch-ln-ovn-external-to-br-int\n            Interface patch-ln-ovn-external-to-br-int\n                type: patch\n                options: {peer=patch-br-int-to-ln-ovn-external}\n</code></pre>"},{"location":"guide/eip-snat/#pod-eip-snat","title":"Pod \u200b\u914d\u7f6e\u200b EIP \u200b\u548c\u200b SNAT","text":"<p>\u200b\u53ef\u200b\u901a\u8fc7\u200b\u5728\u200b Pod \u200b\u4e0a\u200b\u589e\u52a0\u200b <code>ovn.kubernetes.io/snat</code> \u200b\u6216\u200b <code>ovn.kubernetes.io/eip</code> annotation \u200b\u6765\u200b\u5206\u522b\u200b\u914d\u7f6e\u200b SNAT \u200b\u548c\u200b EIP\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: pod-gw\n  annotations:\n    ovn.kubernetes.io/snat: 172.56.0.200\nspec:\n  containers:\n  - name: snat-pod\n    image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: pod-gw\n  annotations:\n    ovn.kubernetes.io/eip: 172.56.0.233\nspec:\n  containers:\n  - name: eip-pod\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u53ef\u200b\u901a\u8fc7\u200b kubectl \u200b\u6216\u200b\u5176\u4ed6\u200b\u5de5\u5177\u200b\u52a8\u6001\u200b\u8c03\u6574\u200b Pod \u200b\u6240\u200b\u914d\u7f6e\u200b\u7684\u200b EIP \u200b\u6216\u200b SNAT \u200b\u89c4\u5219\u200b\uff0c\u200b\u66f4\u6539\u200b\u65f6\u8bf7\u200b\u6ce8\u610f\u200b\u8981\u200b\u540c\u65f6\u200b\u5220\u9664\u200b <code>ovn.kubernetes.io/routed</code> annotation \u200b\u89e6\u53d1\u200b\u8def\u7531\u200b\u7684\u200b\u53d8\u66f4\u200b\uff1a</p> <pre><code>kubectl annotate pod pod-gw ovn.kubernetes.io/eip=172.56.0.221 --overwrite\nkubectl annotate pod pod-gw ovn.kubernetes.io/routed-\n</code></pre> <p>\u200b\u5f53\u200b EIP \u200b\u6216\u200b SNAT \u200b\u89c4\u5219\u200b\u751f\u6548\u200b\u540e\u200b\uff0c<code>ovn.kubernetes.io/routed</code> annotation \u200b\u4f1a\u200b\u88ab\u200b\u91cd\u65b0\u200b\u6dfb\u52a0\u200b\u3002</p>"},{"location":"guide/eip-snat/#_3","title":"\u9ad8\u7ea7\u200b\u914d\u7f6e","text":"<p><code>kube-ovn-controller</code> \u200b\u7684\u200b\u90e8\u5206\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u53ef\u200b\u5bf9\u200b SNAT \u200b\u548c\u200b EIP \u200b\u529f\u80fd\u200b\u8fdb\u884c\u200b\u9ad8\u9636\u200b\u914d\u7f6e\u200b\uff1a</p> <ul> <li><code>--external-gateway-config-ns</code>: Configmap <code>ovn-external-gw-config</code> \u200b\u6240\u5c5e\u200b Namespace\uff0c \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>kube-system</code>\u3002</li> <li><code>--external-gateway-net</code>: \u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u6240\u200b\u6865\u63a5\u200b\u7684\u200b\u7f51\u6865\u200b\u540d\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>external</code>\u3002</li> <li><code>--external-gateway-vlanid</code>: \u200b\u7269\u7406\u200b\u7f51\u7edc\u200b Vlan Tag \u200b\u53f7\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 0\uff0c \u200b\u5373\u200b\u4e0d\u200b\u4f7f\u7528\u200b Vlan\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/ip/","title":"\u6307\u5b9a\u200b\u8d44\u6e90\u200b\u9884\u7559\u200b IP","text":"<p>IP \u200b\u7528\u4e8e\u200b\u7ef4\u62a4\u200b Pod \u200b\u6216\u8005\u200b VirtualMachine(VM) \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002IP \u200b\u7684\u200b\u751f\u547d\u5468\u671f\u200b\u7ef4\u62a4\u200b\u5305\u62ec\u200b\u4ee5\u4e0b\u200b\u4e1a\u52a1\u200b\u573a\u666f\u200b\uff1a</p> <ul> <li> <ol> <li>IP \u200b\u968f\u200b Pod \u200b\u521b\u5efa\u200b\uff0c\u200b\u4e5f\u200b\u968f\u200b Pod \u200b\u5220\u9664\u200b\u3002</li> </ol> </li> <li> <ol> <li>VM IP \u200b\u901a\u8fc7\u200b\u914d\u7f6e\u200b ENABLE_KEEP_VM_IP \u200b\u6765\u200b\u4fdd\u7559\u200b VM IP \u200b\u8d44\u6e90\u200b\uff0c\u200b\u8fd9\u79cd\u200b IP \u200b\u968f\u200b VM Pod \u200b\u521b\u5efa\u200b\uff0c\u200b\u4f46\u662f\u200b\u4e0d\u968f\u200b VM Pod \u200b\u5220\u9664\u200b\u3002</li> </ol> </li> <li> <ol> <li>Statefulset Pod IP \u200b\u4f1a\u200b\u6839\u636e\u200b Statefulset \u200b\u7684\u200b\u5bb9\u91cf\u200b\u4ee5\u53ca\u200b Pod \u200b\u5e8f\u5217\u53f7\u200b\u81ea\u52a8\u200b\u9009\u62e9\u200b\u662f\u5426\u200b\u4fdd\u7559\u200b Pod IP\u3002</li> </ol> </li> </ul> <p>\u200b\u5b9e\u9645\u4e0a\u200b\u5728\u200b\u4e1a\u52a1\u200b\u4f7f\u7528\u200b\u4e2d\u200b\uff0c\u200b\u5f80\u5f80\u200b\u9700\u8981\u200b\u63d0\u524d\u200b\u9884\u7559\u200b IP \u200b\u8d44\u6e90\u200b\uff0c \u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u4e1a\u52a1\u200b\u573a\u666f\u200b\u5305\u62ec\u200b\u5982\u4e0b\u200b\u4e24\u79cd\u200b\uff1a</p> <ul> <li> <ol> <li>Pod \u200b\u6216\u8005\u200b VM \u200b\u5df2\u7ecf\u200b\u521b\u5efa\u200b\uff0c\u200b\u9700\u8981\u200b\u9884\u7559\u200b IP</li> </ol> </li> <li> <ol> <li>Pod \u200b\u6216\u8005\u200b VM \u200b\u5c1a\u672a\u200b\u521b\u5efa\u200b\uff0c\u200b\u9700\u8981\u200b\u9884\u7559\u200b IP</li> </ol> </li> </ul> <p>\u200b\u4ee5\u4e0a\u200b\u8fd9\u200b\u51e0\u79cd\u200b\u573a\u666f\u200b\uff0cIP \u200b\u548c\u200b Pod \u200b\u5728\u200b\u547d\u540d\u200b\u4e0a\u200b\u7684\u200b\u5bf9\u5e94\u200b\u5173\u7cfb\u200b\u4fdd\u6301\u4e00\u81f4\u200b:</p> <ul> <li>Pod IP \u200b\u7684\u200b\u547d\u540d\u200b\u683c\u5f0f\u200b: Pod-name.Pod-namespace(.subnet-provider)</li> <li>VM Pod IP \u200b\u7684\u200b\u547d\u540d\u200b\u683c\u5f0f\u200b: vm-name.Pod-namespace.(subnet-provider)</li> </ul> <p>\u200b\u5982\u679c\u200b\u4e0d\u200b\u786e\u5b9a\u200b\u8fd9\u4e9b\u200b\u53c2\u6570\u200b\uff0c\u200b\u53ea\u662f\u200b\u60f3\u200b\u7b80\u5355\u200b\u9884\u7559\u200b IP\uff0c\u200b\u8bf7\u200b\u4f7f\u7528\u200b IP Pool\u3002</p> <p>\u200b\u5177\u4f53\u6765\u8bf4\u200b\uff0c\u200b\u8fd9\u4e2a\u200b\u529f\u80fd\u200b\u662f\u200b\u6307\u5b9a\u200b Pod \u200b\u6216\u8005\u200b VM \u200b\u9884\u7559\u200b IP\uff0c \u200b\u5728\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u521b\u5efa\u200b\u6d41\u7a0b\u200b\u4e2d\u200b\uff0c\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b\u8d44\u6e90\u200b\u540d\u200b\uff0c\u200b\u8d44\u6e90\u7c7b\u578b\u200b\uff0c\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\uff0c\u200b\u5b50\u7f51\u200b\u7b49\u200b\u5fc5\u8981\u200b\u53c2\u6570\u200b\u3002\u200b\u56fa\u5b9a\u200b IP \u200b\u9884\u7559\u200b\uff0c\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b ip \u200b\u5730\u5740\u200b\uff0cMAC \u200b\u5730\u5740\u200b\uff08\u200b\u5982\u200b\u6709\u200b\u9700\u8981\u200b\uff09\u3002</p> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u4e4b\u524d\u200b\u5b9e\u73b0\u200b\u7684\u200b Pod \u200b\u4f7f\u7528\u200b vip \u200b\u5360\u7528\u200b IP \u200b\u7684\u200b\u65b9\u5f0f\u200b\u5f03\u7528\u200b\u3002\uff08\u200b\u8fd9\u200b\u4e24\u79cd\u200b\u529f\u80fd\u200b\u91cd\u53e0\u200b\uff09</p>"},{"location":"guide/ip/#ip_1","title":"\u4e00\u200b\u3001\u200b\u521b\u5efa\u200b\u9884\u7559\u200b IP","text":"<ul> <li>Pod \u200b\u6216\u8005\u200b VM \u200b\u5df2\u7ecf\u200b\u521b\u5efa\u200b\uff0c\u200b\u9700\u8981\u200b\u9884\u7559\u200b IP</li> <li>Pod \u200b\u6216\u8005\u200b VM \u200b\u5c1a\u672a\u200b\u521b\u5efa\u200b\uff0c\u200b\u9700\u8981\u200b\u9884\u7559\u200b IP</li> </ul> <p>\u200b\u9884\u7559\u200b IP \u200b\u53ea\u662f\u200b\u4e00\u4e2a\u200b\u6269\u5c55\u200b\u529f\u80fd\u200b\uff0c\u200b\u652f\u6301\u200b Pod \u200b\u4f7f\u7528\u200b\u9884\u7559\u200b\u7684\u200b IP\uff0c\u200b\u4f46\u662f\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\uff0c\u200b\u547d\u540d\u200b\u89c4\u5219\u200b\u548c\u200b IP \u200b\u968f\u200b Pod \u200b\u800c\u200b\u521b\u5efa\u200b\u7684\u200b\u4e1a\u52a1\u200b\u903b\u8f91\u200b\u4e00\u81f4\u200b\u3002 \u200b\u6240\u4ee5\u200b\u9884\u7559\u200b IP \u200b\u521b\u5efa\u200b\u65f6\u200b\u9700\u8981\u200b\u660e\u786e\u200b\u8be5\u200b IP \u200b\u540e\u7eed\u200b\u88ab\u200b\u4ec0\u4e48\u200b\u8d44\u6e90\u200b\u4f7f\u7528\u200b\uff0c\u200b\u5fc5\u987b\u200b\u51c6\u786e\u200b\u586b\u5199\u200b\u7c7b\u578b\u200b\uff0cPod \u200b\u540d\u200b\u6216\u8005\u200b VM \u200b\u540d\u200b\uff0cnamespace\uff0c\u200b\u5b50\u7f51\u200b\u7b49\u200b\u4fe1\u606f\u200b\u3002 \u200b\u5f53\u200b\u4f7f\u7528\u200b\u8fd9\u4e2a\u200b IP \u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u4e1a\u52a1\u200b\u9700\u8981\u200b\u6821\u9a8c\u200b IP \u200b\u7ed1\u5b9a\u200b\u5230\u200b\u7684\u200b Pod \u200b\u548c\u200b VM \u200b\u662f\u5426\u200b\u548c\u200b IP \u200b\u672c\u8eab\u200b\u7684\u200b\u5c5e\u6027\u200b\u4e00\u81f4\u200b\uff0c\u200b\u5426\u5219\u200b Pod \u200b\u6216\u8005\u200b VM \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u8be5\u200b IP\u3002</p> <p>IP CR \u200b\u63a7\u5236\u5668\u200b\u7684\u200b\u521b\u5efa\u200b\u8fc7\u7a0b\u200b\u4ec5\u200b\u5904\u7406\u200b\u9884\u7559\u200b IP \u200b\u4e1a\u52a1\u200b\u573a\u666f\u200b\uff0c\u200b\u4e0d\u200b\u5904\u7406\u200b\u968f\u200b Pod \u200b\u521b\u5efa\u200b\u7684\u200b IP \u200b\u8d44\u6e90\u200b\u3002 \u200b\u968f\u200b Pod \u200b\u521b\u5efa\u200b\u7684\u200b IP \u200b\u8d44\u6e90\u200b\u6d41\u7a0b\u200b\u4e2d\u200b\uff0cLSP \u200b\u7684\u200b\u521b\u5efa\u200b\u5728\u200b IP CR \u200b\u7684\u200b\u521b\u5efa\u200b\u4e4b\u524d\u200b\uff0c\u200b\u6240\u4ee5\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b LSP \u200b\u6709\u65e0\u200b\u6765\u200b\u5224\u65ad\u200b\uff0c\u200b\u5728\u200b IP CR \u200b\u63a7\u5236\u5668\u200b\u7684\u200b\u5904\u7406\u8fc7\u7a0b\u200b\u4e2d\u200b\uff0c\u200b\u4f1a\u5148\u200b\u5224\u65ad\u200b\u662f\u5426\u200b\u5b58\u5728\u200b LSP\uff0c\u200b\u5982\u679c\u200b\u5b58\u5728\u200b\u5219\u200b\u4e0d\u200b\u5904\u7406\u200b\u8be5\u200b\u4e1a\u52a1\u200b\u903b\u8f91\u200b\uff1aIP \u200b\u968f\u200b Pod \u200b\u521b\u5efa\u200b\u7684\u200b\u4e1a\u52a1\u200b\u903b\u8f91\u200b\u3002 \u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u521b\u5efa\u200b\u652f\u6301\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b IP \u200b\u4ee5\u53ca\u200b\u624b\u52a8\u200b\u6307\u5b9a\u200b IP\uff0cIP \u200b\u7684\u200b\u521b\u5efa\u200b\u8fc7\u7a0b\u200b\u4e2d\u200b\u53ea\u4f1a\u200b\u5b9e\u73b0\u200b IP \u200b\u5360\u4f4d\u200b\uff0c\u200b\u800c\u200b\u4e0d\u4f1a\u200b\u521b\u5efa\u200b LSP\u3002 LSP \u200b\u7684\u200b\u521b\u5efa\u200b\u8fd8\u662f\u200b\u7ef4\u62a4\u200b\u5728\u200b Pod \u200b\u521b\u5efa\u200b\u6d41\u7a0b\u200b\u4e2d\u200b\u3002 IP CR \u200b\u7684\u200b\u521b\u5efa\u200b\u8fc7\u7a0b\u200b\u4e5f\u200b\u5c31\u662f\u200b\u4ec5\u200b\u5b9e\u73b0\u200b IP \u200b\u7684\u200b\u9884\u7559\u200b\uff0c\u200b\u8fd9\u79cd\u200b IP \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u6dfb\u52a0\u200b\u4e00\u4e2a\u200b keep-ip \u200b\u7684\u200b label\uff0c\u200b\u8868\u660e\u200b\u6c38\u4e45\u200b\u9884\u7559\u200b\u4e0d\u4f1a\u200b\u968f\u200b Pod \u200b\u5220\u9664\u200b\u800c\u200b\u6e05\u7406\u200b\u3002\u200b\u9700\u8981\u200b\u4e1a\u52a1\u200b\u6216\u8005\u200b\u7ba1\u7406\u5458\u200b\u6765\u200b\u7ba1\u7406\u200b\u8fd9\u79cd\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u6e05\u7406\u200b\uff0cGC \u200b\u4e0d\u4f1a\u200b\u81ea\u52a8\u200b\u5904\u7406\u200b\u8be5\u200b IP\u3002</p>"},{"location":"guide/ip/#11-ip","title":"1.1 \u200b\u9884\u7559\u200b IP \u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u5730\u5740","text":"<p>\u200b\u5982\u679c\u200b\u53ea\u662f\u200b\u4e3a\u4e86\u200b\u9884\u7559\u200b\u82e5\u5e72\u200b IP \u200b\u800c\u200b\u5bf9\u200b IP \u200b\u5730\u5740\u200b\u672c\u8eab\u200b\u6ca1\u6709\u200b\u8981\u6c42\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u521b\u5efa\u200b\uff1a</p> <pre><code># cat 01-dynamic.yaml\n\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  name: vm-dynamic-01.default\nspec:\n  subnet: ovn-default\n  podType: \"VirtualMachine\"\n  namespace: default\n  podName: vm-dynamic-01\n</code></pre> <ul> <li><code>subnet</code>: \u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b Subnet \u200b\u4e2d\u200b\u9884\u7559\u200b IP\u3002</li> <li><code>podType</code>: \u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b Pod \u200b\u7684\u200b Owner \u200b\u7c7b\u578b\u200b: \"StatefulSet\", \"VirtualMachine\"\u3002</li> <li><code>podName</code>: IP \u200b\u5c5e\u6027\u200b\u4e2d\u200b\u7684\u200b podName \u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b\u4f7f\u7528\u200b\u8be5\u200b IP \u200b\u8d44\u6e90\u200b\u7684\u200b\u540d\u5b57\u200b\uff0cPod \u200b\u6216\u8005\u200b VirtualMachine \u200b\u7684\u200b\u540d\u5b57\u200b\u3002</li> <li><code>namespace</code>: \u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b\u4f7f\u7528\u200b\u8be5\u200b IP \u200b\u8d44\u6e90\u200b\u6240\u5728\u200b\u7684\u200b namespace\uff0cPod \u200b\u6216\u8005\u200b VirtualMachine namespace\u3002</li> </ul> <p>\u200b\u6ce8\u610f\u200b\uff1a \u200b\u8fd9\u4e9b\u200b IP \u200b\u5c5e\u6027\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u53d8\u66f4\u200b</p> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b IP\uff1a</p> <pre><code># kubectl get subnet ovn-default\nNAME          PROVIDER   VPC           PROTOCOL   CIDR           PRIVATE   NAT    DEFAULT   GATEWAYTYPE   V4USED   V4AVAILABLE   V6USED   V6AVAILABLE   EXCLUDEIPS      U2OINTERCONNECTIONIP\novn-default   ovn        ovn-cluster   IPv4       10.16.0.0/16   false     true   true      distributed   7        65526         0        0             [\"10.16.0.1\"]\n\n# kubectl get ip vm-dynamic-01.default -o yaml\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  annotations:\n    kubectl.kubernetes.io/last-applied-configuration: |\n      {\"apiVersion\":\"kubeovn.io/v1\",\"kind\":\"IP\",\"metadata\":{\"annotations\":{},\"name\":\"vm-dynamic-01.default\"},\"spec\":{\"namespace\":\"default\",\"podName\":\"vm-dynamic-01\",\"podType\":\"VirtualMachine\",\"subnet\":\"ovn-default\"}}\n  creationTimestamp: \"2024-01-29T03:05:40Z\"\n  finalizers:\n  - kube-ovn-controller\n  generation: 2\n  labels:\n    ovn.kubernetes.io/ip_reserved: \"true\" # \u200b\u9884\u7559\u200b IP \u200b\u6807\u8bc6\u200b\n    ovn.kubernetes.io/node-name: \"\"\n    ovn.kubernetes.io/subnet: ovn-default\n  name: vm-dynamic-01.default\n  resourceVersion: \"1571\"\n  uid: 89d05a26-294a-450b-ab63-1eaa957984d7\nspec:\n  attachIps: []\n  attachMacs: []\n  attachSubnets: []\n  containerID: \"\"\n  ipAddress: 10.16.0.13\n  macAddress: 00:00:00:86:C6:36\n  namespace: default\n  nodeName: \"\"\n  podName: vm-dynamic-01\n  podType: VirtualMachine\n  subnet: ovn-default\n  v4IpAddress: 10.16.0.13\n  v6IpAddress: \"\"\n\n# kubectl ko nbctl show ovn-default | grep vm-dynamic-01.default\n# \u200b\u9884\u7559\u200b IP\uff0c\u200b\u4ec5\u200b\u5728\u200b IPAM \u200b\u4e2d\u200b\u5206\u914d\u200b\u5730\u5740\u200b\uff0c\u200b\u4e0d\u200b\u521b\u5efa\u200b LSP\uff0c\u200b\u6240\u4ee5\u200b\u67e5\u770b\u200b\u4e0d\u5230\u200b\n</code></pre>"},{"location":"guide/ip/#12-ip","title":"1.2 \u200b\u6307\u5b9a\u200b\u5730\u5740\u200b\u9884\u7559\u200b IP","text":"<p>\u200b\u5982\u5bf9\u200b\u9884\u7559\u200b\u7684\u200b IP \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u6709\u200b\u9700\u6c42\u200b\u53ef\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u56fa\u5b9a\u200b\u5206\u914d\u200b\uff1a</p> <pre><code># cat  02-static.yaml\n\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  name: pod-static-01.default\nspec:\n  subnet: ovn-default\n  podType: \"\"\n  namespace: default\n  podName: pod-static-01\n  v4IpAddress: 10.16.0.3\n  v6IpAddress:\n\n# kubectl get ip pod-static-01.default -o yaml\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  annotations:\n    kubectl.kubernetes.io/last-applied-configuration: |\n      {\"apiVersion\":\"kubeovn.io/v1\",\"kind\":\"IP\",\"metadata\":{\"annotations\":{},\"name\":\"pod-static-01.default\"},\"spec\":{\"namespace\":\"default\",\"podName\":\"pod-static-01\",\"podType\":\"\",\"subnet\":\"ovn-default\",\"v4IpAddress\":\"10.16.0.3\",\"v6IpAddress\":null}}\n  creationTimestamp: \"2024-01-29T03:08:28Z\"\n  finalizers:\n  - kube-ovn-controller\n  generation: 2\n  labels:\n    ovn.kubernetes.io/ip_reserved: \"true\"\n    ovn.kubernetes.io/node-name: \"\"\n    ovn.kubernetes.io/subnet: ovn-default\n  name: pod-static-01.default\n  resourceVersion: \"1864\"\n  uid: 11fc767d-f57d-4520-89f9-448f9b272bca\nspec:\n  attachIps: []\n  attachMacs: []\n  attachSubnets: []\n  containerID: \"\"\n  ipAddress: 10.16.0.3\n  macAddress: 00:00:00:4D:B4:36\n  namespace: default\n  nodeName: \"\"\n  podName: pod-static-01\n  podType: \"\"\n  subnet: ovn-default\n  v4IpAddress: 10.16.0.3\n  v6IpAddress: \"\"\n</code></pre> <ul> <li><code>v4IpAddress</code>: \u200b\u6307\u5b9a\u200b IPv4 \u200b\u5730\u5740\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u9700\u5728\u200b <code>subnet</code> \u200b\u7684\u200b CIDR \u200b\u8303\u56f4\u200b\u5185\u200b\u3002</li> <li><code>v6IpAddress</code>: \u200b\u6307\u5b9a\u200b IPv6 \u200b\u5730\u5740\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u9700\u5728\u200b <code>subnet</code> \u200b\u7684\u200b CIDR \u200b\u8303\u56f4\u200b\u5185\u200b\u3002</li> </ul>"},{"location":"guide/ip/#pod-ip","title":"Pod \u200b\u4f7f\u7528\u200b\u9884\u7559\u200b IP","text":"<p>\u200b\u6ce8\u610f\u200b: Pod \u200b\u7684\u200b\u540d\u5b57\u200b\u4ee5\u53ca\u200b namespace \u200b\u5fc5\u987b\u200b\u548c\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u5c5e\u6027\u200b\u4e00\u81f4\u200b\uff0c\u200b\u5426\u5219\u200b Pod \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u8be5\u200b IP\u3002VM \u200b\u4e5f\u200b\u662f\u200b\u5982\u6b64\u200b\u3002</p> <p>\u200b\u5220\u9664\u200b Pod \u200b\u6216\u8005\u200b VM \u200b\u540e\u200b\uff0c \u200b\u8be5\u200b IP CR \u200b\u4f9d\u7136\u200b\u4fdd\u7559\u200b\u3002</p> <pre><code>root@base:~/test/ip# kubectl get po -n default -o wide\nNAME            READY   STATUS    RESTARTS   AGE   IP          NODE              NOMINATED NODE   READINESS GATES\npod-static-01   1/1     Running   0          30s   10.16.0.3   kube-ovn-worker   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"guide/ip/#_1","title":"\u4e8c\u200b\u3001\u200b\u5220\u9664","text":"<p>kube-ovn-controller GC \u200b\u6d41\u7a0b\u200b\u4e0d\u4f1a\u200b\u6e05\u7406\u200b\u72ec\u7acb\u200b\u7684\u200b IP \u200b\u8d44\u6e90\u200b\u3002\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u6e05\u7406\u200b IP \u200b\u4ee5\u53ca\u200b\u5b83\u200b\u7684\u200b LSP\uff0c\u200b\u8bf7\u200b\u76f4\u63a5\u200b\u5220\u9664\u200b IP CR \u200b\u8d44\u6e90\u200b\u3002</p> <p>IP \u200b\u7684\u200b\u5220\u9664\u200b\u6d41\u7a0b\u200b\u4f1a\u200b\u57fa\u4e8e\u200b IP \u200b\u5c5e\u6027\u200b\u4e2d\u200b\u7684\u200b podName \u200b\u548c\u200b namespace \u200b\u4ee5\u53ca\u200b subnet provider \u200b\u683c\u5f0f\u5316\u200b\u51fa\u200b ipam key\uff0cLSP \u200b\u540d\u200b\uff0c\u200b\u91ca\u653e\u200b IPAM \u200b\u5360\u4f4d\u200b\uff0c\u200b\u5220\u9664\u200b LSP\uff0c\u200b\u4ee5\u53ca\u200b\u6e05\u7406\u200b IP \u200b\u672c\u8eab\u200b\u7684\u200b Finalizer\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/ippool/","title":"IP \u200b\u6c60\u200b\u4f7f\u7528","text":"<p>IP \u200b\u6c60\u200b\uff08IPPool\uff09\u200b\u662f\u200b\u6bd4\u200b\u5b50\u7f51\u200b\uff08Subnet\uff09\u200b\u66f4\u7ec6\u200b\u529b\u5ea6\u200b\u7684\u200b IPAM \u200b\u7ba1\u7406\u200b\u5355\u5143\u200b\u3002\u200b\u4f60\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b IP \u200b\u6c60\u5c06\u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b\u7ec6\u5206\u200b\u4e3a\u200b\u591a\u4e2a\u200b\u5355\u5143\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u5355\u5143\u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b\u6216\u200b\u591a\u4e2a\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\uff08Namespace\uff09\u3002</p>"},{"location":"guide/ippool/#_1","title":"\u4f7f\u7528\u200b\u65b9\u6cd5","text":"<p>\u200b\u4f7f\u7528\u200b\u793a\u4f8b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: IPPool\nmetadata:\n  name: pool-1\nspec:\n  subnet: ovn-default\n  ips:\n  - \"10.16.0.201\"\n  - \"10.16.0.210/30\"\n  - \"10.16.0.220..10.16.0.230\"\n  namespaces:\n  - ns-1\n</code></pre> <p>\u200b\u5b57\u200b\u6bb5\u200b\u8bf4\u660e\u200b\uff1a</p> \u200b\u540d\u79f0\u200b \u200b\u7528\u9014\u200b \u200b\u5907\u6ce8\u200b subnet \u200b\u6307\u5b9a\u200b\u6240\u5c5e\u200b\u5b50\u7f51\u200b \u200b\u5fc5\u586b\u200b ips \u200b\u6307\u5b9a\u200b\u5305\u542b\u200b\u7684\u200b IP \u200b\u8303\u56f4\u200b \u200b\u652f\u6301\u200b \u3001 \u200b\u4ee5\u53ca\u200b .. \u200b\u4e09\u79cd\u200b\u683c\u5f0f\u200b\uff0c\u200b\u652f\u6301\u200b IPv6\u3002 namespaces \u200b\u7ed1\u5b9a\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b \u200b\u53ef\u200b\u9009"},{"location":"guide/ippool/#_2","title":"\u6ce8\u610f\u4e8b\u9879","text":"<ol> <li>\u200b\u4e3a\u200b\u4fdd\u8bc1\u200b\u4e0e\u200b Workload \u200b\u901a\u7528\u200b IP Pool \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b \u200b\u7684\u200b\u517c\u5bb9\u6027\u200b\uff0cIP \u200b\u6c60\u200b\u7684\u200b\u540d\u79f0\u200b\u4e0d\u80fd\u200b\u662f\u200b\u4e00\u4e2a\u200b IP \u200b\u5730\u5740\u200b\uff1b</li> <li>IP \u200b\u6c60\u200b\u7684\u200b <code>.spec.ips</code> \u200b\u53ef\u200b\u6307\u5b9a\u200b\u8d85\u51fa\u200b\u5b50\u7f51\u200b\u8303\u56f4\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u4f46\u200b\u5b9e\u9645\u200b\u6709\u6548\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u662f\u200b <code>.spec.ips</code> \u200b\u4e0e\u200b\u5b50\u7f51\u200b CIDR \u200b\u7684\u200b\u4ea4\u96c6\u200b\uff1b</li> <li>\u200b\u540c\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b\u4e0d\u540c\u200b IP \u200b\u6c60\u200b\uff0c\u200b\u4e0d\u80fd\u200b\u5305\u542b\u200b\u76f8\u540c\u200b\u7684\u200b\uff08\u200b\u6709\u6548\u200b\uff09IP \u200b\u5730\u5740\u200b\uff1b</li> <li>IP \u200b\u6c60\u200b\u7684\u200b <code>.spec.ips</code> \u200b\u53ef\u200b\u52a8\u6001\u200b\u4fee\u6539\u200b\uff1b</li> <li>IP \u200b\u6c60\u4f1a\u200b\u7ee7\u627f\u200b\u5b50\u7f51\u200b\u7684\u200b\u4fdd\u7559\u200b IP\uff0c\u200b\u4ece\u200b IP \u200b\u6c60\u200b\u968f\u673a\u200b\u5206\u914d\u200b IP \u200b\u5730\u5740\u200b\u65f6\u200b\uff0c\u200b\u4f1a\u200b\u8df3\u200b\u8fc7\u200b\u5305\u542b\u200b\u5728\u200b IP \u200b\u6c60\u4e2d\u200b\u7684\u200b\u4fdd\u7559\u200b IP\uff1b</li> <li>\u200b\u4ece\u200b\u5b50\u7f51\u200b\u968f\u673a\u200b\u5206\u914d\u200b IP \u200b\u5730\u5740\u200b\u65f6\u200b\uff0c\u200b\u53ea\u4f1a\u200b\u4ece\u200b\u5b50\u7f51\u200b\u6240\u6709\u200b IP \u200b\u6c60\u200b\u4ee5\u5916\u200b\u7684\u200b\u8303\u56f4\u200b\u5206\u914d\u200b\u3002</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/loadbalancer-service/","title":"LoadBalancer \u200b\u7c7b\u578b\u200b Service","text":"<p>Kube-OVN \u200b\u5df2\u7ecf\u200b\u652f\u6301\u200b\u4e86\u200b VPC \u200b\u548c\u200b VPC \u200b\u7f51\u5173\u200b\u7684\u200b\u5b9e\u73b0\u200b\uff0c\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b VPC \u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b VPC \u200b\u7f51\u5173\u200b\u7684\u200b\u4f7f\u7528\u200b\u6bd4\u8f83\u590d\u6742\u200b\uff0c\u200b\u57fa\u4e8e\u200b VPC \u200b\u7f51\u5173\u200b\u7684\u200b\u5b9e\u73b0\u200b\u505a\u200b\u4e86\u200b\u7b80\u5316\u200b\uff0c\u200b\u652f\u6301\u200b\u5728\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u521b\u5efa\u200b <code>LoadBalancer</code> \u200b\u7c7b\u578b\u200b\u7684\u200b Service\uff0c\u200b\u5b9e\u73b0\u200b\u901a\u8fc7\u200b LoadBalancerIP \u200b\u6765\u200b\u8bbf\u95ee\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Service\u3002</p> <p>\u200b\u9996\u5148\u200b\u786e\u8ba4\u200b\u73af\u5883\u200b\u4e0a\u200b\u6ee1\u8db3\u200b\u4ee5\u4e0b\u200b\u6761\u4ef6\u200b\uff1a</p> <ol> <li>\u200b\u5b89\u88c5\u200b\u4e86\u200b <code>multus-cni</code> \u200b\u548c\u200b <code>macvlan cni</code>\u3002</li> <li>LoadBalancer Service \u200b\u7684\u200b\u652f\u6301\u200b\uff0c\u200b\u662f\u200b\u5bf9\u200b VPC \u200b\u7f51\u5173\u200b\u4ee3\u7801\u200b\u8fdb\u884c\u200b\u7b80\u5316\u200b\u5b9e\u73b0\u200b\u7684\u200b\uff0c\u200b\u4ecd\u7136\u200b\u4f7f\u7528\u200b <code>vpc-nat-gw</code> \u200b\u7684\u200b\u955c\u50cf\u200b\uff0c\u200b\u4f9d\u8d56\u200b macvlan \u200b\u63d0\u4f9b\u200b\u591a\u200b\u7f51\u5361\u200b\u529f\u80fd\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u76ee\u524d\u200b\u53ea\u200b\u652f\u6301\u200b\u5728\u200b<code>\u200b\u9ed8\u8ba4\u200b VPC</code> \u200b\u914d\u7f6e\u200b\uff0c\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e0b\u200b\u7684\u200b LoadBalancer \u200b\u652f\u6301\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b VPC \u200b\u7684\u200b\u6587\u6863\u200b VPC \u200b\u914d\u7f6e\u200b\u3002</li> </ol>"},{"location":"guide/loadbalancer-service/#vpc-loadbalancer-service","title":"\u9ed8\u8ba4\u200b VPC LoadBalancer Service \u200b\u914d\u7f6e\u200b\u6b65\u9aa4","text":""},{"location":"guide/loadbalancer-service/#_1","title":"\u5f00\u542f\u200b\u7279\u6027\u200b\u5f00\u5173","text":"<p>\u200b\u4fee\u6539\u200b kube-system namespace \u200b\u4e0b\u200b\u7684\u200b deployment <code>kube-ovn-controller</code>\uff0c\u200b\u5728\u200b <code>args</code> \u200b\u4e2d\u200b\u589e\u52a0\u200b\u53c2\u6570\u200b  <code>--enable-lb-svc=true</code>\uff0c\u200b\u5f00\u542f\u200b\u529f\u80fd\u200b\u5f00\u5173\u200b\uff0c\u200b\u8be5\u200b\u53c2\u6570\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b false\u3002</p> <pre><code>containers:\n- args:\n  - /kube-ovn/start-controller.sh\n  - --default-cidr=10.16.0.0/16\n  - --default-gateway=10.16.0.1\n  - --default-gateway-check=true\n  - --enable-lb-svc=true                  // \u200b\u53c2\u6570\u8bbe\u7f6e\u200b\u4e3a\u200b true\n</code></pre>"},{"location":"guide/loadbalancer-service/#networkattachmentdefinition-crd","title":"\u521b\u5efa\u200b NetworkAttachmentDefinition CRD \u200b\u8d44\u6e90","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b <code>net-attach-def</code> \u200b\u8d44\u6e90\u200b:</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: lb-svc-attachment\n  namespace: kube-system\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth0\",                         //\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\uff0c\u200b\u6839\u636e\u200b\u5b9e\u9645\u200b\u60c5\u51b5\u200b\u914d\u7f6e\u200b\n      \"mode\": \"bridge\"\n    }'\n</code></pre> <p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u901a\u8fc7\u200b\u7269\u7406\u200b\u7f51\u5361\u200b <code>eth0</code> \u200b\u6765\u200b\u5b9e\u73b0\u200b\u591a\u200b\u7f51\u5361\u200b\u529f\u80fd\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u5176\u4ed6\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>master</code> \u200b\u53d6\u503c\u200b\uff0c\u200b\u6307\u5b9a\u200b\u4f7f\u7528\u200b\u7684\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u540d\u79f0\u200b\u3002</p>"},{"location":"guide/loadbalancer-service/#subnet","title":"\u521b\u5efa\u200b Subnet","text":"<p>\u200b\u521b\u5efa\u200b\u7684\u200b Subnet\uff0c\u200b\u7528\u4e8e\u200b\u7ed9\u200b LoadBalancer Service \u200b\u5206\u914d\u200b LoadBalancerIP\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u6b63\u5e38\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5916\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u8bbf\u95ee\u200b\u5230\u200b\u3002\u200b\u53ef\u4ee5\u200b\u914d\u7f6e\u200b Underlay Subnet \u200b\u7528\u4e8e\u200b\u5730\u5740\u200b\u5206\u914d\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b\u65b0\u200b\u5b50\u7f51\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attach-subnet\nspec:\n  protocol: IPv4\n  provider: lb-svc-attachment.kube-system    # provider \u200b\u683c\u5f0f\u200b\u56fa\u5b9a\u200b\uff0c\u200b\u7531\u200b\u4e0a\u200b\u4e00\u6b65\u200b\u521b\u5efa\u200b\u7684\u200b net-attach-def \u200b\u8d44\u6e90\u200b\u7684\u200b Name.Namespace \u200b\u7ec4\u6210\u200b\n  cidrBlock: 172.18.0.0/16\n  gateway: 172.18.0.1\n  excludeIps:\n  - 172.18.0.0..172.18.0.10\n</code></pre> <p>Subnet \u200b\u4e2d\u200b <code>provider</code> \u200b\u53c2\u6570\u200b\u4ee5\u200b <code>ovn</code> \u200b\u6216\u8005\u200b\u4ee5\u200b <code>.ovn</code> \u200b\u4e3a\u200b\u540e\u7f00\u200b\u7ed3\u675f\u200b\uff0c\u200b\u8868\u793a\u200b\u8be5\u200b\u5b50\u7f51\u200b\u662f\u200b\u7531\u200b Kube-OVN \u200b\u7ba1\u7406\u200b\u4f7f\u7528\u200b\uff0c\u200b\u9700\u8981\u200b\u5bf9\u5e94\u200b\u521b\u5efa\u200b <code>logical switch</code> \u200b\u8bb0\u5f55\u200b\u3002</p> <p><code>provider</code> \u200b\u975e\u200b <code>ovn</code> \u200b\u6216\u8005\u200b\u975e\u200b <code>.ovn</code> \u200b\u4e3a\u200b\u540e\u7f00\u200b\u7ed3\u675f\u200b\uff0c\u200b\u5219\u200b Kube-OVN \u200b\u53ea\u200b\u63d0\u4f9b\u200b IPAM \u200b\u529f\u80fd\u200b\uff0c\u200b\u8bb0\u5f55\u200b IP \u200b\u5730\u5740\u200b\u5206\u914d\u60c5\u51b5\u200b\uff0c\u200b\u4e0d\u200b\u5bf9\u200b\u5b50\u7f51\u200b\u505a\u200b\u4e1a\u52a1\u200b\u903b\u8f91\u200b\u5904\u7406\u200b\u3002</p>"},{"location":"guide/loadbalancer-service/#loadbalancer-service_1","title":"\u521b\u5efa\u200b LoadBalancer Service","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b LoadBalancer Service\uff1a</p> <pre><code>apiVersion: v1\nkind: Service\nmetadata:\n  annotations:\n    lb-svc-attachment.kube-system.kubernetes.io/logical_switch: attach-subnet   #\u200b\u53ef\u200b\u9009\u200b\n    ovn.kubernetes.io/attachmentprovider: lb-svc-attachment.kube-system          #\u200b\u5fc5\u987b\u200b\n  labels:\n    app: dynamic\n  name: test-service\n  namespace: default\nspec:\n  loadBalancerIP: 172.18.0.18                                                   #\u200b\u53ef\u200b\u9009\u200b\n  ports:\n    - name: test\n      protocol: TCP\n      port: 80\n      targetPort: 80\n  selector:\n    app: dynamic\n  sessionAffinity: None\n  type: LoadBalancer\n</code></pre> <p>\u200b\u5728\u200b yaml \u200b\u4e2d\u200b\uff0cannotation <code>ovn.kubernetes.io/attachmentprovider</code>  \u200b\u4e3a\u200b\u5fc5\u586b\u200b\u9879\u200b\uff0c\u200b\u53d6\u503c\u200b\u7531\u200b\u7b2c\u4e00\u6b65\u200b\u521b\u5efa\u200b\u7684\u200b <code>net-attach-def</code> \u200b\u8d44\u6e90\u200b\u7684\u200b Name.Namespace \u200b\u7ec4\u6210\u200b\u3002\u200b\u8be5\u200b annotation \u200b\u7528\u4e8e\u200b\u5728\u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\uff0c\u200b\u67e5\u627e\u200b <code>net-attach-def</code> \u200b\u8d44\u6e90\u200b\u3002</p> <p>\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b annotation \u200b\u6307\u5b9a\u200b\u591a\u200b\u7f51\u5361\u200b\u5730\u5740\u200b\u5206\u914d\u200b\u4f7f\u7528\u200b\u7684\u200b\u5b50\u7f51\u200b\u3002annotation key \u200b\u683c\u5f0f\u200b\u4e3a\u200b net-attach-def \u200b\u8d44\u6e90\u200b\u7684\u200b <code>Name.Namespace.kubernetes.io/logical_switch</code>\u3002\u200b\u8be5\u200b\u914d\u7f6e\u200b\u4e3a\u200b<code>\u200b\u53ef\u200b\u9009\u200b</code>\u200b\u9009\u9879\u200b\uff0c\u200b\u5728\u200b\u6ca1\u6709\u200b\u6307\u5b9a\u200b LoadBalancerIP \u200b\u5730\u5740\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b\u5b50\u7f51\u200b\u52a8\u6001\u5206\u914d\u200b\u5730\u5740\u200b\uff0c\u200b\u586b\u5145\u200b\u5230\u200b LoadBalancerIP \u200b\u5b57\u200b\u6bb5\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u9759\u6001\u200b\u914d\u7f6e\u200b LoadBalancerIP \u200b\u5730\u5740\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u914d\u7f6e\u200b <code>spec.loadBalancerIP</code> \u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u9700\u8981\u200b\u5728\u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\u5185\u200b\u3002</p> <p>\u200b\u5728\u200b\u6267\u884c\u200b yaml \u200b\u521b\u5efa\u200b Service \u200b\u540e\u200b\uff0c\u200b\u5728\u200b Service \u200b\u540c\u200b Namespace \u200b\u4e0b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b Pod \u200b\u542f\u52a8\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get pod\nNAME                                      READY   STATUS    RESTARTS   AGE\nlb-svc-test-service-6869d98dd8-cjvll      1/1     Running   0          107m\n# kubectl get svc\nNAME              TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE\ntest-service      LoadBalancer   10.109.201.193   172.18.0.18   80:30056/TCP   107m\n</code></pre> <p>\u200b\u6307\u5b9a\u200b <code>service.spec.loadBalancerIP</code> \u200b\u53c2\u6570\u200b\u65f6\u200b\uff0c\u200b\u6700\u7ec8\u200b\u5c06\u200b\u8be5\u200b\u53c2\u6570\u200b\u8d4b\u503c\u200b\u7ed9\u200b service external-ip \u200b\u5b57\u200b\u6bb5\u200b\u3002\u200b\u4e0d\u200b\u6307\u5b9a\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u8be5\u200b\u53c2\u6570\u200b\u4e3a\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u503c\u200b\u3002</p> <p>\u200b\u67e5\u770b\u200b\u6d4b\u8bd5\u200b Pod \u200b\u7684\u200b yaml \u200b\u8f93\u51fa\u200b\uff0c\u200b\u5b58\u5728\u200b\u591a\u200b\u7f51\u5361\u200b\u5206\u914d\u200b\u7684\u200b\u5730\u5740\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get pod -o yaml lb-svc-test-service-6869d98dd8-cjvll\napiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    k8s.v1.cni.cncf.io/network-status: |-\n      [{\n          \"name\": \"kube-ovn\",\n          \"ips\": [\n              \"10.16.0.2\"\n          ],\n          \"default\": true,\n          \"dns\": {}\n      },{\n          \"name\": \"default/test-service\",\n          \"interface\": \"net1\",\n          \"mac\": \"ba:85:f7:02:9f:42\",\n          \"dns\": {}\n      }]\n    k8s.v1.cni.cncf.io/networks: default/test-service\n    k8s.v1.cni.cncf.io/networks-status: |-\n      [{\n          \"name\": \"kube-ovn\",\n          \"ips\": [\n              \"10.16.0.2\"\n          ],\n          \"default\": true,\n          \"dns\": {}\n      },{\n          \"name\": \"default/test-service\",\n          \"interface\": \"net1\",\n          \"mac\": \"ba:85:f7:02:9f:42\",\n          \"dns\": {}\n      }]\n    ovn.kubernetes.io/allocated: \"true\"\n    ovn.kubernetes.io/cidr: 10.16.0.0/16\n    ovn.kubernetes.io/gateway: 10.16.0.1\n    ovn.kubernetes.io/ip_address: 10.16.0.2\n    ovn.kubernetes.io/logical_router: ovn-cluster\n    ovn.kubernetes.io/logical_switch: ovn-default\n    ovn.kubernetes.io/mac_address: 00:00:00:45:F4:29\n    ovn.kubernetes.io/pod_nic_type: veth-pair\n    ovn.kubernetes.io/routed: \"true\"\n    test-service.default.kubernetes.io/allocated: \"true\"\n    test-service.default.kubernetes.io/cidr: 172.18.0.0/16\n    test-service.default.kubernetes.io/gateway: 172.18.0.1\n    test-service.default.kubernetes.io/ip_address: 172.18.0.18\n    test-service.default.kubernetes.io/logical_switch: attach-subnet\n    test-service.default.kubernetes.io/mac_address: 00:00:00:AF:AA:BF\n    test-service.default.kubernetes.io/pod_nic_type: veth-pair\n</code></pre> <p>\u200b\u67e5\u770b\u200b Service \u200b\u7684\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get svc -o yaml test-service\napiVersion: v1\nkind: Service\nmetadata:\n  annotations:\n    kubectl.kubernetes.io/last-applied-configuration: |\n      {\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{\"test-service.default.kubernetes.io/logical_switch\":\"attach-subnet\"},\"labels\":{\"app\":\"dynamic\"},\"name\":\"test-service\",\"namespace\":\"default\"},\"spec\":{\"ports\":[{\"name\":\"test\",\"port\":80,\"protocol\":\"TCP\",\"targetPort\":80}],\"selector\":{\"app\":\"dynamic\"},\"sessionAffinity\":\"None\",\"type\":\"LoadBalancer\"}}\n    ovn.kubernetes.io/vpc: ovn-cluster\n    test-service.default.kubernetes.io/logical_switch: attach-subnet\n  creationTimestamp: \"2022-06-15T09:01:58Z\"\n  labels:\n    app: dynamic\n  name: test-service\n  namespace: default\n  resourceVersion: \"38485\"\n  uid: 161edee1-7f6e-40f5-9e09-5a52c44267d0\nspec:\n  allocateLoadBalancerNodePorts: true\n  clusterIP: 10.109.201.193\n  clusterIPs:\n  - 10.109.201.193\n  externalTrafficPolicy: Cluster\n  internalTrafficPolicy: Cluster\n  ipFamilies:\n  - IPv4\n  ipFamilyPolicy: SingleStack\n  ports:\n  - name: test\n    nodePort: 30056\n    port: 80\n    protocol: TCP\n    targetPort: 80\n  selector:\n    app: dynamic\n  sessionAffinity: None\n  type: LoadBalancer\nstatus:\n  loadBalancer:\n    ingress:\n    - ip: 172.18.0.18\n</code></pre>"},{"location":"guide/loadbalancer-service/#loadbalancerip","title":"\u6d4b\u8bd5\u200b LoadBalancerIP \u200b\u8bbf\u95ee","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml, \u200b\u521b\u5efa\u200b\u6d4b\u8bd5\u200b Pod\uff0c\u200b\u4f5c\u4e3a\u200b Service \u200b\u7684\u200b Endpoints \u200b\u63d0\u4f9b\u200b\u670d\u52a1\u200b:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: dynamic\n  name: dynamic\n  namespace: default\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: dynamic\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      creationTimestamp: null\n      labels:\n        app: dynamic\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n      dnsPolicy: ClusterFirst\n      restartPolicy: Always\n</code></pre> <p>\u200b\u6b63\u5e38\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u63d0\u4f9b\u200b\u7684\u200b\u5b50\u7f51\u200b\u5730\u5740\u200b\uff0c\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5916\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u8bbf\u95ee\u200b\u5230\u200b\u3002\u200b\u4e3a\u4e86\u200b\u7b80\u5355\u200b\u9a8c\u8bc1\u200b\uff0c\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\u8bbf\u95ee\u200b Service \u200b\u7684\u200b <code>LoadBalancerIP:Port</code>\uff0c\u200b\u67e5\u770b\u200b\u662f\u5426\u200b\u6b63\u5e38\u200b\u8bbf\u95ee\u200b\u6210\u529f\u200b\u3002</p> <pre><code># curl 172.18.0.11:80\n&lt;html&gt;\n&lt;head&gt;\n        &lt;title&gt;Hello World!&lt;/title&gt;\n        &lt;link href='//fonts.googleapis.com/css?family=Open+Sans:400,700' rel='stylesheet' type='text/css'&gt;\n        &lt;style&gt;\n        body {\n                background-color: white;\n                text-align: center;\n                padding: 50px;\n                font-family: \"Open Sans\",\"Helvetica Neue\",Helvetica,Arial,sans-serif;\n        }\n        #logo {\n                margin-bottom: 40px;\n        }\n        &lt;/style&gt;\n&lt;/head&gt;\n&lt;body&gt;\n                &lt;h1&gt;Hello World!&lt;/h1&gt;\n                                &lt;h3&gt;Links found&lt;/h3&gt;\n        &lt;h3&gt;I am on  dynamic-7d8d7874f5-hsgc4&lt;/h3&gt;\n        &lt;h3&gt;Cookie                  =&lt;/h3&gt;\n                                        &lt;b&gt;KUBERNETES&lt;/b&gt; listening in 443 available at tcp://10.96.0.1:443&lt;br /&gt;\n                                                &lt;h3&gt;my name is hanhouchao!&lt;/h3&gt;\n                        &lt;h3&gt; RequestURI='/'&lt;/h3&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre> <p>\u200b\u8fdb\u5165\u200b Service \u200b\u521b\u5efa\u200b\u7684\u200b Pod\uff0c\u200b\u67e5\u770b\u200b\u7f51\u7edc\u200b\u7684\u200b\u4fe1\u606f\u200b</p> <pre><code># ip a\n4: net1@if62: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether ba:85:f7:02:9f:42 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 172.18.0.18/16 scope global net1\n       valid_lft forever preferred_lft forever\n    inet6 fe80::b885:f7ff:fe02:9f42/64 scope link\n       valid_lft forever preferred_lft forever\n36: eth0@if37: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1400 qdisc noqueue state UP group default\n    link/ether 00:00:00:45:f4:29 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 10.16.0.2/16 brd 10.16.255.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe45:f429/64 scope link\n       valid_lft forever preferred_lft forever\n\n# ip rule\n0: from all lookup local\n32764: from all iif eth0 lookup 100\n32765: from all iif net1 lookup 100\n32766: from all lookup main\n32767: from all lookup default\n\n# ip route show table 100\ndefault via 172.18.0.1 dev net1\n10.109.201.193 via 10.16.0.1 dev eth0\n172.18.0.0/16 dev net1 scope link\n\n# iptables -t nat -L -n -v\nChain PREROUTING (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            172.18.0.18          tcp dpt:80 to:10.109.201.193:80\n\nChain INPUT (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n\nChain OUTPUT (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n\nChain POSTROUTING (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n    0     0 MASQUERADE  all  --  *      *       0.0.0.0/0            10.109.201.193\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/mirror/","title":"\u6d41\u91cf\u200b\u955c\u50cf","text":"<p>\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u8fdb\u51fa\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u8fdb\u884c\u200b\u590d\u5236\u5230\u200b\u4e3b\u673a\u200b\u7684\u200b\u7279\u5b9a\u200b\u7f51\u5361\u200b\u3002\u200b\u7ba1\u7406\u5458\u200b\u6216\u200b\u5f00\u53d1\u8005\u200b \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u76d1\u542c\u200b\u8fd9\u5757\u200b\u7f51\u5361\u200b\u83b7\u5f97\u200b\u5b8c\u6574\u200b\u7684\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u6765\u200b\u8fdb\u4e00\u6b65\u200b\u8fdb\u884c\u200b\u5206\u6790\u200b\uff0c\u200b\u76d1\u63a7\u200b\uff0c\u200b\u5b89\u5168\u200b\u5ba1\u8ba1\u200b\u7b49\u200b\u64cd\u4f5c\u200b\u3002 \u200b\u4e5f\u200b\u53ef\u200b\u548c\u200b\u4f20\u7edf\u200b\u7684\u200b NPM \u200b\u5bf9\u63a5\u200b\u83b7\u53d6\u200b\u66f4\u200b\u7ec6\u7c92\u5ea6\u200b\u7684\u200b\u6d41\u91cf\u200b\u76d1\u63a7\u200b\u3002</p> <p>\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5e26\u6765\u200b\u4e00\u5b9a\u200b\u7684\u200b\u6027\u80fd\u200b\u635f\u5931\u200b\uff0c\u200b\u6839\u636e\u200b CPU \u200b\u6027\u80fd\u200b\u4ee5\u53ca\u200b\u6d41\u91cf\u200b\u7684\u200b\u7279\u5f81\u200b\uff0c\u200b\u4f1a\u200b\u6709\u200b 5%~10% \u200b\u7684\u200b \u200b\u989d\u5916\u200b CPU \u200b\u6d88\u8017\u200b\u3002</p> <p></p>"},{"location":"guide/mirror/#_2","title":"\u5168\u5c40\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u914d\u7f6e","text":"<p>\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u529f\u80fd\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u5173\u95ed\u200b\u72b6\u6001\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u5f00\u542f\u200b\u8bf7\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\uff1a</p> <ul> <li><code>--enable-mirror=true</code>\uff1a \u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u3002</li> <li><code>--mirror-iface=mirror0</code>: \u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u6240\u200b\u590d\u5236\u5230\u200b\u7684\u200b\u7f51\u5361\u200b\u540d\u200b\u3002\u200b\u8be5\u200b\u7f51\u5361\u200b\u53ef\u200b\u4e3a\u4e3b\u200b\u673a\u4e0a\u200b\u5df2\u200b\u5b58\u5728\u200b\u7684\u200b\u4e00\u5757\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\uff0c \u200b\u6b64\u65f6\u200b\u8be5\u200b\u7f51\u5361\u200b\u4f1a\u200b\u88ab\u200b\u6865\u63a5\u200b\u8fdb\u200b br-int \u200b\u7f51\u6865\u200b\uff0c\u200b\u955c\u50cf\u200b\u6d41\u91cf\u200b\u4f1a\u200b\u76f4\u63a5\u200b\u63a5\u5165\u200b\u5e95\u5c42\u200b\u4ea4\u6362\u673a\u200b\u3002\u200b\u82e5\u200b\u7f51\u5361\u200b\u540d\u200b\u4e0d\u200b\u5b58\u5728\u200b\uff0cKube-OVN \u200b\u4f1a\u200b\u81ea\u52a8\u200b \u200b\u521b\u5efa\u200b\u4e00\u5757\u200b\u540c\u540d\u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u5361\u200b\uff0c\u200b\u7ba1\u7406\u5458\u200b\u6216\u200b\u5f00\u53d1\u8005\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5bbf\u4e3b\u673a\u200b\u4e0a\u200b\u901a\u8fc7\u200b\u8be5\u200b\u7f51\u5361\u200b\u83b7\u53d6\u200b\u5f53\u524d\u200b\u8282\u70b9\u200b\u6240\u6709\u200b\u6d41\u91cf\u200b\u3002\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>mirror0</code>\u3002</li> </ul> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u7528\u200b tcpdump \u200b\u6216\u200b\u5176\u4ed6\u200b\u6d41\u91cf\u200b\u5206\u6790\u200b\u5de5\u5177\u200b\u76d1\u542c\u200b <code>mirror0</code> \u200b\u4e0a\u200b\u7684\u200b\u6d41\u91cf\u200b\uff1a</p> <pre><code>tcpdump -ni mirror0\n</code></pre>"},{"location":"guide/mirror/#pod","title":"Pod \u200b\u7ea7\u522b\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u914d\u7f6e","text":"<p>\u200b\u5982\u679c\u200b\u53ea\u200b\u9700\u200b\u5bf9\u200b\u90e8\u5206\u200b Pod \u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b\u955c\u50cf\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u5173\u95ed\u200b\u5168\u5c40\u200b\u7684\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u529f\u80fd\u200b\uff0c\u200b\u7136\u540e\u200b\u5728\u200b\u7279\u5b9a\u200b Pod \u200b\u4e0a\u200b\u589e\u52a0\u200b <code>ovn.kubernetes.io/mirror</code> annotation \u200b\u6765\u200b\u5f00\u542f\u200b Pod \u200b\u7ea7\u522b\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u3002</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: mirror-pod\n  namespace: ls1\n  annotations:\n    ovn.kubernetes.io/mirror: \"true\"\nspec:\n  containers:\n  - name: mirror-pod\n    image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"guide/mirror/#_3","title":"\u6027\u80fd\u200b\u6d4b\u8bd5","text":"<p>\u200b\u5728\u200b\u76f8\u540c\u200b\u73af\u5883\u200b\u4e0a\u200b\uff0c\u200b\u5206\u522b\u200b\u5f00\u542f\u200b\u548c\u200b\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u5f00\u5173\u200b\uff0c\u200b\u8fdb\u884c\u200b\u6d4b\u8bd5\u200b</p>"},{"location":"guide/mirror/#1-pod-to-pod-in-the-same-nodes","title":"1. Pod to Pod in the same Nodes","text":""},{"location":"guide/mirror/#_4","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 12.7 us 289 Mbits/sec 12.6 us (1.8%) 77.9 Mbits/sec 128 15.5 us 517 Mbits/sec 12.7 us (0%) 155 Mbits/sec 512 12.2 us 1.64 Gbits/sec 12.4 us (0%) 624 Mbits/sec 1k 13 us 2.96 Gbits/sec 11.4 us (0.53%) 1.22 Gbits/sec 4k 18 us 7.67 Gbits/sec 25.7 us (0.41%) 1.50 Gbits/sec"},{"location":"guide/mirror/#_5","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 11.9 us 324 Mbits/sec 12.2 us (0.22%) 102 Mbits/sec 128 10.5 us 582 Mbits/sec 9.5 us (0.21%) 198 Mbits/sec 512 11.6 us 1.84 Gbits/sec 9.32 us (0.091%) 827 Mbits/sec 1k 10.5 us 3.44 Gbits/sec 10 us (1.2%) 1.52 Gbits/sec 4k 16.7 us 8.52 Gbits/sec 18.2 us (1.3%) 2.42 Gbits/sec"},{"location":"guide/mirror/#2-pod-to-pod-in-the-different-nodes","title":"2. Pod to Pod in the different Nodes","text":""},{"location":"guide/mirror/#_6","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 258 us 143 Mbits/sec 237 us (61%) 28.5 Mbits/sec 128 240 us 252 Mbits/sec 231 us (64%) 54.9 Mbits/sec 512 236 us 763 Mbits/sec 256 us (68%) 194 Mbits/sec 1k 242 us 969 Mbits/sec 225 us (62%) 449 Mbits/sec 4k 352 us 1.12 Gbits/sec 382 us (0.71%) 21.4 Mbits/sec"},{"location":"guide/mirror/#_7","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 278 us 140 Mbits/sec 227 us (24%) 59.6 Mbits/sec 128 249 us 265 Mbits/sec 265 us (23%) 114 Mbits/sec 512 233 us 914 Mbits/sec 235 us (21%) 468 Mbits/sec 1k 238 us 1.14 Gbits/sec 240 us (15%) 891 Mbits/sec 4k 370 us 1.25 Gbits/sec 361 us (0.43%) 7.54 Mbits/sec"},{"location":"guide/mirror/#3-node-to-node","title":"3. Node to Node","text":""},{"location":"guide/mirror/#_8","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 205 us 162 Mbits/sec 183 us (11%) 74.2 Mbits/sec 128 222 us 280 Mbits/sec 206 us (6.3%) 155 Mbits/sec 512 220 us 1.04 Gbits/sec 177 us (20%) 503 Mbits/sec 1k 213 us 2.06 Gbits/sec 201 us (8.6%) 1.14 Gbits/sec 4k 280 us 5.01 Gbits/sec 315 us (37%) 1.20 Gbits/sec"},{"location":"guide/mirror/#_9","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 204 us 157 Mbits/sec 204 us (8.8%) 81.9 Mbits/sec 128 213 us 262 Mbits/sec 225 us (19%) 136 Mbits/sec 512 220 us 1.02 Gbits/sec 227 us (21%) 486 Mbits/sec 1k 217 us 1.79 Gbits/sec 218 us (29%) 845 Mbits/sec 4k 275 us 5.27 Gbits/sec 336 us (34%) 1.21 Gbits/sec"},{"location":"guide/mirror/#4-pod-to-the-node-where-the-pod-is-located","title":"4. Pod to the Node where the Pod is located","text":""},{"location":"guide/mirror/#_10","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 12.2 us 295 Mbits/sec 12.7 us (0.27%) 74.1 Mbits/sec 128 14.1 us 549 Mbits/sec 10.6 us (0.41%) 153 Mbits/sec 512 13.5 us 1.83 Gbits/sec 12.7 us (0.23%) 586 Mbits/sec 1k 12 us 2.69 Gbits/sec 13 us (1%) 1.16 Gbits/sec 4k 18.9 us 4.51 Gbits/sec 21.8 us (0.42%) 1.81 Gbits/sec"},{"location":"guide/mirror/#_11","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 10.4 us 335 Mbits/sec 12.2 us (0.75%) 95.4 Mbits/sec 128 12.1 us 561 Mbits/sec 11.3 us (0.25%) 194 Mbits/sec 512 11.6 us 1.87 Gbits/sec 10.7 us (0.66%) 745 Mbits/sec 1k 12.7 us 3.12 Gbits/sec 10.9 us (1.2%) 1.46 Gbits/sec 4k 16.5 us 8.23 Gbits/sec 17.9 us (1.5%) 2.51 Gbits/sec"},{"location":"guide/mirror/#5-pod-to-the-node-where-the-pod-is-not-located","title":"5. Pod to the Node where the Pod is not located","text":""},{"location":"guide/mirror/#_12","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 234 us 153 Mbits/sec 232 us (63%) 29.4 Mbits/sec 128 237 us 261 Mbits/sec 238 us (49%) 76.1 Mbits/sec 512 231 us 701 Mbits/sec 238 us (57%) 279 Mbits/sec 1k 256 us 1.05 Gbits/sec 228 us (56%) 524 Mbits/sec 4k 330 us 1.08 Gbits/sec 359 us (1.5%) 35.7 Mbits/sec"},{"location":"guide/mirror/#_13","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 283 us 141 Mbits/sec 230 us (26%) 55.8 Mbits/sec 128 234 us 255 Mbits/sec 234 us (25%) 113 Mbits/sec 512 246 us 760 Mbits/sec 234 us (22%) 458 Mbits/sec 1k 268 us 1.23 Gbits/sec 242 us (20%) 879 Mbits/sec 4k 326 us 1.20 Gbits/sec 369 us (0.5%) 7.87 Mbits/sec"},{"location":"guide/mirror/#6-pod-to-the-cluster-ip-service","title":"6. Pod to the cluster ip service","text":""},{"location":"guide/mirror/#_14","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 237 us 133 Mbits/sec 213 us (65%) 25.5 Mbits/sec 128 232 us 271 Mbits/sec 222 us (62%) 54.8 Mbits/sec 512 266 us 800 Mbits/sec 234 us (60%) 232 Mbits/sec 1k 248 us 986 Mbits/sec 239 us (50%) 511 Mbits/sec 4k 314 us 1.03 Gbits/sec 367 us (0.6%) 13.2 Mbits/sec TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14305.17 0.87ms 1.48ms 24.46ms 100 29082.07 3.87ms 4.35ms 102.85ms"},{"location":"guide/mirror/#_15","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 241 us 145 Mbits/sec 225 us (19%) 60.2 Mbits/sec 128 245 us 261 Mbits/sec 212 us (15%) 123 Mbits/sec 512 252 us 821 Mbits/sec 219 us (14%) 499 Mbits/sec 1k 253 us 1.08 Gbits/sec 242 us (16%) 852 Mbits/sec 4k 320 us 1.32 Gbits/sec 360 us (0.47%) 6.70 Mbits/sec TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 13634.07 0.96ms 1.72ms 30.07ms 100 30215.23 3.59ms 3.20ms 77.56ms"},{"location":"guide/mirror/#7-host-to-the-node-port-service-where-the-pod-is-not-located-on-the-target-node","title":"7. Host to the Node port service where the Pod is not located on the target Node","text":""},{"location":"guide/mirror/#_16","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14802.73 0.88ms 1.66ms 31.49ms 100 29809.58 3.78ms 4.12ms 105.34ms"},{"location":"guide/mirror/#_17","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14273.33 0.90ms 1.60ms 37.16ms 100 30757.81 3.62ms 3.41ms 59.78ms"},{"location":"guide/mirror/#8-host-to-the-node-port-service-where-the-pod-is-located-on-the-target-node","title":"8. Host to the Node port service where the Pod is located on the target Node","text":""},{"location":"guide/mirror/#_18","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 15402.39 802.50us 1.42ms 30.91ms 100 29424.66 4.05ms 4.31ms 90.60ms"},{"location":"guide/mirror/#_19","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14649.21 0.91ms 1.72ms 43.92ms 100 32143.61 3.66ms 3.76ms 67.02ms <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/networkpolicy-log/","title":"NetworkPolicy \u200b\u65e5\u5fd7","text":"<p>NetworkPolicy \u200b\u4e3a\u200b Kubernetes \u200b\u63d0\u4f9b\u200b\u7684\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u63a5\u53e3\u200b\uff0cKube-OVN \u200b\u901a\u8fc7\u200b OVN \u200b\u7684\u200b ACL \u200b\u8fdb\u884c\u200b\u4e86\u200b\u5b9e\u73b0\u200b\u3002 \u200b\u4f7f\u7528\u200b\u4e86\u200b NetworkPolicy \u200b\u540e\u200b\u5982\u679c\u200b\u51fa\u73b0\u200b\u7f51\u7edc\u200b\u4e0d\u901a\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0c\u200b\u96be\u4ee5\u200b\u5224\u65ad\u200b\u662f\u200b\u7f51\u7edc\u6545\u969c\u200b\u95ee\u9898\u200b\u8fd8\u662f\u200b NetworkPolicy \u200b\u89c4\u5219\u200b\u8bbe\u7f6e\u200b\u95ee\u9898\u200b\u5bfc\u81f4\u200b\u7684\u200b\u7f51\u7edc\u200b\u4e2d\u65ad\u200b\u3002 Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b NetworkPolicy \u200b\u65e5\u5fd7\u200b\u529f\u80fd\u200b\uff0c\u200b\u5e2e\u52a9\u200b\u7ba1\u7406\u5458\u200b\u5feb\u901f\u200b\u5b9a\u4f4d\u200b NetworkPolicy Drop \u200b\u89c4\u5219\u200b\u662f\u5426\u200b\u547d\u4e2d\u200b\uff0c\u200b\u5e76\u200b\u8bb0\u5f55\u200b\u6709\u200b\u54ea\u4e9b\u200b\u975e\u6cd5\u200b\u8bbf\u95ee\u200b\u3002</p> <p>NetworkPolicy \u200b\u65e5\u5fd7\u200b\u529f\u80fd\u200b\u4e00\u65e6\u200b\u5f00\u542f\u200b\uff0c\u200b\u5bf9\u200b\u6bcf\u4e2a\u200b\u547d\u4e2d\u200b Drop \u200b\u89c4\u5219\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u90fd\u200b\u9700\u8981\u200b\u6253\u5370\u200b\u65e5\u5fd7\u200b\uff0c\u200b\u4f1a\u200b\u5e26\u6765\u200b\u989d\u5916\u200b\u6027\u80fd\u200b\u5f00\u9500\u200b\u3002 \u200b\u5728\u200b\u6076\u610f\u200b\u653b\u51fb\u200b\u4e0b\u200b\uff0c\u200b\u77ed\u65f6\u95f4\u200b\u5927\u91cf\u200b\u65e5\u5fd7\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u8017\u5c3d\u200b CPU\u3002\u200b\u6211\u4eec\u200b\u5efa\u8bae\u200b\u5728\u200b\u751f\u4ea7\u200b\u73af\u5883\u200b\u9ed8\u8ba4\u200b\u5173\u95ed\u200b\u65e5\u5fd7\u200b\u529f\u80fd\u200b\uff0c\u200b\u5728\u200b\u9700\u8981\u200b\u6392\u67e5\u200b\u95ee\u9898\u200b\u65f6\u200b\uff0c\u200b\u52a8\u6001\u200b\u5f00\u542f\u200b\u65e5\u5fd7\u200b\u3002</p>"},{"location":"guide/networkpolicy-log/#networkpolicy_1","title":"\u5f00\u542f\u200b NetworkPolicy \u200b\u65e5\u5fd7","text":"<p>\u200b\u5728\u200b\u9700\u8981\u200b\u5f00\u542f\u200b\u65e5\u5fd7\u200b\u8bb0\u5f55\u200b\u7684\u200b NetworkPolicy \u200b\u4e2d\u200b\u589e\u52a0\u200b annotation <code>ovn.kubernetes.io/enable_log</code>\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: networking.k8s.io/v1\nkind: NetworkPolicy\nmetadata:\n  name: default-deny-ingress\n  namespace: kube-system\n  annotations:\n    ovn.kubernetes.io/enable_log: \"true\"\nspec:\n  podSelector: {}\n  policyTypes:\n  - Ingress\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5bf9\u5e94\u200b Pod \u200b\u6240\u5728\u200b\u4e3b\u673a\u200b\u7684\u200b <code>/var/log/ovn/ovn-controller.log</code> \u200b\u4e2d\u200b\u89c2\u5bdf\u200b\u5230\u200b\u88ab\u200b\u4e22\u5f03\u200b\u6570\u636e\u5305\u200b\u7684\u200b\u65e5\u5fd7\u200b\uff1a</p> <pre><code># tail -f /var/log/ovn/ovn-controller.log\n2022-07-20T05:55:03.229Z|00394|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=54343,tp_dst=53\n2022-07-20T05:55:06.229Z|00395|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=44187,tp_dst=53\n2022-07-20T05:55:08.230Z|00396|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=54274,tp_dst=53\n2022-07-20T05:55:11.231Z|00397|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=32778,tp_dst=53\n2022-07-20T05:55:11.231Z|00398|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=34188,tp_dst=53\n2022-07-20T05:55:13.231Z|00399|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=43290,tp_dst=53\n2022-07-20T05:55:22.096Z|00400|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n2022-07-20T05:55:22.097Z|00401|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n2022-07-20T05:55:22.098Z|00402|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n</code></pre>"},{"location":"guide/networkpolicy-log/#networkpolicy_2","title":"\u5173\u95ed\u200b NetworkPolicy \u200b\u65e5\u5fd7","text":"<p>\u200b\u5c06\u200b\u5bf9\u5e94\u200b NetworkPolicy \u200b\u4e2d\u200b\u7684\u200b annotation <code>ovn.kubernetes.io/enable_log</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code> \u200b\u5373\u53ef\u200b\u5173\u95ed\u200b NetworkPolicy \u200b\u65e5\u5fd7\u200b\uff1a</p> <pre><code>kubectl annotate networkpolicy -n kube-system default-deny-ingress ovn.kubernetes.io/enable_log=false --overwrite\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/prometheus-grafana/","title":"\u914d\u7f6e\u200b\u76d1\u63a7\u200b\u548c\u200b\u9762\u677f","text":"<p>Kube-OVN \u200b\u53ef\u4ee5\u200b\u5c06\u200b\u7f51\u7edc\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u4fe1\u606f\u200b\u4ee5\u53ca\u200b\u7f51\u7edc\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u8d28\u91cf\u200b\u4fe1\u606f\u200b\u6307\u6807\u200b\u4ee5\u200b Prometheus \u200b\u6240\u200b\u652f\u6301\u200b\u7684\u200b\u683c\u5f0f\u200b\u5bf9\u5916\u200b\u8f93\u51fa\u200b\u3002</p> <p>\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b kube-prometheus \u200b\u6240\u200b\u63d0\u4f9b\u200b\u7684\u200b CRD \u200b\u6765\u200b\u5b9a\u4e49\u200b\u76f8\u5e94\u200b\u7684\u200b Prometheus \u200b\u76d1\u63a7\u200b\u89c4\u5219\u200b\u3002 \u200b\u7528\u6237\u200b\u9700\u8981\u200b\u9884\u5148\u200b\u5b89\u88c5\u200b kube-prometheus \u200b\u6765\u200b\u542f\u7528\u200b\u76f8\u5173\u200b\u7684\u200b CRD\u3002Kube-OVN \u200b\u6240\u200b\u652f\u6301\u200b\u7684\u200b\u5168\u90e8\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u8bf7\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b\u539f\u751f\u200b Prometheus \u200b\u8bf7\u200b\u53c2\u8003\u200b\u914d\u7f6e\u200b\u539f\u751f\u200b Prometheus \u200b\u83b7\u53d6\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"guide/prometheus-grafana/#prometheus-monitor","title":"\u5b89\u88c5\u200b Prometheus Monitor","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b Prometheus Monitor CRD \u200b\u6765\u200b\u7ba1\u7406\u200b\u76d1\u63a7\u200b\u8f93\u51fa\u200b\uff1a</p> <pre><code># \u200b\u7f51\u54af\u200b\u8d28\u91cf\u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/pinger-monitor.yaml\n# kube-ovn-controller \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/controller-monitor.yaml\n# kube-ovn-cni \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/cni-monitor.yaml\n# ovn \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovn-monitor.yaml\n</code></pre> <p>Prometheus \u200b\u62c9\u53d6\u200b\u76d1\u63a7\u200b\u65f6\u95f4\u200b\u95f4\u9694\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 15s\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u8c03\u6574\u200b\u9700\u8981\u200b\u4fee\u6539\u200b yaml \u200b\u4e2d\u200b\u7684\u200b <code>interval</code> \u200b\u5b57\u200b\u6bb5\u200b\u3002</p>"},{"location":"guide/prometheus-grafana/#grafana","title":"\u52a0\u8f7d\u200b Grafana \u200b\u9762\u677f","text":"<p>Kube-OVN \u200b\u8fd8\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u9884\u5148\u200b\u5b9a\u4e49\u200b\u597d\u200b\u7684\u200b Grafana Dashboard \u200b\u5c55\u793a\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u548c\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u76f8\u5173\u200b\u4fe1\u606f\u200b\u3002</p> <p>\u200b\u4e0b\u8f7d\u200b\u5bf9\u5e94\u200b Dashboard \u200b\u6a21\u677f\u200b\uff1a</p> <pre><code># \u200b\u7f51\u7edc\u200b\u8d28\u91cf\u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/pinger-grafana.json\n# kube-ovn-controller \u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/controller-grafana.json\n# kube-ovn-cni \u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/cni-grafana.json\n# ovn \u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovn-grafana.json\n# ovs \u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovs-grafana.json\n</code></pre> <p>\u200b\u5728\u200b Grafana \u200b\u4e2d\u200b\u5bfc\u5165\u200b\u6a21\u677f\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u6570\u636e\u6e90\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b Prometheus \u200b\u5373\u53ef\u200b\u770b\u5230\u200b\u5982\u4e0b\u200b Dashboard\uff1a</p> <p><code>kube-ovn-controller</code> \u200b\u8fd0\u884c\u72b6\u51b5\u200b\u76f8\u5173\u200b\u9762\u677f\u200b\uff1a</p> <p></p> <p><code>kube-ovn-pinger</code> \u200b\u7f51\u7edc\u200b\u8d28\u91cf\u200b\u76f8\u5173\u200b\u9762\u677f\u200b\uff1a</p> <p></p> <p><code>kube-ovn-cni</code> \u200b\u8fd0\u884c\u72b6\u51b5\u200b\u76f8\u5173\u200b\u9762\u677f\u200b\uff1a</p> <p></p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/prometheus/","title":"\u914d\u7f6e\u200b\u539f\u751f\u200b Prometheus \u200b\u83b7\u53d6\u200b\u76d1\u63a7\u200b\u6570\u636e","text":"<p>Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e30\u5bcc\u200b\u7684\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\uff0c\u200b\u7528\u4e8e\u200b OVN/OVS \u200b\u5065\u5eb7\u200b\u72b6\u6001\u200b\u68c0\u67e5\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u548c\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u68c0\u67e5\u200b\u3002Kube-OVN \u200b\u914d\u7f6e\u200b\u4e86\u200b ServiceMonitor\uff0c\u200b\u53ef\u4ee5\u200b\u7528\u4e8e\u200b Prometheus \u200b\u52a8\u6001\u200b\u83b7\u53d6\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p> <p>\u200b\u5728\u200b\u67d0\u4e9b\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u53ea\u200b\u5b89\u88c5\u200b\u4e86\u200b Prometheus Server\uff0c\u200b\u6ca1\u6709\u200b\u5b89\u88c5\u200b\u5176\u4ed6\u200b\u7684\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b Prometheus \u200b\u7684\u200b\u914d\u7f6e\u200b\uff0c\u200b\u52a8\u6001\u200b\u83b7\u53d6\u200b\u96c6\u7fa4\u200b\u73af\u5883\u200b\u7684\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\u3002</p>"},{"location":"guide/prometheus/#prometheus_1","title":"Prometheus \u200b\u914d\u7f6e","text":"<p>\u200b\u4ee5\u4e0b\u200b\u7684\u200b\u914d\u7f6e\u200b\u6587\u6863\u200b\uff0c\u200b\u53c2\u8003\u200b\u81ea\u200b Prometheus \u200b\u670d\u52a1\u200b\u53d1\u73b0\u200b\u3002</p>"},{"location":"guide/prometheus/#_1","title":"\u6743\u9650\u200b\u914d\u7f6e","text":"<p>Prometheus \u200b\u90e8\u7f72\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\uff0c\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b k8s apiserver \u200b\u6765\u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b\u8d44\u6e90\u200b\uff0c\u200b\u4ece\u800c\u200b\u5b9e\u73b0\u200b\u67e5\u8be2\u200b\u4e1a\u52a1\u200b\u7684\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u914d\u7f6e\u200b Prometheus \u200b\u9700\u8981\u200b\u7684\u200b\u6743\u9650\u200b\uff1a</p> <pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  name: prometheus\nrules:\n- apiGroups: [\"\"]\n  resources:\n  - nodes\n  - nodes/proxy\n  - services\n  - endpoints\n  - pods\n  verbs: [\"get\", \"list\", \"watch\"]\n- apiGroups:\n  - extensions\n  resources:\n  - ingresses\n  verbs: [\"get\", \"list\", \"watch\"]\n- nonResourceURLs: [\"/metrics\"]\n  verbs: [\"get\"]\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: prometheus\n  namespace: default\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  name: prometheus\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: prometheus\nsubjects:\n- kind: ServiceAccount\n  name: prometheus\n  namespace: default\n</code></pre>"},{"location":"guide/prometheus/#prometheus_2","title":"Prometheus \u200b\u914d\u7f6e\u6587\u4ef6","text":"<p>Prometheus \u200b\u7684\u200b\u542f\u52a8\u200b\uff0c\u200b\u4f9d\u8d56\u4e8e\u200b\u914d\u7f6e\u6587\u4ef6\u200b prometheus.yml\uff0c\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u8be5\u200b\u6587\u4ef6\u200b\u5185\u5bb9\u200b\u914d\u7f6e\u200b\u5728\u200b ConfigMap \u200b\u5185\u200b\uff0c\u200b\u52a8\u6001\u200b\u6302\u8f7d\u200b\u5230\u200b Pod \u200b\u4e2d\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b Prometheus \u200b\u4f7f\u7528\u200b\u7684\u200b ConfigMap \u200b\u6587\u4ef6\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: prometheus-config\ndata:\n  prometheus.yml: |-\n    global:\n      scrape_interval:     15s \n      evaluation_interval: 15s\n    scrape_configs:\n    - job_name: 'prometheus'\n      static_configs:\n      - targets: ['localhost:9090']\n\n    - job_name: 'kubernetes-nodes'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: node\n\n    - job_name: 'kubernetes-service'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: service\n\n    - job_name: 'kubernetes-endpoints'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: endpoints\n\n    - job_name: 'kubernetes-ingress'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: ingress\n\n    - job_name: 'kubernetes-pods'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: pod\n</code></pre> <p>Prometheus \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u57fa\u4e8e\u200b\u89d2\u8272\u200b\u67e5\u8be2\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u76d1\u63a7\u200b\u7684\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b kubernetes_sd_config\u3002</p> <p>\u200b\u5728\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u4e2d\u200b\uff0cPrometheus \u200b\u652f\u6301\u200b\u67e5\u8be2\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u7684\u200b\u89d2\u8272\u200b\u5305\u542b\u200b node\u3001service\u3001pod\u3001endpoints \u200b\u548c\u200b ingress\u3002\u200b\u5728\u200b ConfigMap \u200b\u914d\u7f6e\u6587\u4ef6\u200b\u4e2d\u200b\u7ed9\u51fa\u200b\u4e86\u200b\u4ee5\u4e0a\u200b\u5168\u90e8\u200b\u8d44\u6e90\u200b\u7684\u200b\u76d1\u63a7\u200b\u67e5\u8be2\u200b\u914d\u7f6e\u200b\u793a\u4f8b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u6839\u636e\u200b\u9700\u8981\u200b\u9009\u62e9\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"guide/prometheus/#prometheus_3","title":"Prometheus \u200b\u90e8\u7f72","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml \u200b\u6587\u4ef6\u200b\uff0c\u200b\u90e8\u7f72\u200b Prometheus Server\uff1a</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: prometheus\n  name: prometheus\n  namespace: default\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: prometheus\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      labels:\n        app: prometheus\n    spec:\n      serviceAccountName: prometheus\n      serviceAccount: prometheus\n      containers:\n      - image: docker.io/prom/prometheus:latest\n        imagePullPolicy: IfNotPresent\n        name: prometheus\n        command:\n        - \"/bin/prometheus\"\n        args:\n        - \"--config.file=/etc/prometheus/prometheus.yml\"\n        ports:\n        - containerPort: 9090\n          protocol: TCP\n        volumeMounts:\n        - mountPath: \"/etc/prometheus\"\n          name: prometheus-config\n      volumes:\n      - name: prometheus-config\n        configMap:\n          name: prometheus-config\n</code></pre> <p>\u200b\u5728\u200b\u90e8\u7f72\u200b\u5b8c\u200b Prometheus \u200b\u4e4b\u540e\u200b\uff0c\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml \u200b\u6587\u4ef6\u200b\uff0c\u200b\u90e8\u7f72\u200b Prometheus Service\uff1a</p> <pre><code>kind: Service\napiVersion: v1\nmetadata:\n  name: prometheus\n  namespace: default\n  labels:\n    name: prometheus\nspec:\n  ports:\n    - name: test\n      protocol: TCP\n      port: 9090\n      targetPort: 9090\n  type: NodePort\n  selector:\n    app: prometheus\n  sessionAffinity: None\n</code></pre> <p>\u200b\u5c06\u200b Prometheus \u200b\u901a\u8fc7\u200b NodePort \u200b\u66b4\u9732\u200b\u540e\u200b\uff0c\u200b\u5373\u53ef\u200b\u901a\u8fc7\u200b\u8282\u70b9\u200b\u6765\u200b\u8bbf\u95ee\u200b Prometheus\u3002</p>"},{"location":"guide/prometheus/#prometheus_4","title":"Prometheus \u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\u9a8c\u8bc1","text":"<p>\u200b\u67e5\u770b\u200b\u73af\u5883\u200b\u4e0a\u200b Prometheus \u200b\u76f8\u5173\u200b\u7684\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get svc \nNAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE\nkubernetes   ClusterIP   10.4.0.1       &lt;none&gt;        443/TCP          8d\nprometheus   NodePort    10.4.102.222   &lt;none&gt;        9090:32611/TCP   8d\n# kubectl get pod -o wide\nNAME                          READY   STATUS    RESTARTS   AGE    IP          NODE              NOMINATED NODE   READINESS GATES\nprometheus-7544b6b84d-v9m8s   1/1     Running   0          3d5h   10.3.0.7    192.168.137.219   &lt;none&gt;           &lt;none&gt;\n# kubectl get endpoints -o wide\nNAME         ENDPOINTS                                                        AGE\nkubernetes   192.168.136.228:6443,192.168.136.232:6443,192.168.137.219:6443   8d\nprometheus   10.3.0.7:9090                                                    8d\n</code></pre> <p>\u200b\u901a\u8fc7\u200b NodePort \u200b\u8bbf\u95ee\u200b Prometheus\uff0c\u200b\u67e5\u770b\u200b Status/Service Discovery \u200b\u52a8\u6001\u200b\u67e5\u8be2\u200b\u5230\u200b\u7684\u200b\u6570\u636e\u200b\uff1a</p> <p></p> <p>\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5f53\u524d\u200b\u53ef\u4ee5\u200b\u67e5\u8be2\u200b\u5230\u200b\u96c6\u7fa4\u200b\u4e0a\u200b\u5168\u90e8\u200b\u7684\u200b Service \u200b\u6570\u636e\u200b\u4fe1\u606f\u200b\u3002</p>"},{"location":"guide/prometheus/#_2","title":"\u914d\u7f6e\u200b\u67e5\u8be2\u200b\u6307\u5b9a\u200b\u7684\u200b\u8d44\u6e90","text":"<p>\u200b\u4ee5\u4e0a\u200b\u7684\u200b ConfigMap \u200b\u914d\u7f6e\u200b\u4e2d\u200b\uff0c\u200b\u6ca1\u6709\u200b\u6dfb\u52a0\u200b\u8fc7\u6ee4\u200b\u6761\u4ef6\u200b\uff0c\u200b\u67e5\u8be2\u200b\u4e86\u200b\u6240\u6709\u200b\u7684\u200b\u8d44\u6e90\u200b\u6570\u636e\u200b\u3002\u200b\u5982\u679c\u200b\u53ea\u200b\u9700\u8981\u200b\u67d0\u4e2a\u200b\u89d2\u8272\u200b\u7684\u200b\u8d44\u6e90\u200b\u6570\u636e\u200b\uff0c\u200b\u5219\u200b\u53ef\u4ee5\u200b\u6dfb\u52a0\u200b\u8fc7\u6ee4\u200b\u6761\u4ef6\u200b\u3002</p> <p>\u200b\u4ee5\u200b Service \u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u4fee\u6539\u200b ConfigMap \u200b\u5185\u5bb9\u200b\uff0c\u200b\u53ea\u200b\u67e5\u8be2\u200b\u5173\u5fc3\u200b\u7684\u200b Service \u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\u3002</p> <pre><code>    - job_name: 'kubernetes-service'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: service\n      relabel_configs:\n      - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape]\n        action: \"keep\"\n        regex: \"true\"\n      - action: labelmap\n        regex: __meta_kubernetes_service_label_(.+)\n      - source_labels: [__meta_kubernetes_namespace]\n        target_label: kubernetes_namespace\n      - source_labels: [__meta_kubernetes_service_name]\n        target_label: kubernetes_service_name\n      - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_path]\n        action: replace\n        target_label: __metrics_path__\n        regex: \"(.+)\"\n</code></pre> <p>Service \u200b\u9ed8\u8ba4\u200b\u76d1\u63a7\u200b\u8def\u5f84\u200b\u4e3a\u200b /metrics\u3002\u200b\u5982\u679c\u200b Service \u200b\u63d0\u4f9b\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u662f\u200b\u5176\u4ed6\u200b\u7684\u200b\u8def\u5f84\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u7ed9\u200b Service \u200b\u6dfb\u52a0\u200b annotation <code>prometheus.io/path</code> \u200b\u6765\u200b\u6307\u5b9a\u200b\u91c7\u96c6\u200b\u8def\u5f84\u200b\u3002</p> <p>\u200b\u5e94\u7528\u200b\u4ee5\u4e0a\u200b yaml\uff0c\u200b\u66f4\u65b0\u200b ConfigMap \u200b\u4fe1\u606f\u200b\uff0c\u200b\u91cd\u5efa\u200b Prometheus Pod\uff0c\u200b\u4f7f\u200b\u914d\u7f6e\u200b\u751f\u6548\u200b\u3002</p> <p>\u200b\u67e5\u770b\u200b kube-system Namespace \u200b\u4e0b\u200b\u7684\u200b Service \u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get svc -n kube-system\nNAME                  TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)                  AGE\nkube-dns              ClusterIP   10.4.0.10      &lt;none&gt;        53/UDP,53/TCP,9153/TCP   13d\nkube-ovn-cni          ClusterIP   10.4.228.60    &lt;none&gt;        10665/TCP                13d\nkube-ovn-controller   ClusterIP   10.4.172.213   &lt;none&gt;        10660/TCP                13d\nkube-ovn-monitor      ClusterIP   10.4.242.9     &lt;none&gt;        10661/TCP                13d\nkube-ovn-pinger       ClusterIP   10.4.122.52    &lt;none&gt;        8080/TCP                 13d\novn-nb                ClusterIP   10.4.80.213    &lt;none&gt;        6641/TCP                 13d\novn-northd            ClusterIP   10.4.126.234   &lt;none&gt;        6643/TCP                 13d\novn-sb                ClusterIP   10.4.216.249   &lt;none&gt;        6642/TCP                 13d\n</code></pre> <p>\u200b\u7ed9\u200b Service \u200b\u6dfb\u52a0\u200b annotation <code>prometheus.io/scrape=\"true\"</code>\uff1a</p> <pre><code># kubectl annotate svc -n kube-system kube-ovn-cni  prometheus.io/scrape=true\nservice/kube-ovn-cni annotated\n# kubectl annotate svc -n kube-system kube-ovn-controller  prometheus.io/scrape=true\nservice/kube-ovn-controller annotated\n# kubectl annotate svc -n kube-system kube-ovn-monitor  prometheus.io/scrape=true\nservice/kube-ovn-monitor annotated\n# kubectl annotate svc -n kube-system kube-ovn-pinger  prometheus.io/scrape=true\nservice/kube-ovn-pinger annotated\n</code></pre> <p>\u200b\u67e5\u770b\u200b\u914d\u7f6e\u200b\u540e\u200b\u7684\u200b Service \u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get svc -o yaml -n kube-system kube-ovn-controller\napiVersion: v1\nkind: Service\nmetadata:\n  annotations:\n    helm.sh/chart-version: v3.10.0-alpha.55\n    helm.sh/original-name: kube-ovn-controller\n    ovn.kubernetes.io/vpc: ovn-cluster\n    prometheus.io/scrape: \"true\"                        // \u200b\u6dfb\u52a0\u200b\u7684\u200b annotation\n  labels:\n    app: kube-ovn-controller\n  name: kube-ovn-controller\n  namespace: kube-system\nspec:\n  clusterIP: 10.4.172.213\n  clusterIPs:\n  - 10.4.172.213\n  internalTrafficPolicy: Cluster\n  ipFamilies:\n  - IPv4\n  ipFamilyPolicy: SingleStack\n  ports:\n  - name: metrics\n    port: 10660\n    protocol: TCP\n    targetPort: 10660\n  selector:\n    app: kube-ovn-controller\n  sessionAffinity: None\n  type: ClusterIP\nstatus:\n  loadBalancer: {}\n</code></pre> <p>\u200b\u67e5\u770b\u200b Prometheus Status Targets \u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u53ea\u6709\u200b\u6dfb\u52a0\u200b\u4e86\u200b annotation \u200b\u7684\u200b Service \u200b\u88ab\u200b\u8fc7\u6ee4\u51fa\u6765\u200b\uff1a </p> <p>\u200b\u66f4\u200b\u591a\u200b\u5173\u4e8e\u200b relabel \u200b\u6dfb\u52a0\u200b\u8fc7\u6ee4\u200b\u53c2\u6570\u200b\u7684\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Prometheus-Relabel\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/qos/","title":"\u5bb9\u5668\u200b\u7f51\u7edc\u200b QoS \u200b\u914d\u7f6e","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u57fa\u4e8e\u200b\u5355\u4e2a\u200b Pod \u200b\u7684\u200b\u4e24\u79cd\u200b\u4e0d\u540c\u200b\u7c7b\u578b\u200b\u7684\u200b QoS\uff1a</p> <ul> <li>\u200b\u6700\u5927\u200b\u5e26\u5bbd\u200b\u9650\u5236\u200b QoS\u3002</li> <li><code>linux-netem</code>\uff0c\u200b\u6a21\u62df\u200b\u8bbe\u5907\u200b\u5e72\u6270\u200b\u4e22\u5305\u200b\u7b49\u200b\u7684\u200b QoS\uff0c\u200b\u53ef\u200b\u7528\u4e8e\u200b\u6a21\u62df\u200b\u6d4b\u8bd5\u200b\u3002</li> </ul> <p>\u200b\u76ee\u524d\u200b\u53ea\u200b\u652f\u6301\u200b Pod \u200b\u7ea7\u522b\u200b QoS \u200b\u4e0d\u200b\u652f\u6301\u200b Namespace \u200b\u6216\u200b Subnet \u200b\u7ea7\u522b\u200b\u7684\u200b QoS \u200b\u9650\u5236\u200b\u3002</p>"},{"location":"guide/qos/#qos_1","title":"\u57fa\u4e8e\u200b\u6700\u5927\u200b\u5e26\u5bbd\u200b\u9650\u5236\u200b\u7684\u200b QoS","text":"<p>\u200b\u8be5\u200b\u7c7b\u578b\u200b\u7684\u200b QoS \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Pod annotation \u200b\u52a8\u6001\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u4e0d\u200b\u4e2d\u65ad\u200b Pod \u200b\u8fd0\u884c\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\u3002 \u200b\u5e26\u5bbd\u200b\u9650\u901f\u200b\u7684\u200b\u5355\u4f4d\u200b\u4e3a\u200b <code>Mbit/s</code>\u3002</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: qos\n  namespace: ls1\n  annotations:\n    ovn.kubernetes.io/ingress_rate: \"3\"\n    ovn.kubernetes.io/egress_rate: \"1\"\nspec:\n  containers:\n  - name: qos\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u4f7f\u7528\u200b annotation \u200b\u52a8\u6001\u200b\u8c03\u6574\u200b QoS\uff1a</p> <pre><code>kubectl annotate --overwrite  pod nginx-74d5899f46-d7qkn ovn.kubernetes.io/ingress_rate=3\n</code></pre>"},{"location":"guide/qos/#qos_2","title":"\u6d4b\u8bd5\u200b QoS \u200b\u8c03\u6574","text":"<p>\u200b\u90e8\u7f72\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b\u9700\u8981\u200b\u7684\u200b\u5bb9\u5668\u200b\uff1a</p> <pre><code>kind: DaemonSet\napiVersion: apps/v1\nmetadata:\n  name: perf\n  namespace: ls1\n  labels:\n    app: perf\nspec:\n  selector:\n    matchLabels:\n      app: perf\n  template:\n    metadata:\n      labels:\n        app: perf\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/kubeovn/perf\n</code></pre> <p>\u200b\u8fdb\u5165\u200b\u5176\u4e2d\u200b\u4e00\u4e2a\u200b Pod \u200b\u5e76\u200b\u5f00\u542f\u200b iperf3 server\uff1a</p> <pre><code># kubectl exec -it perf-4n4gt -n ls1 sh\n# iperf3 -s\n-----------------------------------------------------------\nServer listening on 5201\n-----------------------------------------------------------\n</code></pre> <p>\u200b\u8fdb\u5165\u200b\u53e6\u200b\u4e00\u4e2a\u200b Pod \u200b\u8bf7\u6c42\u200b\u4e4b\u524d\u200b\u7684\u200b Pod\uff1a</p> <pre><code># kubectl exec -it perf-d4mqc -n ls1 sh\n# iperf3 -c 10.66.0.12\nConnecting to host 10.66.0.12, port 5201\n[  4] local 10.66.0.14 port 51544 connected to 10.66.0.12 port 5201\n[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd\n[  4]   0.00-1.00   sec  86.4 MBytes   725 Mbits/sec    3    350 KBytes\n[  4]   1.00-2.00   sec  89.9 MBytes   754 Mbits/sec  118    473 KBytes\n[  4]   2.00-3.00   sec   101 MBytes   848 Mbits/sec  184    586 KBytes\n[  4]   3.00-4.00   sec   104 MBytes   875 Mbits/sec  217    671 KBytes\n[  4]   4.00-5.00   sec   111 MBytes   935 Mbits/sec  175    772 KBytes\n[  4]   5.00-6.00   sec   100 MBytes   840 Mbits/sec  658    598 KBytes\n[  4]   6.00-7.00   sec   106 MBytes   890 Mbits/sec  742    668 KBytes\n[  4]   7.00-8.00   sec   102 MBytes   857 Mbits/sec  764    724 KBytes\n[  4]   8.00-9.00   sec  97.4 MBytes   817 Mbits/sec  1175    764 KBytes\n[  4]   9.00-10.00  sec   111 MBytes   934 Mbits/sec  1083    838 KBytes\n- - - - - - - - - - - - - - - - - - - - - - - - -\n[ ID] Interval           Transfer     Bandwidth       Retr\n[  4]   0.00-10.00  sec  1010 MBytes   848 Mbits/sec  5119             sender\n[  4]   0.00-10.00  sec  1008 MBytes   846 Mbits/sec                  receiver\n\niperf Done.\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u7b2c\u4e00\u4e2a\u200b Pod \u200b\u7684\u200b\u5165\u53e3\u200b\u5e26\u5bbd\u200b QoS\uff1a</p> <pre><code>kubectl annotate --overwrite  pod perf-4n4gt -n ls1 ovn.kubernetes.io/ingress_rate=30\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u4ece\u200b\u7b2c\u4e8c\u4e2a\u200b Pod \u200b\u6d4b\u8bd5\u200b\u7b2c\u4e00\u4e2a\u200b Pod \u200b\u5e26\u5bbd\u200b\uff1a</p> <pre><code># iperf3 -c 10.66.0.12\nConnecting to host 10.66.0.12, port 5201\n[  4] local 10.66.0.14 port 52372 connected to 10.66.0.12 port 5201\n[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd\n[  4]   0.00-1.00   sec  3.66 MBytes  30.7 Mbits/sec    2   76.1 KBytes\n[  4]   1.00-2.00   sec  3.43 MBytes  28.8 Mbits/sec    0    104 KBytes\n[  4]   2.00-3.00   sec  3.50 MBytes  29.4 Mbits/sec    0    126 KBytes\n[  4]   3.00-4.00   sec  3.50 MBytes  29.3 Mbits/sec    0    144 KBytes\n[  4]   4.00-5.00   sec  3.43 MBytes  28.8 Mbits/sec    0    160 KBytes\n[  4]   5.00-6.00   sec  3.43 MBytes  28.8 Mbits/sec    0    175 KBytes\n[  4]   6.00-7.00   sec  3.50 MBytes  29.3 Mbits/sec    0    212 KBytes\n[  4]   7.00-8.00   sec  3.68 MBytes  30.9 Mbits/sec    0    294 KBytes\n[  4]   8.00-9.00   sec  3.74 MBytes  31.4 Mbits/sec    0    398 KBytes\n[  4]   9.00-10.00  sec  3.80 MBytes  31.9 Mbits/sec    0    526 KBytes\n- - - - - - - - - - - - - - - - - - - - - - - - -\n[ ID] Interval           Transfer     Bandwidth       Retr\n[  4]   0.00-10.00  sec  35.7 MBytes  29.9 Mbits/sec    2             sender\n[  4]   0.00-10.00  sec  34.5 MBytes  29.0 Mbits/sec                  receiver\n\niperf Done.\n</code></pre>"},{"location":"guide/qos/#linux-netem-qos","title":"linux-netem QoS","text":"<p>RHEL \u200b\u7cfb\u5217\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u9700\u8981\u200b\u5b89\u88c5\u200b netem \u200b\u76f8\u5173\u200b\u6a21\u5757\u200b\uff1a yum install -y kernel-modules-extra &amp;&amp; modprobe sch_netem</p> <p>Pod \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b annotation \u200b\u914d\u7f6e\u200b <code>linux-netem</code> \u200b\u7c7b\u578b\u200b QoS\uff1a <code>ovn.kubernetes.io/latency</code>\u3001<code>ovn.kubernetes.io/limit</code> \u200b\u548c\u200b <code>ovn.kubernetes.io/loss</code>\u3002</p> <ul> <li><code>ovn.kubernetes.io/latency</code>\uff1a\u200b\u8bbe\u7f6e\u200b Pod \u200b\u6d41\u91cf\u200b\u5ef6\u8fdf\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b\u6574\u6570\u200b\uff0c\u200b\u5355\u4f4d\u200b\u4e3a\u200b ms\u3002</li> <li><code>ovn.kubernetes.io/limit</code>\uff1a \u200b\u4e3a\u200b <code>qdisc</code> \u200b\u961f\u5217\u200b\u53ef\u200b\u5bb9\u7eb3\u200b\u7684\u200b\u6700\u5927\u200b\u6570\u636e\u5305\u200b\u6570\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b\u6574\u5f62\u200b\u6570\u503c\u200b\uff0c\u200b\u4f8b\u5982\u200b 1000\u3002</li> <li><code>ovn.kubernetes.io/loss</code>\uff1a \u200b\u4e3a\u200b\u8bbe\u7f6e\u200b\u7684\u200b\u62a5\u6587\u200b\u4e22\u5305\u200b\u6982\u7387\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b float \u200b\u7c7b\u578b\u200b\uff0c\u200b\u4f8b\u5982\u200b\u53d6\u503c\u200b\u4e3a\u200b 20\uff0c\u200b\u5219\u200b\u4e3a\u200b\u8bbe\u7f6e\u200b 20% \u200b\u7684\u200b\u4e22\u200b\u5305\u200b\u6982\u7387\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/setup-options/","title":"\u5b89\u88c5\u200b\u548c\u200b\u914d\u7f6e\u200b\u9009\u9879","text":"<p>\u200b\u5728\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u4e2d\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u914d\u7f6e\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff0cKube-OVN \u200b\u8fd8\u200b\u652f\u6301\u200b\u66f4\u200b\u591a\u200b \u200b\u81ea\u5b9a\u4e49\u200b\u914d\u7f6e\u200b\uff0c\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff0c\u200b\u6216\u8005\u200b\u4e4b\u540e\u200b\u66f4\u6539\u200b\u5404\u4e2a\u200b\u7ec4\u4ef6\u200b\u7684\u200b\u53c2\u6570\u200b\u6765\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u4f1a\u200b\u4ecb\u7ecd\u200b\u8fd9\u4e9b\u200b\u81ea\u5b9a\u4e49\u200b\u9009\u9879\u200b \u200b\u7684\u200b\u4f5c\u7528\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5982\u4f55\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"guide/setup-options/#_2","title":"\u5185\u7f6e\u200b\u7f51\u7edc\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u5728\u200b\u5b89\u88c5\u200b\u65f6\u4f1a\u200b\u914d\u7f6e\u200b\u4e24\u4e2a\u200b\u5185\u7f6e\u200b\u5b50\u7f51\u200b\uff1a</p> <ol> <li><code>default</code> \u200b\u5b50\u7f51\u200b\uff0c\u200b\u4f5c\u4e3a\u200b Pod \u200b\u5206\u914d\u200b IP \u200b\u4f7f\u7528\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u9ed8\u8ba4\u200b CIDR \u200b\u4e3a\u200b <code>10.16.0.0/16</code>\uff0c\u200b\u7f51\u5173\u200b\u4e3a\u200b <code>10.16.0.1</code>\u3002</li> <li><code>join</code> \u200b\u5b50\u7f51\u200b\uff0c\u200b\u4f5c\u4e3a\u200b Node \u200b\u548c\u200b Pod \u200b\u4e4b\u95f4\u200b\u8fdb\u884c\u200b\u7f51\u7edc\u901a\u4fe1\u200b\u7684\u200b\u7279\u6b8a\u200b\u5b50\u7f51\u200b, \u200b\u9ed8\u8ba4\u200b CIDR \u200b\u4e3a\u200b <code>100.64.0.0/16</code>\uff0c\u200b\u7f51\u5173\u200b\u4e3a\u200b <code>100.64.0.1</code>\u3002</li> </ol> <p>\u200b\u5728\u200b\u5b89\u88c5\u200b\u65f6\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u5185\u200b\u7684\u200b\u914d\u7f6e\u200b\u8fdb\u884c\u200b\u66f4\u6539\u200b\uff1a</p> <pre><code>POD_CIDR=\"10.16.0.0/16\"\nPOD_GATEWAY=\"10.16.0.1\"\nJOIN_CIDR=\"100.64.0.0/16\"\nEXCLUDE_IPS=\"\"\n</code></pre> <p><code>EXCLUDE_IP</code> \u200b\u53ef\u200b\u8bbe\u7f6e\u200b <code>POD_CIDR</code> \u200b\u4e0d\u200b\u8fdb\u884c\u200b\u5206\u914d\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\uff0c\u200b\u683c\u5f0f\u200b\u4e3a\u200b\uff1a<code>192.168.10.20..192.168.10.30</code>\u3002</p> <p>\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b Overlay \u200b\u60c5\u51b5\u200b\u4e0b\u200b\u8fd9\u200b\u4e24\u4e2a\u200b\u7f51\u7edc\u200b\u4e0d\u80fd\u200b\u548c\u200b\u5df2\u6709\u200b\u7684\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u548c\u200b Service CIDR \u200b\u51b2\u7a81\u200b\u3002</p> <p>\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u53ef\u4ee5\u200b\u5bf9\u200b\u8fd9\u200b\u4e24\u4e2a\u200b\u7f51\u7edc\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u8bf7\u200b\u53c2\u8003\u200b\u4fee\u6539\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u548c\u200b\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b\u3002</p>"},{"location":"guide/setup-options/#service","title":"Service \u200b\u7f51\u6bb5\u200b\u914d\u7f6e","text":"<p>\u200b\u7531\u4e8e\u200b\u90e8\u5206\u200b <code>kube-proxy</code> \u200b\u8bbe\u7f6e\u200b\u7684\u200b iptables \u200b\u548c\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u4f1a\u200b\u548c\u200b Kube-OVN \u200b\u8bbe\u7f6e\u200b\u7684\u200b\u89c4\u5219\u200b\u4ea7\u751f\u200b\u4ea4\u96c6\u200b\uff0c\u200b\u56e0\u6b64\u200b Kube-OVN \u200b\u9700\u8981\u200b\u77e5\u9053\u200b Service \u200b\u7684\u200b CIDR \u200b\u6765\u200b\u6b63\u786e\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b\u89c4\u5219\u200b\u3002</p> <p>\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b\uff1a</p> <pre><code>SVC_CIDR=\"10.96.0.0/12\"  \n</code></pre> <p>\u200b\u6765\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --service-cluster-ip-range=10.96.0.0/12\n</code></pre> <p>\u200b\u6765\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002</p>"},{"location":"guide/setup-options/#overlay","title":"Overlay \u200b\u7f51\u5361\u200b\u9009\u62e9","text":"<p>\u200b\u5728\u200b\u8282\u70b9\u200b\u5b58\u5728\u200b\u591a\u5757\u200b\u7f51\u5361\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0cKube-OVN \u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u9009\u62e9\u200b Kubernetes Node IP \u200b\u5bf9\u5e94\u200b\u7684\u200b\u7f51\u5361\u200b\u4f5c\u4e3a\u200b\u5bb9\u5668\u200b\u95f4\u200b\u8de8\u200b\u8282\u70b9\u200b\u901a\u4fe1\u200b\u7684\u200b\u7f51\u5361\u200b\u5e76\u200b\u5efa\u7acb\u200b\u5bf9\u5e94\u200b\u7684\u200b\u96a7\u9053\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u9009\u62e9\u200b\u5176\u4ed6\u200b\u7684\u200b\u7f51\u5361\u200b\u5efa\u7acb\u200b\u5bb9\u5668\u200b\u96a7\u9053\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u4fee\u6539\u200b\uff1a</p> <pre><code>IFACE=eth1\n</code></pre> <p>\u200b\u8be5\u200b\u9009\u9879\u200b\u652f\u6301\u200b\u4ee5\u200b\u9017\u53f7\u200b\u6240\u200b\u5206\u9694\u200b\u6b63\u5219\u8868\u8fbe\u5f0f\u200b,\u200b\u4f8b\u5982\u200b <code>ens[a-z0-9]*,eth[a-z0-9]*</code>\u3002</p> <p>\u200b\u5b89\u88c5\u200b\u540e\u200b\u4e5f\u200b\u53ef\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <pre><code>args:\n- --iface=eth1\n</code></pre> <p>\u200b\u5982\u679c\u200b\u6bcf\u53f0\u200b\u673a\u5668\u200b\u7684\u200b\u7f51\u5361\u200b\u540d\u5747\u200b\u4e0d\u540c\u200b\uff0c\u200b\u4e14\u200b\u6ca1\u6709\u200b\u56fa\u5b9a\u200b\u89c4\u5f8b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u8282\u70b9\u200b annotation <code>ovn.kubernetes.io/tunnel_interface</code> \u200b\u8fdb\u884c\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u7684\u200b\u9010\u4e00\u200b\u914d\u7f6e\u200b\uff0c\u200b\u62e5\u6709\u200b\u8be5\u200b annotation \u200b\u8282\u70b9\u200b\u4f1a\u200b\u8986\u76d6\u200b <code>iface</code> \u200b\u7684\u200b\u914d\u7f6e\u200b\uff0c\u200b\u4f18\u5148\u200b\u4f7f\u7528\u200b annotation\u3002</p> <pre><code>kubectl annotate node no1 ovn.kubernetes.io/tunnel_interface=ethx\n</code></pre>"},{"location":"guide/setup-options/#mtu","title":"MTU \u200b\u8bbe\u7f6e","text":"<p>\u200b\u7531\u4e8e\u200b Overlay \u200b\u5c01\u88c5\u200b\u9700\u8981\u200b\u5360\u636e\u200b\u989d\u5916\u200b\u7684\u200b\u7a7a\u95f4\u200b\uff0cKube-OVN \u200b\u5728\u200b\u521b\u5efa\u200b\u5bb9\u5668\u200b\u7f51\u5361\u200b\u65f6\u4f1a\u200b\u6839\u636e\u200b\u9009\u62e9\u200b\u7f51\u5361\u200b\u7684\u200b MTU \u200b\u8fdb\u884c\u200b\u5bb9\u5668\u200b\u7f51\u5361\u200b\u7684\u200b MTU \u200b\u8c03\u6574\u200b\uff0c \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Overlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b Pod \u200b\u7f51\u5361\u200b MTU \u200b\u4e3a\u200b\u4e3b\u673a\u200b\u7f51\u5361\u200b MTU - 100\uff0cUnderlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\uff0cPod \u200b\u7f51\u5361\u200b\u548c\u200b\u4e3b\u673a\u200b\u7f51\u5361\u200b\u6709\u200b\u76f8\u540c\u200b MTU\u3002</p> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u8c03\u6574\u200b Overlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b MTU \u200b\u7684\u200b\u5927\u5c0f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --mtu=1333\n</code></pre>"},{"location":"guide/setup-options/#_3","title":"\u5168\u5c40\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5728\u200b\u5f00\u542f\u200b\u5168\u5c40\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0cKube-OVN \u200b\u4f1a\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u521b\u5efa\u200b\u4e00\u5757\u200b <code>mirror0</code> \u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u5361\u200b\uff0c\u200b\u590d\u5236\u200b\u5f53\u524d\u200b\u673a\u5668\u200b\u6240\u6709\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u5230\u200b\u8be5\u200b\u7f51\u5361\u200b\u4e0a\u200b\uff0c \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b tcpdump \u200b\u53ca\u5176\u200b\u4ed6\u200b\u5de5\u5177\u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u5206\u6790\u200b\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u901a\u8fc7\u200b\u4e0b\u9762\u200b\u7684\u200b\u914d\u7f6e\u200b\u5f00\u542f\u200b\uff1a</p> <pre><code>ENABLE_MIRROR=true\n</code></pre> <p>\u200b\u4e5f\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b\u53c2\u6570\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b:</p> <pre><code>args:\n- --enable-mirror=true\n</code></pre> <p>\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u7684\u200b\u80fd\u529b\u200b\u5728\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e2d\u4e3a\u200b\u5173\u95ed\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u7ec6\u7c92\u5ea6\u200b\u7684\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u6216\u200b\u9700\u8981\u200b\u5c06\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u5230\u200b\u989d\u5916\u200b\u7684\u200b\u7f51\u5361\u200b\u8bf7\u200b\u53c2\u8003\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u955c\u50cf\u200b\u3002</p>"},{"location":"guide/setup-options/#lb","title":"LB \u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b OVN \u200b\u4e2d\u200b\u7684\u200b L2 LB \u200b\u6765\u200b\u5b9e\u73b0\u200b Service \u200b\u8f6c\u53d1\u200b\uff0c\u200b\u5728\u200b Overlay \u200b\u573a\u666f\u200b\u4e2d\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b\u4f7f\u7528\u200b <code>kube-proxy</code> \u200b\u6765\u200b\u5b8c\u6210\u200b Service \u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b, \u200b\u5728\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u5173\u95ed\u200b Kube-OVN \u200b\u7684\u200b LB \u200b\u529f\u80fd\u200b\u4ee5\u200b\u8fbe\u5230\u200b\u63a7\u5236\u200b\u9762\u200b\u548c\u200b\u6570\u636e\u200b\u9762\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ENABLE_LB=false\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>args:\n- --enable-lb=false\n</code></pre> <p>LB \u200b\u7684\u200b\u529f\u80fd\u200b\u5728\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e2d\u4e3a\u200b\u5f00\u542f\u200b\u3002</p> <p>\u200b\u4ece\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c\u200b\u5728\u200b subnet crd \u200b\u5b9a\u4e49\u200b\u4e2d\u200b\u589e\u52a0\u200b\u4e86\u200b spec \u200b\u5b57\u200b\u6bb5\u200b <code>enableLb</code>\uff0c\u200b\u5c06\u200b Kube-OVN \u200b\u7684\u200b LB \u200b\u529f\u80fd\u200b\u8fc1\u79fb\u200b\u5230\u200b\u5b50\u7f51\u200b\u5c42\u7ea7\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b\u4e0d\u540c\u200b\u7684\u200b\u5b50\u7f51\u200b\u5206\u522b\u200b\u8bbe\u7f6e\u200b\u662f\u5426\u200b\u5f00\u542f\u200b LB \u200b\u529f\u80fd\u200b\u3002<code>kube-ovn-controller</code> Deployment \u200b\u4e2d\u200b\u7684\u200b <code>enable-lb</code> \u200b\u53c2\u6570\u200b\u4f5c\u4e3a\u200b\u5168\u5c40\u200b\u53c2\u6570\u200b\uff0c\u200b\u63a7\u5236\u200b\u662f\u5426\u200b\u521b\u5efa\u200b load-balancer \u200b\u8bb0\u5f55\u200b\uff0c\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u65b0\u589e\u200b\u7684\u200b <code>enableLb</code> \u200b\u53c2\u6570\u200b\u7528\u4e8e\u200b\u63a7\u5236\u200b\u5b50\u7f51\u200b\u662f\u5426\u200b\u5173\u8054\u200b load-balancer \u200b\u8bb0\u5f55\u200b\u3002\u200b\u4e4b\u524d\u200b\u7248\u672c\u5347\u7ea7\u200b\u5230\u200b v1.12.0 \u200b\u4e4b\u540e\u200b\uff0c\u200b\u5b50\u7f51\u200b <code>enableLb</code> \u200b\u53c2\u6570\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u7ee7\u627f\u200b\u539f\u6709\u200b\u7684\u200b\u5168\u5c40\u200b\u5f00\u5173\u200b\u53c2\u6570\u200b\u53d6\u503c\u200b\u3002</p>"},{"location":"guide/setup-options/#networkpolicy","title":"NetworkPolicy \u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b OVN \u200b\u4e2d\u200b\u7684\u200b ACL \u200b\u6765\u200b\u5b9e\u73b0\u200b NetworkPolicy\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b\u5173\u95ed\u200b NetworkPolicy \u200b\u529f\u80fd\u200b \u200b\u6216\u8005\u200b\u4f7f\u7528\u200b Cilium Chain \u200b\u7684\u200b\u65b9\u5f0f\u200b\u5229\u7528\u200b eBPF \u200b\u5b9e\u73b0\u200b NetworkPolicy\uff0c \u200b\u5728\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u5173\u95ed\u200b Kube-OVN \u200b\u7684\u200b NetworkPolicy \u200b\u529f\u80fd\u200b\u4ee5\u200b\u8fbe\u5230\u200b\u63a7\u5236\u200b\u9762\u200b\u548c\u200b\u6570\u636e\u200b\u9762\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ENABLE_NP=false\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>args:\n- --enable-np=false\n</code></pre> <p>NetworkPolicy \u200b\u7684\u200b\u80fd\u529b\u200b\u5728\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e2d\u4e3a\u200b\u5f00\u542f\u200b\u3002</p>"},{"location":"guide/setup-options/#eip-snat","title":"EIP \u200b\u548c\u200b SNAT \u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u9ed8\u8ba4\u200b\u7f51\u7edc\u200b\u4e0b\u200b\u5982\u679c\u200b\u65e0\u9700\u200b\u4f7f\u7528\u200b EIP \u200b\u548c\u200b SNAT \u200b\u7684\u200b\u80fd\u529b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b\u5173\u95ed\u200b\u76f8\u5173\u200b\u529f\u80fd\u200b\uff0c\u200b\u4ee5\u200b\u51cf\u5c11\u200b <code>kube-ovn-controller</code> \u200b\u5728\u200b\u521b\u5efa\u200b\u548c\u200b\u66f4\u65b0\u200b \u200b\u7f51\u7edc\u200b\u65f6\u200b\u7684\u200b\u68c0\u67e5\u200b\u6d88\u8017\u200b\uff0c\u200b\u5728\u200b\u5927\u89c4\u6a21\u200b\u96c6\u7fa4\u200b\u73af\u5883\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u63d0\u5347\u200b\u5904\u7406\u901f\u5ea6\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ENABLE_EIP_SNAT=false\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>args:\n- --enable-eip-snat=false\n</code></pre> <p>EIP \u200b\u548c\u200b SNAT \u200b\u7684\u200b\u80fd\u529b\u200b\u5728\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e2d\u4e3a\u200b\u5f00\u542f\u200b\u3002\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u76f8\u5173\u200b\u4f7f\u7528\u200b\u548c\u200b\u5176\u4ed6\u200b\u53ef\u200b\u914d\u200b\u53c2\u6570\u200b\u8bf7\u200b\u53c2\u8003\u200b EIP \u200b\u548c\u200b SNAT \u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"guide/setup-options/#load-balancer-service","title":"Load Balancer \u200b\u7c7b\u578b\u200b Service \u200b\u652f\u6301\u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u53ef\u200b\u901a\u8fc7\u200b\u5f00\u542f\u200b\u8be5\u200b\u9009\u9879\u200b\u6765\u200b\u652f\u6301\u200b Load Balancer \u200b\u7c7b\u578b\u200b Service\u3002\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u76f8\u5173\u200b\u4f7f\u7528\u200b\u548c\u200b\u5176\u4ed6\u200b\u53ef\u200b\u914d\u200b\u53c2\u6570\u200b\u8bf7\u200b\u53c2\u8003\u200b LoadBalancer \u200b\u7c7b\u578b\u200b Service\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u9ed8\u8ba4\u200b\u5173\u95ed\u200b\uff0c\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ENABLE_LB_SVC=true\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>args:\n- --enable-lb-svc=true\n</code></pre>"},{"location":"guide/setup-options/#ecmp","title":"\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b ECMP \u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u652f\u6301\u200b\u4e3b\u5907\u200b\u548c\u200b ECMP \u200b\u4e24\u79cd\u200b\u9ad8\u200b\u53ef\u7528\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u542f\u7528\u200b ECMP \u200b\u6a21\u5f0f\u200b\uff0c \u200b\u9700\u8981\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b:</p> <pre><code>args:\n- --enable-ecmp=true \n</code></pre> <p>\u200b\u4ece\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c\u200b\u5728\u200b subnet crd \u200b\u5b9a\u4e49\u200b\u4e2d\u200b\u589e\u52a0\u200b\u4e86\u200b spec \u200b\u5b57\u200b\u6bb5\u200b <code>enableEcmp</code>\uff0c\u200b\u5c06\u200b\u96c6\u4e2d\u5f0f\u200b\u5b50\u7f51\u200b ECMP \u200b\u5f00\u5173\u200b\u63a7\u5236\u200b\u8fc1\u79fb\u200b\u5230\u200b\u5b50\u7f51\u200b\u5c42\u7ea7\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b\u4e0d\u540c\u200b\u7684\u200b\u5b50\u7f51\u200b\u5206\u522b\u200b\u8bbe\u7f6e\u200b\u662f\u5426\u200b\u5f00\u542f\u200b ECMP \u200b\u6a21\u5f0f\u200b\u3002\u200b\u539f\u6709\u200b\u7684\u200b <code>kube-ovn-controller</code> Deployment \u200b\u4e2d\u200b\u7684\u200b <code>enable-ecmp</code> \u200b\u53c2\u6570\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\u3002\u200b\u4e4b\u524d\u200b\u7248\u672c\u5347\u7ea7\u200b\u5230\u200b v1.12.0 \u200b\u4e4b\u540e\u200b\uff0c\u200b\u5b50\u7f51\u200b\u5f00\u5173\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u7ee7\u627f\u200b\u539f\u6709\u200b\u7684\u200b\u5168\u5c40\u200b\u5f00\u5173\u200b\u53c2\u6570\u200b\u53d6\u503c\u200b\u3002</p> <p>\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e0b\u200b\u4e3a\u4e3b\u200b\u5907\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u7f51\u5173\u200b\u76f8\u5173\u200b\u5185\u5bb9\u200b\u8bf7\u200b\u53c2\u8003\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b\u3002</p>"},{"location":"guide/setup-options/#kubevirt-vm","title":"Kubevirt VM \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u9488\u5bf9\u200b Kubevirt \u200b\u521b\u5efa\u200b\u7684\u200b VM \u200b\u5b9e\u4f8b\u200b\uff0c<code>kube-ovn-controller</code> \u200b\u53ef\u4ee5\u200b\u6309\u7167\u200b\u7c7b\u4f3c\u200b StatefulSet Pod \u200b\u7684\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b IP \u200b\u5730\u5740\u200b\u5206\u914d\u200b\u548c\u200b\u7ba1\u7406\u200b\u3002 \u200b\u4ee5\u200b\u8fbe\u5230\u200b VM \u200b\u5b9e\u4f8b\u200b\u5728\u200b\u751f\u547d\u5468\u671f\u200b\u5185\u542f\u505c\u200b\uff0c\u200b\u5347\u7ea7\u200b\uff0c\u200b\u8fc1\u79fb\u200b\u7b49\u200b\u64cd\u4f5c\u8fc7\u7a0b\u200b\u4e2d\u200b\u5730\u5740\u200b\u56fa\u5b9a\u200b\u4e0d\u53d8\u200b\uff0c\u200b\u66f4\u7b26\u200b\u865a\u62df\u5316\u200b\u5408\u200b\u7528\u6237\u200b\u7684\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u4f53\u9a8c\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u5728\u200b 1.10.6 \u200b\u540e\u200b\u9ed8\u8ba4\u200b\u5f00\u542f\u200b\uff0c\u200b\u82e5\u200b\u8981\u200b\u5173\u95ed\u200b\u6b64\u200b\u529f\u80fd\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u542f\u52a8\u200b\u547d\u4ee4\u200b\u4e2d\u200b\u8bbe\u7f6e\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --keep-vm-ip=false\n</code></pre>"},{"location":"guide/setup-options/#cni","title":"CNI \u200b\u914d\u7f6e\u200b\u76f8\u5173\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u5728\u200b <code>/opt/cni/bin</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\u5b89\u88c5\u200b CNI \u200b\u6267\u884c\u200b\u6587\u4ef6\u200b\uff0c\u200b\u5728\u200b <code>/etc/cni/net.d</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\u5b89\u88c5\u200b CNI \u200b\u914d\u7f6e\u6587\u4ef6\u200b <code>01-kube-ovn.conflist</code>\u3002 \u200b\u5982\u679c\u200b\u9700\u8981\u200b\u66f4\u6539\u200b\u5b89\u88c5\u200b\u4f4d\u7f6e\u200b\u548c\u200b CNI \u200b\u914d\u7f6e\u6587\u4ef6\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u7684\u200b\u4e0b\u5217\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <pre><code>CNI_CONF_DIR=\"/etc/cni/net.d\"\nCNI_BIN_DIR=\"/opt/cni/bin\"\nCNI_CONFIG_PRIORITY=\"01\"\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u66f4\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b Volume \u200b\u6302\u8f7d\u200b\u548c\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>volumes:\n- name: cni-conf\n  hostPath:\n    path: \"/etc/cni/net.d\"\n- name: cni-bin\n  hostPath:\n    path:\"/opt/cni/bin\"\n...\nargs:\n- --cni-conf-name=01-kube-ovn.conflist\n</code></pre>"},{"location":"guide/setup-options/#_4","title":"\u96a7\u9053\u200b\u7c7b\u578b\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u9ed8\u8ba4\u200b Overlay \u200b\u7684\u200b\u5c01\u88c5\u200b\u6a21\u5f0f\u200b\u4e3a\u200b Geneve\uff0c\u200b\u5982\u679c\u200b\u60f3\u200b\u66f4\u6362\u200b\u4e3a\u200b Vxlan \u200b\u6216\u200b STT\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u7684\u200b\u4e0b\u5217\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <pre><code>TUNNEL_TYPE=\"vxlan\"\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u66f4\u6539\u200b <code>ovs-ovn</code> DaemonSet \u200b\u7684\u200b\u73af\u5883\u53d8\u91cf\u200b\uff1a</p> <pre><code>env:\n- name: TUNNEL_TYPE\n  value: \"vxlan\"\n</code></pre> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b STT \u200b\u96a7\u9053\u200b\u9700\u8981\u200b\u989d\u5916\u200b\u7f16\u8bd1\u200b ovs \u200b\u7684\u200b\u5185\u6838\u6a21\u5757\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b\u6027\u80fd\u200b\u8c03\u4f18\u200b\u3002</p> <p>\u200b\u4e0d\u540c\u200b\u534f\u8bae\u200b\u5728\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u4e2d\u200b\u7684\u200b\u533a\u522b\u200b\u8bf7\u200b\u53c2\u8003\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\u8bf4\u660e\u200b\u3002</p>"},{"location":"guide/setup-options/#ssl","title":"SSL \u200b\u8bbe\u7f6e","text":"<p>OVN DB \u200b\u7684\u200b API \u200b\u63a5\u53e3\u200b\u652f\u6301\u200b SSL \u200b\u52a0\u5bc6\u200b\u6765\u200b\u4fdd\u8bc1\u200b\u8fde\u63a5\u200b\u5b89\u5168\u200b\uff0c\u200b\u5982\u200b\u8981\u200b\u5f00\u542f\u200b\u53ef\u200b\u8c03\u6574\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u7684\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b:</p> <pre><code>ENABLE_SSL=true\n</code></pre> <p>SSL \u200b\u529f\u80fd\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e0b\u200b\u4e3a\u200b\u5173\u95ed\u200b\u6a21\u5f0f\u200b\u3002</p>"},{"location":"guide/setup-options/#ip","title":"\u7ed1\u5b9a\u200b\u672c\u5730\u200b ip","text":"<p>kube-ovn-controller/kube-ovn-cni/kube-ovn-monitor \u200b\u8fd9\u4e9b\u200b\u670d\u52a1\u200b\u652f\u6301\u200b\u7ed1\u5b9a\u200b\u672c\u5730\u200b ip\uff0c\u200b\u8be5\u200b\u529f\u80fd\u8bbe\u8ba1\u200b\u539f\u56e0\u200b\u4e3b\u8981\u200b\u662f\u56e0\u4e3a\u200b\u67d0\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\u51fa\u4e8e\u200b\u5b89\u5168\u200b\u8003\u8651\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u670d\u52a1\u200b\u7ed1\u5b9a\u200b 0.0.0.0 \uff08\u200b\u6bd4\u5982\u200b\u8be5\u200b\u670d\u52a1\u200b\u90e8\u7f72\u200b\u5728\u200b\u67d0\u4e2a\u200b\u5bf9\u5916\u200b\u7f51\u5173\u200b\u4e0a\u200b\uff0c\u200b\u5916\u90e8\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b\u516c\u7f51\u200b ip \u200b\u5e76\u200b\u6307\u5b9a\u200b\u7aef\u53e3\u200b\u53bb\u200b\u8bbf\u95ee\u200b\u5230\u200b\u8be5\u200b\u670d\u52a1\u200b\uff09\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u9ed8\u8ba4\u200b\u662f\u200b\u6253\u5f00\u200b\u7684\u200b\uff0c\u200b\u7531\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b\u63a7\u5236\u200b\uff1a</p> <pre><code>ENABLE_BIND_LOCAL_IP=true\n</code></pre> <p>\u200b\u4ee5\u200b kube-ovn-monitor \u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u5f00\u542f\u200b\u529f\u80fd\u200b\u540e\u4f1a\u200b\u628a\u200b\u670d\u52a1\u200b\u7ed1\u5b9a\u200b\u672c\u5730\u200b\u7684\u200b pod ip \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># netstat -tunlp |grep kube-ovn\ntcp        0      0 172.18.0.5:10661        0.0.0.0:*               LISTEN      2612/./kube-ovn-mon\n</code></pre> <p>\u200b\u5b89\u88c5\u200b\u540e\u200b\u4e5f\u200b\u53ef\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b\u670d\u52a1\u200b\u7684\u200b deployment \u200b\u6216\u8005\u200b daemonSet \u200b\u7684\u200b\u73af\u5883\u53d8\u91cf\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <pre><code>env:\n- name: ENABLE_BIND_LOCAL_IP\n  value: \"false\"\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/static-ip-mac/","title":"\u56fa\u5b9a\u200b\u5730\u5740","text":"<p>Kube-OVN \u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u6839\u636e\u200b Pod \u200b\u6240\u5728\u200b Namespace \u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u968f\u673a\u200b\u5206\u914d\u200b IP \u200b\u548c\u200b Mac\u3002 \u200b\u9488\u5bf9\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u9700\u8981\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0cKube-OVN \u200b\u6839\u636e\u200b\u4e0d\u540c\u200b\u7684\u200b\u573a\u666f\u200b\uff0c\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u591a\u79cd\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u7684\u200b\u65b9\u6cd5\u200b\uff1a</p> <ul> <li>\u200b\u5355\u4e2a\u200b Pod \u200b\u56fa\u5b9a\u200b IP/Mac\u3002</li> <li>Workload \u200b\u901a\u7528\u200b IP Pool \u200b\u65b9\u5f0f\u200b\u6307\u5b9a\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\u3002</li> <li>StatefulSet \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u3002</li> <li>KubeVirt VM \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u3002</li> </ul>"},{"location":"guide/static-ip-mac/#pod-ip-mac","title":"\u5355\u4e2a\u200b Pod \u200b\u56fa\u5b9a\u200b IP \u200b\u548c\u200b Mac","text":"<p>\u200b\u53ef\u4ee5\u200b\u5728\u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\u901a\u8fc7\u200b annotation \u200b\u6765\u200b\u6307\u5b9a\u200b Pod \u200b\u8fd0\u884c\u200b\u65f6\u200b\u6240\u200b\u9700\u200b\u7684\u200b IP/Mac, <code>kube-ovn-controller</code> \u200b\u8fd0\u884c\u200b\u65f6\u200b\u5c06\u200b\u4f1a\u200b\u8df3\u200b\u8fc7\u200b\u5730\u5740\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u9636\u6bb5\u200b\uff0c\u200b\u7ecf\u8fc7\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\u540e\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\u6307\u5b9a\u200b\u5730\u5740\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: static-ip\n  annotations:\n    ovn.kubernetes.io/ip_address: 10.16.0.15   // \u200b\u53cc\u6808\u200b\u5730\u5740\u200b\u4f7f\u7528\u200b\u9017\u53f7\u200b\u5206\u9694\u200b 10.16.0.15,fd00:10:16::15\n    ovn.kubernetes.io/mac_address: 00:00:00:53:6B:B6\nspec:\n  containers:\n  - name: static-ip\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u5728\u200b\u4f7f\u7528\u200b annotation \u200b\u5b9a\u4e49\u200b\u5355\u4e2a\u200b Pod IP/Mac \u200b\u65f6\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u4ee5\u4e0b\u51e0\u70b9\u200b\uff1a</p> <ol> <li>\u200b\u6240\u200b\u4f7f\u7528\u200b\u7684\u200b IP/Mac \u200b\u4e0d\u80fd\u200b\u548c\u200b\u5df2\u6709\u200b\u7684\u200b IP/Mac \u200b\u51b2\u7a81\u200b\u3002</li> <li>IP \u200b\u5fc5\u987b\u200b\u5728\u200b\u6240\u5c5e\u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u5185\u200b\u3002</li> <li>\u200b\u53ef\u4ee5\u200b\u53ea\u200b\u6307\u5b9a\u200b IP \u200b\u6216\u200b Mac\uff0c\u200b\u53ea\u200b\u6307\u5b9a\u200b\u4e00\u4e2a\u200b\u65f6\u200b\uff0c\u200b\u53e6\u200b\u4e00\u4e2a\u200b\u4f1a\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u3002</li> </ol>"},{"location":"guide/static-ip-mac/#workload-ip-pool","title":"Workload \u200b\u901a\u7528\u200b IP Pool \u200b\u56fa\u5b9a\u200b\u5730\u5740","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u901a\u8fc7\u200b annotation <code>ovn.kubernetes.io/ip_pool</code> \u200b\u7ed9\u200b Workload\uff08Deployment/StatefulSet/DaemonSet/Job/CronJob\uff09\u200b\u8bbe\u7f6e\u200b\u56fa\u5b9a\u200b IP\u3002 <code>kube-ovn-controller</code> \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u9009\u62e9\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u6307\u5b9a\u200b\u7684\u200b IP \u200b\u5e76\u200b\u8fdb\u884c\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\u3002</p> <p>IP Pool \u200b\u7684\u200b Annotation \u200b\u9700\u8981\u200b\u52a0\u200b\u5728\u200b <code>template</code> \u200b\u5185\u200b\u7684\u200b <code>annotation</code> \u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u9664\u4e86\u200b Kubernetes \u200b\u5185\u7f6e\u200b\u7684\u200b Workload \u200b\u7c7b\u578b\u200b\uff0c \u200b\u5176\u4ed6\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b\u7684\u200b Workload \u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u540c\u6837\u200b\u7684\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u5206\u914d\u200b\u3002</p>"},{"location":"guide/static-ip-mac/#deployment-ip","title":"Deployment \u200b\u56fa\u5b9a\u200b IP \u200b\u793a\u4f8b","text":"<pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: ippool\n  labels:\n    app: ippool\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: ippool\n  template:\n    metadata:\n      labels:\n        app: ippool\n      annotations:\n        ovn.kubernetes.io/ip_pool: 10.16.0.15,10.16.0.16,10.16.0.17 // \u200b\u53cc\u6808\u200b\u5730\u5740\u200b\u4f7f\u7528\u200b\u5206\u200b\u53f7\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b 10.16.0.15,fd00:10:16::000E;10.16.0.16,fd00:10:16::000F;10.16.0.17,fd00:10:16::0010\n    spec:\n      containers:\n      - name: ippool\n        image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u5bf9\u200b Workload \u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b IP \u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u4ee5\u4e0b\u51e0\u70b9\u200b\uff1a</p> <ol> <li><code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b IP \u200b\u5e94\u8be5\u200b\u5c5e\u4e8e\u200b\u6240\u5728\u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u5185\u200b\u3002</li> <li><code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b IP \u200b\u4e0d\u80fd\u200b\u548c\u200b\u5df2\u200b\u4f7f\u7528\u200b\u7684\u200b IP \u200b\u51b2\u7a81\u200b\u3002</li> <li>\u200b\u5f53\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b IP \u200b\u6570\u91cf\u200b\u5c0f\u4e8e\u200b replicas \u200b\u6570\u91cf\u200b\u65f6\u200b\uff0c\u200b\u591a\u51fa\u200b\u7684\u200b Pod \u200b\u5c06\u200b\u65e0\u6cd5\u200b\u521b\u5efa\u200b\u3002\u200b\u4f60\u200b\u9700\u8981\u200b\u6839\u636e\u200b Workload \u200b\u7684\u200b\u66f4\u65b0\u200b\u7b56\u7565\u200b\u4ee5\u53ca\u200b\u6269\u5bb9\u200b\u89c4\u5212\u200b\u8c03\u6574\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b IP \u200b\u7684\u200b\u6570\u91cf\u200b\u3002</li> </ol>"},{"location":"guide/static-ip-mac/#statefulset","title":"StatefulSet \u200b\u56fa\u5b9a\u200b\u5730\u5740","text":"<p>StatefulSet \u200b\u9ed8\u8ba4\u200b\u652f\u6301\u200b\u56fa\u5b9a\u200b IP\uff0c\u200b\u800c\u4e14\u200b\u548c\u200b\u5176\u4ed6\u200b Workload \u200b\u76f8\u540c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u6765\u200b\u6307\u5b9a\u200b Pod \u200b\u4f7f\u7528\u200b\u7684\u200b IP \u200b\u8303\u56f4\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b StatefulSet \u200b\u591a\u200b\u7528\u4e8e\u200b\u6709\u200b\u72b6\u6001\u200b\u670d\u52a1\u200b\uff0c\u200b\u5bf9\u200b\u7f51\u7edc\u200b\u6807\u793a\u200b\u7684\u200b\u56fa\u5b9a\u200b\u6709\u200b\u66f4\u200b\u9ad8\u200b\u7684\u200b\u8981\u6c42\u200b\uff0cKube-OVN \u200b\u505a\u200b\u4e86\u200b\u7279\u6b8a\u200b\u7684\u200b\u5f3a\u5316\u200b\uff1a</p> <ol> <li>Pod \u200b\u4f1a\u200b\u6309\u200b\u987a\u5e8f\u200b\u5206\u914d\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b IP\u3002\u200b\u4f8b\u5982\u200b StatefulSet \u200b\u7684\u200b\u540d\u5b57\u200b\u4e3a\u200b web\uff0c\u200b\u5219\u200b web-0 \u200b\u4f1a\u200b\u4f7f\u7528\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b\u7b2c\u4e00\u4e2a\u200b IP\uff0c web-1 \u200b\u4f1a\u200b\u4f7f\u7528\u200b\u7b2c\u4e8c\u4e2a\u200b IP\uff0c\u200b\u4ee5\u6b64\u7c7b\u63a8\u200b\u3002</li> <li>StatefulSet Pod \u200b\u5728\u200b\u66f4\u65b0\u200b\u6216\u200b\u5220\u9664\u200b\u7684\u200b\u8fc7\u7a0b\u200b\u4e2d\u200b OVN \u200b\u4e2d\u200b\u7684\u200b logical_switch_port \u200b\u4e0d\u4f1a\u200b\u5220\u9664\u200b\uff0c\u200b\u65b0\u200b\u751f\u6210\u200b\u7684\u200b Pod \u200b\u76f4\u63a5\u200b\u590d\u7528\u200b\u65e7\u200b\u7684\u200b interface \u200b\u4fe1\u606f\u200b\u3002\u200b\u56e0\u6b64\u200b Pod \u200b\u53ef\u4ee5\u200b\u590d\u7528\u200b IP/Mac \u200b\u53ca\u5176\u200b\u4ed6\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\uff0c\u200b\u8fbe\u5230\u200b\u548c\u200b StatefulSet Volume \u200b\u7c7b\u4f3c\u200b\u7684\u200b\u72b6\u6001\u200b\u4fdd\u7559\u200b\u529f\u80fd\u200b\u3002</li> <li>\u200b\u57fa\u4e8e\u200b 2 \u200b\u7684\u200b\u80fd\u529b\u200b\uff0c\u200b\u5bf9\u4e8e\u200b\u6ca1\u6709\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u6ce8\u89e3\u200b\u7684\u200b StatefulSet\uff0cPod \u200b\u7b2c\u4e00\u6b21\u200b\u751f\u6210\u200b\u65f6\u4f1a\u200b\u968f\u673a\u200b\u5206\u914d\u200b IP/Mac\uff0c\u200b\u4e4b\u540e\u200b\u5728\u200b\u6574\u4e2a\u200b StatefulSet \u200b\u7684\u200b\u751f\u547d\u5468\u671f\u200b\u5185\u200b\uff0c\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\u90fd\u200b\u4f1a\u200b\u4fdd\u6301\u200b\u56fa\u5b9a\u200b\u3002</li> </ol>"},{"location":"guide/static-ip-mac/#statefulset_1","title":"StatefulSet \u200b\u793a\u4f8b","text":"<pre><code>apiVersion: apps/v1\nkind: StatefulSet\nmetadata:\n  name: web\nspec:\n  serviceName: \"nginx\"\n  replicas: 2\n  selector:\n    matchLabels:\n      app: nginx\n  template:\n    metadata:\n      labels:\n        app: nginx\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/library/nginx:alpine\n        ports:\n        - containerPort: 80\n          name: web\n</code></pre> <p>\u200b\u53ef\u4ee5\u200b\u5c1d\u8bd5\u200b\u5220\u9664\u200b StatefulSet \u200b\u4e0b\u200b Pod \u200b\u89c2\u5bdf\u200b Pod IP \u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\u3002</p>"},{"location":"guide/static-ip-mac/#kubevirt-vm","title":"KubeVirt VM \u200b\u56fa\u5b9a\u200b\u5730\u5740","text":"<p>\u200b\u9488\u5bf9\u200b KubeVirt \u200b\u521b\u5efa\u200b\u7684\u200b VM \u200b\u5b9e\u4f8b\u200b\uff0c<code>kube-ovn-controller</code> \u200b\u53ef\u4ee5\u200b\u6309\u7167\u200b\u7c7b\u4f3c\u200b StatefulSet Pod \u200b\u7684\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b IP \u200b\u5730\u5740\u200b\u5206\u914d\u200b\u548c\u200b\u7ba1\u7406\u200b\u3002 \u200b\u4ee5\u200b\u8fbe\u5230\u200b VM \u200b\u5b9e\u4f8b\u200b\u5728\u200b\u751f\u547d\u5468\u671f\u200b\u5185\u542f\u505c\u200b\uff0c\u200b\u5347\u7ea7\u200b\uff0c\u200b\u8fc1\u79fb\u200b\u7b49\u200b\u64cd\u4f5c\u8fc7\u7a0b\u200b\u4e2d\u200b\u5730\u5740\u200b\u56fa\u5b9a\u200b\u4e0d\u53d8\u200b\uff0c\u200b\u66f4\u7b26\u200b\u865a\u62df\u5316\u200b\u5408\u200b\u7528\u6237\u200b\u7684\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u4f53\u9a8c\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/subnet/","title":"\u5b50\u7f51\u200b\u4f7f\u7528","text":"<p>\u200b\u5b50\u7f51\u200b\u662f\u200b Kube-OVN \u200b\u4e2d\u200b\u7684\u200b\u4e00\u4e2a\u200b\u6838\u5fc3\u200b\u6982\u5ff5\u200b\u548c\u200b\u57fa\u672c\u200b\u4f7f\u7528\u200b\u5355\u5143\u200b\uff0cKube-OVN \u200b\u4f1a\u4ee5\u200b\u5b50\u7f51\u200b\u6765\u200b\u7ec4\u7ec7\u200b IP \u200b\u548c\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff0c\u200b\u6bcf\u4e2a\u200b Namespace \u200b\u53ef\u4ee5\u200b\u5f52\u5c5e\u4e8e\u200b\u7279\u5b9a\u200b\u7684\u200b\u5b50\u7f51\u200b\uff0c Namespace \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u4ece\u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u83b7\u53d6\u200b IP \u200b\u5e76\u200b\u5171\u4eab\u200b\u5b50\u7f51\u200b\u7684\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff08CIDR\uff0c\u200b\u7f51\u5173\u200b\u7c7b\u578b\u200b\uff0c\u200b\u8bbf\u95ee\u63a7\u5236\u200b\uff0cNAT \u200b\u63a7\u5236\u200b\u7b49\u200b\uff09\u3002</p> <p>\u200b\u548c\u200b\u5176\u4ed6\u200b CNI \u200b\u7684\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b\u5b9e\u73b0\u200b\u4e0d\u540c\u200b\uff0c\u200b\u5728\u200b Kube-OVN \u200b\u4e2d\u5b50\u200b\u7f51\u4e3a\u200b\u4e00\u4e2a\u200b\u5168\u5c40\u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff0c\u200b\u540c\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b\u5730\u5740\u200b\u53ef\u4ee5\u200b\u5206\u5e03\u200b\u5728\u200b\u4efb\u610f\u200b\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u3002</p> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u540c\u4e00\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u4e0d\u540c\u200b\u5b50\u7f51\u200b\u4e0d\u80fd\u200b\u5305\u542b\u200b\u540c\u6837\u200b\u7684\u200b IP\uff0c\u200b\u4ee5\u53ca\u200b\u57fa\u4e8e\u200b VPC peering \u200b\u6216\u8005\u200b VPN \u200b\u4e92\u76f8\u200b\u6253\u901a\u200b\u7684\u200b\u4e0d\u540c\u200b\u5b50\u7f51\u200b\u4e0d\u80fd\u200b\u5305\u542b\u200b\u540c\u6837\u200b\u7684\u200b IP\u3002</p> <p></p> <p>Overlay \u200b\u548c\u200b Underlay \u200b\u7684\u200b\u5b50\u7f51\u200b\u5728\u200b\u4f7f\u7528\u200b\u548c\u200b\u914d\u7f6e\u200b\u4e0a\u200b\u5b58\u5728\u200b\u4e00\u4e9b\u200b\u5dee\u5f02\u200b\uff0c\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u4f1a\u200b\u4ecb\u7ecd\u200b\u4e0d\u540c\u200b\u7c7b\u578b\u200b\u5b50\u7f51\u200b\u7684\u200b\u4e00\u4e9b\u200b\u5171\u540c\u200b\u914d\u7f6e\u200b\u548c\u200b\u5dee\u5f02\u5316\u200b\u529f\u80fd\u200b\u3002</p>"},{"location":"guide/subnet/#_2","title":"\u9ed8\u8ba4\u200b\u5b50\u7f51","text":"<p>\u200b\u4e3a\u4e86\u200b\u65b9\u4fbf\u200b\u7528\u6237\u200b\u7684\u200b\u5feb\u901f\u200b\u4e0a\u200b\u624b\u200b\u4f7f\u7528\u200b\uff0cKube-OVN \u200b\u5185\u7f6e\u200b\u4e86\u200b\u4e00\u4e2a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u6240\u6709\u200b\u672a\u200b\u663e\u5f0f\u200b\u58f0\u660e\u200b\u5b50\u7f51\u200b\u5f52\u5c5e\u200b\u7684\u200b Namespace \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u4ece\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u5206\u914d\u200b IP\uff0c \u200b\u5e76\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u7684\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\u3002\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7684\u200b\u914d\u7f6e\u200b\u4e3a\u200b\u5b89\u88c5\u200b\u65f6\u200b\u6307\u5b9a\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u5185\u7f6e\u200b\u7f51\u7edc\u200b\u8bbe\u7f6e\u200b\uff0c \u200b\u5982\u679c\u200b\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u4fee\u6539\u200b\u9ed8\u8ba4\u200b\u7f51\u7edc\u200b\u7684\u200b CIDR \u200b\u8bf7\u200b\u53c2\u8003\u200b\u4fee\u6539\u200b\u9ed8\u8ba4\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5728\u200b Overlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b\u4e86\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\u5e76\u200b\u5bf9\u200b\u51fa\u7f51\u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b NAT \u200b\u8f6c\u6362\u200b\uff0c\u200b\u5176\u200b\u884c\u4e3a\u200b\u548c\u200b Flannel \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u884c\u4e3a\u200b\u57fa\u672c\u4e00\u81f4\u200b\uff0c \u200b\u7528\u6237\u200b\u65e0\u9700\u200b\u989d\u5916\u200b\u7684\u200b\u914d\u7f6e\u200b\u5373\u53ef\u200b\u4f7f\u7528\u200b\u5230\u200b\u5927\u90e8\u5206\u200b\u7684\u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u4f5c\u4e3a\u200b\u51fa\u7f51\u200b\u7f51\u5173\u200b\uff0c\u200b\u5e76\u200b\u5f00\u542f\u200b arping \u200b\u68c0\u67e5\u200b\u7f51\u7edc\u200b\u8fde\u901a\u6027\u200b\u3002</p>"},{"location":"guide/subnet/#_3","title":"\u67e5\u770b\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51","text":"<p>\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b spec \u200b\u4e2d\u200b\u7684\u200b default \u200b\u5b57\u6bb5\u200b\u4e3a\u200b true\uff0c\u200b\u4e00\u4e2a\u200b\u96c6\u7fa4\u200b\u4e0b\u200b\u53ea\u6709\u200b\u4e00\u4e2a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u540d\u4e3a\u200b <code>ovn-default</code>\u3002</p> <p>\u200b\u67e5\u770b\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff1a</p> <pre><code># kubectl get subnet ovn-default -o yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  creationTimestamp: \"2019-08-06T09:33:43Z\"\n  generation: 1\n  name: ovn-default\n  resourceVersion: \"1571334\"\n  selfLink: /apis/kubeovn.io/v1/subnets/ovn-default\n  uid: 7e2451f8-fb44-4f7f-b3e0-cfd27f6fd5d6\nspec:\n  cidrBlock: 10.16.0.0/16\n  default: true\n  excludeIps:\n  - 10.16.0.1\n  gateway: 10.16.0.1\n  gatewayType: distributed\n  natOutgoing: true\n  private: false\n  protocol: IPv4\n</code></pre>"},{"location":"guide/subnet/#join","title":"Join \u200b\u5b50\u7f51","text":"<p>\u200b\u5728\u200b Kubernetes \u200b\u7684\u200b\u7f51\u7edc\u200b\u89c4\u8303\u200b\u4e2d\u200b\uff0c\u200b\u8981\u6c42\u200b Node \u200b\u53ef\u4ee5\u200b\u548c\u200b\u6240\u6709\u200b\u7684\u200b Pod \u200b\u76f4\u63a5\u200b\u901a\u4fe1\u200b\u3002 \u200b\u4e3a\u4e86\u200b\u5728\u200b Overlay \u200b\u7f51\u7edc\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u8fbe\u5230\u200b\u8fd9\u4e2a\u200b\u76ee\u7684\u200b\uff0c Kube-OVN \u200b\u521b\u5efa\u200b\u4e86\u200b\u4e00\u4e2a\u200b <code>join</code> \u200b\u5b50\u7f51\u200b\uff0c \u200b\u5e76\u200b\u5728\u200b\u6bcf\u4e2a\u200b Node \u200b\u8282\u70b9\u200b\u521b\u5efa\u200b\u4e86\u200b\u4e00\u5757\u200b\u865a\u62df\u200b\u7f51\u5361\u200b ovn0 \u200b\u63a5\u5165\u200b <code>join</code> \u200b\u5b50\u7f51\u200b\uff0c\u200b\u901a\u8fc7\u200b\u8be5\u200b\u7f51\u7edc\u200b\u5b8c\u6210\u200b\u8282\u70b9\u200b\u548c\u200b Pod \u200b\u4e4b\u95f4\u200b\u7684\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\u3002</p> <p>\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7684\u200b\u914d\u7f6e\u200b\u4e3a\u200b\u5b89\u88c5\u200b\u65f6\u200b\u6307\u5b9a\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u5185\u7f6e\u200b\u7f51\u7edc\u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u5982\u679c\u200b\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u4fee\u6539\u200b\u3002 join \u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u8bf7\u200b\u53c2\u8003\u200b\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b</p>"},{"location":"guide/subnet/#join_1","title":"\u67e5\u770b\u200b Join \u200b\u5b50\u7f51","text":"<p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u96c6\u4e2d\u5f0f\u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u65e0\u6cd5\u200b\u901a\u8fc7\u200b <code>hostport</code>, \u200b\u4ee5\u53ca\u200b\u8bbe\u7f6e\u200b\u4e86\u200b <code>externalTrafficPolicy: Local</code> \u200b\u7684\u200b NodePort \u200b\u7c7b\u578b\u200b Service \u200b\u8fdb\u884c\u200b\u8bbf\u95ee\u200b\uff0c</p> <p>\u200b\u8be5\u200b\u5b50\u7f51\u200b\u9ed8\u8ba4\u200b\u540d\u4e3a\u200b <code>join</code> \u200b\u4e00\u822c\u200b\u65e0\u9700\u200b\u5bf9\u200b\u8be5\u200b\u5b50\u7f51\u200b CIDR \u200b\u5916\u200b\u7684\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002</p> <pre><code># kubectl get subnet join -o yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  creationTimestamp: \"2019-08-06T09:33:43Z\"\n  generation: 1\n  name: join\n  resourceVersion: \"1571333\"\n  selfLink: /apis/kubeovn.io/v1/subnets/join\n  uid: 9c744810-c678-4d50-8a7d-b8ec12ef91b8\nspec:\n  cidrBlock: 100.64.0.0/16\n  default: false\n  excludeIps:\n  - 100.64.0.1\n  gateway: 100.64.0.1\n  gatewayNode: \"\"\n  gatewayType: \"\"\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n</code></pre> <p>\u200b\u5728\u200b node \u200b\u8282\u70b9\u200b\u67e5\u770b\u200b ovn0 \u200b\u7f51\u5361\u200b\uff1a</p> <pre><code># ifconfig ovn0\novn0: flags=4163&lt;UP,BROADCAST,RUNNING,MULTICAST&gt;  mtu 1420\n        inet 100.64.0.4  netmask 255.255.0.0  broadcast 100.64.255.255\n        inet6 fe80::800:ff:fe40:5  prefixlen 64  scopeid 0x20&lt;link&gt;\n        ether 0a:00:00:40:00:05  txqueuelen 1000  (Ethernet)\n        RX packets 18  bytes 1428 (1.3 KiB)\n        RX errors 0  dropped 0  overruns 0  frame 0\n        TX packets 19  bytes 1810 (1.7 KiB)\n        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0\n</code></pre>"},{"location":"guide/subnet/#_4","title":"\u521b\u5efa\u200b\u81ea\u5b9a\u4e49\u200b\u5b50\u7f51","text":"<p>\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u4ecb\u7ecd\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u5176\u200b\u548c\u200b\u67d0\u4e2a\u200b Namespace \u200b\u505a\u200b\u5173\u8054\u200b\u7684\u200b\u57fa\u672c\u64cd\u4f5c\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u9ad8\u7ea7\u200b\u914d\u7f6e\u200b\u8bf7\u200b\u53c2\u8003\u200b\u540e\u7eed\u200b\u5185\u5bb9\u200b\u3002</p>"},{"location":"guide/subnet/#_5","title":"\u521b\u5efa\u200b\u5b50\u7f51","text":"<pre><code>cat &lt;&lt;EOF | kubectl create -f -\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 10.66.0.0/16\n  excludeIps:\n  - 10.66.0.1..10.66.0.10\n  - 10.66.0.101..10.66.0.151\n  gateway: 10.66.0.1\n  gatewayType: distributed\n  natOutgoing: true\n  routeTable: \"\"\n  namespaces:\n  - ns1\n  - ns2\nEOF\n</code></pre> <ul> <li><code>cidrBlock</code>: \u200b\u5b50\u7f51\u200b CIDR \u200b\u8303\u56f4\u200b\uff0c\u200b\u540c\u4e00\u4e2a\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u4e0d\u540c\u200b Subnet CIDR \u200b\u4e0d\u80fd\u200b\u91cd\u53e0\u200b\u3002</li> <li><code>excludeIps</code>: \u200b\u4fdd\u7559\u200b\u5730\u5740\u200b\u5217\u8868\u200b\uff0c\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u5c06\u200b\u4e0d\u4f1a\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u5217\u8868\u200b\u5185\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u53ef\u7528\u200b\u505a\u200b\u56fa\u5b9a\u200b IP \u200b\u5730\u5740\u200b\u5206\u914d\u200b\u6bb5\u200b\uff0c\u200b\u4e5f\u200b\u53ef\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u907f\u514d\u200b\u548c\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u4e2d\u200b\u5df2\u6709\u200b\u8bbe\u5907\u200b\u51b2\u7a81\u200b\u3002</li> <li><code>gateway</code>\uff1a\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\uff0cOverlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b Kube-OVN \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u5bf9\u5e94\u200b\u7684\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\uff0cUnderlay \u200b\u6a21\u5f0f\u200b\u4e0b\u8be5\u200b\u5730\u5740\u200b\u9700\u4e3a\u200b\u5e95\u5c42\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\u3002</li> <li><code>namespaces</code>: \u200b\u7ed1\u5b9a\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7684\u200b Namespace \u200b\u5217\u8868\u200b\uff0c\u200b\u7ed1\u5b9a\u200b\u540e\u200b Namespace \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u5c06\u4f1a\u200b\u4ece\u200b\u5f53\u524d\u200b\u5b50\u7f51\u200b\u5206\u914d\u200b\u5730\u5740\u200b\u3002</li> <li><code>routeTable</code>: \u200b\u5173\u8054\u200b\u7684\u200b\u8def\u7531\u8868\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5173\u8054\u200b\u4e3b\u200b\u8def\u7531\u8868\u200b\uff0c\u200b\u8def\u7531\u8868\u200b\u5b9a\u4e49\u200b\u8bf7\u200b\u53c2\u8003\u200b\u9759\u6001\u200b\u8def\u7531\u200b</li> </ul>"},{"location":"guide/subnet/#_6","title":"\u9a8c\u8bc1\u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b\u751f\u6548","text":"<pre><code># kubectl create ns ns1\nnamespace/ns1 created\n\n# kubectl run nginx --image=docker.io/library/nginx:alpine -n ns1\ndeployment.apps/nginx created\n\n# kubectl get pod -n ns1 -o wide\nNAME                     READY   STATUS    RESTARTS   AGE   IP           NODE    NOMINATED NODE   READINESS GATES\nnginx-74d5899f46-n8wtg   1/1     Running   0          10s   10.66.0.11   node1   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"guide/subnet/#workload","title":"Workload \u200b\u7ed1\u5b9a\u200b\u5b50\u7f51","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Pod \u200b\u4f1a\u200b\u4ece\u200b Namespace \u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u5185\u200b\u5206\u914d\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u5982\u679c\u200b Namespace \u200b\u4e0b\u200b\u67d0\u4e2a\u200b Workload \u200b\u9700\u8981\u200b\u7279\u6b8a\u200b\u6307\u5b9a\u200b\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u8bbe\u7f6e\u200b Pod \u200b\u7684\u200b Annotation <code>ovn.kubernetes.io/logical_switch</code> \u200b\u6765\u200b\u5b9e\u73b0\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: another-subnet\n  annotations:\n    ovn.kubernetes.io/logical_switch: subnet1\nspec:\n  containers:\n  - name: another-subnet\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u7ed9\u200b Workload \u200b\u7c7b\u578b\u200b\u8d44\u6e90\u200b\u5982\u200b Deployment\uff0cStatefulSet \u200b\u7ed1\u5b9a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b <code>ovn.kubernetes.io/logical_switch</code> Annotation \u200b\u8bbe\u7f6e\u200b\u5728\u200b <code>spec.template.metadata.annotations</code>\u3002</p>"},{"location":"guide/subnet/#overlay","title":"Overlay \u200b\u5b50\u7f51\u200b\u7f51\u5173\u200b\u914d\u7f6e","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ea\u200b\u5bf9\u200b Overlay \u200b\u6a21\u5f0f\u200b\u5b50\u7f51\u200b\u751f\u6548\u200b\uff0cUnderlay \u200b\u7c7b\u578b\u200b\u5b50\u7f51\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u501f\u52a9\u200b\u5e95\u5c42\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u3002</p> <p>Overlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u9700\u8981\u200b\u901a\u8fc7\u200b\u7f51\u5173\u200b\u6765\u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0cKube-OVN \u200b\u76ee\u524d\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u7c7b\u578b\u200b\u7684\u200b\u7f51\u5173\u200b\uff1a \u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\u548c\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u5bf9\u200b\u7f51\u5173\u200b\u7684\u200b\u7c7b\u578b\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\u3002</p> <p>\u200b\u4e24\u79cd\u200b\u7c7b\u578b\u200b\u7f51\u5173\u200b\u5747\u200b\u652f\u6301\u200b <code>natOutgoing</code> \u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b Pod \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u65f6\u200b\u662f\u5426\u200b\u9700\u8981\u200b\u8fdb\u884c\u200b snat\u3002</p>"},{"location":"guide/subnet/#_7","title":"\u5206\u5e03\u5f0f\u200b\u7f51\u5173","text":"<p>\u200b\u5b50\u7f51\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u7c7b\u578b\u200b\u7f51\u5173\u200b\uff0c\u200b\u6bcf\u4e2a\u200b node \u200b\u4f1a\u200b\u4f5c\u4e3a\u200b\u5f53\u524d\u200b node \u200b\u4e0a\u200b pod \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u7684\u200b\u7f51\u5173\u200b\u3002 \u200b\u6570\u636e\u5305\u200b\u4f1a\u200b\u901a\u8fc7\u200b\u672c\u673a\u200b\u7684\u200b <code>ovn0</code> \u200b\u7f51\u5361\u200b\u6d41\u5165\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u6808\u200b\uff0c\u200b\u518d\u200b\u6839\u636e\u200b\u4e3b\u673a\u200b\u7684\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u8fdb\u884c\u200b\u51fa\u7f51\u200b\u3002 \u200b\u5f53\u200b <code>natOutgoing</code> \u200b\u4e3a\u200b <code>true</code> \u200b\u65f6\u200b\uff0cPod \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u5f53\u524d\u200b\u6240\u5728\u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b IP\u3002</p> <p></p> <p>\u200b\u5b50\u7f51\u200b\u793a\u4f8b\u200b\uff0c\u200b\u5176\u4e2d\u200b <code>gatewayType</code> \u200b\u5b57\u6bb5\u200b\u4e3a\u200b <code>distributed</code>\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: distributed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: distributed\n  natOutgoing: true\n</code></pre>"},{"location":"guide/subnet/#_8","title":"\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173","text":"<p>\u200b\u5982\u679c\u200b\u5e0c\u671b\u200b\u5b50\u7f51\u200b\u5185\u200b\u6d41\u91cf\u200b\u8bbf\u95ee\u200b\u5916\u200b\u7f51\u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b\u7684\u200b IP\uff0c\u200b\u4ee5\u4fbf\u200b\u5ba1\u8ba1\u200b\u548c\u200b\u767d\u540d\u5355\u200b\u7b49\u200b\u5b89\u5168\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u8bbe\u7f6e\u200b\u7f51\u5173\u200b\u7c7b\u578b\u200b\u4e3a\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u3002 \u200b\u5728\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0cPod \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u4f1a\u200b\u9996\u5148\u200b\u88ab\u200b\u8def\u7531\u200b\u5230\u200b\u7279\u5b9a\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovn0</code> \u200b\u7f51\u5361\u200b\uff0c\u200b\u518d\u200b\u901a\u8fc7\u200b\u4e3b\u673a\u200b\u7684\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u8fdb\u884c\u200b\u51fa\u7f51\u200b\u3002 \u200b\u5f53\u200b <code>natOutgoing</code> \u200b\u4e3a\u200b <code>true</code> \u200b\u65f6\u200b\uff0cPod \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u7279\u5b9a\u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b IP\u3002</p> <p>\u200b\u5b50\u7f51\u200b\u793a\u4f8b\u200b\uff0c\u200b\u5176\u4e2d\u200b <code>gatewayType</code> \u200b\u5b57\u6bb5\u200b\u4e3a\u200b <code>centralized</code>\uff0c<code>gatewayNode</code> \u200b\u4e3a\u200b\u7279\u5b9a\u200b\u673a\u5668\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b NodeName\u3002 \u200b\u5176\u4e2d\u200b <code>gatewayNode</code> \u200b\u5b57\u200b\u6bb5\u200b\u53ef\u4ee5\u200b\u4e3a\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u7684\u200b\u591a\u53f0\u200b\u4e3b\u673a\u200b\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: centralized\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: centralized\n  gatewayNode: \"node1,node2\"\n  natOutgoing: true\n</code></pre> <ul> <li>\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u5982\u679c\u200b\u5e0c\u671b\u200b\u6307\u5b9a\u200b\u673a\u5668\u200b\u7684\u200b\u7279\u5b9a\u200b\u7f51\u5361\u200b\u8fdb\u884c\u200b\u51fa\u7f51\u200b\uff0c<code>gatewayNode</code> \u200b\u53ef\u66f4\u6539\u200b\u4e3a\u200b <code>kube-ovn-worker:172.18.0.2, kube-ovn-control-plane:172.18.0.3</code> \u200b\u683c\u5f0f\u200b\u3002</li> <li>\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u9ed8\u8ba4\u200b\u4e3a\u4e3b\u200b\u5907\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u53ea\u6709\u200b\u4e3b\u200b\u8282\u70b9\u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b\uff0c \u200b\u5982\u679c\u200b\u9700\u8981\u200b\u5207\u6362\u200b\u4e3a\u200b ECMP \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b ECMP \u200b\u5f00\u542f\u200b\u8bbe\u7f6e\u200b\u3002</li> <li>\u200b\u4ece\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c\u200b\u5728\u200b subnet crd \u200b\u5b9a\u4e49\u200b\u4e2d\u200b\u589e\u52a0\u200b\u4e86\u200b spec \u200b\u5b57\u200b\u6bb5\u200b <code>enableEcmp</code>\uff0c\u200b\u5c06\u200b\u96c6\u4e2d\u5f0f\u200b\u5b50\u7f51\u200b ECMP \u200b\u5f00\u5173\u200b\u63a7\u5236\u200b\u8fc1\u79fb\u200b\u5230\u200b\u5b50\u7f51\u200b\u5c42\u7ea7\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b\u4e0d\u540c\u200b\u7684\u200b\u5b50\u7f51\u200b\u5206\u522b\u200b\u8bbe\u7f6e\u200b\u662f\u5426\u200b\u5f00\u542f\u200b ECMP \u200b\u6a21\u5f0f\u200b\u3002\u200b\u539f\u6709\u200b\u7684\u200b <code>kube-ovn-controller</code> Deployment \u200b\u4e2d\u200b\u7684\u200b <code>enable-ecmp</code> \u200b\u53c2\u6570\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\u3002\u200b\u4e4b\u524d\u200b\u7248\u672c\u5347\u7ea7\u200b\u5230\u200b v1.12.0 \u200b\u4e4b\u540e\u200b\uff0c\u200b\u5b50\u7f51\u200b\u5f00\u5173\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u7ee7\u627f\u200b\u539f\u6709\u200b\u7684\u200b\u5168\u5c40\u200b\u5f00\u5173\u200b\u53c2\u6570\u200b\u53d6\u503c\u200b\u3002</li> </ul>"},{"location":"guide/subnet/#acl","title":"\u5b50\u7f51\u200b ACL \u200b\u8bbe\u7f6e","text":"<p>\u200b\u5bf9\u4e8e\u200b\u6709\u200b\u7ec6\u7c92\u5ea6\u200b ACL \u200b\u63a7\u5236\u200b\u7684\u200b\u573a\u666f\u200b\uff0cKube-OVN \u200b\u7684\u200b Subnet \u200b\u63d0\u4f9b\u200b\u4e86\u200b ACL \u200b\u89c4\u5219\u200b\u7684\u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5b9e\u73b0\u200b\u7f51\u7edc\u200b\u89c4\u5219\u200b\u7684\u200b\u7cbe\u7ec6\u200b\u63a7\u5236\u200b\u3002</p> <p>Subnet \u200b\u4e2d\u200b\u7684\u200b ACL \u200b\u89c4\u5219\u200b\u548c\u200b OVN \u200b\u7684\u200b ACL \u200b\u89c4\u5219\u200b\u4e00\u81f4\u200b\uff0c\u200b\u76f8\u5173\u200b\u5b57\u200b\u6bb5\u200b\u5185\u5bb9\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b ovn-nb ACL Table\uff0c <code>match</code> \u200b\u5b57\u200b\u6bb5\u200b\u652f\u6301\u200b\u7684\u200b\u5b57\u200b\u6bb5\u200b\u53ef\u200b\u53c2\u8003\u200b ovn-sb Logical Flow Table\u3002</p> <p>\u200b\u5141\u8bb8\u200b IP \u200b\u5730\u5740\u200b\u4e3a\u200b <code>10.10.0.2</code> \u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\u6240\u6709\u200b\u5730\u5740\u200b\uff0c\u200b\u4f46\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u5176\u4ed6\u200b\u5730\u5740\u200b\u4e3b\u52a8\u200b\u8bbf\u95ee\u200b\u81ea\u5df1\u200b\u7684\u200b ACL \u200b\u89c4\u5219\u200b\u793a\u4f8b\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: acl\nspec:\n  allowEWTraffic: false\n  acls:\n    - action: drop\n      direction: to-lport\n      match: ip4.dst == 10.10.0.2 &amp;&amp; ip\n      priority: 1002\n    - action: allow-related\n      direction: from-lport\n      match: ip4.src == 10.10.0.2 &amp;&amp; ip\n      priority: 1002\n  cidrBlock: 10.10.0.0/24\n</code></pre> <p>\u200b\u67d0\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\u7528\u6237\u200b\u5e0c\u671b\u200b\u914d\u7f6e\u200b\u4e86\u200b ACL \u200b\u89c4\u5219\u200b\u7684\u200b\u5b50\u7f51\u200b\u5185\u90e8\u200b\u7f51\u7edc\u901a\u4fe1\u200b\u4e0d\u200b\u53d7\u200b\u5f71\u54cd\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u914d\u7f6e\u200b <code>allowEWTraffic: true</code> \u200b\u6765\u200b\u5b9e\u73b0\u200b\u3002</p>"},{"location":"guide/subnet/#_9","title":"\u5b50\u7f51\u200b\u9694\u79bb\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5b50\u7f51\u200b ACL \u200b\u7684\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u8986\u76d6\u200b\u5b50\u7f51\u200b\u9694\u79bb\u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u5e76\u200b\u6709\u200b\u66f4\u597d\u200b\u7684\u200b\u7075\u6d3b\u6027\u200b\uff0c\u200b\u6211\u4eec\u200b\u63a8\u8350\u200b\u4f7f\u7528\u200b\u5b50\u7f51\u200b ACL \u200b\u6765\u200b\u505a\u200b\u76f8\u5e94\u200b\u7684\u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Kube-OVN \u200b\u521b\u5efa\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e4b\u95f4\u200b\u53ef\u4ee5\u200b\u76f8\u4e92\u200b\u901a\u4fe1\u200b\uff0cPod \u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u7f51\u5173\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5982\u9700\u200b\u5bf9\u200b\u5b50\u7f51\u200b\u95f4\u200b\u7684\u200b\u8bbf\u95ee\u200b\u8fdb\u884c\u200b\u63a7\u5236\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b50\u7f51\u200b CRD \u200b\u4e2d\u5c06\u200b <code>private</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b true\uff0c\u200b\u5219\u200b\u8be5\u200b\u5b50\u7f51\u200b\u5c06\u200b\u548c\u200b\u5176\u4ed6\u200b\u5b50\u7f51\u200b\u4ee5\u53ca\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u9694\u79bb\u200b\uff0c \u200b\u53ea\u80fd\u200b\u8fdb\u884c\u200b\u5b50\u7f51\u200b\u5185\u90e8\u200b\u7684\u200b\u901a\u4fe1\u200b\u3002\u200b\u5982\u200b\u9700\u5f00\u200b\u767d\u540d\u5355\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b <code>allowSubnets</code> \u200b\u8fdb\u884c\u200b\u8bbe\u7f6e\u200b\u3002<code>allowSubnets</code> \u200b\u5185\u200b\u7684\u200b\u7f51\u6bb5\u200b\u548c\u200b\u8be5\u200b\u5b50\u7f51\u200b\u53ef\u4ee5\u200b\u53cc\u5411\u200b\u4e92\u8bbf\u200b\u3002</p>"},{"location":"guide/subnet/#_10","title":"\u5f00\u542f\u200b\u8bbf\u95ee\u63a7\u5236\u200b\u7684\u200b\u5b50\u7f51\u200b\u793a\u4f8b","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: private\nspec:\n  protocol: IPv4\n  default: false\n  namespaces:\n  - ns1\n  - ns2\n  cidrBlock: 10.69.0.0/16\n  private: true\n  allowSubnets:\n  - 10.16.0.0/16\n  - 10.18.0.0/16\n</code></pre>"},{"location":"guide/subnet/#underlay","title":"Underlay \u200b\u76f8\u5173\u200b\u9009\u9879","text":"<p>\u200b\u8be5\u200b\u90e8\u5206\u200b\u529f\u80fd\u200b\u53ea\u200b\u5bf9\u200b Underlay \u200b\u7c7b\u578b\u200b\u5b50\u7f51\u200b\u751f\u6548\u200b\u3002</p> <ul> <li><code>vlan</code>: \u200b\u5982\u679c\u200b\u4f7f\u7528\u200b Underlay \u200b\u7f51\u7edc\u200b\uff0c\u200b\u8be5\u5b57\u6bb5\u200b\u7528\u6765\u200b\u63a7\u5236\u200b\u8be5\u200b Subnet \u200b\u548c\u200b\u54ea\u4e2a\u200b Vlan CR \u200b\u8fdb\u884c\u200b\u7ed1\u5b9a\u200b\u3002\u200b\u8be5\u200b\u9009\u9879\u200b\u9ed8\u8ba4\u200b\u4e3a\u7a7a\u200b\u5b57\u7b26\u4e32\u200b\uff0c\u200b\u5373\u200b\u4e0d\u200b\u4f7f\u7528\u200b Underlay \u200b\u7f51\u7edc\u200b\u3002</li> <li><code>logicalGateway</code>: \u200b\u4e00\u4e9b\u200b Underlay \u200b\u73af\u5883\u200b\u4e3a\u200b\u7eaf\u200b\u4e8c\u5c42\u200b\u7f51\u7edc\u200b\uff0c\u200b\u4e0d\u200b\u5b58\u5728\u200b\u7269\u7406\u200b\u7684\u200b\u4e09\u5c42\u200b\u7f51\u5173\u200b\u3002\u200b\u5728\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u501f\u52a9\u200b OVN \u200b\u672c\u8eab\u200b\u7684\u200b\u80fd\u529b\u200b\u8bbe\u7f6e\u200b\u4e00\u4e2a\u200b\u865a\u62df\u200b\u7f51\u5173\u200b\uff0c\u200b\u5c06\u200b Underlay   \u200b\u548c\u200b Overlay \u200b\u7f51\u7edc\u200b\u6253\u901a\u200b\u3002\u200b\u9ed8\u8ba4\u503c\u200b\u4e3a\u200b\uff1a<code>false</code>\u3002</li> </ul>"},{"location":"guide/subnet/#_11","title":"\u7f51\u5173\u200b\u68c0\u67e5\u200b\u8bbe\u7f6e","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b <code>kube-ovn-cni</code> \u200b\u5728\u200b\u542f\u52a8\u200b Pod \u200b\u540e\u200b\u4f1a\u200b\u4f7f\u7528\u200b ICMP \u200b\u6216\u200b ARP \u200b\u534f\u8bae\u200b\u8bf7\u6c42\u200b\u7f51\u5173\u200b\u5e76\u200b\u7b49\u5f85\u200b\u8fd4\u56de\u200b\uff0c \u200b\u4ee5\u200b\u9a8c\u8bc1\u200b\u7f51\u7edc\u200b\u5de5\u4f5c\u200b\u6b63\u5e38\u200b\uff0c\u200b\u5728\u200b\u90e8\u5206\u200b Underlay \u200b\u73af\u5883\u200b\u7f51\u5173\u200b\u65e0\u6cd5\u200b\u54cd\u5e94\u200b ARP \u200b\u8bf7\u6c42\u200b\uff0c\u200b\u6216\u200b\u65e0\u9700\u200b\u7f51\u7edc\u200b\u5916\u90e8\u200b\u8054\u901a\u200b\u7684\u200b\u573a\u666f\u200b \u200b\u53ef\u4ee5\u200b\u5173\u95ed\u200b\u7f51\u5173\u200b\u68c0\u67e5\u200b\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: disable-gw-check\nspec:\n  disableGatewayCheck: true\n</code></pre>"},{"location":"guide/subnet/#multicast-snoop","title":"Multicast-Snoop \u200b\u914d\u7f6e","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b subnet \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u5982\u679c\u200b\u53d1\u9001\u200b\u7ec4\u200b\u64ad\u62a5\u200b\u6587\u200b\uff0cOVN \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u884c\u4e3a\u200b\u662f\u200b\u4f1a\u200b\u5e7f\u64ad\u200b\u7ec4\u200b\u64ad\u62a5\u200b\u6587\u5230\u200b\u5b50\u7f51\u200b\u4e0b\u200b\u6240\u6709\u200b\u7684\u200b Pod\u3002\u200b\u5982\u679c\u200b\u5f00\u542f\u200b subnet \u200b\u7684\u200b multicast snoop \u200b\u5f00\u5173\u200b\uff0cOVN \u200b\u4f1a\u200b\u6839\u636e\u200b <code>South Database</code> \u200b\u4e2d\u200b\u7684\u200b\u7ec4\u64ad\u8868\u200b <code>Multicast_Group</code> \u200b\u6765\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u800c\u200b\u4e0d\u200b\u5728\u200b\u8fdb\u884c\u200b\u5e7f\u64ad\u200b\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sample1\nspec:\n  enableMulticastSnoop: true\n</code></pre>"},{"location":"guide/subnet/#subnet-mtu","title":"Subnet MTU \u200b\u914d\u7f6e","text":"<p>\u200b\u914d\u7f6e\u200b Subnet \u200b\u4e0b\u200b Pod \u200b\u7684\u200b MTU\uff0c\u200b\u914d\u7f6e\u200b\u540e\u200b\u9700\u8981\u200b\u91cd\u542f\u200b Subnet \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u624d\u200b\u751f\u6548\u200b</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sample1\nspec:\n  mtu: 1300\n</code></pre>"},{"location":"guide/subnet/#_12","title":"\u5176\u4ed6\u200b\u9ad8\u7ea7\u200b\u8bbe\u7f6e","text":"<ul> <li>IP \u200b\u6c60\u200b\u4f7f\u7528\u200b</li> <li>\u200b\u9ed8\u8ba4\u200b VPC NAT \u200b\u7b56\u7565\u200b\u89c4\u5219\u200b</li> <li>QoS \u200b\u8bbe\u7f6e\u200b</li> <li>\u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b</li> <li>DHCP \u200b\u9009\u9879\u200b</li> <li>\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u8bbe\u7f6e\u200b</li> <li>\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u8bbe\u7f6e\u200b</li> <li>\u200b\u865a\u62df\u200b IP \u200b\u8bbe\u7f6e\u200b</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/vpc-qos/","title":"VPC QoS","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u4f7f\u7528\u200b QoSPolicy CRD \u200b\u5bf9\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u7684\u200b\u6d41\u91cf\u200b\u901f\u7387\u200b\u8fdb\u884c\u200b\u9650\u5236\u200b\u3002</p>"},{"location":"guide/vpc-qos/#eip-qos","title":"EIP QoS","text":"<p>\u200b\u5bf9\u200b EIP \u200b\u8fdb\u884c\u200b\u9650\u901f\u200b\uff0c\u200b\u9650\u901f\u200b\u503c\u4e3a\u200b 1Mbps\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u4e3a\u200b 1\uff0c\u200b\u8fd9\u91cc\u200b <code>shared=false</code>\uff0c\u200b\u8868\u793a\u200b\u8fd9\u4e2a\u200b QoSPolicy \u200b\u53ea\u80fd\u200b\u7ed9\u200b\u8fd9\u4e2a\u200b EIP \u200b\u4f7f\u7528\u200b\u4e14\u200b\u652f\u6301\u200b\u52a8\u6001\u200b\u4fee\u6539\u200b QoSPolicy \u200b\u53bb\u200b\u53d8\u66f4\u200b QoS \u200b\u89c4\u5219\u200b\u3002</p> <p>QoSPolicy \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-eip-example\nspec:\n  shared: false\n  bindingType: EIP\n  bandwidthLimitRules:\n  - name: eip-ingress\n    rateMax: \"1\" # Mbps\n    burstMax: \"1\" # Mbps\n    priority: 1\n    direction: ingress\n  - name: eip-egress\n    rateMax: \"1\" # Mbps\n    burstMax: \"1\" # Mbps\n    priority: 1\n    direction: egress\n</code></pre> <p>IptablesEIP \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-1\nspec:\n  natGwDp: gw1\n  qosPolicy: qos-eip-example\n</code></pre> <p><code>.spec.qosPolicy</code> \u200b\u7684\u200b\u503c\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u65f6\u200b\u4f20\u5165\u200b\uff0c\u200b\u4e5f\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u540e\u200b\u4fee\u6539\u200b\u3002</p>"},{"location":"guide/vpc-qos/#qos-eip","title":"\u67e5\u770b\u200b\u5df2\u200b\u542f\u7528\u200b QoS \u200b\u7684\u200b EIP","text":"<p>\u200b\u901a\u8fc7\u200b <code>label</code> \u200b\u67e5\u770b\u200b\u5df2\u7ecf\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b qos \u200b\u7684\u200b eip\uff1a</p> <pre><code># kubectl get eip  -l ovn.kubernetes.io/qos=qos-eip-example\nNAME    IP             MAC                 NAT   NATGWDP   READY\neip-1   172.18.11.24   00:00:00:34:41:0B   fip   gw1       true\n</code></pre>"},{"location":"guide/vpc-qos/#vpc-natgw-net1-qos","title":"VPC NATGW net1 \u200b\u7f51\u5361\u200b QoS","text":"<p>\u200b\u5bf9\u200b VPC NATGW \u200b\u7684\u200b net1 \u200b\u7f51\u5361\u200b\u901f\u7387\u200b\u8fdb\u884c\u200b\u9650\u5236\u200b\uff0c\u200b\u9650\u901f\u200b\u503c\u4e3a\u200b 10Mbps\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u4e3a\u200b 3\uff0c\u200b\u8fd9\u91cc\u200b <code>shared=true</code>\uff0c\u200b\u8868\u793a\u200b\u8fd9\u4e2a\u200b QoSPolicy \u200b\u53ef\u4ee5\u200b\u540c\u65f6\u200b\u7ed9\u200b\u591a\u4e2a\u200b\u8d44\u6e90\u200b\u4f7f\u7528\u200b\uff0c\u200b\u8fd9\u79cd\u200b\u573a\u666f\u200b\u4e0b\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u4fee\u6539\u200b QoSPolicy \u200b\u7684\u200b\u5185\u5bb9\u200b\u3002</p> <p>QoSPolicy \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-natgw-example\nspec:\n  shared: true\n  bindingType: NATGW\n  bandwidthLimitRules:\n  - name: net1-ingress\n    interface: net1\n    rateMax: \"10\" # Mbps\n    burstMax: \"10\" # Mbps\n    priority: 3\n    direction: ingress\n  - name: net1-egress\n    interface: net1\n    rateMax: \"10\" # Mbps\n    burstMax: \"10\" # Mbps\n    priority: 3\n    direction: egress\n</code></pre> <p>VpcNatGateway \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  qosPolicy: qos-natgw-example\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n</code></pre> <p><code>.spec.qosPolicy</code> \u200b\u7684\u200b\u503c\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u4f20\u5165\u200b\uff0c\u200b\u4e5f\u200b\u652f\u6301\u200b\u540e\u7eed\u200b\u4fee\u6539\u200b\u3002</p>"},{"location":"guide/vpc-qos/#net1-qos","title":"net1 \u200b\u7f51\u5361\u200b\u7279\u5b9a\u200b\u6d41\u91cf\u200b QoS","text":"<p>\u200b\u5bf9\u200b net1 \u200b\u7f51\u5361\u200b\u4e0a\u200b\u7279\u5b9a\u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b\u9650\u901f\u200b\uff0c\u200b\u9650\u901f\u200b\u503c\u4e3a\u200b 5Mbps\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u4e3a\u200b 2\uff0c\u200b\u8fd9\u91cc\u200b <code>shared=true</code>\uff0c\u200b\u8868\u793a\u200b\u8fd9\u4e2a\u200b QoSPolicy  \u200b\u53ef\u4ee5\u200b\u540c\u65f6\u200b\u7ed9\u200b\u591a\u4e2a\u200b\u8d44\u6e90\u200b\u4f7f\u7528\u200b\uff0c\u200b\u6b64\u65f6\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u4fee\u6539\u200b QoSPolicy \u200b\u7684\u200b\u5185\u5bb9\u200b\u3002</p> <p>QoSPolicy \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-natgw-example\nspec:\n  shared: true\n  bindingType: NATGW\n  bandwidthLimitRules:\n  - name: net1-extip-ingress\n    interface: net1\n    rateMax: \"5\" # Mbps\n    burstMax: \"5\" # Mbps\n    priority: 2\n    direction: ingress\n    matchType: ip\n    matchValue: src 172.18.11.22/32\n  - name: net1-extip-egress\n    interface: net1\n    rateMax: \"5\" # Mbps\n    burstMax: \"5\" # Mbps\n    priority: 2\n    direction: egress\n    matchType: ip\n    matchValue: dst 172.18.11.23/32\n</code></pre> <p>VpcNatGateway \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  qosPolicy: qos-natgw-example\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n</code></pre>"},{"location":"guide/vpc-qos/#qos-natgw","title":"\u67e5\u770b\u200b\u5df2\u200b\u542f\u7528\u200b QoS \u200b\u7684\u200b NATGW","text":"<p>\u200b\u901a\u8fc7\u200b <code>label</code> \u200b\u67e5\u770b\u200b\u5df2\u7ecf\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b qos \u200b\u7684\u200b eip\uff1a</p> <pre><code># kubectl get vpc-nat-gw  -l ovn.kubernetes.io/qos=qos-natgw-example\nNAME   VPC          SUBNET   LANIP\ngw1    test-vpc-1   net1     10.0.1.254\n</code></pre>"},{"location":"guide/vpc-qos/#qos","title":"\u67e5\u770b\u200b qos \u200b\u89c4\u5219","text":"<pre><code># kubectl get qos -A\nNAME                SHARED   BINDINGTYPE\nqos-eip-example     false    EIP\nqos-natgw-example   true     NATGW\n</code></pre>"},{"location":"guide/vpc-qos/#_1","title":"\u9650\u5236","text":"<ul> <li>\u200b\u53ea\u6709\u200b\u5728\u200b\u672a\u200b\u4f7f\u7528\u200b\u65f6\u200b\u624d\u80fd\u200b\u5220\u9664\u200b QoS \u200b\u7b56\u7565\u200b\u3002\u200b\u56e0\u6b64\u200b\uff0c\u200b\u5728\u200b\u5220\u9664\u200b QoS \u200b\u7b56\u7565\u200b\u4e4b\u524d\u200b\uff0c\u200b\u8bf7\u200b\u5148\u200b\u67e5\u770b\u200b\u5df2\u200b\u542f\u7528\u200b QoS \u200b\u7684\u200b EIP \u200b\u548c\u200b NATGW\uff0c\u200b\u53bb\u6389\u200b\u5b83\u4eec\u200b\u7684\u200b <code>spec.qosPolicy</code> \u200b\u914d\u7f6e\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/vpc/","title":"VPC \u200b\u4f7f\u7528","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u591a\u200b\u79df\u6237\u200b\u9694\u79bb\u200b\u7ea7\u522b\u200b\u7684\u200b VPC \u200b\u7f51\u7edc\u200b\u3002\u200b\u4e0d\u540c\u200b VPC \u200b\u7f51\u7edc\u200b\u76f8\u4e92\u200b\u72ec\u7acb\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5206\u522b\u200b\u914d\u7f6e\u200b Subnet \u200b\u7f51\u6bb5\u200b\uff0c \u200b\u8def\u7531\u200b\u7b56\u7565\u200b\uff0c\u200b\u5b89\u5168\u7b56\u7565\u200b\uff0c\u200b\u51fa\u7f51\u200b\u7f51\u5173\u200b\uff0cEIP \u200b\u7b49\u200b\u914d\u7f6e\u200b\u3002</p> <p>VPC \u200b\u4e3b\u8981\u200b\u7528\u4e8e\u200b\u6709\u200b\u591a\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\u5f3a\u200b\u9694\u79bb\u200b\u7684\u200b\u573a\u666f\u200b\uff0c\u200b\u90e8\u5206\u200b Kubernetes \u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\u5728\u200b\u591a\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\u4e0b\u200b\u5b58\u5728\u200b\u51b2\u7a81\u200b\u3002 \u200b\u4f8b\u5982\u200b\u8282\u70b9\u200b\u548c\u200b Pod \u200b\u4e92\u8bbf\u200b\uff0cNodePort \u200b\u529f\u80fd\u200b\uff0c\u200b\u57fa\u4e8e\u200b\u7f51\u7edc\u200b\u8bbf\u95ee\u200b\u7684\u200b\u5065\u5eb7\u68c0\u67e5\u200b\u548c\u200b DNS \u200b\u80fd\u529b\u200b\u5728\u200b\u591a\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\u573a\u666f\u200b\u6682\u200b\u4e0d\u200b\u652f\u6301\u200b\u3002 \u200b\u4e3a\u4e86\u200b\u65b9\u4fbf\u200b\u5e38\u89c1\u200b Kubernetes \u200b\u7684\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\uff0cKube-OVN \u200b\u9ed8\u8ba4\u200b VPC \u200b\u505a\u200b\u4e86\u200b\u7279\u6b8a\u200b\u8bbe\u8ba1\u200b\uff0c\u200b\u8be5\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Subnet \u200b\u53ef\u4ee5\u200b\u6ee1\u8db3\u200b Kubernetes \u200b\u89c4\u8303\u200b\u3002\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u652f\u6301\u200b\u672c\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b\u7684\u200b\u9759\u6001\u200b\u8def\u7531\u200b\uff0cEIP \u200b\u548c\u200b NAT \u200b\u7f51\u5173\u200b\u7b49\u200b\u529f\u80fd\u200b\u3002 \u200b\u5e38\u89c1\u200b\u9694\u79bb\u200b\u9700\u6c42\u200b\u53ef\u200b\u901a\u8fc7\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u548c\u200b\u5b50\u7f51\u200b ACL \u200b\u5b9e\u73b0\u200b\uff0c\u200b\u5728\u200b\u4f7f\u7528\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u524d\u200b\u8bf7\u200b\u660e\u786e\u200b\u662f\u5426\u200b\u9700\u8981\u200b VPC \u200b\u7ea7\u522b\u200b\u7684\u200b\u9694\u79bb\u200b\uff0c\u200b\u5e76\u200b\u4e86\u89e3\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u9650\u5236\u200b\u3002 \u200b\u5728\u200b Underlay \u200b\u7f51\u7edc\u200b\u4e0b\u200b\uff0c\u200b\u7269\u7406\u200b\u4ea4\u6362\u673a\u200b\u8d1f\u8d23\u200b\u6570\u636e\u200b\u9762\u200b\u8f6c\u53d1\u200b\uff0cVPC \u200b\u65e0\u6cd5\u200b\u5bf9\u200b Underlay \u200b\u5b50\u7f51\u200b\u8fdb\u884c\u200b\u9694\u79bb\u200b\u3002</p> <p></p>"},{"location":"guide/vpc/#vpc_1","title":"\u521b\u5efa\u200b\u81ea\u5b9a\u4e49\u200b VPC","text":"<p>\u200b\u521b\u5efa\u200b\u4e24\u4e2a\u200b VPC\uff1a</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  namespaces:\n  - ns1\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-2\nspec:\n  namespaces:\n  - ns2\n</code></pre> <ul> <li><code>namespaces</code> \u200b\u53ef\u4ee5\u200b\u9650\u5b9a\u200b\u53ea\u6709\u200b\u54ea\u4e9b\u200b Namespace \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5f53\u524d\u200b VPC\uff0c\u200b\u82e5\u4e3a\u200b\u7a7a\u5219\u200b\u4e0d\u200b\u9650\u5b9a\u200b\u3002</li> </ul> <p>\u200b\u521b\u5efa\u200b\u4e24\u4e2a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u5206\u5c5e\u200b\u4e24\u4e2a\u200b\u4e0d\u540c\u200b\u7684\u200b VPC \u200b\u5e76\u200b\u6709\u200b\u76f8\u540c\u200b\u7684\u200b CIDR:</p> <pre><code>kind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net1\nspec:\n  vpc: test-vpc-1\n  cidrBlock: 10.0.1.0/24\n  protocol: IPv4\n  namespaces:\n    - ns1\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: test-vpc-2\n  cidrBlock: 10.0.1.0/24\n  protocol: IPv4\n  namespaces:\n    - ns2\n</code></pre> <p>\u200b\u5206\u522b\u200b\u5728\u200b\u4e24\u4e2a\u200b Namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net1\n  namespace: ns1\n  name: vpc1-pod\nspec:\n  containers:\n    - name: vpc1-pod\n      image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net2\n  namespace: ns2\n  name: vpc2-pod\nspec:\n  containers:\n    - name: vpc2-pod\n      image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u8fd0\u884c\u200b\u6210\u529f\u200b\u540e\u200b\u53ef\u200b\u89c2\u5bdf\u200b\u4e24\u4e2a\u200b Pod \u200b\u5730\u5740\u200b\u5c5e\u4e8e\u200b\u540c\u4e00\u4e2a\u200b CIDR\uff0c\u200b\u4f46\u200b\u7531\u4e8e\u200b\u8fd0\u884c\u200b\u5728\u200b\u4e0d\u540c\u200b\u7684\u200b\u79df\u6237\u200b VPC\uff0c\u200b\u4e24\u4e2a\u200b Pod \u200b\u65e0\u6cd5\u200b\u76f8\u4e92\u200b\u8bbf\u95ee\u200b\u3002</p>"},{"location":"guide/vpc/#vpc-pod-livenessprobe-readinessprobe","title":"\u81ea\u5b9a\u4e49\u200b VPC Pod \u200b\u652f\u6301\u200b livenessProbe \u200b\u548c\u200b readinessProbe","text":"<p>\u200b\u7531\u4e8e\u200b\u5e38\u89c4\u200b\u914d\u7f6e\u200b\u4e0b\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u548c\u200b\u8282\u70b9\u200b\u7684\u200b\u7f51\u7edc\u200b\u4e4b\u95f4\u200b\u5e76\u200b\u4e0d\u200b\u4e92\u901a\u200b\uff0c\u200b\u6240\u4ee5\u200b kubelet \u200b\u53d1\u9001\u200b\u7684\u200b\u63a2\u6d4b\u200b\u62a5\u6587\u200b\u65e0\u6cd5\u200b\u5230\u8fbe\u200b\u81ea\u200b\u5b9a\u200b VPC \u200b\u5185\u200b\u7684\u200b Pod\u3002Kube-OVN \u200b\u901a\u8fc7\u200b TProxy \u200b\u5c06\u200b kubelet \u200b\u53d1\u9001\u200b\u7684\u200b\u63a2\u6d4b\u200b\u62a5\u6587\u200b\u91cd\u5b9a\u5411\u200b\u5230\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u7684\u200b Pod\uff0c\u200b\u4ece\u800c\u200b\u5b9e\u73b0\u200b\u8fd9\u4e00\u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u914d\u7f6e\u200b\u65b9\u6cd5\u200b\u5982\u4e0b\u200b\uff0c\u200b\u5728\u200b Daemonset <code>kube-ovn-cni</code> \u200b\u4e2d\u200b\u589e\u52a0\u200b\u53c2\u6570\u200b <code>--enable-tproxy=true</code>\uff1a</p> <pre><code>spec:\n  template:\n    spec:\n      containers:\n      - args:\n        - --enable-tproxy=true\n</code></pre> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u9650\u5236\u200b\u6761\u4ef6\u200b\uff1a</p> <ol> <li>\u200b\u5f53\u200b\u540c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0b\u200b\u51fa\u73b0\u200b\u4e0d\u540c\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u5177\u6709\u200b\u76f8\u540c\u200b\u7684\u200b IP\uff0c\u200b\u63a2\u6d4b\u200b\u529f\u80fd\u200b\u5931\u6548\u200b\u3002</li> <li>\u200b\u76ee\u524d\u200b\u6682\u65f6\u200b\u53ea\u200b\u652f\u6301\u200b <code>tcpSocket</code> \u200b\u548c\u200b <code>httpGet</code> \u200b\u4e24\u79cd\u200b\u63a2\u6d4b\u200b\u65b9\u5f0f\u200b\u3002</li> </ol>"},{"location":"guide/vpc/#vpc_2","title":"\u521b\u5efa\u200b VPC \u200b\u7f51\u5173","text":"<p>\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e0d\u200b\u652f\u6301\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\u548c\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u3002</p> <p>VPC \u200b\u5185\u5bb9\u200b\u5668\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b VPC \u200b\u7f51\u5173\u200b\uff0cVPC \u200b\u7f51\u5173\u200b\u53ef\u4ee5\u200b\u6253\u901a\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u548c\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e76\u200b\u63d0\u4f9b\u200b \u200b\u6d6e\u52a8\u200b IP\uff0cSNAT \u200b\u548c\u200b DNAT \u200b\u529f\u80fd\u200b\u3002</p> <p>VPC \u200b\u7f51\u5173\u200b\u529f\u80fd\u200b\u4f9d\u8d56\u200b Multus-CNI \u200b\u7684\u200b\u591a\u200b\u7f51\u5361\u200b\u529f\u80fd\u200b\uff0c\u200b\u5b89\u88c5\u200b\u8bf7\u200b\u53c2\u8003\u200b multus-cni\u3002</p>"},{"location":"guide/vpc/#_1","title":"\u914d\u7f6e\u200b\u5916\u90e8\u200b\u7f51\u7edc","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: ovn-vpc-external-network\nspec:\n  protocol: IPv4\n  provider: ovn-vpc-external-network.kube-system\n  cidrBlock: 192.168.0.0/24\n  gateway: 192.168.0.1  # IP address of the physical gateway\n  excludeIps:\n  - 192.168.0.1..192.168.0.10\n---\napiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-vpc-external-network\n  namespace: kube-system\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth1\",\n      \"mode\": \"bridge\",\n      \"ipam\": {\n        \"type\": \"kube-ovn\",\n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n        \"provider\": \"ovn-vpc-external-network.kube-system\"\n      }\n    }'\n</code></pre> <ul> <li>\u200b\u8be5\u200b Subnet \u200b\u7528\u6765\u200b\u7ba1\u7406\u200b\u53ef\u7528\u200b\u7684\u200b\u5916\u90e8\u200b\u5730\u5740\u200b\uff0c\u200b\u7f51\u6bb5\u200b\u5185\u200b\u7684\u200b\u5730\u5740\u200b\u5c06\u4f1a\u200b\u901a\u8fc7\u200b Macvlan \u200b\u5206\u914d\u200b\u7ed9\u200b VPC \u200b\u7f51\u5173\u200b\uff0c\u200b\u8bf7\u200b\u548c\u200b\u7f51\u7edc\u7ba1\u7406\u200b\u6c9f\u901a\u200b\u7ed9\u51fa\u200b\u53ef\u7528\u200b\u7684\u200b\u7269\u7406\u200b\u6bb5\u200b IP\u3002</li> <li>VPC \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b Macvlan \u200b\u505a\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff0c<code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b <code>master</code> \u200b\u9700\u4e3a\u200b\u5bf9\u5e94\u200b\u7269\u7406\u200b\u7f51\u8def\u200b\u7f51\u5361\u200b\u7684\u200b\u7f51\u5361\u200b\u540d\u200b\u3002</li> <li><code>name</code> \u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u540d\u79f0\u200b\u3002</li> </ul> <p>\u200b\u5728\u200b Macvlan \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4f1a\u200b\u5c06\u200b\u6570\u636e\u5305\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b\u8be5\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u5bf9\u5916\u200b\u53d1\u9001\u200b\uff0cL2/L3 \u200b\u5c42\u9762\u200b\u7684\u200b\u8f6c\u53d1\u200b\u80fd\u529b\u200b\u9700\u8981\u200b\u4f9d\u8d56\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u3002 \u200b\u9700\u8981\u200b\u9884\u5148\u200b\u5728\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u914d\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b\u7f51\u5173\u200b\u3001Vlan \u200b\u548c\u200b\u5b89\u5168\u7b56\u7565\u200b\u7b49\u200b\u914d\u7f6e\u200b\u3002</p> <ol> <li>\u200b\u5bf9\u4e8e\u200b OpenStack \u200b\u7684\u200b VM \u200b\u73af\u5883\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b\u5bf9\u5e94\u200b\u7f51\u7edc\u200b\u7aef\u53e3\u200b\u7684\u200b <code>PortSecurity</code> \u200b\u5173\u95ed\u200b\u3002</li> <li>\u200b\u5bf9\u4e8e\u200b VMware \u200b\u7684\u200b vSwitch \u200b\u7f51\u7edc\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b <code>MAC Address Changes</code>, <code>Forged Transmits</code> \u200b\u548c\u200b <code>Promiscuous Mode Operation</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>allow</code>\u3002</li> <li>\u200b\u5bf9\u4e8e\u200b Hyper-V \u200b\u865a\u62df\u5316\u200b\uff0c\u200b\u9700\u8981\u200b\u5f00\u542f\u200b\u865a\u62df\u673a\u200b\u7f51\u5361\u200b\u9ad8\u7ea7\u200b\u529f\u80fd\u200b\u4e2d\u200b\u7684\u200b <code>MAC Address Spoofing</code>\u3002</li> <li>\u200b\u516c\u6709\u200b\u4e91\u200b\uff0c\u200b\u4f8b\u5982\u200b AWS\u3001GCE\u3001\u200b\u963f\u91cc\u200b\u4e91\u200b\u7b49\u200b\u7531\u4e8e\u200b\u4e0d\u200b\u652f\u6301\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b Mac \u200b\u65e0\u6cd5\u200b\u652f\u6301\u200b Macvlan \u200b\u6a21\u5f0f\u200b\u7f51\u7edc\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b Macvlan \u200b\u672c\u8eab\u200b\u7684\u200b\u9650\u5236\u200b\uff0cMacvlan \u200b\u5b50\u200b\u63a5\u53e3\u200b\u65e0\u6cd5\u8bbf\u95ee\u200b\u7236\u200b\u63a5\u53e3\u200b\u5730\u5740\u200b\u3002</li> <li>\u200b\u5982\u679c\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u5bf9\u5e94\u200b\u4ea4\u6362\u673a\u200b\u63a5\u53e3\u200b\u4e3a\u200b Trunk \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u8be5\u200b\u7f51\u5361\u200b\u4e0a\u200b\u521b\u5efa\u200b\u5b50\u200b\u63a5\u53e3\u200b\u518d\u200b\u63d0\u4f9b\u200b\u7ed9\u200b Macvlan \u200b\u4f7f\u7528\u200b\u3002</li> </ol>"},{"location":"guide/vpc/#vpc_3","title":"\u5f00\u542f\u200b VPC \u200b\u7f51\u5173\u200b\u529f\u80fd","text":"<p>VPC \u200b\u7f51\u5173\u200b\u529f\u80fd\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b <code>kube-system</code> \u200b\u4e0b\u200b\u7684\u200b <code>ovn-vpc-nat-gw-config</code> \u200b\u5f00\u542f\u200b\uff1a</p> <pre><code>---\nkind: ConfigMap\napiVersion: v1\nmetadata:\n  name: ovn-vpc-nat-config\n  namespace: kube-system\ndata:\n  image: 'docker.io/kubeovn/vpc-nat-gateway:v1.13.0' \n---\nkind: ConfigMap\napiVersion: v1\nmetadata:\n  name: ovn-vpc-nat-gw-config\n  namespace: kube-system\ndata:\n  enable-vpc-nat-gw: 'true'\n</code></pre> <ul> <li><code>image</code>: \u200b\u7f51\u5173\u200b Pod \u200b\u6240\u200b\u4f7f\u7528\u200b\u7684\u200b\u955c\u50cf\u200b\u3002</li> <li><code>enable-vpc-nat-gw</code>\uff1a \u200b\u63a7\u5236\u200b\u662f\u5426\u200b\u542f\u7528\u200b VPC \u200b\u7f51\u5173\u200b\u529f\u80fd\u200b\u3002</li> </ul>"},{"location":"guide/vpc/#vpc_4","title":"\u521b\u5efa\u200b VPC \u200b\u7f51\u5173\u200b\u5e76\u200b\u914d\u7f6e\u200b\u9ed8\u8ba4\u200b\u8def\u7531","text":"<pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n  externalSubnets:\n    - ovn-vpc-external-network\n</code></pre> <ul> <li><code>vpc</code>\uff1a\u200b\u8be5\u200b VpcNatGateway \u200b\u6240\u5c5e\u200b\u7684\u200b VPC\u3002</li> <li><code>subnet</code>\uff1a\u200b\u4e3a\u200b VPC \u200b\u5185\u200b\u67d0\u4e2a\u200b Subnet \u200b\u540d\u200b\uff0cVPC \u200b\u7f51\u5173\u200b Pod \u200b\u4f1a\u200b\u5728\u200b\u8be5\u200b\u5b50\u7f51\u200b\u4e0b\u7528\u200b <code>lanIp</code> \u200b\u6765\u200b\u8fde\u63a5\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\u3002</li> <li><code>lanIp</code>\uff1a<code>subnet</code> \u200b\u5185\u200b\u67d0\u4e2a\u200b\u672a\u200b\u88ab\u200b\u4f7f\u7528\u200b\u7684\u200b IP\uff0cVPC \u200b\u7f51\u5173\u200b Pod \u200b\u6700\u7ec8\u200b\u4f1a\u200b\u4f7f\u7528\u200b\u8be5\u200b Pod\u3002\u200b\u5f53\u200b VPC \u200b\u914d\u7f6e\u200b\u8def\u7531\u200b\u9700\u8981\u200b\u6307\u5411\u200b\u5f53\u524d\u200b VpcNatGateway \u200b\u65f6\u200b <code>nextHopIP</code> \u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u8fd9\u4e2a\u200b <code>lanIp</code>\u3002</li> <li><code>selector</code>\uff1aVpcNatGateway Pod \u200b\u7684\u200b\u8282\u70b9\u200b\u9009\u62e9\u5668\u200b\uff0c\u200b\u683c\u5f0f\u200b\u548c\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b NodeSelector \u200b\u683c\u5f0f\u200b\u76f8\u540c\u200b\u3002</li> <li><code>externalSubnets</code>\uff1a VPC \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5982\u679c\u200b\u4e0d\u200b\u914d\u7f6e\u200b\u5219\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b <code>ovn-vpc-external-network</code>\uff0c\u200b\u5f53\u524d\u200b\u7248\u672c\u200b\u53ea\u200b\u652f\u6301\u200b\u914d\u7f6e\u200b\u4e00\u4e2a\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u3002</li> </ul> <p>\u200b\u5176\u4ed6\u200b\u53ef\u200b\u914d\u200b\u53c2\u6570\u200b\uff1a</p> <ul> <li><code>tolerations</code> : \u200b\u4e3a\u200b VPC \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b\u5bb9\u5fcd\u5ea6\u200b\uff0c\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u53c2\u8003\u200b \u200b\u6c61\u70b9\u200b\u548c\u200b\u5bb9\u5fcd\u5ea6\u200b\u3002</li> <li><code>affinity</code> :  \u200b\u4e3a\u200b VPC \u200b\u7f51\u5173\u200b Pod \u200b\u6216\u200b\u8282\u70b9\u200b\u914d\u7f6e\u200b\u4eb2\u548c\u6027\u200b\uff0c\u200b\u5177\u4f53\u200b\u8bbe\u7f6e\u200b\u53c2\u8003\u200b \u200b\u4eb2\u548c\u6027\u200b\u4e0e\u200b\u53cd\u200b\u4eb2\u548c\u6027\u200b\u3002</li> </ul> <p>\u200b\u5728\u200b\u4f7f\u7528\u200b VPC-NAT-GW \u200b\u65f6\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\uff1a</p> <ol> <li>nat gw pod \u200b\u521b\u5efa\u200b\u4e4b\u540e\u200b\uff0cnet1 arp \u200b\u662f\u200b\u5173\u95ed\u200b\u7684\u200b\uff0cping \u200b\u4e0d\u901a\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\uff0c\u200b\u521b\u5efa\u200b eip \u200b\u540e\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u6253\u5f00\u200b arp\uff0c\u200b\u53ef\u4ee5\u200b ping \u200b\u901a\u200b\u3002</li> </ol>"},{"location":"guide/vpc/#eip","title":"\u521b\u5efa\u200b EIP","text":"<p>EIP \u200b\u4e3a\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u6bb5\u200b\u7684\u200b\u67d0\u4e2a\u200b IP \u200b\u5206\u914d\u200b\u7ed9\u200b VPC \u200b\u7f51\u5173\u200b\u540e\u200b\u53ef\u200b\u8fdb\u884c\u200b DNAT\uff0cSNAT \u200b\u548c\u200b\u6d6e\u52a8\u200b IP \u200b\u64cd\u4f5c\u200b\u3002</p> <p>\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u4e00\u4e2a\u200b\u5730\u5740\u200b\u7ed9\u200b EIP\uff1a</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-random\nspec:\n  natGwDp: gw1\n</code></pre> <p>\u200b\u56fa\u5b9a\u200b EIP \u200b\u5730\u5740\u200b\u5206\u914d\u200b\uff1a</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  natGwDp: gw1\n  v4ip: 10.0.1.111\n</code></pre> <p>\u200b\u6307\u5b9a\u200b EIP \u200b\u6240\u5728\u200b\u7684\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff1a</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-random\nspec:\n  natGwDp: gw1\n  externalSubnet: ovn-vpc-external-network\n</code></pre> <ul> <li><code>externalSubnet</code>\uff1a EIP \u200b\u6240\u5728\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u540d\u79f0\u200b\uff0c\u200b\u5982\u679c\u200b\u4e0d\u200b\u6307\u5b9a\u200b\u5219\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>ovn-vpc-external-network</code>\uff0c\u200b\u5982\u679c\u200b\u6307\u5b9a\u200b\u5219\u200b\u5fc5\u987b\u200b\u4e3a\u200b\u6240\u5728\u200b VPC \u200b\u7f51\u5173\u200b\u7684\u200b <code>externalSubnets</code> \u200b\u4e2d\u200b\u7684\u200b\u4e00\u4e2a\u200b\u3002</li> </ul>"},{"location":"guide/vpc/#dnat","title":"\u521b\u5efa\u200b DNAT \u200b\u89c4\u5219","text":"<p>\u200b\u901a\u8fc7\u200b DNAT \u200b\u89c4\u5219\u200b\uff0c\u200b\u5916\u90e8\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4e00\u4e2a\u200b EIP \u200b\u52a0\u200b\u7aef\u53e3\u200b\u7684\u200b\u65b9\u5f0f\u200b\u6765\u200b\u8bbf\u95ee\u200b VPC \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b IP \u200b\u548c\u200b\u7aef\u53e3\u200b\u3002</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eipd01\nspec:\n  natGwDp: gw1\n\n---\nkind: IptablesDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: dnat01\nspec:\n  eip: eipd01 \n  externalPort: '8888'\n  internalIp: 10.0.1.10\n  internalPort: '80'\n  protocol: tcp\n</code></pre>"},{"location":"guide/vpc/#snat","title":"\u521b\u5efa\u200b SNAT \u200b\u89c4\u5219","text":"<p>\u200b\u901a\u8fc7\u200b SNAT \u200b\u89c4\u5219\u200b\uff0cVPC \u200b\u5185\u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7684\u200b\u5730\u5740\u200b\u65f6\u200b\u5c06\u200b\u4f1a\u200b\u901a\u8fc7\u200b\u5bf9\u5e94\u200b EIP \u200b\u8fdb\u884c\u200b SNAT\u3002</p> <pre><code>---\nkind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eips01\nspec:\n  natGwDp: gw1\n---\nkind: IptablesSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat01\nspec:\n  eip: eips01\n  internalCIDR: 10.0.1.0/24\n</code></pre>"},{"location":"guide/vpc/#ip","title":"\u521b\u5efa\u200b\u6d6e\u52a8\u200b IP","text":"<p>\u200b\u901a\u8fc7\u200b\u6d6e\u52a8\u200b IP \u200b\u89c4\u5219\u200b\uff0cVPC \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b IP \u200b\u4f1a\u200b\u548c\u200b EIP \u200b\u8fdb\u884c\u200b\u5b8c\u5168\u200b\u6620\u5c04\u200b\uff0c\u200b\u5916\u90e8\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u8fd9\u4e2a\u200b EIP \u200b\u8bbf\u95ee\u200b VPC \u200b\u5185\u200b\u7684\u200b IP\uff0cVPC \u200b\u5185\u200b\u7684\u200b\u8fd9\u4e2a\u200b IP \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u5730\u5740\u200b\u65f6\u200b\u4e5f\u200b\u4f1a\u200b SNAT \u200b\u6210\u200b\u8fd9\u4e2a\u200b EIP\u3002</p> <pre><code>---\nkind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eipf01\nspec:\n  natGwDp: gw1\n\n---\nkind: IptablesFIPRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: fip01\nspec:\n  eip: eipf01\n  internalIp: 10.0.1.5\n</code></pre>"},{"location":"guide/vpc/#_2","title":"\u81ea\u5b9a\u4e49\u200b\u8def\u7531","text":"<p>\u200b\u5728\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u81ea\u5b9a\u4e49\u200b\u7f51\u7edc\u200b\u5185\u90e8\u200b\u7684\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\uff0c\u200b\u7ed3\u5408\u200b\u7f51\u5173\u200b\u5b9e\u73b0\u200b\u66f4\u200b\u7075\u6d3b\u200b\u7684\u200b\u8f6c\u53d1\u200b\u3002 Kube-OVN \u200b\u652f\u6301\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u548c\u200b\u66f4\u4e3a\u200b\u7075\u6d3b\u200b\u7684\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u3002</p>"},{"location":"guide/vpc/#_3","title":"\u9759\u6001\u200b\u8def\u7531","text":"<pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  staticRoutes:\n    - cidr: 0.0.0.0/0\n      nextHopIP: 10.0.1.254\n      policy: policyDst\n    - cidr: 172.31.0.0/24\n      nextHopIP: 10.0.1.253\n      policy: policySrc\n      routeTable: \"rtb1\"\n</code></pre> <ul> <li><code>policy</code>: \u200b\u652f\u6301\u200b\u76ee\u7684\u200b\u5730\u5740\u200b\u8def\u7531\u200b <code>policyDst</code> \u200b\u548c\u200b\u6e90\u5730\u5740\u200b\u8def\u7531\u200b <code>policySrc</code>\u3002</li> <li>\u200b\u5f53\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u5b58\u5728\u200b\u91cd\u53e0\u200b\u65f6\u200b\uff0cCIDR \u200b\u63a9\u7801\u200b\u8f83\u957f\u200b\u7684\u200b\u89c4\u5219\u200b\u4f18\u5148\u7ea7\u200b\u66f4\u9ad8\u200b\uff0c\u200b\u82e5\u200b\u63a9\u7801\u200b\u957f\u5ea6\u200b\u76f8\u540c\u200b\u5219\u200b\u76ee\u7684\u200b\u5730\u5740\u200b\u8def\u7531\u200b\u4f18\u5148\u200b\u4e8e\u200b\u6e90\u5730\u5740\u200b\u8def\u7531\u200b\u3002</li> <li><code>routeTable</code>: \u200b\u53ef\u200b\u6307\u5b9a\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u6240\u5728\u200b\u7684\u200b\u8def\u7531\u8868\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5728\u200b\u4e3b\u200b\u8def\u7531\u8868\u200b\u3002\u200b\u5b50\u7f51\u200b\u5173\u8054\u200b\u8def\u7531\u8868\u200b\u8bf7\u200b\u53c2\u8003\u200b\u521b\u5efa\u200b\u5b50\u7f51\u200b</li> </ul>"},{"location":"guide/vpc/#_4","title":"\u7b56\u7565\u200b\u8def\u7531","text":"<p>\u200b\u9488\u5bf9\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u5339\u914d\u200b\u7684\u200b\u6d41\u91cf\u200b\uff0c\u200b\u53ef\u200b\u901a\u8fc7\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u8fdb\u884c\u200b\u66f4\u200b\u7ec6\u7c92\u5ea6\u200b\u7684\u200b\u63a7\u5236\u200b\u3002\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u66f4\u200b\u7cbe\u786e\u200b\u7684\u200b\u5339\u914d\u200b\u89c4\u5219\u200b\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u63a7\u5236\u200b \u200b\u548c\u200b\u66f4\u200b\u591a\u200b\u7684\u200b\u8f6c\u53d1\u200b\u52a8\u4f5c\u200b\u3002\u200b\u8be5\u200b\u529f\u80fd\u200b\u4e3a\u200b OVN \u200b\u5185\u90e8\u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\u7b56\u7565\u200b\u529f\u80fd\u200b\u7684\u200b\u4e00\u4e2a\u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u4f7f\u7528\u200b\u4fe1\u606f\u200b\u8bf7\u200b\u53c2\u8003\u200b Logical Router Policy\u3002</p> <p>\u200b\u7b80\u5355\u200b\u793a\u4f8b\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  policyRoutes:\n    - action: drop\n      match: ip4.src==10.0.1.0/24 &amp;&amp; ip4.dst==10.0.1.250\n      priority: 11\n    - action: reroute\n      match: ip4.src==10.0.1.0/24\n      nextHopIP: 10.0.1.252\n      priority: 10\n</code></pre>"},{"location":"guide/vpc/#_5","title":"\u81ea\u5b9a\u4e49\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219","text":"<p>Kubernetes \u200b\u672c\u8eab\u200b\u63d0\u4f9b\u200b\u7684\u200b Service \u200b\u80fd\u529b\u200b\u53ef\u4ee5\u200b\u5b8c\u6210\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u4f46\u662f\u200b\u53d7\u9650\u4e8e\u200b Kubernetes \u200b\u5b9e\u73b0\u200b\uff0c Service \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u662f\u200b\u5168\u5c40\u200b\u5206\u914d\u200b\u4e14\u200b\u4e0d\u80fd\u200b\u91cd\u590d\u200b\u3002\u200b\u5bf9\u4e8e\u200b VPC \u200b\u7684\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\uff0c\u200b\u7528\u6237\u200b\u5e0c\u671b\u200b\u80fd\u200b\u81ea\u5b9a\u4e49\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b\u5730\u5740\u200b \u200b\u8303\u56f4\u200b\uff0c\u200b\u4e0d\u540c\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u5730\u5740\u200b\u53ef\u80fd\u200b\u91cd\u53e0\u200b\uff0cKubernetes \u200b\u5185\u7f6e\u200b\u7684\u200b Service \u200b\u529f\u80fd\u200b\u65e0\u6cd5\u200b\u5b8c\u5168\u200b\u6ee1\u8db3\u200b\u3002</p> <p>\u200b\u9488\u5bf9\u200b\u8fd9\u200b\u7c7b\u200b\u573a\u666f\u200b\uff0cKube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b <code>SwitchLBRule</code> \u200b\u8d44\u6e90\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u81ea\u5b9a\u4e49\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\u3002</p> <p>\u200b\u4e00\u4e2a\u200b `SwitchLBRule`` \u200b\u4f8b\u5b50\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  cjh-slr-nginx\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  selector:\n    - app:nginx\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\n</code></pre> <ul> <li><code>vip</code>\uff1a\u200b\u81ea\u5b9a\u4e49\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b\u5730\u5740\u200b\u3002</li> <li><code>namespace</code>\uff1a\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u540e\u200b\u7aef\u200b Pod \u200b\u6240\u5728\u200b\u7684\u200b Namespace\u3002</li> <li><code>sessionAffinity</code>\uff1a\u200b\u548c\u200b Service \u200b\u7684\u200b <code>sessionAffinity</code> \u200b\u529f\u80fd\u200b\u76f8\u540c\u200b\u3002</li> <li><code>selector</code>\uff1a\u200b\u548c\u200b Service \u200b\u7684\u200b <code>selector</code> \u200b\u529f\u80fd\u200b\u76f8\u540c\u200b\u3002</li> <li><code>ports</code>\uff1a\u200b\u548c\u200b Service \u200b\u7684\u200b <code>port</code> \u200b\u529f\u80fd\u200b\u76f8\u540c\u200b\u3002</li> </ul> <p>\u200b\u67e5\u770b\u200b\u90e8\u7f72\u200b\u7684\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u89c4\u5219\u200b\uff1a</p> <pre><code># kubectl get slr\nNAME                VIP         PORT(S)                  SERVICE                             AGE\nvpc-dns-test-cjh2   10.96.0.3   53/UDP,53/TCP,9153/TCP   kube-system/slr-vpc-dns-test-cjh2   88m\n</code></pre>"},{"location":"guide/vpc/#vpc-dns","title":"\u81ea\u5b9a\u4e49\u200b vpc-dns","text":"<p>\u200b\u7531\u4e8e\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u548c\u200b\u9ed8\u8ba4\u200b VPC \u200b\u7f51\u7edc\u200b\u76f8\u4e92\u200b\u9694\u79bb\u200b\uff0cVPC \u200b\u5185\u200b Pod \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u7684\u200b coredns \u200b\u670d\u52a1\u200b\u8fdb\u884c\u200b\u57df\u540d\u89e3\u6790\u200b\u3002 \u200b\u5982\u679c\u200b\u5e0c\u671b\u200b\u5728\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u4f7f\u7528\u200b coredns \u200b\u89e3\u6790\u200b\u96c6\u7fa4\u200b\u5185\u200b Service \u200b\u57df\u540d\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Kube-OVN \u200b\u63d0\u4f9b\u200b\u7684\u200b vpc-dns \u200b\u8d44\u6e90\u200b\u6765\u200b\u5b9e\u73b0\u200b\u3002</p>"},{"location":"guide/vpc/#_6","title":"\u521b\u5efa\u200b\u9644\u52a0\u200b\u7f51\u5361","text":"<pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-nad\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"ovn-nad.default.ovn\"\n    }'\n</code></pre>"},{"location":"guide/vpc/#ovn-default-provider","title":"\u4fee\u6539\u200b ovn-default \u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u7684\u200b provider","text":"<p>\u200b\u4fee\u6539\u200b ovn-default \u200b\u7684\u200b provider\uff0c\u200b\u4e3a\u200b\u4e0a\u9762\u200b nad \u200b\u914d\u7f6e\u200b\u7684\u200b provider <code>ovn-nad.default.ovn</code>\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: ovn-default\nspec:\n  cidrBlock: 10.16.0.0/16\n  default: true\n  disableGatewayCheck: false\n  disableInterConnection: false\n  enableDHCP: false\n  enableIPv6RA: false\n  excludeIps:\n  - 10.16.0.1\n  gateway: 10.16.0.1\n  gatewayType: distributed\n  logicalGateway: false\n  natOutgoing: true\n  private: false\n  protocol: IPv4\n  provider: ovn-nad.default.ovn\n  vpc: ovn-cluster\n</code></pre>"},{"location":"guide/vpc/#vpc-dns-configmap","title":"\u914d\u7f6e\u200b vpc-dns \u200b\u7684\u200b ConfigMap","text":"<p>\u200b\u5728\u200b kube-system \u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u4e0b\u200b\u521b\u5efa\u200b configmap\uff0c\u200b\u914d\u7f6e\u200b vpc-dns \u200b\u4f7f\u7528\u200b\u53c2\u6570\u200b\uff0c\u200b\u7528\u4e8e\u200b\u540e\u9762\u200b\u542f\u52a8\u200b vpc-dns \u200b\u529f\u80fd\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-config\n  namespace: kube-system\ndata:\n  coredns-vip: 10.96.0.3\n  enable-vpc-dns: \"true\"\n  nad-name: ovn-nad\n  nad-provider: ovn-nad.default.ovn\n</code></pre> <ul> <li><code>enable-vpc-dns</code>\uff1a\uff08\u200b\u53ef\u200b\u7f3a\u7701\u200b\uff09<code>true</code> \u200b\u542f\u7528\u200b\u529f\u80fd\u200b\uff0c<code>false</code> \u200b\u5173\u95ed\u200b\u529f\u80fd\u200b\u3002\u200b\u9ed8\u8ba4\u200b <code>true</code>\u3002</li> <li><code>coredns-image</code>\uff1a\uff08\u200b\u53ef\u200b\u7701\u7565\u200b\uff09\uff1adns \u200b\u90e8\u7f72\u200b\u955c\u50cf\u200b\u3002\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b coredns \u200b\u90e8\u7f72\u200b\u7248\u672c\u200b\u3002</li> <li><code>coredns-template</code>\uff1a\uff08\u200b\u53ef\u200b\u7701\u7565\u200b\uff09\uff1adns \u200b\u90e8\u7f72\u200b\u6a21\u677f\u200b\u6240\u5728\u200b\u7684\u200b URL\u3002\u200b\u9ed8\u8ba4\u200b\uff1a\u200b\u5f53\u524d\u200b\u7248\u672c\u200b\u4ed3\u5e93\u200b\u91cc\u200b\u7684\u200b <code>yamls/coredns-template.yaml</code>\u3002</li> <li><code>coredns-vip</code>\uff1a\u200b\u4e3a\u200b coredns \u200b\u63d0\u4f9b\u200b lb \u200b\u670d\u52a1\u200b\u7684\u200b vip\u3002</li> <li><code>nad-name</code>\uff1a\u200b\u914d\u7f6e\u200b\u7684\u200b <code>network-attachment-definitions</code> \u200b\u8d44\u6e90\u200b\u540d\u79f0\u200b\u3002</li> <li><code>nad-provider</code>\uff1a\u200b\u4f7f\u7528\u200b\u7684\u200b provider \u200b\u540d\u79f0\u200b\u3002</li> <li><code>k8s-service-host</code>\uff1a\uff08\u200b\u53ef\u200b\u7f3a\u7701\u200b\uff09 \u200b\u7528\u4e8e\u200b coredns \u200b\u8bbf\u95ee\u200b k8s apiserver \u200b\u670d\u52a1\u200b\u7684\u200b ip\u3002</li> <li><code>k8s-service-port</code>\uff1a\uff08\u200b\u53ef\u200b\u7f3a\u7701\u200b\uff09\u200b\u7528\u4e8e\u200b coredns \u200b\u8bbf\u95ee\u200b k8s apiserver \u200b\u670d\u52a1\u200b\u7684\u200b port\u3002</li> </ul>"},{"location":"guide/vpc/#vpc-dns_1","title":"\u90e8\u7f72\u200b vpc-dns \u200b\u4f9d\u8d56\u200b\u8d44\u6e90","text":"<pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: system:vpc-dns\nrules:\n  - apiGroups:\n    - \"\"\n    resources:\n    - endpoints\n    - services\n    - pods\n    - namespaces\n    verbs:\n    - list\n    - watch\n  - apiGroups:\n    - discovery.k8s.io\n    resources:\n    - endpointslices\n    verbs:\n    - list\n    - watch\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  annotations:\n    rbac.authorization.kubernetes.io/autoupdate: \"true\"\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: vpc-dns\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: system:vpc-dns\nsubjects:\n- kind: ServiceAccount\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-corefile\n  namespace: kube-system\ndata:\n  Corefile: |\n    .:53 {\n        errors\n        health {\n          lameduck 5s\n        }\n        ready\n        kubernetes cluster.local in-addr.arpa ip6.arpa {\n          pods insecure\n          fallthrough in-addr.arpa ip6.arpa\n        }\n        prometheus :9153\n        forward . /etc/resolv.conf {\n          prefer_udp\n        }\n        cache 30\n        loop\n        reload\n        loadbalance\n    }\n</code></pre>"},{"location":"guide/vpc/#vpc-dns_2","title":"\u90e8\u7f72\u200b vpc-dns","text":"<pre><code>kind: VpcDns\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-cjh1\nspec:\n  vpc: cjh-vpc-1\n  subnet: cjh-subnet-1\n</code></pre> <ul> <li><code>vpc</code>\uff1a \u200b\u7528\u4e8e\u200b\u90e8\u7f72\u200b dns \u200b\u7ec4\u4ef6\u200b\u7684\u200b vpc \u200b\u540d\u79f0\u200b\u3002</li> <li><code>subnet</code>\uff1a\u200b\u7528\u4e8e\u200b\u90e8\u7f72\u200b dns \u200b\u7ec4\u4ef6\u200b\u7684\u200b\u5b50\u200b\u540d\u79f0\u200b\u3002</li> </ul> <p>\u200b\u67e5\u770b\u200b\u8d44\u6e90\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code>[root@hci-dev-mst-1 kubeovn]# kubectl get vpc-dns\nNAME        ACTIVE   VPC         SUBNET   \ntest-cjh1   false    cjh-vpc-1   cjh-subnet-1   \ntest-cjh2   true     cjh-vpc-1   cjh-subnet-2 \n</code></pre> <ul> <li><code>ACTIVE</code>: <code>true</code> \u200b\u6210\u529f\u200b\u90e8\u7f72\u200b\u4e86\u200b\u81ea\u5b9a\u4e49\u200b dns \u200b\u7ec4\u4ef6\u200b\uff0c<code>false</code> \u200b\u65e0\u200b\u90e8\u7f72\u200b</li> </ul>"},{"location":"guide/vpc/#_7","title":"\u9650\u5236","text":"<ul> <li>\u200b\u4e00\u4e2a\u200b vpc \u200b\u4e0b\u200b\u53ea\u4f1a\u200b\u90e8\u7f72\u200b\u4e00\u4e2a\u200b\u81ea\u5b9a\u4e49\u200b dns \u200b\u7ec4\u4ef6\u200b;</li> <li>\u200b\u5f53\u200b\u4e00\u4e2a\u200b vpc \u200b\u4e0b\u200b\u914d\u7f6e\u200b\u591a\u4e2a\u200b vpc-dns \u200b\u8d44\u6e90\u200b\uff08\u200b\u5373\u200b\u540c\u4e00\u4e2a\u200b vpc \u200b\u4e0d\u540c\u200b\u7684\u200b subnet\uff09\uff0c\u200b\u53ea\u6709\u200b\u4e00\u4e2a\u200b vpc-dns \u200b\u8d44\u6e90\u200b\u72b6\u6001\u200b <code>true</code>\uff0c\u200b\u5176\u4ed6\u200b\u4e3a\u200b <code>fasle</code>;</li> <li>\u200b\u5f53\u200b <code>true</code> \u200b\u7684\u200b vpc-dns \u200b\u88ab\u200b\u5220\u9664\u200b\u6389\u200b\uff0c\u200b\u4f1a\u200b\u83b7\u53d6\u200b\u5176\u4ed6\u200b <code>false</code> \u200b\u7684\u200b vpc-dns \u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/webhook/","title":"Webhook \u200b\u4f7f\u7528","text":"<p>\u200b\u4f7f\u7528\u200b Webhook \u200b\u53ef\u4ee5\u200b\u5bf9\u200b Kube-OVN \u200b\u5185\u200b\u7684\u200b CRD \u200b\u8d44\u6e90\u200b\u8fdb\u884c\u200b\u6821\u9a8c\u200b\uff0c\u200b\u76ee\u524d\u200b Webhook \u200b\u4e3b\u8981\u200b\u5b8c\u6210\u200b \u200b\u56fa\u5b9a\u200b IP \u200b\u5730\u5740\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\u548c\u200b Subnet CIDR \u200b\u7684\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\uff0c\u200b\u5e76\u200b\u5728\u200b\u8fd9\u7c7b\u200b\u8d44\u6e90\u200b\u521b\u5efa\u200b\u51b2\u7a81\u200b\u65f6\u200b\u63d0\u793a\u200b\u9519\u8bef\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b Webhook \u200b\u4f1a\u200b\u62e6\u622a\u200b\u6240\u6709\u200b\u7684\u200b Subnet \u200b\u548c\u200b Pod \u200b\u521b\u5efa\u200b\u7684\u200b\u8bf7\u6c42\u200b\uff0c\u200b\u56e0\u6b64\u200b\u9700\u8981\u200b\u5148\u200b\u90e8\u7f72\u200b Kube-OVN \u200b\u540e\u200b\u90e8\u7f72\u200b Webhook \u200b\u907f\u514d\u200b\u65e0\u6cd5\u200b\u521b\u5efa\u200b Pod\u3002</p>"},{"location":"guide/webhook/#cert-manager","title":"Cert-Manager \u200b\u5b89\u88c5","text":"<p>Webhook \u200b\u90e8\u7f72\u200b\u9700\u8981\u200b\u76f8\u5173\u200b\u8bc1\u4e66\u200b\u52a0\u5bc6\u200b\uff0c\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b cert-manager \u200b\u751f\u6210\u200b\u76f8\u5173\u200b\u8bc1\u4e66\u200b\uff0c\u200b\u6211\u4eec\u200b\u9700\u8981\u200b\u5728\u200b\u90e8\u7f72\u200b Webhook \u200b\u524d\u5148\u200b\u90e8\u7f72\u200b cert-manager\u3002</p> <p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u6765\u200b\u90e8\u7f72\u200b cert-manager:</p> <pre><code>kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.8.0/cert-manager.yaml\n</code></pre> <p>\u200b\u66f4\u200b\u591a\u200b cert-manager \u200b\u4f7f\u7528\u200b\u8bf7\u200b\u53c2\u8003\u200b cert-manager \u200b\u6587\u6863\u200b\u3002</p>"},{"location":"guide/webhook/#webhook_1","title":"\u5b89\u88c5\u200b Webhook","text":"<p>\u200b\u4e0b\u8f7d\u200b Webhook \u200b\u5bf9\u5e94\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b:</p> <pre><code># kubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/yamls/webhook.yaml\ndeployment.apps/kube-ovn-webhook created\nservice/kube-ovn-webhook created\nvalidatingwebhookconfiguration.admissionregistration.k8s.io/kube-ovn-webhook created\ncertificate.cert-manager.io/kube-ovn-webhook-serving-cert created\nissuer.cert-manager.io/kube-ovn-webhook-selfsigned-issuer created\n</code></pre>"},{"location":"guide/webhook/#webhook_2","title":"\u9a8c\u8bc1\u200b Webhook \u200b\u751f\u6548","text":"<p>\u200b\u67e5\u770b\u200b\u5df2\u200b\u8fd0\u884c\u200b Pod\uff0c\u200b\u5f97\u5230\u200b Pod IP <code>10.16.0.15</code>\uff1a</p> <pre><code># kubectl get pod -o wide\nNAME                      READY   STATUS    RESTARTS   AGE     IP           NODE              NOMINATED NODE   READINESS GATES\nstatic-7584848b74-fw9dm   1/1     Running   0          2d13h   10.16.0.15   kube-ovn-worker   &lt;none&gt; \n</code></pre> <p>\u200b\u7f16\u5199\u200b yaml \u200b\u521b\u5efa\u200b\u76f8\u540c\u200b IP \u200b\u7684\u200b Pod\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/ip_address: 10.16.0.15\n    ovn.kubernetes.io/mac_address: 00:00:00:53:6B:B6\n  labels:\n    app: static\n  managedFields:\n  name: staticip-pod\n  namespace: default\nspec:\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0a\u200b yaml \u200b\u521b\u5efa\u200b\u9759\u6001\u200b\u5730\u5740\u200b Pod \u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u63d0\u793a\u200b IP \u200b\u5730\u5740\u200b\u51b2\u7a81\u200b\uff1a</p> <pre><code># kubectl apply -f pod-static.yaml\nError from server (annotation ip address 10.16.0.15 is conflict with ip crd static-7584848b74-fw9dm.default 10.16.0.15): error when creating \"pod-static.yaml\": admission webhook \"pod-ip-validaing.kube-ovn.io\" denied the request: annotation ip address 10.16.0.15 is conflict with ip crd static-7584848b74-fw9dm.default 10.16.0.15\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/change-default-subnet/","title":"\u4fee\u6539\u200b\u5b50\u7f51\u200b CIDR","text":"<p>\u200b\u5982\u679c\u200b\u521b\u5efa\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u51b2\u7a81\u200b\u6216\u200b\u4e0d\u200b\u7b26\u5408\u200b\u9884\u671f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u672c\u200b\u6587\u6863\u200b\u7684\u200b\u6b65\u9aa4\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002</p> <p>\u200b\u4fee\u6539\u200b\u5b50\u7f51\u200b CIDR \u200b\u540e\u200b\u4e4b\u524d\u200b\u521b\u5efa\u200b\u7684\u200b Pod \u200b\u5c06\u200b\u65e0\u6cd5\u200b\u6b63\u5e38\u200b\u8bbf\u95ee\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u8fdb\u884c\u200b\u91cd\u5efa\u200b\u3002 \u200b\u5efa\u8bae\u200b\u64cd\u4f5c\u524d\u200b\u614e\u91cd\u8003\u8651\u200b\u3002\u200b\u672c\u6587\u200b\u53ea\u200b\u9488\u5bf9\u200b\u4e1a\u52a1\u200b\u5b50\u7f51\u200b CIDR \u200b\u66f4\u6539\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5982\u9700\u200b \u200b\u66f4\u6539\u200b Join \u200b\u5b50\u7f51\u200b CIDR \u200b\u8bf7\u200b\u53c2\u8003\u200b\u66f4\u6539\u200b Join \u200b\u5b50\u7f51\u200b CIDR\u3002</p>"},{"location":"ops/change-default-subnet/#_1","title":"\u7f16\u8f91\u200b\u5b50\u7f51","text":"<p>\u200b\u4f7f\u7528\u200b <code>kubectl edit</code> \u200b\u4fee\u6539\u200b\u5b50\u7f51\u200b <code>cidrBlock</code>\uff0c<code>gateway</code> \u200b\u548c\u200b <code>excludeIps</code>\u3002</p> <pre><code>kubectl edit subnet test-subnet\n</code></pre>"},{"location":"ops/change-default-subnet/#namespace-pod","title":"\u91cd\u5efa\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b\u7684\u200b Namespace \u200b\u4e0b\u200b\u6240\u6709\u200b Pod","text":"<p>\u200b\u4ee5\u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b <code>test</code> Namespace \u200b\u4e3a\u4f8b\u200b\uff1a</p> <pre><code>for pod in $(kubectl get pod --no-headers -n \"$ns\" --field-selector spec.restartPolicy=Always -o custom-columns=NAME:.metadata.name,HOST:spec.hostNetwork | awk '{if ($2!=\"true\") print $1}'); do\n  kubectl delete pod \"$pod\" -n test --ignore-not-found\ndone\n</code></pre> <p>\u200b\u82e5\u200b\u53ea\u200b\u4f7f\u7528\u200b\u4e86\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\u5220\u9664\u200b\u6240\u6709\u200b\u975e\u200b host \u200b\u7f51\u7edc\u200b\u6a21\u5f0f\u200b\u7684\u200b Pod\uff1a</p> <pre><code>for ns in $(kubectl get ns --no-headers -o custom-columns=NAME:.metadata.name); do\n  for pod in $(kubectl get pod --no-headers -n \"$ns\" --field-selector spec.restartPolicy=Always -o custom-columns=NAME:.metadata.name,HOST:spec.hostNetwork | awk '{if ($2!=\"true\") print $1}'); do\n    kubectl delete pod \"$pod\" -n \"$ns\" --ignore-not-found\n  done\ndone\n</code></pre>"},{"location":"ops/change-default-subnet/#_2","title":"\u66f4\u6539\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u914d\u7f6e","text":"<p>\u200b\u82e5\u200b\u4fee\u6539\u200b\u7684\u200b\u4e3a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u8fd8\u200b\u9700\u8981\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --default-cidr=10.17.0.0/16\n- --default-gateway=10.17.0.1\n- --default-exclude-ips=10.17.0.1\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/change-join-subnet/","title":"\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b CIDR","text":"<p>\u200b\u82e5\u200b\u53d1\u73b0\u200b\u521b\u5efa\u200b\u7684\u200b Join \u200b\u5b50\u7f51\u200b CIDR \u200b\u51b2\u7a81\u200b\u6216\u200b\u4e0d\u200b\u7b26\u5408\u200b\u9884\u671f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u672c\u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002</p> <p>\u200b\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b CIDR \u200b\u540e\u200b\u4e4b\u524d\u200b\u521b\u5efa\u200b\u7684\u200b Pod \u200b\u5c06\u200b\u65e0\u6cd5\u200b\u6b63\u5e38\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u9700\u8981\u200b\u7b49\u200b\u91cd\u5efa\u200b\u5b8c\u6210\u200b, \u200b\u5efa\u8bae\u200b\u524d\u200b\u64cd\u4f5c\u200b\u65f6\u200b\u614e\u91cd\u8003\u8651\u200b\u3002</p>"},{"location":"ops/change-join-subnet/#join","title":"\u5220\u9664\u200b Join \u200b\u5b50\u7f51","text":"<pre><code>kubectl patch subnet join --type='json' -p '[{\"op\": \"replace\", \"path\": \"/metadata/finalizers\", \"value\": []}]'\nkubectl delete subnet join\n</code></pre>"},{"location":"ops/change-join-subnet/#_1","title":"\u6e05\u7406\u200b\u76f8\u5173\u200b\u5206\u914d\u200b\u4fe1\u606f","text":"<pre><code>kubectl annotate node ovn.kubernetes.io/allocated=false --all --overwrite\n</code></pre>"},{"location":"ops/change-join-subnet/#join_1","title":"\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b\u76f8\u5173\u200b\u4fe1\u606f","text":"<p>\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> \u200b\u5185\u200b Join \u200b\u5b50\u7f51\u200b\u76f8\u5173\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code>kubectl edit deployment -n kube-system kube-ovn-controller\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u4e0b\u5217\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --node-switch-cidr=100.51.0.0/16\n</code></pre> <p>\u200b\u91cd\u542f\u200b <code>kube-ovn-controller</code> \u200b\u91cd\u5efa\u200b <code>join</code> \u200b\u5b50\u7f51\u200b\uff1a</p> <pre><code>kubectl delete pod -n kube-system -lapp=kube-ovn-controller\n</code></pre> <p>\u200b\u67e5\u770b\u200b\u65b0\u200b\u7684\u200b Join \u200b\u5b50\u7f51\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get subnet\nNAME          PROVIDER   VPC           PROTOCOL   CIDR            PRIVATE   NAT     DEFAULT   GATEWAYTYPE   V4USED   V4AVAILABLE   V6USED   V6AVAILABLE   EXCLUDEIPS\njoin          ovn        ovn-cluster   IPv4       100.51.0.0/16   false     false   false     distributed   2        65531         0        0             [\"100.51.0.1\"]\novn-default   ovn        ovn-cluster   IPv4       10.17.0.0/16    false     true    true      distributed   5        65528         0        0             [\"10.17.0.1\"]\n</code></pre>"},{"location":"ops/change-join-subnet/#ovn0","title":"\u91cd\u65b0\u914d\u7f6e\u200b ovn0 \u200b\u7f51\u5361\u200b\u5730\u5740","text":"<p>\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovn0</code> \u200b\u7f51\u5361\u200b\u4fe1\u606f\u200b\u9700\u8981\u200b\u91cd\u65b0\u200b\u66f4\u65b0\u200b\uff0c\u200b\u53ef\u200b\u901a\u8fc7\u200b\u91cd\u542f\u200b <code>kube-ovn-cni</code> \u200b\u6765\u200b\u5b8c\u6210\u200b\uff1a</p> <pre><code>kubectl delete pod -n kube-system -l app=kube-ovn-cni\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/change-log-level/","title":"\u8c03\u6574\u200b\u65e5\u5fd7\u200b\u7b49\u7ea7","text":"<p>\u200b\u6253\u5f00\u200b <code>kube-ovn.yaml</code>\uff0c\u200b\u5728\u200b\u670d\u52a1\u200b\u542f\u52a8\u200b\u811a\u672c\u200b\u7684\u200b\u53c2\u6570\u200b\u5217\u8868\u200b\u4e2d\u200b\u8bbe\u7f6e\u200b log \u200b\u7b49\u7ea7\u200b\uff0c\u200b\u6bd4\u5982\u200b\uff1a</p> <pre><code>vi kube-ovn.yaml\n# ...\n        - name: kube-ovn-controller\n          image: \"docker.io/kubeovn/kube-ovn:v1.13.0\"\n          imagePullPolicy: IfNotPresent\n          args:\n          - /kube-ovn/start-controller.sh\n          - --v=3\n# ...\n# log \u200b\u7b49\u7ea7\u200b\u8d8a\u9ad8\u200b\uff0clog \u200b\u5c31\u200b\u8d8a\u200b\u8be6\u7ec6\u200b\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/change-ovn-central-node/","title":"\u66f4\u6362\u200b ovn-central \u200b\u8282\u70b9","text":"<p>\u200b\u7531\u4e8e\u200b <code>ovn-central</code> \u200b\u5185\u200b\u7684\u200b <code>ovn-nb</code> \u200b\u548c\u200b <code>ovn-sb</code> \u200b\u5206\u522b\u200b\u5efa\u7acb\u200b\u4e86\u200b\u7c7b\u4f3c\u200b etcd \u200b\u7684\u200b raft \u200b\u96c6\u7fa4\u200b\uff0c\u200b\u56e0\u6b64\u200b\u66f4\u6362\u200b <code>ovn-central</code> \u200b\u8282\u70b9\u200b\u9700\u8981\u200b\u989d\u5916\u200b\u7684\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u4fdd\u8bc1\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u7684\u200b\u6b63\u786e\u200b\u548c\u200b\u6570\u636e\u200b\u7684\u200b\u4e00\u81f4\u200b\u3002\u200b\u5efa\u8bae\u200b\u6bcf\u6b21\u200b\u53ea\u200b\u5bf9\u200b\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u8fdb\u884c\u200b\u4e0a\u4e0b\u200b\u7ebf\u200b\u5904\u7406\u200b\uff0c\u200b\u4ee5\u200b\u907f\u514d\u200b\u96c6\u7fa4\u200b\u8fdb\u5165\u200b\u4e0d\u53ef\u200b\u7528\u200b \u200b\u72b6\u6001\u200b\uff0c\u200b\u5f71\u54cd\u200b\u96c6\u7fa4\u200b\u6574\u4f53\u200b\u7f51\u7edc\u200b\u3002</p>"},{"location":"ops/change-ovn-central-node/#ovn-central_1","title":"ovn-central \u200b\u8282\u70b9\u200b\u4e0b\u7ebf","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u9488\u5bf9\u200b\u5982\u4e0b\u200b\u7684\u200b\u96c6\u7fa4\u200b\u60c5\u51b5\u200b\uff0c\u200b\u4ee5\u4e0b\u200b\u7ebf\u200b <code>kube-ovn-control-plane2</code> \u200b\u8282\u70b9\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u4ecb\u7ecd\u200b\u5982\u4f55\u200b\u5c06\u200b\u5176\u200b\u4ece\u200b <code>ovn-central</code> \u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u79fb\u9664\u200b\u3002</p> <pre><code># kubectl -n kube-system get pod -o wide | grep central\novn-central-6bf58cbc97-2cdhg                      1/1     Running   0             21m   172.18.0.3   kube-ovn-control-plane    &lt;none&gt;           &lt;none&gt;\novn-central-6bf58cbc97-crmfp                      1/1     Running   0             21m   172.18.0.5   kube-ovn-control-plane2   &lt;none&gt;           &lt;none&gt;\novn-central-6bf58cbc97-lxmpl                      1/1     Running   0             21m   172.18.0.4   kube-ovn-control-plane3   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-nb","title":"\u4e0b\u7ebf\u200b ovn-nb \u200b\u96c6\u7fa4\u200b\u5185\u200b\u5bf9\u5e94\u200b\u8282\u70b9","text":"<p>\u200b\u9996\u5148\u200b\u67e5\u770b\u200b\u8282\u70b9\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b ID\uff0c\u200b\u4ee5\u4fbf\u200b\u540e\u7eed\u200b\u64cd\u4f5c\u200b\u3002</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2135194 ms ago, reason: timeout\nLast Election won: 2135188 ms ago\nElection timer: 5000\nLog: [135, 135]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-d64b -&gt;d64b &lt;-4984 -&gt;4984\nDisconnections: 0\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=135 match_index=134 last msg 1084 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=2 match_index=134\n    d64b (d64b at tcp:[172.18.0.5]:6643) next_index=135 match_index=134 last msg 1084 ms ago\nstatus: ok\n</code></pre> <p><code>kube-ovn-control-plane2</code> \u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b IP \u200b\u4e3a\u200b <code>172.18.0.5</code>\uff0c\u200b\u96c6\u7fa4\u200b\u5185\u200b\u5bf9\u5e94\u200b\u7684\u200b ID \u200b\u4e3a\u200b <code>d64b</code>\u3002\u200b\u63a5\u4e0b\u6765\u200b\u4ece\u200b ovn-nb \u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u8e22\u200b\u51fa\u8be5\u200b\u8282\u70b9\u200b\uff1a</p> <pre><code># kubectl ko nb kick d64b\nstarted removal\n</code></pre> <p>\u200b\u786e\u8ba4\u200b\u8282\u70b9\u200b\u8e22\u200b\u51fa\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2297649 ms ago, reason: timeout\nLast Election won: 2297643 ms ago\nElection timer: 5000\nLog: [136, 136]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-4984 -&gt;4984\nDisconnections: 2\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=136 match_index=135 last msg 1270 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=2 match_index=135\nstatus: ok\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-sb","title":"\u4e0b\u7ebf\u200b ovn-sb \u200b\u96c6\u7fa4\u200b\u5185\u200b\u5bf9\u5e94\u200b\u8282\u70b9","text":"<p>\u200b\u63a5\u4e0b\u6765\u200b\u9700\u8981\u200b\u64cd\u4f5c\u200b ovn-sb \u200b\u96c6\u7fa4\u200b\uff0c\u200b\u9996\u5148\u200b\u67e5\u770b\u200b\u8282\u70b9\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b ID\uff0c\u200b\u4ee5\u4fbf\u200b\u540e\u7eed\u200b\u64cd\u4f5c\u200b\uff1a</p> <pre><code>kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2395317 ms ago, reason: timeout\nLast Election won: 2395316 ms ago\nElection timer: 5000\nLog: [130, 130]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-e9f7 -&gt;e9f7 &lt;-6e84 -&gt;6e84\nDisconnections: 0\nServers:\n    e9f7 (e9f7 at tcp:[172.18.0.5]:6644) next_index=130 match_index=129 last msg 1006 ms ago\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=130 match_index=129 last msg 1004 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=2 match_index=129\nstatus: ok\n</code></pre> <p><code>kube-ovn-control-plane2</code> \u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b IP \u200b\u4e3a\u200b <code>172.18.0.5</code>\uff0c\u200b\u96c6\u7fa4\u200b\u5185\u200b\u5bf9\u5e94\u200b\u7684\u200b ID \u200b\u4e3a\u200b <code>e9f7</code>\u3002\u200b\u63a5\u4e0b\u6765\u200b\u4ece\u200b ovn-sb \u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u8e22\u200b\u51fa\u8be5\u200b\u8282\u70b9\u200b\uff1a</p> <pre><code># kubectl ko sb kick e9f7\nstarted removal\n</code></pre> <p>\u200b\u786e\u8ba4\u200b\u8282\u70b9\u200b\u8e22\u200b\u51fa\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2481636 ms ago, reason: timeout\nLast Election won: 2481635 ms ago\nElection timer: 5000\nLog: [131, 131]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-6e84 -&gt;6e84\nDisconnections: 2\nServers:\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=131 match_index=130 last msg 642 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=2 match_index=130\nstatus: ok\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-central_2","title":"\u5220\u9664\u200b\u8282\u70b9\u200b\u6807\u7b7e\u200b\uff0c\u200b\u5e76\u200b\u7f29\u5bb9\u200b ovn-central","text":"<p>\u200b\u6ce8\u610f\u200b\u9700\u5728\u200b ovn-central \u200b\u73af\u5883\u53d8\u91cf\u200b <code>NODE_IPS</code> \u200b\u7684\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u4e2d\u200b\u5220\u9664\u200b\u4e0b\u7ebf\u200b\u8282\u70b9\u200b\u3002</p> <pre><code>kubectl label node kube-ovn-control-plane2 kube-ovn/role-\nkubectl scale deployment -n kube-system ovn-central --replicas=2\nkubectl set env deployment/ovn-central -n kube-system NODE_IPS=\"172.18.0.3,172.18.0.4\"\nkubectl rollout status deployment/ovn-central -n kube-system \n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-central_3","title":"\u4fee\u6539\u200b\u5176\u4ed6\u200b\u7ec4\u4ef6\u200b\u8fde\u63a5\u200b ovn-central \u200b\u5730\u5740","text":"<p>\u200b\u4fee\u6539\u200b <code>ovs-ovn</code> \u200b\u5185\u200b\u8fde\u63a5\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5220\u9664\u200b\u4e0b\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</p> <pre><code># kubectl set env daemonset/ovs-ovn -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4\"\ndaemonset.apps/ovs-ovn env updated\n# kubectl delete pod -n kube-system -lapp=ovs\npod \"ovs-ovn-4f6jc\" deleted\npod \"ovs-ovn-csn2w\" deleted\npod \"ovs-ovn-mpbmb\" deleted\n</code></pre> <p>\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> \u200b\u5185\u200b\u8fde\u63a5\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5220\u9664\u200b\u4e0b\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</p> <pre><code># kubectl set env deployment/kube-ovn-controller -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4\"\ndeployment.apps/kube-ovn-controller env updated\n\n# kubectl rollout status deployment/kube-ovn-controller -n kube-system\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\n</code></pre>"},{"location":"ops/change-ovn-central-node/#_1","title":"\u6e05\u7406\u200b\u8282\u70b9","text":"<p>\u200b\u5220\u9664\u200b <code>kube-ovn-control-plane2</code> \u200b\u8282\u70b9\u200b\u5185\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\uff0c\u200b\u907f\u514d\u200b\u91cd\u590d\u200b\u6dfb\u52a0\u200b\u8282\u70b9\u200b\u65f6\u200b\u53d1\u751f\u200b\u5f02\u5e38\u200b\uff1a</p> <pre><code>rm -rf /etc/origin/ovn\n</code></pre> <p>\u200b\u5982\u9700\u200b\u5c06\u200b\u8282\u70b9\u200b\u4ece\u200b\u6574\u4e2a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u4e0b\u7ebf\u200b\uff0c\u200b\u8fd8\u200b\u9700\u200b\u7ee7\u7eed\u200b\u53c2\u8003\u200b\u5220\u9664\u200b\u5de5\u4f5c\u200b\u8282\u70b9\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\u3002</p>"},{"location":"ops/change-ovn-central-node/#ovn-central_4","title":"ovn-central \u200b\u8282\u70b9\u200b\u4e0a\u7ebf","text":"<p>\u200b\u4e0b\u5217\u200b\u6b65\u9aa4\u200b\u4f1a\u200b\u5c06\u200b\u4e00\u4e2a\u200b\u65b0\u200b\u7684\u200b Kubernetes \u200b\u8282\u70b9\u200b\u52a0\u5165\u200b <code>ovn-central</code> \u200b\u96c6\u7fa4\u200b\u3002</p>"},{"location":"ops/change-ovn-central-node/#_2","title":"\u76ee\u5f55\u200b\u68c0\u67e5","text":"<p>\u200b\u68c0\u67e5\u200b\u65b0\u589e\u200b\u8282\u70b9\u200b\u7684\u200b <code>/etc/origin/ovn</code> \u200b\u76ee\u5f55\u200b\u4e2d\u200b\u662f\u5426\u200b\u5b58\u5728\u200b <code>ovnnb_db.db</code> \u200b\u6216\u200b <code>ovnsb_db.db</code> \u200b\u6587\u4ef6\u200b\uff0c\u200b\u82e5\u200b\u5b58\u5728\u200b\u9700\u200b\u63d0\u524d\u200b\u5220\u9664\u200b\uff1a</p> <pre><code>rm -rf /etc/origin/ovn\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-central_5","title":"\u786e\u8ba4\u200b\u5f53\u524d\u200b ovn-central \u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u6b63\u5e38","text":"<p>\u200b\u82e5\u200b\u5f53\u524d\u200b <code>ovn-central</code> \u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u5df2\u7ecf\u200b\u5f02\u5e38\u200b\uff0c\u200b\u65b0\u589e\u200b\u8282\u70b9\u200b\u53ef\u80fd\u200b\u5bfc\u81f4\u200b\u6295\u7968\u9009\u4e3e\u200b\u65e0\u6cd5\u200b\u8fc7\u534a\u6570\u200b\uff0c\u200b\u5f71\u54cd\u200b\u540e\u7eed\u200b\u64cd\u4f5c\u200b\u3002</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 44\nLeader: self\nVote: self\n\nLast Election started 1855739 ms ago, reason: timeout\nLast Election won: 1855729 ms ago\nElection timer: 5000\nLog: [147, 147]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: -&gt;4984 &lt;-4984\nDisconnections: 0\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=147 match_index=146 last msg 367 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=140 match_index=146\nstatus: ok\n\n# kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 33\nLeader: self\nVote: self\n\nLast Election started 1868589 ms ago, reason: timeout\nLast Election won: 1868579 ms ago\nElection timer: 5000\nLog: [142, 142]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: -&gt;6e84 &lt;-6e84\nDisconnections: 0\nServers:\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=142 match_index=141 last msg 728 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=134 match_index=141\nstatus: ok\n</code></pre>"},{"location":"ops/change-ovn-central-node/#_3","title":"\u7ed9\u200b\u8282\u70b9\u200b\u589e\u52a0\u200b\u6807\u7b7e\u200b\u5e76\u200b\u6269\u5bb9","text":"<p>\u200b\u6ce8\u610f\u200b\u9700\u5728\u200b ovn-central \u200b\u73af\u5883\u53d8\u91cf\u200b <code>NODE_IPS</code> \u200b\u7684\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u4e2d\u200b\u589e\u52a0\u200b\u4e0a\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</p> <pre><code>kubectl label node kube-ovn-control-plane2 kube-ovn/role=master\nkubectl scale deployment -n kube-system ovn-central --replicas=3\nkubectl set env deployment/ovn-central -n kube-system NODE_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\nkubectl rollout status deployment/ovn-central -n kube-system\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-central_6","title":"\u4fee\u6539\u200b\u5176\u4ed6\u200b\u7ec4\u4ef6\u200b\u8fde\u63a5\u200b ovn-central \u200b\u5730\u5740","text":"<p>\u200b\u4fee\u6539\u200b <code>ovs-ovn</code> \u200b\u5185\u200b\u8fde\u63a5\u200b\u4fe1\u606f\u200b\uff0c\u200b\u589e\u52a0\u200b\u4e0a\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\uff1a</p> <pre><code># kubectl set env daemonset/ovs-ovn -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\ndaemonset.apps/ovs-ovn env updated\n# kubectl delete pod -n kube-system -lapp=ovs\npod \"ovs-ovn-4f6jc\" deleted\npod \"ovs-ovn-csn2w\" deleted\npod \"ovs-ovn-mpbmb\" deleted\n</code></pre> <p>\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> \u200b\u5185\u200b\u8fde\u63a5\u200b\u4fe1\u606f\u200b\uff0c\u200b\u589e\u52a0\u200b\u4e0a\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\uff1a</p> <pre><code># kubectl set env deployment/kube-ovn-controller -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\ndeployment.apps/kube-ovn-controller env updated\n\n# kubectl rollout status deployment/kube-ovn-controller -n kube-system\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/delete-worker-node/","title":"\u5220\u9664\u200b\u5de5\u4f5c\u200b\u8282\u70b9","text":"<p>\u200b\u5982\u679c\u200b\u53ea\u662f\u200b\u7b80\u5355\u200b\u4ece\u200b Kubernetes \u200b\u4e2d\u200b\u5220\u9664\u200b\u8282\u70b9\u200b\uff0c\u200b\u7531\u4e8e\u200b\u8282\u70b9\u200b\u4e0a\u200b <code>ovs-ovn</code> \u200b\u4e2d\u200b\u8fd0\u884c\u200b\u7684\u200b <code>ovn-controller</code> \u200b\u8fdb\u7a0b\u200b\u4ecd\u200b\u5728\u200b\u8fd0\u884c\u200b\u4f1a\u200b\u5b9a\u671f\u200b\u8fde\u63a5\u200b <code>ovn-central</code> \u200b\u6ce8\u518c\u200b\u76f8\u5173\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\uff0c \u200b\u4f1a\u200b\u5bfc\u81f4\u200b\u989d\u5916\u200b\u8d44\u6e90\u200b\u6d6a\u8d39\u200b\u5e76\u200b\u6709\u200b\u6f5c\u5728\u200b\u7684\u200b\u89c4\u5219\u200b\u51b2\u7a81\u200b\u98ce\u9669\u200b\u3002 \u200b\u56e0\u6b64\u200b\u5728\u200b\u4ece\u200b Kubernetes \u200b\u5185\u200b\u5220\u9664\u200b\u8282\u70b9\u200b\u65f6\u200b\uff0c\u200b\u8bf7\u200b\u6309\u7167\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u6765\u200b\u4fdd\u8bc1\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\u53ef\u4ee5\u200b\u6b63\u5e38\u200b\u88ab\u200b\u6e05\u7406\u200b\u3002</p> <p>\u200b\u8be5\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b\u5220\u9664\u200b\u5de5\u4f5c\u200b\u8282\u70b9\u200b\u7684\u200b\u6b65\u9aa4\u200b\uff0c\u200b\u5982\u9700\u200b\u66f4\u6362\u200b <code>ovn-central</code> \u200b\u6240\u5728\u200b\u8282\u70b9\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b\u66f4\u6362\u200b ovn-central \u200b\u8282\u70b9\u200b\u3002</p>"},{"location":"ops/delete-worker-node/#_2","title":"\u9a71\u9010\u200b\u8282\u70b9\u200b\u4e0a\u200b\u6240\u6709\u200b\u5bb9\u5668","text":"<pre><code> # kubectl drain kube-ovn-worker --ignore-daemonsets --force\n node/kube-ovn-worker cordoned\n WARNING: ignoring DaemonSet-managed Pods: kube-system/kube-ovn-cni-zt74b, kube-system/kube-ovn-pinger-5rxfs, kube-system/kube-proxy-jpmnm, kube-system/ovs-ovn-v2kll\n evicting pod kube-system/coredns-64897985d-qsgpt\n evicting pod local-path-storage/local-path-provisioner-5ddd94ff66-llss6\n evicting pod kube-system/kube-ovn-controller-8459db5ff4-94lxb\n pod/kube-ovn-controller-8459db5ff4-94lxb evicted\n pod/coredns-64897985d-qsgpt evicted\n pod/local-path-provisioner-5ddd94ff66-llss6 evicted\n node/kube-ovn-worker drained\n</code></pre>"},{"location":"ops/delete-worker-node/#kubelet-docker","title":"\u505c\u6b62\u200b kubelet \u200b\u548c\u200b docker","text":"<p>\u200b\u8be5\u200b\u6b65\u9aa4\u200b\u4f1a\u200b\u505c\u6b62\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u4ee5\u200b\u907f\u514d\u200b\u5411\u200b <code>ovn-central</code> \u200b\u8fdb\u884c\u200b\u4fe1\u606f\u200b\u6ce8\u518c\u200b\uff0c\u200b\u767b\u5f55\u200b\u5230\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>systemctl stop kubelet\nsystemctl stop docker\n</code></pre> <p>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b\u7684\u200b CRI \u200b\u4e3a\u200b containerd\uff0c\u200b\u9700\u8981\u200b\u6267\u884c\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u6765\u200b\u505c\u6b62\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff1a</p> <pre><code>crictl rm -f $(crictl ps | grep openvswitch | awk '{print $1}')\n</code></pre>"},{"location":"ops/delete-worker-node/#node","title":"\u6e05\u7406\u200b Node \u200b\u4e0a\u200b\u7684\u200b\u6b8b\u7559\u200b\u6570\u636e","text":"<pre><code>rm -rf /var/run/openvswitch\nrm -rf /var/run/ovn\nrm -rf /etc/origin/openvswitch/\nrm -rf /etc/origin/ovn/\nrm -rf /etc/cni/net.d/00-kube-ovn.conflist\nrm -rf /etc/cni/net.d/01-kube-ovn.conflist\nrm -rf /var/log/openvswitch\nrm -rf /var/log/ovn\n</code></pre>"},{"location":"ops/delete-worker-node/#kubectl","title":"\u4f7f\u7528\u200b kubectl \u200b\u5220\u9664\u200b\u8282\u70b9","text":"<pre><code>kubectl delete no kube-ovn-01\n</code></pre>"},{"location":"ops/delete-worker-node/#ovn-sb","title":"\u68c0\u67e5\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b\u662f\u5426\u200b\u4ece\u200b ovn-sb \u200b\u4e2d\u200b\u5220\u9664","text":"<p>\u200b\u4e0b\u9762\u200b\u7684\u200b\u793a\u4f8b\u200b\u4e3a\u200b <code>kube-ovn-worker</code> \u200b\u4f9d\u7136\u200b\u672a\u200b\u88ab\u200b\u5220\u9664\u200b\uff1a</p> <pre><code># kubectl ko sbctl show\nChassis \"b0564934-5a0d-4804-a4c0-476c93596a17\"\n  hostname: kube-ovn-worker\n  Encap geneve\n      ip: \"172.18.0.2\"\n      options: {csum=\"true\"}\n  Port_Binding kube-ovn-pinger-5rxfs.kube-system\nChassis \"6a29de7e-d731-4eaf-bacd-2f239ee52b28\"\n  hostname: kube-ovn-control-plane\n  Encap geneve\n      ip: \"172.18.0.3\"\n      options: {csum=\"true\"}\n  Port_Binding coredns-64897985d-nbfln.kube-system\n  Port_Binding node-kube-ovn-control-plane\n  Port_Binding local-path-provisioner-5ddd94ff66-h4tn9.local-path-storage\n  Port_Binding kube-ovn-pinger-hf2p6.kube-system\n  Port_Binding coredns-64897985d-fhwlw.kube-system\n</code></pre>"},{"location":"ops/delete-worker-node/#chassis","title":"\u82e5\u200b\u8282\u70b9\u200b\u5bf9\u5e94\u200b\u7684\u200b chassis \u200b\u4f9d\u7136\u200b\u5b58\u5728\u200b\uff0c\u200b\u624b\u52a8\u200b\u8fdb\u884c\u200b\u5220\u9664","text":"<p>uuid \u200b\u4e3a\u200b\u4e4b\u524d\u200b\u547d\u4ee4\u200b\u6240\u200b\u67e5\u51fa\u200b\u7684\u200b Chassis \u200b\u5bf9\u5e94\u200b id\uff1a</p> <pre><code># kubectl ko sbctl chassis-del b0564934-5a0d-4804-a4c0-476c93596a17\n# kubectl ko sbctl show\nChassis \"6a29de7e-d731-4eaf-bacd-2f239ee52b28\"\n  hostname: kube-ovn-control-plane\n  Encap geneve\n      ip: \"172.18.0.3\"\n      options: {csum=\"true\"}\n  Port_Binding coredns-64897985d-nbfln.kube-system\n  Port_Binding node-kube-ovn-control-plane\n  Port_Binding local-path-provisioner-5ddd94ff66-h4tn9.local-path-storage\n  Port_Binding kube-ovn-pinger-hf2p6.kube-system\n  Port_Binding coredns-64897985d-fhwlw.kube-system\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/faq/","title":"\u5176\u4ed6\u200b\u5e38\u89c1\u95ee\u9898","text":""},{"location":"ops/faq/#arm","title":"\u9e92\u9e9f\u200b ARM \u200b\u7cfb\u7edf\u200b\u8de8\u200b\u4e3b\u673a\u200b\u5bb9\u5668\u200b\u8bbf\u95ee\u200b\u95f4\u6b47\u200b\u5931\u8d25","text":""},{"location":"ops/faq/#_2","title":"\u73b0\u8c61","text":"<p>\u200b\u9e92\u9e9f\u200b ARM \u200b\u7cfb\u7edf\u200b\u548c\u200b\u90e8\u5206\u200b\u56fd\u4ea7\u5316\u200b\u7f51\u5361\u200b offload \u200b\u914d\u5408\u200b\u5b58\u5728\u200b\u95ee\u9898\u200b\uff0c\u200b\u4f1a\u200b\u5bfc\u81f4\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u95f4\u6b47\u200b\u6545\u969c\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b <code>netstat</code> \u200b\u786e\u8ba4\u200b\u95ee\u9898\u200b\uff1a</p> <pre><code># netstat -us\nIcmpMsg:\n    InType0: 22\n    InType3: 24\n    InType8: 117852\n    OutType0: 117852\n    OutType3: 29\n    OutType8: 22\nUdp:\n    3040636 packets received\n    0 packets to unknown port received.\n    4 packet receive errors\n    602 packets sent\n    0 receive buffer errors\n    0 send buffer errors\n    InCsumErrors: 4\nUdpLite:\nIpExt:\n    InBcastPkts: 10244\n    InOctets: 4446320361\n    OutOctets: 1496815600\n    InBcastOctets: 3095950\n    InNoECTPkts: 7683903\n</code></pre> <p>\u200b\u82e5\u200b\u5b58\u5728\u200b <code>InCsumErrors</code>\uff0c\u200b\u4e14\u200b\u968f\u7740\u200b\u8bbf\u95ee\u200b\u5931\u8d25\u200b\u589e\u52a0\u200b\uff0c\u200b\u53ef\u200b\u786e\u8ba4\u200b\u662f\u200b\u8be5\u200b\u95ee\u9898\u200b\u3002</p>"},{"location":"ops/faq/#_3","title":"\u89e3\u51b3\u200b\u65b9\u6cd5","text":"<p>\u200b\u6839\u672c\u200b\u89e3\u51b3\u200b\u9700\u8981\u200b\u548c\u200b\u9e92\u9e9f\u200b\u4ee5\u53ca\u200b\u5bf9\u5e94\u200b\u7f51\u5361\u200b\u5382\u5546\u200b\u6c9f\u901a\u200b\uff0c\u200b\u66f4\u65b0\u200b\u7cfb\u7edf\u200b\u548c\u200b\u9a71\u52a8\u200b\u3002\u200b\u4e34\u65f6\u200b\u89e3\u51b3\u200b\u53ef\u200b\u5148\u200b\u5173\u95ed\u200b\u7269\u7406\u200b \u200b\u7f51\u5361\u200b\u7684\u200b <code>tx offload</code> \u200b\u4f46\u662f\u200b\u4f1a\u200b\u5bfc\u81f4\u200b tcp \u200b\u6027\u80fd\u200b\u6709\u200b\u8f83\u200b\u660e\u663e\u200b\u4e0b\u964d\u200b\u3002</p> <pre><code>ethtool -K eth0 tx off\n</code></pre> <p>\u200b\u7ecf\u200b\u793e\u533a\u200b\u53cd\u9988\u200b\u4f7f\u7528\u200b <code>4.19.90-25.16.v2101</code> \u200b\u5185\u6838\u200b\u540e\u200b\u53ef\u4ee5\u200b\u89e3\u51b3\u200b\u8be5\u200b\u95ee\u9898\u200b\u3002</p>"},{"location":"ops/faq/#pod-service","title":"Pod \u200b\u8bbf\u95ee\u200b Service \u200b\u4e0d\u901a","text":""},{"location":"ops/faq/#_4","title":"\u73b0\u8c61","text":"<p>Pod \u200b\u5185\u200b\u65e0\u6cd5\u8bbf\u95ee\u200b Service \u200b\u5bf9\u5e94\u200b\u7684\u200b\u670d\u52a1\u200b\uff0c<code>dmesg</code> \u200b\u663e\u793a\u200b\u5f02\u5e38\u200b\uff1a</p> <pre><code>netlink: Unknown conntrack attr (type=6, max=5)\nopenvswitch: netlink: Flow actions may not be safe on all matching packets.\n</code></pre> <p>\u200b\u8be5\u200b\u65e5\u5fd7\u200b\u8bf4\u660e\u200b\u5185\u6838\u200b\u5185\u200b OVS \u200b\u7248\u672c\u200b\u8fc7\u4f4e\u200b\u4e0d\u200b\u652f\u6301\u200b\u5bf9\u5e94\u200b NAT \u200b\u64cd\u4f5c\u200b\u3002</p>"},{"location":"ops/faq/#_5","title":"\u89e3\u51b3\u200b\u65b9\u6cd5","text":"<ol> <li>\u200b\u5347\u7ea7\u200b\u5185\u6838\u6a21\u5757\u200b\u6216\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u3002</li> <li>\u200b\u82e5\u200b\u53ea\u200b\u4f7f\u7528\u200b Overlay \u200b\u7f51\u7edc\u200b\u53ef\u4ee5\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> \u200b\u542f\u52a8\u200b\u53c2\u6570\u8bbe\u7f6e\u200b <code>--enable-lb=false</code> \u200b\u5173\u95ed\u200b OVN LB \u200b\u4f7f\u7528\u200b kube-proxy \u200b\u8fdb\u884c\u200b Service \u200b\u8f6c\u53d1\u200b\u3002</li> </ol>"},{"location":"ops/faq/#ovn-central","title":"ovn-central \u200b\u51fa\u73b0\u200b\u9891\u7e41\u200b\u9009\u4e3b","text":""},{"location":"ops/faq/#_6","title":"\u73b0\u8c61","text":"<p>\u200b\u4ece\u200b v1.11.x \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c1w Pod \u200b\u4ee5\u4e0a\u200b\u7684\u200b\u96c6\u7fa4\u200b\uff0c\u200b\u5982\u679c\u200b OVN NB \u200b\u6216\u8005\u200b SB \u200b\u51fa\u73b0\u200b\u9891\u7e41\u200b\u9009\u4e3b\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u80fd\u200b\u539f\u56e0\u200b\u662f\u200b Kube-OVN \u200b\u5468\u671f\u200b\u8fdb\u884c\u200b\u4e86\u200b ovsdb-server/compact \u200b\u52a8\u4f5c\u200b\uff0c\u200b\u5f71\u54cd\u200b\u5230\u200b\u9009\u4e3b\u200b\u903b\u8f91\u200b\u3002</p>"},{"location":"ops/faq/#_7","title":"\u89e3\u51b3\u200b\u65b9\u6cd5","text":"<p>\u200b\u53ef\u4ee5\u200b\u7ed9\u200b ovn-central \u200b\u914d\u7f6e\u200b\u73af\u5883\u53d8\u91cf\u200b\u5982\u4e0b\u200b\uff0c\u200b\u5173\u95ed\u200b compact\uff1a</p> <pre><code>- name: ENABLE_COMPACT\n  value: \"false\"\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/from-calico/","title":"\u5378\u8f7d\u200b Calico \u200b\u5b89\u88c5\u200b Kube-OVN","text":"<p>\u200b\u82e5\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u5df2\u200b\u5b89\u88c5\u200b Calico \u200b\u9700\u8981\u200b\u53d8\u66f4\u200b\u4e3a\u200b Kube-OVN \u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u672c\u200b\u6587\u6863\u200b\u3002</p> <p>\u200b\u672c\u6587\u200b\u4ee5\u200b Calico v3.24.1 \u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u5176\u5b83\u200b Calico \u200b\u7248\u672c\u200b\u9700\u8981\u200b\u6839\u636e\u200b\u5b9e\u9645\u200b\u60c5\u51b5\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\u3002</p>"},{"location":"ops/from-calico/#_1","title":"\u51c6\u5907\u200b\u5de5\u4f5c","text":"<p>\u200b\u4e3a\u4e86\u200b\u4fdd\u8bc1\u200b\u5207\u6362\u200b CNI \u200b\u8fc7\u7a0b\u200b\u4e2d\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u4fdd\u6301\u200b\u7545\u901a\u200b\uff0cCalico ippool \u200b\u9700\u8981\u200b\u5f00\u542f\u200b nat outgoing\uff0c\u200b\u6216\u200b\u5728\u200b\u6240\u6709\u200b\u8282\u70b9\u200b\u4e0a\u200b\u5173\u95ed\u200b rp_filter\uff1a</p> <pre><code>sysctl net.ipv4.conf.all.rp_filter=0\nsysctl net.ipv4.conf.default.rp_filter=0\n# IPIP \u200b\u6a21\u5f0f\u200b\nsysctl net.ipv4.conf.tunl0.rp_filter=0\n# VXLAN \u200b\u6a21\u5f0f\u200b\nsysctl net.ipv4.conf.vxlan/calico.rp_filter=0\n# \u200b\u8def\u7531\u200b\u6a21\u5f0f\u200b\uff0ceth0 \u200b\u9700\u8981\u200b\u4fee\u6539\u200b\u4e3a\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\nsysctl net.ipv4.conf.eth0.rp_filter=0\n</code></pre>"},{"location":"ops/from-calico/#kube-ovn","title":"\u90e8\u7f72\u200b Kube-OVN","text":""},{"location":"ops/from-calico/#_2","title":"\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c","text":"<pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre>"},{"location":"ops/from-calico/#_3","title":"\u4fee\u6539\u200b\u5b89\u88c5\u200b\u811a\u672c","text":"<p>\u200b\u5c06\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u91cd\u5efa\u200b Pod \u200b\u7684\u200b\u90e8\u5206\u200b\u5220\u9664\u200b\uff1a</p> <pre><code>echo \"[Step 4/6] Delete pod that not in host network mode\"\nfor ns in $(kubectl get ns --no-headers -o custom-columns=NAME:.metadata.name); do\n  for pod in $(kubectl get pod --no-headers -n \"$ns\" --field-selector spec.restartPolicy=Always -o custom-columns=NAME:.metadata.name,HOST:spec.hostNetwork | awk '{if ($2!=\"true\") print $1}'); do\n    kubectl delete pod \"$pod\" -n \"$ns\" --ignore-not-found\n  done\ndone\n</code></pre> <p>\u200b\u6309\u200b\u9700\u200b\u4fee\u6539\u200b\u4ee5\u4e0b\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>REGISTRY=\"kubeovn\"                     # \u200b\u955c\u50cf\u200b\u4ed3\u5e93\u200b\u5730\u5740\u200b\nVERSION=\"v1.13.0\"                      # \u200b\u955c\u50cf\u200b\u7248\u672c\u200b/Tag\nPOD_CIDR=\"10.16.0.0/16\"                # \u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u8981\u200b\u548c\u200b SVC/NODE/JOIN CIDR \u200b\u91cd\u53e0\u200b\nSVC_CIDR=\"10.96.0.0/12\"                # \u200b\u9700\u8981\u200b\u548c\u200b apiserver \u200b\u7684\u200b service-cluster-ip-range \u200b\u4fdd\u6301\u4e00\u81f4\u200b\nJOIN_CIDR=\"100.64.0.0/16\"              # Pod \u200b\u548c\u200b\u4e3b\u673a\u200b\u901a\u4fe1\u200b\u7f51\u7edc\u200b CIDR\uff0c\u200b\u4e0d\u8981\u200b\u548c\u200b SVC/NODE/POD CIDR \u200b\u91cd\u53e0\u200b \nLABEL=\"node-role.kubernetes.io/master\" # \u200b\u90e8\u7f72\u200b OVN DB \u200b\u8282\u70b9\u200b\u7684\u200b\u6807\u7b7e\u200b\nIFACE=\"\"                               # \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u6240\u200b\u4f7f\u7528\u200b\u7684\u200b\u7684\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u5982\u679c\u200b\u4e3a\u200b\u7a7a\u5219\u200b\u4f7f\u7528\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b Node IP \u200b\u6240\u5728\u200b\u7f51\u5361\u200b\nTUNNEL_TYPE=\"geneve\"                   # \u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\uff0c\u200b\u53ef\u200b\u9009\u200b geneve, vxlan \u200b\u6216\u200b stt\uff0cstt \u200b\u9700\u8981\u200b\u5355\u72ec\u200b\u7f16\u8bd1\u200b ovs \u200b\u5185\u6838\u6a21\u5757\u200b\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1aPOD_CIDR \u200b\u53ca\u200b JOIN_CIDR \u200b\u4e0d\u53ef\u200b\u4e0e\u200b Calico ippool \u200b\u7684\u200b CIDR \u200b\u51b2\u7a81\u200b\uff0c\u200b\u4e14\u200b POD_CIDR \u200b\u9700\u8981\u200b\u5305\u542b\u200b\u8db3\u591f\u200b\u591a\u200b\u7684\u200b IP \u200b\u6765\u200b\u5bb9\u7eb3\u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u5df2\u6709\u200b\u7684\u200b Pod\u3002</p>"},{"location":"ops/from-calico/#_4","title":"\u6267\u884c\u200b\u5b89\u88c5\u200b\u811a\u672c","text":"<pre><code>bash install.sh\n</code></pre>"},{"location":"ops/from-calico/#_5","title":"\u9010\u4e2a\u200b\u8282\u70b9\u200b\u8fc1\u79fb","text":"<p>\u200b\u6309\u7167\u200b\u4ee5\u4e0b\u200b\u65b9\u6cd5\u200b\u4e3a\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u9010\u4e2a\u200b\u8fdb\u884c\u200b\u8fc1\u79fb\u200b\u3002 \u200b\u6ce8\u610f\u200b\uff1a\u200b\u547d\u4ee4\u200b\u4e2d\u200b\u7684\u200b \\&lt;NODE&gt; \u200b\u9700\u8981\u200b\u66ff\u6362\u200b\u4e3a\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b\u3002</p>"},{"location":"ops/from-calico/#_6","title":"\u9a71\u9010\u200b\u8282\u70b9","text":"<pre><code>kubectl drain --ignore-daemonsets &lt;NODE&gt;\n</code></pre> <p>\u200b\u82e5\u6b64\u200b\u547d\u4ee4\u200b\u4e00\u76f4\u200b\u7b49\u5f85\u200b Pod \u200b\u88ab\u200b\u9a71\u9010\u200b\uff0c\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\u5f3a\u5236\u200b\u5220\u9664\u200b\u88ab\u200b\u9a71\u9010\u200b\u7684\u200b Pod\uff1a</p> <pre><code>kubectl get pod -A --field-selector=spec.nodeName=&lt;NODE&gt; --no-headers | \\\n    awk '$4==\"Terminating\" {print $1\" \"$2}' | \\\n    while read s; do kubectl delete pod --force -n $s; done\n</code></pre>"},{"location":"ops/from-calico/#_7","title":"\u91cd\u542f\u200b\u8282\u70b9","text":"<p>\u200b\u5728\u200b\u8282\u70b9\u200b\u4e2d\u200b\u6267\u884c\u200b\uff1a</p> <pre><code>shutdown -r 0\n</code></pre>"},{"location":"ops/from-calico/#_8","title":"\u6062\u590d\u200b\u8282\u70b9","text":"<pre><code>kubectl uncordon &lt;NODE&gt;\n</code></pre>"},{"location":"ops/from-calico/#calico","title":"\u5378\u8f7d\u200b Calico","text":""},{"location":"ops/from-calico/#k8s","title":"\u5220\u9664\u200b k8s \u200b\u8d44\u6e90","text":"<pre><code>kubectl -n kube-system delete deploy calico-kube-controllers\nkubectl -n kube-system delete ds calico-node\nkubectl -n kube-system delete cm calico-config\n# \u200b\u5220\u9664\u200b CRD \u200b\u53ca\u200b\u76f8\u5173\u200b\u8d44\u6e90\u200b\nkubectl get crd -o jsonpath='{range .items[*]}{.metadata.name}{\"\\n\"}{end}' | while read crd; do\n  if ! echo $crd | grep '.crd.projectcalico.org$' &gt;/dev/null; then\n    continue\n  fi\n\n  for name in $(kubectl get $crd -o jsonpath='{.items[*].metadata.name}'); do\n    kubectl delete $crd $name\n  done\n  kubectl delete crd $crd\ndone\n# \u200b\u5176\u5b83\u200b\u8d44\u6e90\u200b\nkubectl delete --ignore-not-found clusterrolebinding calico-node calico-kube-controllers\nkubectl delete --ignore-not-found clusterrole calico-node calico-kube-controllers\nkubectl delete --ignore-not-found sa -n kube-system calico-kube-controllers calico-node\nkubectl delete --ignore-not-found pdb -n kube-system calico-kube-controllers\n</code></pre>"},{"location":"ops/from-calico/#_9","title":"\u6e05\u7406\u200b\u8282\u70b9\u200b\u6587\u4ef6","text":"<p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e2d\u200b\u6267\u884c\u200b\uff1a</p> <pre><code>rm -f /etc/cni/net.d/10-calico.conflist /etc/cni/net.d/calico-kubeconfig\nrm -f /opt/cni/bin/calico /opt/cni/bin/calico-ipam\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/kubectl-ko/","title":"kubectl \u200b\u63d2\u4ef6\u200b\u4f7f\u7528","text":"<p>\u200b\u4e3a\u4e86\u200b\u65b9\u4fbf\u200b\u65e5\u5e38\u200b\u7684\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\uff0cKube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b kubectl \u200b\u63d2\u4ef6\u200b\u5de5\u5177\u200b\uff0c\u200b\u7f51\u7edc\u7ba1\u7406\u5458\u200b \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u8be5\u200b\u547d\u4ee4\u200b\u8fdb\u884c\u200b\u65e5\u5e38\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u4f8b\u5982\u200b\uff1a\u200b\u67e5\u770b\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u4fe1\u606f\u200b\u548c\u200b\u72b6\u6001\u200b\uff0cOVN \u200b\u6570\u636e\u5e93\u200b \u200b\u5907\u4efd\u200b\u548c\u200b\u6062\u590d\u200b\uff0cOVS \u200b\u76f8\u5173\u200b\u4fe1\u606f\u200b\u67e5\u770b\u200b\uff0ctcpdump \u200b\u7279\u5b9a\u200b\u5bb9\u5668\u200b\uff0c\u200b\u7279\u5b9a\u200b\u94fe\u8def\u200b\u903b\u8f91\u200b\u62d3\u6251\u200b\u5c55\u793a\u200b\uff0c \u200b\u7f51\u7edc\u200b\u95ee\u9898\u200b\u8bca\u65ad\u200b\u548c\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#_1","title":"\u63d2\u4ef6\u200b\u5b89\u88c5","text":"<p>Kube-OVN \u200b\u5b89\u88c5\u200b\u65f6\u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u90e8\u7f72\u200b\u63d2\u4ef6\u200b\u5230\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\uff0c\u200b\u82e5\u200b\u6267\u884c\u200b kubectl \u200b\u7684\u200b\u673a\u5668\u200b\u4e0d\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\uff0c \u200b\u6216\u200b\u9700\u8981\u200b\u91cd\u88c5\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u53ef\u200b\u53c2\u8003\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\uff1a</p> <p>\u200b\u4e0b\u8f7d\u200b <code>kubectl-ko</code> \u200b\u6587\u4ef6\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/kubectl-ko\n</code></pre> <p>\u200b\u5c06\u200b\u8be5\u200b\u6587\u4ef6\u200b\u79fb\u52a8\u200b\u81f3\u200b <code>$PATH</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\uff1a</p> <pre><code>mv kubectl-ko /usr/local/bin/kubectl-ko\n</code></pre> <p>\u200b\u589e\u52a0\u200b\u53ef\u200b\u6267\u884c\u200b\u6743\u9650\u200b\uff1a</p> <pre><code>chmod +x /usr/local/bin/kubectl-ko\n</code></pre> <p>\u200b\u68c0\u67e5\u200b\u63d2\u4ef6\u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u6b63\u5e38\u200b\u4f7f\u7528\u200b\uff1a</p> <pre><code># kubectl plugin list\nThe following compatible plugins are available:\n\n/usr/local/bin/kubectl-ko\n</code></pre>"},{"location":"ops/kubectl-ko/#_2","title":"\u63d2\u4ef6\u200b\u4f7f\u7528","text":"<p>\u200b\u8fd0\u884c\u200b <code>kubectl ko</code> \u200b\u4f1a\u200b\u5c55\u793a\u200b\u8be5\u200b\u63d2\u4ef6\u200b\u6240\u6709\u200b\u53ef\u7528\u200b\u7684\u200b\u547d\u4ee4\u200b\u548c\u200b\u7528\u6cd5\u200b\u63cf\u8ff0\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code># kubectl ko\nkubectl ko {subcommand} [option...]\nAvailable Subcommands:\n  [nb|sb] [status|kick|backup|dbstatus|restore]     ovn-db operations show cluster status, kick stale server, backup database, get db consistency status or restore ovn nb db when met 'inconsistent data' error\n  nbctl [ovn-nbctl options ...]    invoke ovn-nbctl\n  sbctl [ovn-sbctl options ...]    invoke ovn-sbctl\n  vsctl {nodeName} [ovs-vsctl options ...]   invoke ovs-vsctl on the specified node\n  ofctl {nodeName} [ovs-ofctl options ...]   invoke ovs-ofctl on the specified node\n  dpctl {nodeName} [ovs-dpctl options ...]   invoke ovs-dpctl on the specified node\n  appctl {nodeName} [ovs-appctl options ...]   invoke ovs-appctl on the specified node\n  tcpdump {namespace/podname} [tcpdump options ...]     capture pod traffic\n  {trace|ovn-trace} ...    trace ovn microflow of specific packet\"\n    {trace|ovn-trace} {namespace/podname} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]    trace ICMP/TCP/UDP\n    {trace|ovn-trace} {namespace/podname} {target ip address} [target mac address] arp {request|reply}                     trace ARP request/reply\n    {trace|ovn-trace} {node//nodename} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]       trace ICMP/TCP/UDP\n    {trace|ovn-trace} {node//nodename} {target ip address} [target mac address] arp {request|reply}                        trace ARP request/reply\n  echo \"  diagnose {all|node|subnet|IPPorts} [nodename|subnetName|{proto1}-{IP1}-{Port1},{proto2}-{IP2}-{Port2}]    diagnose connectivity of all nodes or a specific node or specify subnet's ds pod or IPPorts like 'tcp-172.18.0.2-53,udp-172.18.0.3-53'\"\n  tuning {install-fastpath|local-install-fastpath|remove-fastpath|install-stt|local-install-stt|remove-stt} {centos7|centos8}} [kernel-devel-version]  deploy  kernel optimisation components to the system\n  reload    restart all kube-ovn components\n  log {kube-ovn|ovn|ovs|linux|all}    save log to ./kubectl-ko-log/\n  perf [image] performance test default image is kubeovn/test:v1.12.0  \n</code></pre> <p>\u200b\u4e0b\u9762\u200b\u5c06\u200b\u4ecb\u7ecd\u200b\u6bcf\u4e2a\u200b\u547d\u4ee4\u200b\u7684\u200b\u5177\u4f53\u200b\u529f\u80fd\u200b\u548c\u200b\u4f7f\u7528\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#nb-sb-status-kick-backup-dbstatus-restore","title":"[nb | sb] [status | kick | backup | dbstatus | restore]","text":"<p>\u200b\u8be5\u5b50\u200b\u547d\u4ee4\u200b\u4e3b\u8981\u200b\u5bf9\u200b OVN \u200b\u5317\u5411\u200b\u6216\u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5305\u62ec\u200b\u6570\u636e\u5e93\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u67e5\u770b\u200b\uff0c\u200b\u6570\u636e\u5e93\u200b\u8282\u70b9\u200b\u4e0b\u7ebf\u200b\uff0c \u200b\u6570\u636e\u5e93\u200b\u5907\u4efd\u200b\uff0c\u200b\u6570\u636e\u5e93\u200b\u5b58\u50a8\u72b6\u6001\u200b\u67e5\u770b\u200b\u548c\u200b\u6570\u636e\u5e93\u200b\u4fee\u590d\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#_3","title":"\u6570\u636e\u5e93\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u67e5\u770b","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u5728\u200b\u5bf9\u5e94\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u7684\u200b leader \u200b\u8282\u70b9\u200b\u6267\u884c\u200b <code>ovs-appctl cluster/status</code> \u200b\u5c55\u793a\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b:</p> <pre><code># kubectl ko nb status\n306b\nName: OVN_Northbound\nCluster ID: 9a87 (9a872522-3e7d-47ca-83a3-d74333e1a7ca)\nServer ID: 306b (306b256b-b5e1-4eb0-be91-4ca96adf6bad)\nAddress: tcp:[172.18.0.2]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 280309 ms ago, reason: timeout\nLast Election won: 280309 ms ago\nElection timer: 5000\nLog: [139, 139]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-8723 -&gt;8723 &lt;-85d6 -&gt;85d6\nDisconnections: 0\nServers:\n    85d6 (85d6 at tcp:[172.18.0.4]:6643) next_index=139 match_index=138 last msg 763 ms ago\n    8723 (8723 at tcp:[172.18.0.3]:6643) next_index=139 match_index=138 last msg 763 ms ago\n    306b (306b at tcp:[172.18.0.2]:6643) (self) next_index=2 match_index=138\nstatus: ok\n</code></pre> <p>\u200b\u82e5\u200b <code>Server</code> \u200b\u4e0b\u200b\u7684\u200b <code>match_index</code> \u200b\u51fa\u73b0\u200b\u8f83\u5927\u200b\u5dee\u522b\u200b\uff0c\u200b\u4e14\u200b <code>last msg</code> \u200b\u65f6\u95f4\u200b\u8f83\u957f\u200b\u5219\u200b\u5bf9\u5e94\u200b Server \u200b\u53ef\u80fd\u200b\u957f\u65f6\u95f4\u200b\u6ca1\u6709\u54cd\u5e94\u200b\uff0c \u200b\u9700\u8981\u200b\u8fdb\u4e00\u6b65\u200b\u67e5\u770b\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#_4","title":"\u6570\u636e\u5e93\u200b\u8282\u70b9\u200b\u4e0b\u7ebf","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u5c06\u200b\u67d0\u4e2a\u200b\u8282\u70b9\u200b\u4ece\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u4e2d\u200b\u79fb\u9664\u200b\uff0c\u200b\u5728\u200b\u8282\u70b9\u200b\u4e0b\u7ebf\u200b\u6216\u200b\u66f4\u6362\u200b\u8282\u70b9\u200b\u65f6\u200b\u9700\u8981\u200b\u7528\u5230\u200b\u3002 \u200b\u4e0b\u9762\u200b\u5c06\u200b\u4ee5\u4e0a\u200b\u4e00\u6761\u200b\u547d\u4ee4\u200b\u6240\u200b\u67e5\u770b\u200b\u5230\u200b\u7684\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u4e0b\u7ebf\u200b <code>172.18.0.3</code> \u200b\u8282\u70b9\u200b:</p> <pre><code># kubectl ko nb kick 8723\nstarted removal\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u67e5\u770b\u200b\u6570\u636e\u5e93\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u786e\u8ba4\u200b\u8282\u70b9\u200b\u5df2\u200b\u79fb\u9664\u200b\uff1a</p> <pre><code># kubectl ko nb status\n306b\nName: OVN_Northbound\nCluster ID: 9a87 (9a872522-3e7d-47ca-83a3-d74333e1a7ca)\nServer ID: 306b (306b256b-b5e1-4eb0-be91-4ca96adf6bad)\nAddress: tcp:[172.18.0.2]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 324356 ms ago, reason: timeout\nLast Election won: 324356 ms ago\nElection timer: 5000\nLog: [140, 140]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-85d6 -&gt;85d6\nDisconnections: 2\nServers:\n    85d6 (85d6 at tcp:[172.18.0.4]:6643) next_index=140 match_index=139 last msg 848 ms ago\n    306b (306b at tcp:[172.18.0.2]:6643) (self) next_index=2 match_index=139\nstatus: ok\n</code></pre>"},{"location":"ops/kubectl-ko/#_5","title":"\u6570\u636e\u5e93\u200b\u5907\u4efd","text":"<p>\u200b\u8be5\u5b50\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u5907\u4efd\u200b\u5f53\u524d\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u81f3\u200b\u672c\u5730\u200b\uff0c\u200b\u53ef\u200b\u7528\u4e8e\u200b\u707e\u5907\u200b\u548c\u200b\u6062\u590d\u200b\uff1a</p> <pre><code># kubectl ko nb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnnb_db.060223191654183154.backup\n</code></pre>"},{"location":"ops/kubectl-ko/#_6","title":"\u6570\u636e\u5e93\u200b\u5b58\u50a8\u72b6\u6001\u200b\u67e5\u770b","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u7528\u6765\u200b\u67e5\u770b\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u662f\u5426\u200b\u5b58\u5728\u200b\u635f\u574f\u200b\uff1a</p> <pre><code># kubectl ko nb dbstatus\nstatus: ok\n</code></pre> <p>\u200b\u82e5\u200b\u5f02\u5e38\u200b\u5219\u200b\u663e\u793a\u200b <code>inconsistent data</code> \u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u8fdb\u884c\u200b\u4fee\u590d\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#_7","title":"\u6570\u636e\u5e93\u200b\u4fee\u590d","text":"<p>\u200b\u82e5\u200b\u6570\u636e\u5e93\u200b\u72b6\u6001\u200b\u8fdb\u5165\u200b <code>inconsistent data</code> \u200b\u53ef\u200b\u4f7f\u7528\u200b\u8be5\u200b\u547d\u4ee4\u200b\u8fdb\u884c\u200b\u4fee\u590d\u200b\uff1a</p> <pre><code># kubectl ko nb restore\ndeployment.apps/ovn-central scaled\novn-central original replicas is 3\nfirst nodeIP is 172.18.0.5\novs-ovn pod on node 172.18.0.5 is ovs-ovn-8jxv9\novs-ovn pod on node 172.18.0.3 is ovs-ovn-sjzb6\novs-ovn pod on node 172.18.0.4 is ovs-ovn-t87zk\nbackup nb db file\nrestore nb db file, operate in pod ovs-ovn-8jxv9\ndeployment.apps/ovn-central scaled\nfinish restore nb db file and ovn-central replicas\nrecreate ovs-ovn pods\npod \"ovs-ovn-8jxv9\" deleted\npod \"ovs-ovn-sjzb6\" deleted\npod \"ovs-ovn-t87zk\" deleted\n</code></pre>"},{"location":"ops/kubectl-ko/#nbctl-sbctl-options","title":"[nbctl | sbctl] [options ...]","text":"<p>\u200b\u8be5\u5b50\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b OVN \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u6216\u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b \u200b\u7684\u200b leader \u200b\u8282\u70b9\u200b\u5206\u522b\u200b\u6267\u884c\u200b <code>ovn-nbctl</code> \u200b\u548c\u200b <code>ovn-sbctl</code> \u200b\u547d\u4ee4\u200b\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVN \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovn-nbctl(8) \u200b\u548c\u200b ovn-sbctl(8)\u3002</p> <pre><code># kubectl ko nbctl show\nswitch c7cd17e8-ceee-4a91-9bb3-e5a313fe1ece (snat)\n    port snat-ovn-cluster\n        type: router\n        router-port: ovn-cluster-snat\nswitch 20e0c6d0-023a-4756-aec5-200e0c60f95d (join)\n    port node-liumengxin-ovn3-192.168.137.178\n        addresses: [\"00:00:00:64:FF:A8 100.64.0.4\"]\n    port node-liumengxin-ovn1-192.168.137.176\n        addresses: [\"00:00:00:AF:98:62 100.64.0.2\"]\n    port node-liumengxin-ovn2-192.168.137.177\n        addresses: [\"00:00:00:D9:58:B8 100.64.0.3\"]\n    port join-ovn-cluster\n        type: router\n        router-port: ovn-cluster-join\nswitch 0191705c-f827-427b-9de3-3c3b7d971ba5 (central)\n    port central-ovn-cluster\n        type: router\n        router-port: ovn-cluster-central\nswitch 2a45ff05-388d-4f85-9daf-e6fccd5833dc (ovn-default)\n    port alertmanager-main-0.monitoring\n        addresses: [\"00:00:00:6C:DF:A3 10.16.0.19\"]\n    port kube-state-metrics-5d6885d89-4nf8h.monitoring\n        addresses: [\"00:00:00:6F:02:1C 10.16.0.15\"]\n    port fake-kubelet-67c55dfd89-pv86k.kube-system\n        addresses: [\"00:00:00:5C:12:E8 10.16.19.177\"]\n    port ovn-default-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-default\nrouter 212f73dd-d63d-4d72-864b-a537e9afbee1 (ovn-cluster)\n    port ovn-cluster-snat\n        mac: \"00:00:00:7A:82:8F\"\n        networks: [\"172.22.0.1/16\"]\n    port ovn-cluster-join\n        mac: \"00:00:00:F8:18:5A\"\n        networks: [\"100.64.0.1/16\"]\n    port ovn-cluster-central\n        mac: \"00:00:00:4D:8C:F5\"\n        networks: [\"192.101.0.1/16\"]\n    port ovn-cluster-ovn-default\n        mac: \"00:00:00:A3:F8:18\"\n        networks: [\"10.16.0.1/16\"]\n</code></pre>"},{"location":"ops/kubectl-ko/#vsctl-nodename-options","title":"vsctl {nodeName} [options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b\u5bf9\u5e94\u200b <code>nodeName</code> \u200b\u4e0a\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b <code>ovs-vsctl</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u8be2\u200b\u5e76\u200b\u914d\u7f6e\u200b <code>vswitchd</code>\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVS \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovs-vsctl(8)\u3002</p> <pre><code># kubectl ko vsctl kube-ovn-01 show\n0d4c4675-c9cc-440a-8c1a-878e17f81b88\n    Bridge br-int\n        fail_mode: secure\n        datapath_type: system\n        Port a2c1a8a8b83a_h\n            Interface a2c1a8a8b83a_h\n        Port \"4fa5c4cbb1a5_h\"\n            Interface \"4fa5c4cbb1a5_h\"\n        Port ovn-eef07d-0\n            Interface ovn-eef07d-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.178\"}\n        Port ovn0\n            Interface ovn0\n                type: internal\n        Port mirror0\n            Interface mirror0\n                type: internal\n        Port ovn-efa253-0\n            Interface ovn-efa253-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.177\"}\n        Port br-int\n            Interface br-int\n                type: internal\n    ovs_version: \"2.17.2\"\n</code></pre>"},{"location":"ops/kubectl-ko/#ofctl-nodename-options","title":"ofctl {nodeName} [options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b\u5bf9\u5e94\u200b <code>nodeName</code> \u200b\u4e0a\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b <code>ovs-ofctl</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u8be2\u200b\u6216\u200b\u7ba1\u7406\u200b OpenFlow\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVS \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovs-ofctl(8)\u3002</p> <pre><code># kubectl ko ofctl kube-ovn-01 dump-flows br-int\nNXST_FLOW reply (xid=0x4): flags=[more]\n cookie=0xcf3429e6, duration=671791.432s, table=0, n_packets=0, n_bytes=0, idle_age=65534, hard_age=65534, priority=100,in_port=2 actions=load:0x4-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x1-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0xc91413c6, duration=671791.431s, table=0, n_packets=907489, n_bytes=99978275, idle_age=0, hard_age=65534, priority=100,in_port=7 actions=load:0x1-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x4-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0xf180459, duration=671791.431s, table=0, n_packets=17348582, n_bytes=2667811214, idle_age=0, hard_age=65534, priority=100,in_port=6317 actions=load:0xa-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x9-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0x7806dd90, duration=671791.431s, table=0, n_packets=3235428, n_bytes=833821312, idle_age=0, hard_age=65534, priority=100,in_port=1 actions=load:0xd-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x3-&gt;NXM_NX_REG14[],resubmit(,8)\n...\n</code></pre>"},{"location":"ops/kubectl-ko/#dpctl-nodename-options","title":"dpctl {nodeName} [options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b\u5bf9\u5e94\u200b <code>nodeName</code> \u200b\u4e0a\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b <code>ovs-dpctl</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u8be2\u200b\u6216\u200b\u7ba1\u7406\u200b OVS datapath\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVS \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovs-dpctl(8)\u3002</p> <pre><code># kubectl ko dpctl kube-ovn-01 show\nsystem@ovs-system:\n  lookups: hit:350805055 missed:21983648 lost:73\n  flows: 105\n  masks: hit:1970748791 total:22 hit/pkt:5.29\n  port 0: ovs-system (internal)\n  port 1: ovn0 (internal)\n  port 2: mirror0 (internal)\n  port 3: br-int (internal)\n  port 4: stt_sys_7471 (stt: packet_type=ptap)\n  port 5: eeb4d9e51b5d_h\n  port 6: a2c1a8a8b83a_h\n  port 7: 4fa5c4cbb1a5_h\n</code></pre>"},{"location":"ops/kubectl-ko/#appctl-nodename-options","title":"appctl {nodeName} [options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b\u5bf9\u5e94\u200b <code>nodeName</code> \u200b\u4e0a\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b <code>ovs-appctl</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u6765\u200b\u64cd\u4f5c\u200b\u76f8\u5173\u200b daemon \u200b\u8fdb\u7a0b\u200b\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVS \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovs-appctl(8)\u3002</p> <pre><code># kubectl ko appctl kube-ovn-01 vlog/list\n                 console    syslog    file\n                 -------    ------    ------\nbacktrace          OFF        ERR       INFO\nbfd                OFF        ERR       INFO\nbond               OFF        ERR       INFO\nbridge             OFF        ERR       INFO\nbundle             OFF        ERR       INFO\nbundles            OFF        ERR       INFO\n...\n</code></pre>"},{"location":"ops/kubectl-ko/#tcpdump-namespacepodname-tcpdump-options","title":"tcpdump {namespace/podname} [tcpdump options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b <code>namespace/podname</code> \u200b\u6240\u5728\u200b\u673a\u5668\u200b\u7684\u200b <code>kube-ovn-cni</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b <code>tcpdump</code> \u200b\u6293\u53d6\u200b\u5bf9\u5e94\u200b\u5bb9\u5668\u200b veth \u200b\u7f51\u5361\u200b \u200b\u7aef\u7684\u200b\u6d41\u91cf\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u65b9\u4fbf\u200b\u6392\u67e5\u200b\u7f51\u7edc\u200b\u76f8\u5173\u200b\u95ee\u9898\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code># kubectl ko tcpdump default/ds1-l6n7p icmp\n+ kubectl exec -it kube-ovn-cni-wlg4s -n kube-ovn -- tcpdump -nn -i d7176fe7b4e0_h icmp\ntcpdump: verbose output suppressed, use -v or -vv for full protocol decode\nlistening on d7176fe7b4e0_h, link-type EN10MB (Ethernet), capture size 262144 bytes\n06:52:36.619688 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 1, length 64\n06:52:36.619746 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 1, length 64\n06:52:37.619588 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 2, length 64\n06:52:37.619630 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 2, length 64\n06:52:38.619933 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 3, length 64\n06:52:38.619973 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 3, length 64\n</code></pre>"},{"location":"ops/kubectl-ko/#trace-arguments","title":"trace [arguments ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u5c06\u4f1a\u200b\u6253\u5370\u200b Pod \u200b\u6216\u200b\u8282\u70b9\u200b\u901a\u8fc7\u200b\u7279\u5b9a\u200b\u534f\u8bae\u200b\u8bbf\u95ee\u200b\u67d0\u200b\u5730\u5740\u200b\u65f6\u200b\u5bf9\u5e94\u200b\u7684\u200b OVN \u200b\u903b\u8f91\u200b\u6d41\u8868\u200b\u548c\u200b\u6700\u7ec8\u200b\u7684\u200b Openflow \u200b\u6d41\u8868\u200b\uff0c \u200b\u65b9\u4fbf\u200b\u5f00\u53d1\u200b\u6216\u200b\u8fd0\u7ef4\u65f6\u200b\u5b9a\u4f4d\u200b\u6d41\u8868\u200b\u76f8\u5173\u200b\u95ee\u9898\u200b\u3002</p> <p>\u200b\u652f\u6301\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>kubectl ko trace {namespace/podname} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]\nkubectl ko trace {namespace/podname} {target ip address} [target mac address] arp {request|reply}\nkubectl ko trace {node//nodename} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]\nkubectl ko trace {node//nodename} {target ip address} [target mac address] arp {request|reply}\n</code></pre> <p>\u200b\u793a\u4f8b\u200b\uff1a</p> <pre><code># kubectl ko trace default/ds1-l6n7p 8.8.8.8 icmp\n+ kubectl exec ovn-central-5bc494cb5-np9hm -n kube-ovn -- ovn-trace --ct=new ovn-default 'inport == \"ds1-l6n7p.default\" &amp;&amp; ip.ttl == 64 &amp;&amp; icmp &amp;&amp; eth.src == 0a:00:00:10:00:05 &amp;&amp; ip4.src == 10.16.0.4 &amp;&amp; eth.dst == 00:00:00:B8:CA:43 &amp;&amp; ip4.dst == 8.8.8.8'\n# icmp,reg14=0xf,vlan_tci=0x0000,dl_src=0a:00:00:10:00:05,dl_dst=00:00:00:b8:ca:43,nw_src=10.16.0.4,nw_dst=8.8.8.8,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=0,icmp_code=0\n\ningress(dp=\"ovn-default\", inport=\"ds1-l6n7p.default\")\n-----------------------------------------------------\n 0. ls_in_port_sec_l2 (ovn-northd.c:4143): inport == \"ds1-l6n7p.default\" &amp;&amp; eth.src == {0a:00:00:10:00:05}, priority 50, uuid 39453393\n    next;\n 1. ls_in_port_sec_ip (ovn-northd.c:2898): inport == \"ds1-l6n7p.default\" &amp;&amp; eth.src == 0a:00:00:10:00:05 &amp;&amp; ip4.src == {10.16.0.4}, priority 90, uuid 81bcd485\n    next;\n 3. ls_in_pre_acl (ovn-northd.c:3269): ip, priority 100, uuid 7b4f4971\n    reg0[0] = 1;\n    next;\n 5. ls_in_pre_stateful (ovn-northd.c:3396): reg0[0] == 1, priority 100, uuid 36cdd577\n    ct_next;\n\nct_next(ct_state=new|trk)\n-------------------------\n 6. ls_in_acl (ovn-northd.c:3759): ip &amp;&amp; (!ct.est || (ct.est &amp;&amp; ct_label.blocked == 1)), priority 1, uuid 7608af5b\n    reg0[1] = 1;\n    next;\n10. ls_in_stateful (ovn-northd.c:3995): reg0[1] == 1, priority 100, uuid 2aba1b90\n    ct_commit(ct_label=0/0x1);\n    next;\n16. ls_in_l2_lkup (ovn-northd.c:4470): eth.dst == 00:00:00:b8:ca:43, priority 50, uuid 5c9c3c9f\n    outport = \"ovn-default-ovn-cluster\";\n    output;\n\n...\n</code></pre> <p>\u200b\u82e5\u200b trace \u200b\u5bf9\u8c61\u200b\u4e3a\u200b\u8fd0\u884c\u200b\u4e8e\u200b Underlay \u200b\u7f51\u7edc\u200b\u4e0b\u200b\u7684\u200b\u865a\u62df\u673a\u200b\uff0c\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u989d\u5916\u200b\u53c2\u6570\u200b\u6765\u200b\u6307\u5b9a\u200b\u76ee\u7684\u200b Mac \u200b\u5730\u5740\u200b\uff1a</p> <pre><code>kubectl ko trace default/virt-handler-7lvml 8.8.8.8 82:7c:9f:83:8c:01 icmp\n</code></pre>"},{"location":"ops/kubectl-ko/#diagnose-allnodesubnetipports-nodenamesubnetnameproto1-ip1-port1proto2-ip2-port2","title":"diagnose {all|node|subnet|IPPorts} [nodename|subnetName|{proto1}-{IP1}-{Port1},{proto2}-{IP2}-{Port2}]","text":"<p>\u200b\u8bca\u65ad\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u7ec4\u4ef6\u200b\u72b6\u6001\u200b\uff0c\u200b\u5e76\u200b\u53bb\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b\u7684\u200b <code>kube-ovn-pinger</code> \u200b\u68c0\u6d4b\u200b\u5f53\u524d\u200b\u8282\u70b9\u200b\u5230\u200b\u5176\u4ed6\u200b\u8282\u70b9\u200b\u548c\u200b\u5173\u952e\u200b\u670d\u52a1\u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u548c\u200b\u7f51\u7edc\u200b\u5ef6\u8fdf\u200b\uff1a</p> <pre><code># kubectl ko diagnose all\nswitch c7cd17e8-ceee-4a91-9bb3-e5a313fe1ece (snat)\n    port snat-ovn-cluster\n        type: router\n        router-port: ovn-cluster-snat\nswitch 20e0c6d0-023a-4756-aec5-200e0c60f95d (join)\n    port node-liumengxin-ovn3-192.168.137.178\n        addresses: [\"00:00:00:64:FF:A8 100.64.0.4\"]\n    port node-liumengxin-ovn1-192.168.137.176\n        addresses: [\"00:00:00:AF:98:62 100.64.0.2\"]\n    port join-ovn-cluster\n        type: router\n        router-port: ovn-cluster-join\nswitch 0191705c-f827-427b-9de3-3c3b7d971ba5 (central)\n    port central-ovn-cluster\n        type: router\n        router-port: ovn-cluster-central\nswitch 2a45ff05-388d-4f85-9daf-e6fccd5833dc (ovn-default)\n    port ovn-default-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-default\n    port prometheus-k8s-1.monitoring\n        addresses: [\"00:00:00:AA:37:DF 10.16.0.23\"]\nrouter 212f73dd-d63d-4d72-864b-a537e9afbee1 (ovn-cluster)\n    port ovn-cluster-snat\n        mac: \"00:00:00:7A:82:8F\"\n        networks: [\"172.22.0.1/16\"]\n    port ovn-cluster-join\n        mac: \"00:00:00:F8:18:5A\"\n        networks: [\"100.64.0.1/16\"]\n    port ovn-cluster-central\n        mac: \"00:00:00:4D:8C:F5\"\n        networks: [\"192.101.0.1/16\"]\n    port ovn-cluster-ovn-default\n        mac: \"00:00:00:A3:F8:18\"\n        networks: [\"10.16.0.1/16\"]\nRouting Policies\n     31000                            ip4.dst == 10.16.0.0/16           allow\n     31000                           ip4.dst == 100.64.0.0/16           allow\n     30000                         ip4.dst == 192.168.137.177         reroute                100.64.0.3\n     30000                         ip4.dst == 192.168.137.178         reroute                100.64.0.4\n     29000                 ip4.src == $ovn.default.fake.6_ip4         reroute               100.64.0.22\n     29000                 ip4.src == $ovn.default.fake.7_ip4         reroute               100.64.0.21\n     29000                 ip4.src == $ovn.default.fake.8_ip4         reroute               100.64.0.23\n     29000 ip4.src == $ovn.default.liumengxin.ovn3.192.168.137.178_ip4         reroute                100.64.0.4\n     20000 ip4.src == $ovn.default.liumengxin.ovn1.192.168.137.176_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.2\n     20000 ip4.src == $ovn.default.liumengxin.ovn2.192.168.137.177_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.3\n     20000 ip4.src == $ovn.default.liumengxin.ovn3.192.168.137.178_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.4\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0                100.64.0.1 dst-ip\nUUID                                    LB                  PROTO      VIP                     IPs\ne9bcfd9d-793e-4431-9073-6dec96b75d71    cluster-tcp-load    tcp        10.100.209.132:10660    192.168.137.176:10660\n                                                            tcp        10.101.239.192:6641     192.168.137.177:6641\n                                                            tcp        10.101.240.101:3000     10.16.0.7:3000\n                                                            tcp        10.103.184.186:6642     192.168.137.177:6642\n35d2b7a5-e3a7-485a-a4b7-b4970eb0e63b    cluster-tcp-sess    tcp        10.100.158.128:8080     10.16.0.10:8080,10.16.0.5:8080,10.16.63.30:8080\n                                                            tcp        10.107.26.215:8080      10.16.0.19:8080,10.16.0.20:8080,10.16.0.21:8080\n                                                            tcp        10.107.26.215:9093      10.16.0.19:9093,10.16.0.20:9093,10.16.0.21:9093\n                                                            tcp        10.98.187.99:8080       10.16.0.22:8080,10.16.0.23:8080\n                                                            tcp        10.98.187.99:9090       10.16.0.22:9090,10.16.0.23:9090\nf43303e4-89aa-4d3e-a3dc-278a552fe27b    cluster-udp-load    udp        10.96.0.10:53           10.16.0.4:53,10.16.0.9:53\n_uuid               : 06776304-5a96-43ed-90c4-c4854c251699\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn2_192.168.137.177_underlay_v6\n\n_uuid               : 62690625-87d5-491c-8675-9fd83b1f433c\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn1_192.168.137.176_underlay_v6\n\n_uuid               : b03a9bae-94d5-4562-b34c-b5f6198e180b\naddresses           : [\"10.16.0.0/16\", \"100.64.0.0/16\", \"172.22.0.0/16\", \"192.101.0.0/16\"]\nexternal_ids        : {vendor=kube-ovn}\nname                : ovn.cluster.overlay.subnets.IPv4\n\n_uuid               : e1056f3a-24cc-4666-8a91-75ee6c3c2426\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : ovn.cluster.overlay.subnets.IPv6\n\n_uuid               : 3e5d5fff-e670-47b2-a2f5-a39f4698a8c5\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn3_192.168.137.178_underlay_v6\n_uuid               : 2d85dbdc-d0db-4abe-b19e-cc806d32b492\naction              : drop\ndirection           : from-lport\nexternal_ids        : {}\nlabel               : 0\nlog                 : false\nmatch               : \"inport==@ovn.sg.kubeovn_deny_all &amp;&amp; ip\"\nmeter               : []\nname                : []\noptions             : {}\npriority            : 2003\nseverity            : []\n\n_uuid               : de790cc8-f155-405f-bb32-5a51f30c545f\naction              : drop\ndirection           : to-lport\nexternal_ids        : {}\nlabel               : 0\nlog                 : false\nmatch               : \"outport==@ovn.sg.kubeovn_deny_all &amp;&amp; ip\"\nmeter               : []\nname                : []\noptions             : {}\npriority            : 2003\nseverity            : []\nChassis \"e15ed4d4-1780-4d50-b09e-ea8372ed48b8\"\n    hostname: liumengxin-ovn1-192.168.137.176\n    Encap stt\n        ip: \"192.168.137.176\"\n        options: {csum=\"true\"}\n    Port_Binding node-liumengxin-ovn1-192.168.137.176\n    Port_Binding perf-6vxkn.default\n    Port_Binding kube-state-metrics-5d6885d89-4nf8h.monitoring\n    Port_Binding alertmanager-main-0.monitoring\n    Port_Binding kube-ovn-pinger-6ftdf.kube-system\n    Port_Binding fake-kubelet-67c55dfd89-pv86k.kube-system\n    Port_Binding prometheus-k8s-0.monitoring\nChassis \"eef07da1-f8ad-4775-b14d-bd6a3b4eb0d5\"\n    hostname: liumengxin-ovn3-192.168.137.178\n    Encap stt\n        ip: \"192.168.137.178\"\n        options: {csum=\"true\"}\n    Port_Binding kube-ovn-pinger-7twb4.kube-system\n    Port_Binding prometheus-adapter-86df476d87-rl88g.monitoring\n    Port_Binding prometheus-k8s-1.monitoring\n    Port_Binding node-liumengxin-ovn3-192.168.137.178\n    Port_Binding perf-ff475.default\n    Port_Binding alertmanager-main-1.monitoring\n    Port_Binding blackbox-exporter-676d976865-tvsjd.monitoring\nChassis \"efa253c9-494d-4719-83ae-b48ab0f11c03\"\n    hostname: liumengxin-ovn2-192.168.137.177\n    Encap stt\n        ip: \"192.168.137.177\"\n        options: {csum=\"true\"}\n    Port_Binding grafana-6c4c6b8fb7-pzd2c.monitoring\n    Port_Binding node-liumengxin-ovn2-192.168.137.177\n    Port_Binding alertmanager-main-2.monitoring\n    Port_Binding coredns-6789c94dd8-9jqsz.kube-system\n    Port_Binding coredns-6789c94dd8-25d4r.kube-system\n    Port_Binding prometheus-operator-7bbc99fc8b-wgjm4.monitoring\n    Port_Binding prometheus-adapter-86df476d87-gdxmc.monitoring\n    Port_Binding perf-fjnws.default\n    Port_Binding kube-ovn-pinger-vh2xg.kube-system\nds kube-proxy ready\nkube-proxy ready\ndeployment ovn-central ready\ndeployment kube-ovn-controller ready\nds kube-ovn-cni ready\nds ovs-ovn ready\ndeployment coredns ready\novn-nb leader check ok\novn-sb leader check ok\novn-northd leader check ok\n### kube-ovn-controller recent log\n\n### start to diagnose node liumengxin-ovn1-192.168.137.176\n#### ovn-controller log:\n2022-06-03T00:56:44.897Z|16722|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:06:44.912Z|16723|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:16:44.925Z|16724|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:26:44.936Z|16725|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:36:44.959Z|16726|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:46:44.974Z|16727|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:56:44.988Z|16728|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:06:45.001Z|16729|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:16:45.025Z|16730|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:26:45.040Z|16731|inc_proc_eng|INFO|User triggered force recompute.\n\n#### ovs-vswitchd log:\n2022-06-02T23:03:00.137Z|00079|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:f9d1\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-02T23:23:31.840Z|00080|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:15b2\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T00:09:15.659Z|00081|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:dc:e3:63,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.63.30,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:e5a5\n with metadata skb_priority(0),tunnel(tun_id=0x150017000004,src=192.168.137.178,dst=192.168.137.176,ttl=64,tp_src=9239,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.63.30,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T00:30:13.409Z|00064|dpif(handler2)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:6b4a\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T02:02:33.832Z|00082|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:a819\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n\n#### ovs-vsctl show results:\n0d4c4675-c9cc-440a-8c1a-878e17f81b88\n    Bridge br-int\n        fail_mode: secure\n        datapath_type: system\n        Port a2c1a8a8b83a_h\n            Interface a2c1a8a8b83a_h\n        Port \"4fa5c4cbb1a5_h\"\n            Interface \"4fa5c4cbb1a5_h\"\n        Port ovn-eef07d-0\n            Interface ovn-eef07d-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.178\"}\n        Port ovn0\n            Interface ovn0\n                type: internal\n        Port \"04d03360e9a0_h\"\n            Interface \"04d03360e9a0_h\"\n        Port eeb4d9e51b5d_h\n            Interface eeb4d9e51b5d_h\n        Port mirror0\n            Interface mirror0\n                type: internal\n        Port \"8e5d887ccd80_h\"\n            Interface \"8e5d887ccd80_h\"\n        Port ovn-efa253-0\n            Interface ovn-efa253-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.177\"}\n        Port \"17512d5be1f1_h\"\n            Interface \"17512d5be1f1_h\"\n        Port br-int\n            Interface br-int\n                type: internal\n    ovs_version: \"2.17.2\"\n\n#### pinger diagnose results:\nI0603 10:35:04.349404   17619 pinger.go:19]\n-------------------------------------------------------------------------------\nKube-OVN:\n  Version:       v1.13.0\n  Build:         2022-04-24_08:02:50\n  Commit:        git-73f9d15\n  Go Version:    go1.17.8\n  Arch:          amd64\n-------------------------------------------------------------------------------\nI0603 10:35:04.376797   17619 config.go:166] pinger config is &amp;{KubeConfigFile: KubeClient:0xc000493380 Port:8080 DaemonSetNamespace:kube-system DaemonSetName:kube-ovn-pinger Interval:5 Mode:job ExitCode:0 InternalDNS:kubernetes.default ExternalDNS: NodeName:liumengxin-ovn1-192.168.137.176 HostIP:192.168.137.176 PodName:kube-ovn-pinger-6ftdf PodIP:10.16.0.10 PodProtocols:[IPv4] ExternalAddress: NetworkMode:kube-ovn PollTimeout:2 PollInterval:15 SystemRunDir:/var/run/openvswitch DatabaseVswitchName:Open_vSwitch DatabaseVswitchSocketRemote:unix:/var/run/openvswitch/db.sock DatabaseVswitchFileDataPath:/etc/openvswitch/conf.db DatabaseVswitchFileLogPath:/var/log/openvswitch/ovsdb-server.log DatabaseVswitchFilePidPath:/var/run/openvswitch/ovsdb-server.pid DatabaseVswitchFileSystemIDPath:/etc/openvswitch/system-id.conf ServiceVswitchdFileLogPath:/var/log/openvswitch/ovs-vswitchd.log ServiceVswitchdFilePidPath:/var/run/openvswitch/ovs-vswitchd.pid ServiceOvnControllerFileLogPath:/var/log/ovn/ovn-controller.log ServiceOvnControllerFilePidPath:/var/run/ovn/ovn-controller.pid}\nI0603 10:35:04.449166   17619 exporter.go:75] liumengxin-ovn1-192.168.137.176: exporter connect successfully\nI0603 10:35:04.554011   17619 ovn.go:21] ovs-vswitchd and ovsdb are up\nI0603 10:35:04.651293   17619 ovn.go:33] ovn_controller is up\nI0603 10:35:04.651342   17619 ovn.go:39] start to check port binding\nI0603 10:35:04.749613   17619 ovn.go:135] chassis id is 1d7f3d6c-eec5-4b3c-adca-2969d9cdfd80\nI0603 10:35:04.763487   17619 ovn.go:49] port in sb is [node-liumengxin-ovn1-192.168.137.176 perf-6vxkn.default kube-state-metrics-5d6885d89-4nf8h.monitoring alertmanager-main-0.monitoring kube-ovn-pinger-6ftdf.kube-system fake-kubelet-67c55dfd89-pv86k.kube-system prometheus-k8s-0.monitoring]\nI0603 10:35:04.763583   17619 ovn.go:61] ovs and ovn-sb binding check passed\nI0603 10:35:05.049309   17619 ping.go:259] start to check apiserver connectivity\nI0603 10:35:05.053666   17619 ping.go:268] connect to apiserver success in 4.27ms\nI0603 10:35:05.053786   17619 ping.go:129] start to check pod connectivity\nI0603 10:35:05.249590   17619 ping.go:159] ping pod: kube-ovn-pinger-6ftdf 10.16.0.10, count: 3, loss count 0, average rtt 16.30ms\nI0603 10:35:05.354135   17619 ping.go:159] ping pod: kube-ovn-pinger-7twb4 10.16.63.30, count: 3, loss count 0, average rtt 1.81ms\nI0603 10:35:05.458460   17619 ping.go:159] ping pod: kube-ovn-pinger-vh2xg 10.16.0.5, count: 3, loss count 0, average rtt 1.92ms\nI0603 10:35:05.458523   17619 ping.go:83] start to check node connectivity\n</code></pre> <p>\u200b\u5982\u679c\u200b diagnose \u200b\u7684\u200b\u76ee\u6807\u200b\u6307\u5b9a\u200b\u4e3a\u200b subnet \u200b\u8be5\u200b\u811a\u672c\u200b\u4f1a\u200b\u5728\u200b subnet \u200b\u4e0a\u200b\u5efa\u7acb\u200b daemonset\uff0c\u200b\u7531\u200b <code>kube-ovn-pinger</code> \u200b\u53bb\u200b\u63a2\u6d4b\u200b\u8fd9\u4e2a\u200b daemonset \u200b\u7684\u200b\u6240\u6709\u200b pod \u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u548c\u200b\u7f51\u7edc\u5ef6\u65f6\u200b\uff0c\u200b\u6d4b\u8bd5\u200b\u5b8c\u540e\u200b\u81ea\u52a8\u200b\u9500\u6bc1\u200b\u8be5\u200b daemonset\u3002</p> <p>\u200b\u5982\u679c\u200b diagnose \u200b\u7684\u200b\u76ee\u6807\u200b\u6307\u5b9a\u200b\u4e3a\u200b IPPorts \u200b\u8be5\u200b\u811a\u672c\u200b\u4f1a\u200b\u8ba9\u200b\u6bcf\u4e2a\u200b <code>kube-ovn-pinger</code> pod \u200b\u53bb\u200b\u63a2\u6d4b\u200b\u76ee\u6807\u200b\u534f\u8bae\u200b\uff0cIP\uff0cPort \u200b\u662f\u5426\u200b\u53ef\u200b\u8fbe\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#tuning-install-fastpathlocal-install-fastpathremove-fastpathinstall-sttlocal-install-sttremove-stt-centos7centos8-kernel-devel-version","title":"tuning {install-fastpath|local-install-fastpath|remove-fastpath|install-stt|local-install-stt|remove-stt} {centos7|centos8}} [kernel-devel-version]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u6267\u884c\u200b\u6027\u80fd\u200b\u8c03\u4f18\u200b\u76f8\u5173\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5177\u4f53\u200b\u4f7f\u7528\u200b\u8bf7\u200b\u53c2\u8003\u200b\u6027\u80fd\u200b\u8c03\u4f18\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#reload","title":"reload","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u91cd\u542f\u200b\u6240\u6709\u200b Kube-OVN \u200b\u76f8\u5173\u200b\u7ec4\u4ef6\u200b\uff1a</p> <pre><code># kubectl ko reload\npod \"ovn-central-8684dd94bd-vzgcr\" deleted\nWaiting for deployment \"ovn-central\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"ovn-central\" successfully rolled out\npod \"ovs-ovn-bsnvz\" deleted\npod \"ovs-ovn-m9b98\" deleted\npod \"kube-ovn-controller-8459db5ff4-64c62\" deleted\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\npod \"kube-ovn-cni-2klnh\" deleted\npod \"kube-ovn-cni-t2jz4\" deleted\nWaiting for daemon set \"kube-ovn-cni\" rollout to finish: 0 of 2 updated pods are available...\nWaiting for daemon set \"kube-ovn-cni\" rollout to finish: 1 of 2 updated pods are available...\ndaemon set \"kube-ovn-cni\" successfully rolled out\npod \"kube-ovn-pinger-ln72z\" deleted\npod \"kube-ovn-pinger-w8lrk\" deleted\nWaiting for daemon set \"kube-ovn-pinger\" rollout to finish: 0 of 2 updated pods are available...\nWaiting for daemon set \"kube-ovn-pinger\" rollout to finish: 1 of 2 updated pods are available...\ndaemon set \"kube-ovn-pinger\" successfully rolled out\npod \"kube-ovn-monitor-7fb67d5488-7q6zb\" deleted\nWaiting for deployment \"kube-ovn-monitor\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"kube-ovn-monitor\" successfully rolled out\n</code></pre>"},{"location":"ops/kubectl-ko/#log","title":"log","text":"<p>\u200b\u4f7f\u7528\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u6293\u53d6\u200b kube-ovn \u200b\u6240\u6709\u200b\u8282\u70b9\u200b\u4e0a\u200b\u7684\u200b Kube-OVN\uff0cOVN\uff0cOpenvswitch \u200b\u7684\u200b log \u200b\u4ee5\u53ca\u200b linux \u200b\u5e38\u7528\u200b\u7684\u200b\u4e00\u4e9b\u200b debug \u200b\u4fe1\u606f\u200b\u3002</p> <pre><code># kubectl ko log all\nCollecting kube-ovn logging files\nCollecting ovn logging files\nCollecting openvswitch logging files\nCollecting linux dmesg files\nCollecting linux iptables-legacy files\nCollecting linux iptables-nft files\nCollecting linux route files\nCollecting linux link files\nCollecting linux neigh files\nCollecting linux memory files\nCollecting linux top files\nCollecting linux sysctl files\nCollecting linux netstat files\nCollecting linux addr files\nCollecting linux ipset files\nCollecting linux tcp files\nCollected files have been saved in the directory /root/kubectl-ko-log\n</code></pre> <p>\u200b\u76ee\u5f55\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># tree kubectl-ko-log/\nkubectl-ko-log/\n|-- kube-ovn-control-plane\n|   |-- kube-ovn\n|   |   |-- kube-ovn-cni.log\n|   |   |-- kube-ovn-monitor.log\n|   |   `-- kube-ovn-pinger.log\n|   |-- linux\n|   |   |-- addr.log\n|   |   |-- dmesg.log\n|   |   |-- ipset.log\n|   |   |-- iptables-legacy.log\n|   |   |-- iptables-nft.log\n|   |   |-- link.log\n|   |   |-- memory.log\n|   |   |-- neigh.log\n|   |   |-- netstat.log\n|   |   |-- route.log\n|   |   |-- sysctl.log\n|   |   |-- tcp.log\n|   |   `-- top.log\n|   |-- openvswitch\n|   |   |-- ovs-vswitchd.log\n|   |   `-- ovsdb-server.log\n|   `-- ovn\n|       |-- ovn-controller.log\n|       |-- ovn-northd.log\n|       |-- ovsdb-server-nb.log\n|       `-- ovsdb-server-sb.log\n</code></pre>"},{"location":"ops/kubectl-ko/#perf-image","title":"perf [image]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u53bb\u200b\u6d4b\u8bd5\u200b Kube-OVN \u200b\u7684\u200b\u4e00\u4e9b\u200b\u6027\u80fd\u6307\u6807\u200b\u5982\u4e0b\u200b\uff1a</p> <ol> <li>\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u6307\u6807\u200b\uff1b</li> <li>Hostnetwork \u200b\u7f51\u7edc\u200b\u6027\u80fd\u6307\u6807\u200b\uff1b</li> <li>\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7ec4\u200b\u64ad\u62a5\u200b\u6587\u200b\u6027\u80fd\u6307\u6807\u200b\uff1b</li> <li>OVN-NB, OVN-SB, OVN-Northd leader \u200b\u5220\u9664\u200b\u6062\u590d\u200b\u6240\u200b\u9700\u200b\u65f6\u95f4\u200b\u3002</li> </ol> <p>\u200b\u53c2\u6570\u200b image \u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b pod \u200b\u6240\u7528\u200b\u7684\u200b\u955c\u50cf\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u662f\u200b <code>kubeovn/test:v1.12.0</code>, \u200b\u8bbe\u7f6e\u200b\u8be5\u200b\u53c2\u6570\u200b\u4e3b\u8981\u200b\u662f\u200b\u4e3a\u4e86\u200b\u79bb\u7ebf\u200b\u573a\u666f\u200b\uff0c\u200b\u5c06\u200b\u955c\u50cf\u200b\u62c9\u5230\u200b\u5185\u7f51\u200b\u73af\u5883\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u6709\u200b\u955c\u50cf\u200b\u540d\u200b\u53d8\u5316\u200b\u3002</p> <pre><code># kubectl ko perf\n============================== Prepareing Performance Test Resources ===============================\npod/test-client created\npod/test-host-client created\npod/test-server created\npod/test-host-server created\nservice/test-server created\npod/test-client condition met\npod/test-host-client condition met\npod/test-host-server condition met\npod/test-server condition met\n====================================================================================================\n============================ Start Pod Network Unicast Performance Test ============================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              82.8 us         97.7 Mbits/sec  67.6 us         (0%)            8.42 Mbits/sec\n128             85.4 us         167 Mbits/sec   67.2 us         (0%)            17.2 Mbits/sec\n512             85.8 us         440 Mbits/sec   68.7 us         (0%)            68.4 Mbits/sec\n1k              85.1 us         567 Mbits/sec   68.7 us         (0%)            134 Mbits/sec\n4k              138 us          826 Mbits/sec   78.1 us         (1.4%)          503 Mbits/sec\n====================================================================================================\n=============================== Start Host Network Performance Test ================================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              49.7 us         120 Mbits/sec   37.9 us         (0%)            18.6 Mbits/sec\n128             49.7 us         200 Mbits/sec   38.1 us         (0%)            35.5 Mbits/sec\n512             51.9 us         588 Mbits/sec   38.9 us         (0%)            142 Mbits/sec\n1k              51.7 us         944 Mbits/sec   37.2 us         (0%)            279 Mbits/sec\n4k              74.9 us         1.66 Gbits/sec  39.9 us         (0%)            1.20 Gbits/sec\n====================================================================================================\n============================== Start Service Network Performance Test ==============================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              111 us          96.3 Mbits/sec  88.4 us         (0%)            7.59 Mbits/sec\n128             83.7 us         150 Mbits/sec   69.2 us         (0%)            16.9 Mbits/sec\n512             87.4 us         374 Mbits/sec   75.8 us         (0%)            60.9 Mbits/sec\n1k              88.2 us         521 Mbits/sec   73.1 us         (0%)            123 Mbits/sec\n4k              148 us          813 Mbits/sec   77.6 us         (0.0044%)       451 Mbits/sec\n====================================================================================================\n=========================== Start Pod Multicast Network Performance Test ===========================\nSize            UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              0.014 ms        (0.17%)         5.80 Mbits/sec\n128             0.012 ms        (0%)            11.4 Mbits/sec\n512             0.016 ms        (0%)            46.1 Mbits/sec\n1k              0.023 ms        (0.073%)        89.8 Mbits/sec\n4k              0.035 ms        (1.3%)          126 Mbits/sec\n====================================================================================================\n============================= Start Host Multicast Network Performance =============================\nSize            UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              0.007 ms        (0%)            9.95 Mbits/sec\n128             0.005 ms        (0%)            21.8 Mbits/sec\n512             0.008 ms        (0%)            86.8 Mbits/sec\n1k              0.013 ms        (0.045%)        168 Mbits/sec\n4k              0.010 ms        (0.31%)         242 Mbits/sec\n====================================================================================================\n================================== Start Leader Recover Time Test ==================================\nDelete ovn central nb pod\npod \"ovn-central-5cb9c67d75-tlz9w\" deleted\nWaiting for ovn central nb pod running\n=============================== OVN nb Recovery takes 3.305236803 s ================================\nDelete ovn central sb pod\npod \"ovn-central-5cb9c67d75-szx4c\" deleted\nWaiting for ovn central sb pod running\n=============================== OVN sb Recovery takes 3.462698535 s ================================\nDelete ovn central northd pod\npod \"ovn-central-5cb9c67d75-zqmqv\" deleted\nWaiting for ovn central northd pod running\n============================= OVN northd Recovery takes 2.691291403 s ==============================\n====================================================================================================\n================================= Remove Performance Test Resource =================================\nrm -f unicast-test-client.log\nrm -f unicast-test-host-client.log\nrm -f unicast-test-client.log\nkubectl ko nbctl lb-del test-server\nrm -f multicast-test-server.log\nkubectl exec ovs-ovn-gxdrf -n kube-system -- ip maddr del 01:00:5e:00:00:64 dev eth0\nkubectl exec ovs-ovn-h57bf -n kube-system -- ip maddr del 01:00:5e:00:00:64 dev eth0\nrm -f multicast-test-host-server.log\npod \"test-client\" deleted\npod \"test-host-client\" deleted\npod \"test-host-server\" deleted\npod \"test-server\" deleted\nservice \"test-server\" deleted\n====================================================================================================\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/recover-db/","title":"OVN \u200b\u6570\u636e\u5e93\u200b\u5907\u4efd\u200b\u548c\u200b\u6062\u590d","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b\u5982\u4f55\u200b\u8fdb\u884c\u200b\u6570\u636e\u5e93\u200b\u5907\u4efd\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5728\u200b\u4e0d\u540c\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u5982\u4f55\u200b\u901a\u8fc7\u200b\u5df2\u6709\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u96c6\u7fa4\u200b\u6062\u590d\u200b\u3002</p>"},{"location":"ops/recover-db/#_1","title":"\u6570\u636e\u5e93\u200b\u5907\u4efd","text":"<p>\u200b\u5229\u7528\u200b kubectl \u200b\u63d2\u4ef6\u200b\u7684\u200b backup \u200b\u547d\u4ee4\u200b\u53ef\u4ee5\u200b\u5bf9\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u5907\u4efd\u200b\uff0c\u200b\u4ee5\u200b\u7528\u4e8e\u200b\u6545\u969c\u200b\u65f6\u200b\u6062\u590d\u200b\uff1a</p> <pre><code># kubectl ko nb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnnb_db.060223191654183154.backup\n\n# kubectl ko sb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnsb_db.060223191654183154.backup\n</code></pre>"},{"location":"ops/recover-db/#_2","title":"\u96c6\u7fa4\u200b\u90e8\u5206\u200b\u6545\u969c\u200b\u6062\u590d","text":"<p>\u200b\u82e5\u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u5b58\u5728\u200b\u90e8\u5206\u200b\u8282\u70b9\u200b\u56e0\u4e3a\u200b\u65ad\u7535\u200b\uff0c\u200b\u6587\u4ef6\u7cfb\u7edf\u200b\u6545\u969c\u200b\u6216\u200b\u78c1\u76d8\u7a7a\u95f4\u200b\u4e0d\u8db3\u200b\u5bfc\u81f4\u200b\u5de5\u4f5c\u200b\u5f02\u5e38\u200b\uff0c \u200b\u4f46\u662f\u200b\u96c6\u7fa4\u200b\u4ecd\u200b\u53ef\u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5982\u4e0b\u200b\u6b65\u9aa4\u200b\u8fdb\u884c\u200b\u6062\u590d\u200b\u3002</p>"},{"location":"ops/recover-db/#_3","title":"\u67e5\u770b\u200b\u65e5\u5fd7\u200b\u786e\u8ba4\u200b\u72b6\u6001\u200b\u5f02\u5e38","text":"<p>\u200b\u67e5\u770b\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b <code>/var/log/ovn/ovn-northd.log</code>\uff0c\u200b\u82e5\u200b\u63d0\u793a\u200b\u7c7b\u4f3c\u200b\u9519\u8bef\u200b\u5219\u200b\u53ef\u200b\u5224\u65ad\u200b\u6570\u636e\u5e93\u200b\u5b58\u5728\u200b\u5f02\u5e38\u200b</p> <pre><code> * ovn-northd is not running\novsdb-server: ovsdb error: error reading record 2739 from OVN_Northbound log: record 2739 advances commit index to 6308 but last log index is 6307\n * Starting ovsdb-nb\n</code></pre>"},{"location":"ops/recover-db/#_4","title":"\u4ece\u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u8e22\u200b\u51fa\u200b\u5bf9\u5e94\u200b\u8282\u70b9","text":"<p>\u200b\u6839\u636e\u200b\u65e5\u5fd7\u200b\u63d0\u793a\u200b\u662f\u200b <code>OVN_Northbound</code> \u200b\u8fd8\u662f\u200b <code>OVN_Southbound</code> \u200b\u9009\u62e9\u200b\u5bf9\u5e94\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\u3002 \u200b\u4e0a\u8ff0\u200b\u65e5\u5fd7\u200b\u63d0\u793a\u200b\u4e3a\u200b <code>OVN_Northbound</code> \u200b\u5219\u200b\u5bf9\u200b ovn-nb \u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff1a</p> <pre><code># kubectl ko nb status\n9182\nName: OVN_Northbound\nCluster ID: e75f (e75fa340-49ed-45ab-990e-26cb865ebc85)\nServer ID: 9182 (9182e8dd-b5b0-4dd8-8518-598cc1e374f3)\nAddress: tcp:[10.0.128.61]:6643\nStatus: cluster member\nRole: leader\nTerm: 1454\nLeader: self\nVote: self\n\nLast Election started 1732603 ms ago, reason: timeout\nLast Election won: 1732587 ms ago\nElection timer: 1000\nLog: [7332, 12512]\nEntries not yet committed: 1\nEntries not yet applied: 1\nConnections: -&gt;f080 &lt;-f080 &lt;-e631 -&gt;e631\nDisconnections: 1\nServers:\n    f080 (f080 at tcp:[10.0.129.139]:6643) next_index=12512 match_index=12510 last msg 63 ms ago\n    9182 (9182 at tcp:[10.0.128.61]:6643) (self) next_index=10394 match_index=12510\n    e631 (e631 at tcp:[10.0.131.173]:6643) next_index=12512 match_index=0\n</code></pre> <p>\u200b\u4ece\u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u8e22\u200b\u51fa\u200b\u72b6\u6001\u200b\u5f02\u5e38\u200b\u8282\u70b9\u200b\uff1a</p> <pre><code>kubectl ko nb kick e631\n</code></pre> <p>\u200b\u767b\u5f55\u200b\u5f02\u5e38\u200b\u8282\u70b9\u200b\uff0c\u200b\u5220\u9664\u200b\u5bf9\u5e94\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\uff1a</p> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\n</code></pre> <p>\u200b\u5220\u9664\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovn-central</code> Pod\uff0c\u200b\u7b49\u5f85\u200b\u96c6\u7fa4\u200b\u81ea\u52a8\u200b\u6062\u590d\u200b\uff1a</p> <pre><code>kubectl delete pod -n kube-system ovn-central-xxxx\n</code></pre>"},{"location":"ops/recover-db/#_5","title":"\u96c6\u7fa4\u200b\u4e0d\u80fd\u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\u4e0b\u200b\u7684\u200b\u6062\u590d","text":"<p>\u200b\u82e5\u200b\u96c6\u7fa4\u200b\u591a\u6570\u200b\u8282\u70b9\u200b\u53d7\u635f\u200b\u65e0\u6cd5\u200b\u9009\u4e3e\u200b\u51fa\u200b leader\uff0c\u200b\u8bf7\u200b\u53c2\u7167\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u8fdb\u884c\u200b\u6062\u590d\u200b\u3002</p>"},{"location":"ops/recover-db/#ovn-central","title":"\u505c\u6b62\u200b ovn-central","text":"<p>\u200b\u8bb0\u5f55\u200b\u5f53\u524d\u200b <code>ovn-central</code> \u200b\u526f\u672c\u200b\u6570\u91cf\u200b\uff0c\u200b\u5e76\u200b\u505c\u6b62\u200b <code>ovn-central</code> \u200b\u907f\u514d\u200b\u65b0\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u53d8\u66f4\u200b\u5f71\u54cd\u200b\u6062\u590d\u200b\uff1a</p> <pre><code>kubectl scale deployment -n kube-system ovn-central --replicas=0\n</code></pre>"},{"location":"ops/recover-db/#_6","title":"\u9009\u62e9\u200b\u5907\u4efd","text":"<p>\u200b\u7531\u4e8e\u200b\u591a\u6570\u200b\u8282\u70b9\u200b\u53d7\u635f\u200b\uff0c\u200b\u9700\u8981\u200b\u4ece\u200b\u67d0\u4e2a\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u6062\u590d\u200b\u91cd\u5efa\u200b\u96c6\u7fa4\u200b\u3002\u200b\u5982\u679c\u200b\u4e4b\u524d\u200b\u5907\u4efd\u200b\u8fc7\u200b\u6570\u636e\u5e93\u200b \u200b\u53ef\u200b\u4f7f\u7528\u200b\u4e4b\u524d\u200b\u7684\u200b\u5907\u4efd\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u6062\u590d\u200b\u3002\u200b\u5982\u679c\u200b\u6ca1\u6709\u200b\u8fdb\u884c\u200b\u8fc7\u200b\u5907\u4efd\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u4ece\u200b\u5df2\u6709\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b \u200b\u4e2d\u200b\u751f\u6210\u200b\u4e00\u4e2a\u200b\u5907\u4efd\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u9ed8\u8ba4\u200b\u6587\u4ef6\u5939\u200b\u4e0b\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u683c\u5f0f\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\uff0c\u200b\u5305\u542b\u200b\u5f53\u524d\u200b\u96c6\u7fa4\u200b\u7684\u200b\u4fe1\u606f\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u76f4\u63a5\u200b \u200b\u7528\u8be5\u200b\u6587\u4ef6\u200b\u91cd\u5efa\u200b\u6570\u636e\u5e93\u200b\uff0c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b <code>ovsdb-tool cluster-to-standalone</code> \u200b\u8fdb\u884c\u200b\u683c\u5f0f\u200b\u8f6c\u6362\u200b\u3002</p> <p>\u200b\u9009\u62e9\u200b <code>ovn-central</code> \u200b\u73af\u5883\u53d8\u91cf\u200b <code>NODE_IPS</code> \u200b\u4e2d\u6392\u200b\u7b2c\u4e00\u200b\u7684\u200b\u8282\u70b9\u200b\u6062\u590d\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\uff0c \u200b\u5982\u679c\u200b\u7b2c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u5df2\u635f\u574f\u200b\uff0c\u200b\u4ece\u200b\u5176\u4ed6\u200b\u673a\u5668\u200b <code>/etc/origin/ovn</code> \u200b\u4e0b\u200b\u590d\u5236\u200b\u6587\u4ef6\u200b\u5230\u200b\u7b2c\u4e00\u53f0\u200b\u673a\u5668\u200b \uff0c \u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\u751f\u6210\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u5907\u4efd\u200b\u3002</p> <pre><code>docker run -it -v /etc/origin/ovn:/etc/ovn kubeovn/kube-ovn:v1.13.0 bash\ncd /etc/ovn/\novsdb-tool cluster-to-standalone ovnnb_db_standalone.db ovnnb_db.db\novsdb-tool cluster-to-standalone ovnsb_db_standalone.db ovnsb_db.db\n</code></pre>"},{"location":"ops/recover-db/#ovn-central_1","title":"\u5220\u9664\u200b\u6bcf\u4e2a\u200b ovn-central \u200b\u8282\u70b9\u200b\u4e0a\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6","text":"<p>\u200b\u4e3a\u4e86\u200b\u907f\u514d\u200b\u91cd\u5efa\u200b\u96c6\u7fa4\u200b\u65f6\u200b\u4f7f\u7528\u200b\u5230\u200b\u9519\u8bef\u200b\u7684\u200b\u6570\u636e\u200b\uff0c\u200b\u9700\u8981\u200b\u5bf9\u200b\u5df2\u6709\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u6e05\u7406\u200b\uff1a</p> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\nmv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre>"},{"location":"ops/recover-db/#_7","title":"\u6062\u590d\u200b\u6570\u636e\u5e93\u200b\u96c6\u7fa4","text":"<p>\u200b\u5c06\u200b\u5907\u4efd\u200b\u6570\u636e\u5e93\u200b\u5206\u522b\u200b\u91cd\u547d\u540d\u200b\u4e3a\u200b <code>ovnnb_db.db</code> \u200b\u548c\u200b <code>ovnsb_db.db</code>\uff0c\u200b\u5e76\u200b\u590d\u5236\u5230\u200b <code>ovn-central</code>  \u200b\u73af\u5883\u53d8\u91cf\u200b <code>NODE_IPS</code> \u200b\u4e2d\u6392\u200b\u7b2c\u4e00\u200b\u673a\u5668\u200b\u7684\u200b <code>/etc/origin/ovn/</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\uff1a</p> <pre><code>mv /etc/origin/ovn/ovnnb_db_standalone.db /etc/origin/ovn/ovnnb_db.db\nmv /etc/origin/ovn/ovnsb_db_standalone.db /etc/origin/ovn/ovnsb_db.db\n</code></pre> <p>\u200b\u6062\u590d\u200b <code>ovn-central</code> \u200b\u7684\u200b\u526f\u672c\u200b\u6570\u200b\uff1a</p> <pre><code>kubectl scale deployment -n kube-system ovn-central --replicas=3\nkubectl rollout status deployment/ovn-central -n kube-system\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/architecture/","title":"\u603b\u4f53\u200b\u67b6\u6784","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u200b\u4ecb\u7ecd\u200b Kube-OVN \u200b\u7684\u200b\u603b\u4f53\u200b\u67b6\u6784\u200b\uff0c\u200b\u548c\u200b\u5404\u4e2a\u200b\u7ec4\u4ef6\u200b\u7684\u200b\u529f\u80fd\u200b\u4ee5\u53ca\u200b\u5176\u200b\u4e4b\u95f4\u200b\u7684\u200b\u4ea4\u4e92\u200b\u3002</p> <p>\u200b\u603b\u4f53\u200b\u6765\u770b\u200b\uff0cKube-OVN \u200b\u4f5c\u4e3a\u200b Kubernetes \u200b\u548c\u200b OVN \u200b\u4e4b\u95f4\u200b\u7684\u200b\u4e00\u4e2a\u200b\u6865\u6881\u200b\uff0c\u200b\u5c06\u200b\u6210\u719f\u200b\u7684\u200b SDN \u200b\u548c\u200b\u4e91\u200b\u539f\u751f\u200b\u76f8\u7ed3\u5408\u200b\u3002 \u200b\u8fd9\u200b\u610f\u5473\u7740\u200b Kube-OVN \u200b\u4e0d\u4ec5\u200b\u901a\u8fc7\u200b OVN \u200b\u5b9e\u73b0\u200b\u4e86\u200b Kubernetes \u200b\u4e0b\u200b\u7684\u200b\u7f51\u7edc\u200b\u89c4\u8303\u200b\uff0c\u200b\u4f8b\u5982\u200b CNI\uff0cService \u200b\u548c\u200b Networkpolicy\uff0c\u200b\u8fd8\u200b\u5c06\u200b\u5927\u91cf\u200b\u7684\u200b SDN \u200b\u9886\u57df\u200b\u80fd\u529b\u200b\u5e26\u5165\u200b\u4e91\u200b\u539f\u751f\u200b\uff0c\u200b\u4f8b\u5982\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\uff0c\u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\uff0cVPC\uff0c\u200b\u7f51\u5173\u200b\uff0cQoS\uff0cACL \u200b\u548c\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u3002</p> <p>\u200b\u540c\u65f6\u200b Kube-OVN \u200b\u8fd8\u200b\u4fdd\u6301\u200b\u4e86\u200b\u826f\u597d\u200b\u7684\u200b\u5f00\u653e\u6027\u200b\u53ef\u4ee5\u200b\u548c\u200b\u8bf8\u591a\u200b\u6280\u672f\u200b\u65b9\u6848\u200b\u96c6\u6210\u200b\uff0c\u200b\u4f8b\u5982\u200b Cilium\uff0cSubmariner\uff0cPrometheus\uff0cKubeVirt \u200b\u7b49\u7b49\u200b\u3002</p>"},{"location":"reference/architecture/#_2","title":"\u7ec4\u4ef6\u200b\u4ecb\u7ecd","text":"<p>Kube-OVN \u200b\u7684\u200b\u7ec4\u4ef6\u200b\u53ef\u4ee5\u200b\u5927\u81f4\u200b\u5206\u4e3a\u200b\u4e09\u7c7b\u200b\uff1a</p> <ul> <li>\u200b\u4e0a\u6e38\u200b OVN/OVS \u200b\u7ec4\u4ef6\u200b\u3002</li> <li>\u200b\u6838\u5fc3\u200b\u63a7\u5236\u5668\u200b\u548c\u200b Agent\u3002</li> <li>\u200b\u76d1\u63a7\u200b\uff0c\u200b\u8fd0\u7ef4\u200b\u5de5\u5177\u200b\u548c\u200b\u6269\u5c55\u200b\u7ec4\u4ef6\u200b\u3002</li> </ul> <p></p>"},{"location":"reference/architecture/#ovnovs","title":"\u4e0a\u6e38\u200b OVN/OVS \u200b\u7ec4\u4ef6","text":"<p>\u200b\u8be5\u200b\u7c7b\u578b\u200b\u7ec4\u4ef6\u200b\u6765\u81ea\u200b OVN/OVS \u200b\u793e\u533a\u200b\uff0c\u200b\u5e76\u200b\u9488\u5bf9\u200b Kube-OVN \u200b\u7684\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\u505a\u200b\u4e86\u200b\u7279\u5b9a\u200b\u4fee\u6539\u200b\u3002 OVN/OVS \u200b\u672c\u8eab\u200b\u662f\u200b\u4e00\u5957\u200b\u6210\u719f\u200b\u7684\u200b\u7ba1\u7406\u200b\u865a\u673a\u200b\u548c\u200b\u5bb9\u5668\u200b\u7684\u200b SDN \u200b\u7cfb\u7edf\u200b\uff0c\u200b\u6211\u4eec\u200b\u5f3a\u70c8\u5efa\u8bae\u200b \u200b\u5bf9\u200b Kube-OVN \u200b\u5b9e\u73b0\u200b\u611f\u5174\u8da3\u200b\u7684\u200b\u7528\u6237\u200b\u5148\u53bb\u200b\u8bfb\u200b\u4e00\u4e0b\u200b ovn-architecture(7) \u200b\u6765\u200b\u4e86\u89e3\u200b\u4ec0\u4e48\u200b\u662f\u200b OVN \u200b\u4ee5\u53ca\u200b \u200b\u5982\u4f55\u200b\u548c\u200b\u5b83\u200b\u8fdb\u884c\u200b\u96c6\u6210\u200b\u3002Kube-OVN \u200b\u4f7f\u7528\u200b OVN \u200b\u7684\u200b\u5317\u5411\u200b\u63a5\u53e3\u200b\u521b\u5efa\u200b\u548c\u200b\u8c03\u6574\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u5176\u4e2d\u200b\u7684\u200b\u7f51\u7edc\u200b\u6982\u5ff5\u200b\u6620\u5c04\u200b\u5230\u200b Kubernetes \u200b\u4e4b\u5185\u200b\u3002</p> <p>\u200b\u6240\u6709\u200b OVN/OVS \u200b\u76f8\u5173\u200b\u7ec4\u4ef6\u200b\u90fd\u200b\u5df2\u200b\u6253\u5305\u200b\u6210\u200b\u5bf9\u5e94\u200b\u955c\u50cf\u200b\uff0c\u200b\u5e76\u200b\u53ef\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u8fd0\u884c\u200b\u3002</p>"},{"location":"reference/architecture/#ovn-central","title":"ovn-central","text":"<p><code>ovn-central</code> Deployment \u200b\u8fd0\u884c\u200b OVN \u200b\u7684\u200b\u7ba1\u7406\u200b\u5e73\u9762\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u5305\u62ec\u200b <code>ovn-nb</code>, <code>ovn-sb</code>, \u200b\u548c\u200b <code>ovn-northd</code>\u3002</p> <ul> <li><code>ovn-nb</code>\uff1a \u200b\u4fdd\u5b58\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff0c\u200b\u5e76\u200b\u63d0\u4f9b\u200b API \u200b\u8fdb\u884c\u200b\u865a\u62df\u200b\u7f51\u7edc\u7ba1\u7406\u200b\u3002<code>kube-ovn-controller</code> \u200b\u5c06\u4f1a\u200b\u4e3b\u8981\u200b\u548c\u200b <code>ovn-nb</code> \u200b\u8fdb\u884c\u200b\u4ea4\u4e92\u200b\u914d\u7f6e\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u3002</li> <li><code>ovn-sb</code>\uff1a \u200b\u4fdd\u5b58\u200b\u4ece\u200b <code>ovn-nb</code> \u200b\u7684\u200b\u903b\u8f91\u200b\u7f51\u7edc\u200b\u751f\u6210\u200b\u7684\u200b\u903b\u8f91\u200b\u6d41\u8868\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5404\u4e2a\u200b\u8282\u70b9\u200b\u7684\u200b\u5b9e\u9645\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u72b6\u6001\u200b\u3002</li> <li><code>ovn-northd</code>\uff1a\u200b\u5c06\u200b <code>ovn-nb</code> \u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u7ffb\u8bd1\u6210\u200b <code>ovn-sb</code> \u200b\u4e2d\u200b\u7684\u200b\u903b\u8f91\u200b\u6d41\u8868\u200b\u3002</li> </ul> <p>\u200b\u591a\u4e2a\u200b <code>ovn-central</code> \u200b\u5b9e\u4f8b\u200b\u4f1a\u200b\u901a\u8fc7\u200b Raft \u200b\u534f\u8bae\u200b\u540c\u6b65\u200b\u6570\u636e\u200b\u4fdd\u8bc1\u200b\u9ad8\u200b\u53ef\u7528\u200b\u3002</p>"},{"location":"reference/architecture/#ovs-ovn","title":"ovs-ovn","text":"<p><code>ovs-ovn</code> \u200b\u4ee5\u200b DaemonSet \u200b\u5f62\u5f0f\u200b\u8fd0\u884c\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\uff0c\u200b\u5728\u200b Pod \u200b\u5185\u200b\u8fd0\u884c\u200b\u4e86\u200b <code>openvswitch</code>, <code>ovsdb</code>, \u200b\u548c\u200b <code>ovn-controller</code>\u3002\u200b\u8fd9\u4e9b\u200b\u7ec4\u4ef6\u200b\u4f5c\u4e3a\u200b <code>ovn-central</code> \u200b\u7684\u200b Agent \u200b\u5c06\u200b\u903b\u8f91\u200b\u6d41\u8868\u200b\u7ffb\u8bd1\u6210\u200b\u771f\u5b9e\u200b\u7684\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"reference/architecture/#agent","title":"\u6838\u5fc3\u200b\u63a7\u5236\u5668\u200b\u548c\u200b Agent","text":"<p>\u200b\u8be5\u200b\u90e8\u5206\u200b\u4e3a\u200b Kube-OVN \u200b\u7684\u200b\u6838\u5fc3\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u4f5c\u4e3a\u200b OVN \u200b\u548c\u200b Kubernetes \u200b\u4e4b\u95f4\u200b\u7684\u200b\u4e00\u4e2a\u200b\u6865\u6881\u200b\uff0c\u200b\u5c06\u200b\u4e24\u4e2a\u200b\u7cfb\u7edf\u200b\u6253\u901a\u200b\u5e76\u200b\u5c06\u200b\u7f51\u7edc\u200b\u6982\u5ff5\u200b\u8fdb\u884c\u200b\u76f8\u4e92\u200b\u8f6c\u6362\u200b\u3002 \u200b\u5927\u90e8\u5206\u200b\u7684\u200b\u6838\u5fc3\u200b\u529f\u80fd\u200b\u90fd\u200b\u5728\u200b\u8be5\u200b\u90e8\u5206\u200b\u7ec4\u4ef6\u200b\u4e2d\u200b\u5b9e\u73b0\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-controller","title":"kube-ovn-controller","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b Deployment \u200b\u6267\u884c\u200b\u6240\u6709\u200b Kubernetes \u200b\u5185\u200b\u8d44\u6e90\u200b\u5230\u200b OVN \u200b\u8d44\u6e90\u200b\u7684\u200b\u7ffb\u8bd1\u200b\u5de5\u4f5c\u200b\uff0c\u200b\u5176\u200b\u4f5c\u7528\u200b\u76f8\u5f53\u4e8e\u200b\u6574\u4e2a\u200b Kube-OVN \u200b\u7cfb\u7edf\u200b\u7684\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u3002 <code>kube-ovn-controller</code> \u200b\u76d1\u542c\u200b\u4e86\u200b\u6240\u6709\u200b\u548c\u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\u76f8\u5173\u200b\u8d44\u6e90\u200b\u7684\u200b\u4e8b\u4ef6\u200b\uff0c\u200b\u5e76\u200b\u6839\u636e\u200b\u8d44\u6e90\u200b\u53d8\u5316\u200b\u60c5\u51b5\u200b\u66f4\u65b0\u200b OVN \u200b\u5185\u200b\u7684\u200b\u903b\u8f91\u200b\u7f51\u7edc\u200b\u3002\u200b\u4e3b\u8981\u200b\u76d1\u542c\u200b\u7684\u200b\u8d44\u6e90\u200b\u5305\u62ec\u200b\uff1a Pod\uff0cService\uff0cEndpoint\uff0cNode\uff0cNetworkPolicy\uff0cVPC\uff0cSubnet\uff0cVlan\uff0cProviderNetwork\u3002</p> <p>\u200b\u4ee5\u200b Pod \u200b\u4e8b\u4ef6\u200b\u4e3a\u4f8b\u200b\uff0c <code>kube-ovn-controller</code> \u200b\u76d1\u542c\u200b\u5230\u200b Pod \u200b\u521b\u5efa\u200b\u4e8b\u4ef6\u200b\u540e\u200b\uff0c\u200b\u901a\u8fc7\u200b\u5185\u7f6e\u200b\u7684\u200b\u5185\u5b58\u200b IPAM \u200b\u529f\u80fd\u200b\u5206\u914d\u200b\u5730\u5740\u200b\uff0c\u200b\u5e76\u200b\u8c03\u7528\u200b <code>ovn-central</code> \u200b\u521b\u5efa\u200b \u200b\u903b\u8f91\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u548c\u200b\u53ef\u80fd\u200b\u7684\u200b ACL \u200b\u89c4\u5219\u200b\u3002\u200b\u63a5\u4e0b\u6765\u200b <code>kube-ovn-controller</code> \u200b\u5c06\u200b\u5206\u914d\u200b\u5230\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u548c\u200b\u5b50\u7f51\u200b\u4fe1\u606f\u200b\u4f8b\u5982\u200b CIDR\uff0c\u200b\u7f51\u5173\u200b\uff0c\u200b\u8def\u7531\u200b\u7b49\u200b\u4fe1\u606f\u200b\u5199\u4f1a\u200b\u5230\u200b Pod \u200b\u7684\u200b annotation \u200b\u4e2d\u200b\u3002\u200b\u8be5\u200b annotation \u200b\u540e\u7eed\u200b\u4f1a\u200b\u88ab\u200b <code>kube-ovn-cni</code> \u200b\u8bfb\u53d6\u200b\u7528\u6765\u200b\u914d\u7f6e\u200b\u672c\u5730\u7f51\u7edc\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-cni","title":"kube-ovn-cni","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b DaemonSet \u200b\u8fd0\u884c\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\uff0c\u200b\u5b9e\u73b0\u200b CNI \u200b\u63a5\u53e3\u200b\uff0c\u200b\u5e76\u200b\u64cd\u4f5c\u200b\u672c\u5730\u200b\u7684\u200b OVS \u200b\u914d\u7f6e\u200b\u5355\u673a\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u8be5\u200b DaemonSet \u200b\u4f1a\u200b\u590d\u5236\u200b <code>kube-ovn</code> \u200b\u4e8c\u8fdb\u5236\u200b\u6587\u4ef6\u200b\u5230\u200b\u6bcf\u53f0\u200b\u673a\u5668\u200b\uff0c\u200b\u4f5c\u4e3a\u200b <code>kubelet</code> \u200b\u548c\u200b <code>kube-ovn-cni</code> \u200b\u4e4b\u95f4\u200b\u7684\u200b\u4ea4\u4e92\u200b\u5de5\u5177\u200b\uff0c\u200b\u5c06\u200b\u76f8\u5e94\u200b CNI \u200b\u8bf7\u6c42\u200b \u200b\u53d1\u9001\u7ed9\u200b <code>kube-ovn-cni</code> \u200b\u6267\u884c\u200b\u3002\u200b\u8be5\u200b\u4e8c\u8fdb\u5236\u200b\u6587\u4ef6\u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u88ab\u200b\u590d\u5236\u5230\u200b <code>/opt/cni/bin</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\u3002</p> <p><code>kube-ovn-cni</code> \u200b\u4f1a\u200b\u914d\u7f6e\u200b\u5177\u4f53\u200b\u7684\u200b\u7f51\u7edc\u200b\u6765\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u6d41\u91cf\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u4e3b\u8981\u200b\u5de5\u4f5c\u200b\u5305\u62ec\u200b\uff1a</p> <ol> <li>\u200b\u914d\u7f6e\u200b <code>ovn-controller</code> \u200b\u548c\u200b <code>vswitchd</code>\u3002</li> <li>\u200b\u5904\u7406\u200b CNI add/del \u200b\u8bf7\u6c42\u200b\uff1a<ol> <li>\u200b\u521b\u5efa\u200b\u5220\u9664\u200b veth \u200b\u5e76\u200b\u548c\u200b OVS \u200b\u7aef\u53e3\u200b\u7ed1\u5b9a\u200b\u3002</li> <li>\u200b\u914d\u7f6e\u200b OVS \u200b\u7aef\u53e3\u200b\u4fe1\u606f\u200b\u3002</li> <li>\u200b\u66f4\u65b0\u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b iptables/ipset/route \u200b\u7b49\u200b\u89c4\u5219\u200b\u3002</li> </ol> </li> <li>\u200b\u52a8\u6001\u200b\u66f4\u65b0\u200b\u5bb9\u5668\u200b QoS.</li> <li>\u200b\u521b\u5efa\u200b\u5e76\u200b\u914d\u7f6e\u200b <code>ovn0</code> \u200b\u7f51\u5361\u200b\u8054\u901a\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u548c\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u3002</li> <li>\u200b\u914d\u7f6e\u200b\u4e3b\u673a\u200b\u7f51\u5361\u200b\u6765\u200b\u5b9e\u73b0\u200b Vlan/Underlay/EIP \u200b\u7b49\u200b\u529f\u80fd\u200b\u3002</li> <li>\u200b\u52a8\u6001\u200b\u914d\u7f6e\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u7f51\u200b\u5173\u200b\u3002</li> </ol>"},{"location":"reference/architecture/#_3","title":"\u76d1\u63a7\u200b\uff0c\u200b\u8fd0\u7ef4\u200b\u5de5\u5177\u200b\u548c\u200b\u6269\u5c55\u200b\u7ec4\u4ef6","text":"<p>\u200b\u8be5\u200b\u90e8\u5206\u200b\u7ec4\u4ef6\u200b\u4e3b\u8981\u200b\u63d0\u4f9b\u200b\u76d1\u63a7\u200b\uff0c\u200b\u8bca\u65ad\u200b\uff0c\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\u4ee5\u53ca\u200b\u548c\u200b\u5916\u90e8\u200b\u8fdb\u884c\u200b\u5bf9\u63a5\u200b\uff0c\u200b\u5bf9\u200b Kube-OVN \u200b\u7684\u200b\u6838\u5fc3\u200b\u7f51\u7edc\u200b\u80fd\u529b\u200b\u8fdb\u884c\u200b\u6269\u5c55\u200b\uff0c\u200b\u5e76\u200b\u7b80\u5316\u200b\u65e5\u5e38\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-speaker","title":"kube-ovn-speaker","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b DaemonSet \u200b\u8fd0\u884c\u200b\u5728\u200b\u7279\u5b9a\u200b\u6807\u7b7e\u200b\u7684\u200b\u8282\u70b9\u200b\u4e0a\u200b\uff0c\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u8def\u7531\u200b\uff0c\u200b\u4f7f\u5f97\u200b\u5916\u90e8\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b Pod IP \u200b\u8bbf\u95ee\u200b\u5bb9\u5668\u200b\u3002</p> <p>\u200b\u66f4\u200b\u591a\u200b\u76f8\u5173\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u8bf7\u200b\u53c2\u8003\u200b BGP \u200b\u652f\u6301\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-pinger","title":"kube-ovn-pinger","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b DaemonSet \u200b\u8fd0\u884c\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u6536\u96c6\u200b OVS \u200b\u8fd0\u884c\u200b\u4fe1\u606f\u200b\uff0c\u200b\u8282\u70b9\u200b\u7f51\u7edc\u200b\u8d28\u91cf\u200b\uff0c\u200b\u7f51\u7edc\u200b\u5ef6\u8fdf\u200b\u7b49\u200b\u4fe1\u606f\u200b\uff0c\u200b\u6536\u96c6\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u53ef\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-monitor","title":"kube-ovn-monitor","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b Deployment \u200b\u6536\u96c6\u200b OVN \u200b\u7684\u200b\u8fd0\u884c\u200b\u4fe1\u606f\u200b\uff0c\u200b\u6536\u96c6\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u53ef\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p>"},{"location":"reference/architecture/#kubectl-ko","title":"kubectl-ko","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b kubectl \u200b\u63d2\u4ef6\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5feb\u901f\u200b\u8fd0\u884c\u200b\u5e38\u89c1\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u4f7f\u7528\u200b\u8bf7\u200b\u53c2\u8003\u200b kubectl \u200b\u63d2\u4ef6\u200b\u4f7f\u7528\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/dev-env/","title":"\u5f00\u53d1\u200b\u73af\u5883\u200b\u6784\u5efa","text":""},{"location":"reference/dev-env/#_2","title":"\u73af\u5883\u200b\u51c6\u5907","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b Go 1.20 \u200b\u5f00\u53d1\u200b\u5e76\u200b\u4f7f\u7528\u200b Go Modules \u200b\u7ba1\u7406\u200b\u4f9d\u8d56\u200b\uff0c \u200b\u8bf7\u200b\u786e\u8ba4\u200b\u73af\u5883\u53d8\u91cf\u200b <code>GO111MODULE=\"on\"</code>\u3002</p> <p>gosec \u200b\u88ab\u200b\u7528\u6765\u200b\u626b\u63cf\u200b\u4ee3\u7801\u200b\u5b89\u5168\u200b\u76f8\u5173\u200b\u95ee\u9898\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u5f00\u53d1\u200b\u73af\u5883\u200b\u5b89\u88c5\u200b\uff1a</p> <pre><code>go install github.com/securego/gosec/v2/cmd/gosec@latest\n</code></pre> <p>\u200b\u4e3a\u4e86\u200b\u964d\u4f4e\u200b\u6700\u7ec8\u200b\u751f\u6210\u200b\u955c\u50cf\u200b\u5927\u5c0f\u200b\uff0cKube-OVN \u200b\u4f7f\u7528\u200b\u4e86\u200b\u90e8\u5206\u200b Docker buildx \u200b\u8bd5\u9a8c\u200b\u7279\u6027\u200b\uff0c\u200b\u8bf7\u200b\u66f4\u65b0\u200b Docker \u200b\u81f3\u200b\u6700\u65b0\u200b\u7248\u672c\u200b \u200b\u5e76\u200b\u5f00\u542f\u200b buildx:</p> <pre><code>docker buildx create --use\n</code></pre>"},{"location":"reference/dev-env/#_3","title":"\u6784\u5efa\u200b\u955c\u50cf","text":"<p>\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u200b\u4ee3\u7801\u200b\uff0c\u200b\u5e76\u200b\u751f\u6210\u200b\u8fd0\u884c\u200b Kube-OVN \u200b\u6240\u200b\u9700\u200b\u955c\u50cf\u200b\uff1a</p> <pre><code>git clone https://github.com/kubeovn/kube-ovn.git\ncd kube-ovn\nmake release\n</code></pre> <p>\u200b\u5982\u9700\u200b\u6784\u5efa\u200b\u5728\u200b ARM \u200b\u73af\u5883\u200b\u4e0b\u200b\u8fd0\u884c\u200b\u7684\u200b\u955c\u50cf\u200b\uff0c\u200b\u8bf7\u200b\u6267\u884c\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make release-arm\n</code></pre>"},{"location":"reference/dev-env/#base","title":"\u6784\u5efa\u200b base \u200b\u955c\u50cf","text":"<p>\u200b\u5982\u200b\u9700\u8981\u200b\u66f4\u6539\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u7248\u672c\u200b\uff0c\u200b\u4f9d\u8d56\u200b\u5e93\u200b\uff0cOVS/OVN \u200b\u4ee3\u7801\u200b\u7b49\u200b\uff0c\u200b\u9700\u8981\u200b\u5bf9\u200b base \u200b\u955c\u50cf\u200b\u8fdb\u884c\u200b\u91cd\u65b0\u200b\u6784\u5efa\u200b\u3002</p> <p>base \u200b\u955c\u50cf\u200b\u4f7f\u7528\u200b\u7684\u200b Dockerfile \u200b\u4e3a\u200b <code>dist/images/Dockerfile.base</code>\u3002</p> <p>\u200b\u6784\u5efa\u200b\u65b9\u6cd5\u200b\uff1a</p> <pre><code># build x86 base image\nmake base-amd64\n\n# build arm base image\nmake base-arm64\n</code></pre>"},{"location":"reference/dev-env/#e2e","title":"\u8fd0\u884c\u200b E2E","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b KIND \u200b\u6784\u5efa\u200b\u672c\u5730\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\uff0cj2cli \u200b\u6e32\u67d3\u200b\u6a21\u677f\u200b\uff0c Ginkgo \u200b\u6765\u200b\u8fd0\u884c\u200b\u6d4b\u8bd5\u4ee3\u7801\u200b\u3002\u200b\u8bf7\u200b\u53c2\u8003\u200b\u76f8\u5173\u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u4f9d\u8d56\u200b\u5b89\u88c5\u200b\u3002</p> <p>\u200b\u672c\u5730\u200b\u6267\u884c\u200b E2E \u200b\u6d4b\u8bd5\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install\nmake e2e\n</code></pre> <p>\u200b\u5982\u9700\u200b\u8fd0\u884c\u200b Underlay E2E \u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install-underlay\nmake e2e-underlay-single-nic\n</code></pre> <p>\u200b\u5982\u9700\u200b\u8fd0\u884c\u200b ovn vpc nat gw eip, fip, snat, dnat \u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install\nmake ovn-vpc-nat-gw-conformance-e2e\n</code></pre> <p>\u200b\u5982\u9700\u200b\u8fd0\u884c\u200b iptables vpc nat gw eip, fip, snat, dnat \u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install\nmake kind-install-vpc-nat-gw\nmake iptables-vpc-nat-gw-conformance-e2e\n</code></pre> <p>\u200b\u5982\u9700\u200b\u8fd0\u884c\u200b loadbalancer service \u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install\nmake kind-install-lb-svc\nmake kube-ovn-lb-svc-conformance-e2e\n</code></pre> <p>\u200b\u5982\u9700\u200b\u6e05\u7406\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-clean\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/document-convention/","title":"\u6587\u6863\u200b\u89c4\u8303","text":"<p>\u200b\u4e3a\u4e86\u200b\u4fdd\u8bc1\u200b\u6587\u6863\u200b\u98ce\u683c\u200b\u4e00\u81f4\u200b\uff0c\u200b\u8bf7\u200b\u5728\u200b\u63d0\u4ea4\u200b\u6587\u6863\u200b\u65f6\u200b\u9075\u5faa\u200b\u4e0b\u5217\u200b\u7684\u200b\u98ce\u683c\u200b\u89c4\u8303\u200b\u3002</p>"},{"location":"reference/document-convention/#_2","title":"\u6807\u70b9","text":"<p>\u200b\u4e2d\u6587\u200b\u6587\u6863\u200b\u4e2d\u200b\u6587\u672c\u200b\u5185\u5bb9\u200b\u6240\u6709\u200b\u6807\u70b9\u200b\u5e94\u200b\u4f7f\u7528\u200b\u4e2d\u6587\u200b\u683c\u5f0f\u200b\u6807\u70b9\u200b\uff0c\u200b\u82f1\u6587\u200b\u6587\u6863\u200b\u4e2d\u200b\u6240\u6709\u200b\u6587\u672c\u200b\u5185\u5bb9\u200b\u4e2d\u5e94\u200b\u4f7f\u7528\u200b\u82f1\u6587\u200b\u6807\u70b9\u200b\u3002</p> BadGood   \u200b\u8fd9\u91cc\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b,\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u4f60\u200b\u5feb\u901f\u200b\u5b89\u88c5\u200b\u4e00\u4e2a\u200b\u9ad8\u200b\u53ef\u7528\u200b,\u200b\u751f\u4ea7\u200b\u5c31\u7eea\u200b\u7684\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b.    \u200b\u8fd9\u91cc\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u4f60\u200b\u5feb\u901f\u200b\u5b89\u88c5\u200b\u4e00\u4e2a\u200b\u9ad8\u200b\u53ef\u7528\u200b\uff0c\u200b\u751f\u4ea7\u200b\u5c31\u7eea\u200b\u7684\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u3002   <p>\u200b\u82f1\u6587\u200b\u6570\u5b57\u200b\u548c\u200b\u4e2d\u6587\u200b\u5e94\u8be5\u200b\u7528\u200b\u7a7a\u683c\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b\u3002</p> BadGood   Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u6765\u200b\u5b89\u88c5\u200b 1.10 \u200b\u7248\u672c\u200b Kube-OVN\u3002    Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u6765\u200b\u5b89\u88c5\u200b 1.10 \u200b\u7248\u672c\u200b Kube-OVN\u3002   <p>\u200b\u793a\u4f8b\u200b\u5185\u5bb9\u200b\u5e94\u8be5\u200b\u4ee5\u200b <code>\uff1a</code> \u200b\u5f00\u542f\u200b\uff0c\u200b\u5176\u4ed6\u200b\u53e5\u200b\u5c3e\u200b\u9700\u8981\u200b\u7528\u200b <code>\u3002</code> \u200b\u7ed3\u675f\u200b\u3002</p> BadGood   \u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u786e\u8ba4\u200b\u73af\u5883\u200b\u914d\u7f6e\u200b\u6b63\u786e\u200b  \u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\u3002  <pre><code>wget 127.0.0.1\n</code></pre>   \u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u786e\u8ba4\u200b\u73af\u5883\u200b\u914d\u7f6e\u200b\u6b63\u786e\u200b\u3002  \u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a  <pre><code>wget 127.0.0.1\n</code></pre>"},{"location":"reference/document-convention/#_3","title":"\u4ee3\u7801\u200b\u5757","text":"<p>yaml \u200b\u4ee3\u7801\u200b\u5757\u200b\u9700\u8981\u200b\u6807\u8bc6\u200b\u4e3a\u200b yaml\u3002</p> BadGood <pre><code>````\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n    name: attach-subnet\n````\n</code></pre> <pre><code>````yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n    name: attach-subnet\n````\n</code></pre> <p>\u200b\u547d\u4ee4\u884c\u200b\u64cd\u4f5c\u200b\u793a\u4f8b\u200b\u4ee3\u7801\u200b\u5757\u200b\u9700\u8981\u200b\u6807\u8bc6\u200b\u4e3a\u200b bash\u3002</p> BadGood <pre><code>````\nwget 127.0.0.1\n````\n</code></pre> <pre><code>````bash\nwget 127.0.0.1\n````\n</code></pre> <p>\u200b\u5982\u679c\u200b\u547d\u4ee4\u884c\u200b\u64cd\u4f5c\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u5305\u542b\u200b\u8f93\u51fa\u200b\u5185\u5bb9\u200b\uff0c\u200b\u5219\u200b\u6240\u200b\u6267\u884c\u547d\u4ee4\u200b\u9700\u8981\u200b\u4ee5\u200b <code>#</code> \u200b\u5f00\u59cb\u200b\uff0c\u200b\u4ee5\u200b\u533a\u5206\u200b\u8f93\u5165\u200b\u4e0e\u200b\u8f93\u51fa\u200b\u3002</p> BadGood <pre><code>oilbeater@macdeMac-3 ~ ping 114.114.114.114 -c 3\nPING 114.114.114.114 (114.114.114.114): 56 data bytes\n64 bytes from 114.114.114.114: icmp_seq=0 ttl=83 time=10.429 ms\n64 bytes from 114.114.114.114: icmp_seq=1 ttl=79 time=11.360 ms\n64 bytes from 114.114.114.114: icmp_seq=2 ttl=76 time=10.794 ms\n\n--- 114.114.114.114 ping statistics ---\n3 packets transmitted, 3 packets received, 0.0% packet loss\nround-trip min/avg/max/stddev = 10.429/10.861/11.360/0.383 ms\n</code></pre> <pre><code># ping 114.114.114.114 -c 3\nPING 114.114.114.114 (114.114.114.114): 56 data bytes\n64 bytes from 114.114.114.114: icmp_seq=0 ttl=83 time=10.429 ms\n64 bytes from 114.114.114.114: icmp_seq=1 ttl=79 time=11.360 ms\n64 bytes from 114.114.114.114: icmp_seq=2 ttl=76 time=10.794 ms\n\n--- 114.114.114.114 ping statistics ---\n3 packets transmitted, 3 packets received, 0.0% packet loss\nround-trip min/avg/max/stddev = 10.429/10.861/11.360/0.383 ms\n</code></pre> <p>\u200b\u5982\u679c\u200b\u547d\u4ee4\u884c\u200b\u64cd\u4f5c\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u53ea\u200b\u5305\u542b\u200b\u6267\u884c\u547d\u4ee4\u200b\uff0c\u200b\u6ca1\u6709\u200b\u8f93\u51fa\u200b\u7ed3\u679c\u200b\uff0c\u200b\u5219\u200b\u591a\u6761\u200b\u547d\u4ee4\u200b\u65e0\u9700\u200b <code>#</code> \u200b\u5f00\u59cb\u200b\u3002</p> BadGood <pre><code># mv /etc/origin/ovn/ovnnb_db.db /tmp\n# mv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\nmv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre>"},{"location":"reference/document-convention/#_4","title":"\u94fe\u63a5","text":"<p>\u200b\u7ad9\u200b\u5185\u200b\u94fe\u63a5\u200b\u4f7f\u7528\u200b\u5bf9\u5e94\u200b <code>md</code> \u200b\u6587\u4ef6\u200b\u8def\u5f84\u200b\u3002</p> BadGood <pre><code>\u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u53c2\u8003\u200b[\u200b\u51c6\u5907\u200b\u5de5\u4f5c\u200b](http://kubeovn.github.io/prepare)\u3002\n</code></pre> <pre><code>\u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u53c2\u8003\u200b[\u200b\u51c6\u5907\u200b\u5de5\u4f5c\u200b](./prepare.md)\u3002\n</code></pre> BadGood <pre><code>\u200b\u5982\u200b\u6709\u200b\u95ee\u9898\u200b\u8bf7\u200b\u53c2\u8003\u200b [Kubernetes \u200b\u6587\u6863\u200b](http://kubernetes.io)\u3002\n</code></pre> <pre><code>\u200b\u5982\u200b\u6709\u200b\u95ee\u9898\u200b\u8bf7\u200b\u53c2\u8003\u200b [Kubernetes \u200b\u6587\u6863\u200b](http://kubernetes.io){: target=\"_blank\" }\u3002\n</code></pre>"},{"location":"reference/document-convention/#_5","title":"\u7a7a\u884c","text":"<p>\u200b\u4e0d\u540c\u200b\u903b\u8f91\u200b\u5757\u200b\uff0c\u200b\u4f8b\u5982\u200b\u6807\u9898\u200b\u548c\u200b\u6587\u672c\u200b\uff0c\u200b\u6587\u672c\u200b\u548c\u200b\u4ee3\u7801\u200b\uff0c\u200b\u6587\u672c\u200b\u548c\u200b\u7f16\u53f7\u200b\u4e4b\u95f4\u200b\u9700\u8981\u200b\u7528\u200b\u7a7a\u884c\u200b\u5206\u9694\u200b\u3002</p> BadGood <pre><code>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a\n```bash\nwget 127.0.0.1\n```\n</code></pre> <pre><code>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <p>\u200b\u4e0d\u540c\u200b\u903b\u8f91\u200b\u5757\u200b\u4e4b\u95f4\u200b\u53ea\u200b\u4f7f\u7528\u200b\u4e00\u4e2a\u200b\u7a7a\u884c\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b\u3002</p> BadGood <pre><code>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a\n\n\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <pre><code>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/feature-stage/","title":"\u529f\u80fd\u200b\u6210\u719f\u5ea6","text":"<p>\u200b\u5728\u200b Kube-OVN \u200b\u4e2d\u200b\u6839\u636e\u200b\u529f\u80fd\u200b\u4f7f\u7528\u200b\u5ea6\u200b\uff0c\u200b\u6587\u6863\u200b\u5b8c\u5584\u200b\u7a0b\u5ea6\u200b\u548c\u200b\u6d4b\u8bd5\u200b\u8986\u76d6\u200b\u7a0b\u5ea6\u200b\u5c06\u200b\u529f\u80fd\u200b\u6210\u719f\u5ea6\u200b\u5206\u4e3a\u200b Alpha\uff0cBeta \u200b\u548c\u200b GA \u200b\u4e09\u4e2a\u200b\u9636\u6bb5\u200b\u3002</p>"},{"location":"reference/feature-stage/#_2","title":"\u6210\u719f\u5ea6\u200b\u5b9a\u4e49","text":"<p>\u200b\u5bf9\u4e8e\u200b Alpha \u200b\u529f\u80fd\u200b\uff1a</p> <ul> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u6ca1\u6709\u200b\u5b8c\u6574\u200b\u7684\u200b\u6587\u6863\u200b\u548c\u200b\u5b8c\u5584\u200b\u7684\u200b\u6d4b\u8bd5\u200b\u8986\u76d6\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u672a\u6765\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u53d1\u751f\u53d8\u5316\u200b\u751a\u81f3\u200b\u6574\u4f53\u200b\u79fb\u9664\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b API \u200b\u4e0d\u200b\u4fdd\u8bc1\u200b\u7a33\u5b9a\u200b\uff0c\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u88ab\u200b\u79fb\u9664\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u793e\u533a\u200b\u652f\u6301\u200b\u4f18\u5148\u7ea7\u200b\u8f83\u200b\u4f4e\u200b\uff0c\u200b\u4e14\u200b\u65e0\u6cd5\u200b\u4fdd\u8bc1\u200b\u957f\u671f\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u529f\u80fd\u200b\u7a33\u5b9a\u6027\u200b\u548c\u200b\u957f\u671f\u200b\u652f\u6301\u200b\u65e0\u6cd5\u200b\u4fdd\u8bc1\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u8fdb\u884c\u200b\u6d4b\u8bd5\u200b\u9a8c\u8bc1\u200b\uff0c\u200b\u4f46\u200b\u4e0d\u200b\u63a8\u8350\u200b\u751f\u4ea7\u200b\u4f7f\u7528\u200b\u3002</li> </ul> <p>\u200b\u5bf9\u4e8e\u200b Beta \u200b\u529f\u80fd\u200b\uff1a</p> <ul> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u6709\u200b\u90e8\u5206\u200b\u6587\u6863\u200b\u548c\u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u4f46\u662f\u200b\u4e0d\u200b\u4fdd\u8bc1\u200b\u5b8c\u6574\u200b\u7684\u200b\u8986\u76d6\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u672a\u6765\u200b\u53ef\u80fd\u200b\u53d1\u751f\u53d8\u5316\u200b\uff0c\u200b\u5347\u7ea7\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u5f71\u54cd\u200b\u7f51\u7edc\u200b\uff0c\u200b\u4f46\u200b\u4e0d\u4f1a\u200b\u88ab\u200b\u6574\u4f53\u200b\u79fb\u9664\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b API \u200b\u672a\u6765\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u53d1\u751f\u53d8\u5316\u200b\uff0c\u200b\u5b57\u200b\u6bb5\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff0c\u200b\u4f46\u200b\u4e0d\u4f1a\u200b\u6574\u4f53\u200b\u79fb\u9664\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5f97\u5230\u200b\u793e\u533a\u200b\u7684\u200b\u957f\u671f\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5f97\u5230\u200b\u957f\u671f\u200b\u652f\u6301\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u975e\u5173\u952e\u200b\u4e1a\u52a1\u200b\u4e0a\u200b\u8fdb\u884c\u200b\u4f7f\u7528\u200b\uff0c\u200b\u4f46\u662f\u200b\u7531\u4e8e\u200b\u529f\u80fd\u200b\u548c\u200b API \u200b\u5b58\u5728\u200b\u53d8\u5316\u200b\u7684\u200b\u53ef\u80fd\u200b\uff0c\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u5728\u200b\u5347\u7ea7\u200b\u4e2d\u200b\u51fa\u73b0\u200b\u4e2d\u65ad\u200b\uff0c\u200b\u4e0d\u200b\u63a8\u8350\u200b\u5728\u200b\u5173\u952e\u200b\u751f\u4ea7\u200b\u4e1a\u52a1\u200b\u4e0a\u200b\u4f7f\u7528\u200b\u3002</li> </ul> <p>\u200b\u5bf9\u4e8e\u200b GA \u200b\u529f\u80fd\u200b\uff1a</p> <ul> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u6709\u200b\u5b8c\u6574\u200b\u7684\u200b\u6587\u6863\u200b\u548c\u200b\u6d4b\u8bd5\u200b\u8986\u76d6\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4f1a\u200b\u4fdd\u6301\u7a33\u5b9a\u200b\uff0c\u200b\u5347\u7ea7\u200b\u4f1a\u200b\u4fdd\u8bc1\u200b\u5e73\u6ed1\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b API \u200b\u4e0d\u4f1a\u200b\u53d1\u751f\u200b\u7834\u574f\u6027\u200b\u53d8\u5316\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5f97\u5230\u200b\u793e\u533a\u200b\u9ad8\u200b\u4f18\u5148\u7ea7\u200b\u652f\u6301\u200b\uff0c\u200b\u5e76\u4f1a\u200b\u4fdd\u8bc1\u200b\u957f\u671f\u200b\u652f\u6301\u200b\u3002</li> </ul>"},{"location":"reference/feature-stage/#_3","title":"\u6210\u719f\u5ea6\u200b\u5217\u8868","text":"<p>\u200b\u672c\u200b\u5217\u8868\u200b\u7edf\u8ba1\u200b\u4ece\u200b v1.8 \u200b\u7248\u672c\u200b\u4e2d\u200b\u5305\u542b\u200b\u7684\u200b\u529f\u80fd\u200b\u5bf9\u5e94\u200b\u6210\u719f\u5ea6\u200b\u3002</p> \u200b\u529f\u80fd\u200b \u200b\u9ed8\u8ba4\u200b\u5f00\u542f\u200b \u200b\u72b6\u6001\u200b \u200b\u5f00\u59cb\u200b\uff08Since\uff09 \u200b\u7ed3\u675f\u200b\uff08Until\uff09 Namespaced Subnet true GA 1.8 \u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b true GA 1.8 \u200b\u4e3b\u4ece\u200b\u6a21\u5f0f\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b true GA 1.8 ECMP \u200b\u6a21\u5f0f\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b false Beta 1.8 \u200b\u5b50\u7f51\u200b ACL true Alpha 1.9 \u200b\u5b50\u7f51\u200b\u9694\u79bb\u200b (\u200b\u672a\u6765\u200b\u4f1a\u200b\u548c\u200b\u5b50\u7f51\u200b ACL \u200b\u5408\u5e76\u200b) true Beta 1.8 Underlay \u200b\u5b50\u7f51\u200b true GA 1.8 \u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b true Beta 1.8 \u200b\u5b50\u7f51\u200b DHCP false Alpha 1.10 \u200b\u5b50\u7f51\u200b\u8bbe\u7f6e\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b false Alpha 1.8 \u200b\u4f7f\u7528\u200b OVN-IC \u200b\u8fdb\u884c\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b false Beta 1.8 \u200b\u4f7f\u7528\u200b Submariner \u200b\u8fdb\u884c\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b false Alpha 1.9 \u200b\u5b50\u7f51\u200b VIP \u200b\u9884\u7559\u200b true Alpha 1.10 \u200b\u521b\u5efa\u200b\u81ea\u5b9a\u4e49\u200b VPC true Beta 1.8 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u6d6e\u52a8\u200b IP/SNAT/DNAT true Alpha 1.10 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u9759\u6001\u200b\u8def\u7531\u200b true Alpha 1.10 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u7b56\u7565\u200b\u8def\u7531\u200b true Alpha 1.10 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5b89\u5168\u200b\u7ec4\u200b true Alpha 1.10 \u200b\u5bb9\u5668\u200b\u6700\u5927\u200b\u5e26\u5bbd\u200b QoS true GA 1.8 linux-netem QoS true Alpha 1.9 Prometheus \u200b\u96c6\u6210\u200b false GA 1.8 Grafana \u200b\u96c6\u6210\u200b false GA 1.8 \u200b\u53cc\u6808\u200b\u7f51\u7edc\u200b false GA 1.8 \u200b\u9ed8\u8ba4\u200b VPC EIP/SNAT false Beta 1.8 \u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b false GA 1.8 NetworkPolicy true Beta 1.8 Webhook false Alpha 1.10 \u200b\u6027\u80fd\u200b\u8c03\u4f18\u200b false Beta 1.8 Overlay \u200b\u5b50\u7f51\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b false Alpha 1.8 Overlay \u200b\u5b50\u7f51\u200b BGP \u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b false Alpha 1.9 Cilium \u200b\u96c6\u6210\u200b false Alpha 1.10 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e92\u8054\u200b false Alpha 1.10 Mellanox Offload false Alpha 1.8 \u200b\u82af\u542f\u6e90\u200b Offload false Alpha 1.10 Windows \u200b\u652f\u6301\u200b false Alpha 1.10 DPDK \u200b\u652f\u6301\u200b false Alpha 1.10 OpenStack \u200b\u96c6\u6210\u200b false Alpha 1.9 \u200b\u5355\u4e2a\u200b Pod \u200b\u56fa\u5b9a\u200b IP/Mac true GA 1.8 Workload \u200b\u56fa\u5b9a\u200b IP true GA 1.8 StatefulSet \u200b\u56fa\u5b9a\u200b IP true GA 1.8 VM \u200b\u56fa\u5b9a\u200b IP false Beta 1.9 \u200b\u9ed8\u8ba4\u200b VPC Load Balancer \u200b\u7c7b\u578b\u200b Service false Alpha 1.11 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b DNS false Alpha 1.11 Underlay \u200b\u548c\u200b Overlay \u200b\u4e92\u901a\u200b false Beta 1.12 <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/iptables-rules/","title":"Iptables \u200b\u89c4\u5219","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b ipset \u200b\u53ca\u200b iptables \u200b\u8f85\u52a9\u200b\u5b9e\u73b0\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\uff08Overlay\uff09\u200b\u7f51\u5173\u200b NAT \u200b\u7684\u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u7684\u200b ipset \u200b\u5982\u4e0b\u200b\u8868\u200b\u6240\u793a\u200b\uff1a</p> \u200b\u540d\u79f0\u200b\uff08IPv4/IPv6\uff09 \u200b\u7c7b\u578b\u200b \u200b\u5b58\u50a8\u200b\u5bf9\u8c61\u200b ovn40services/ovn60services hash:net Service \u200b\u7f51\u6bb5\u200b ovn40subnets/ovn60subnets hash:net Overlay \u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b\u4ee5\u53ca\u200b NodeLocal DNS IP \u200b\u5730\u5740\u200b ovn40subnets-nat/ovn60subnets-nat hash:net \u200b\u5f00\u542f\u200b NatOutgoing \u200b\u7684\u200b Overlay \u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b ovn40subnets-distributed-gw/ovn60subnets-distributed-gw hash:net \u200b\u5f00\u542f\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\u7684\u200b Overlay \u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b ovn40other-node/ovn60other-node hash:net \u200b\u5176\u5b83\u200b\u8282\u70b9\u200b\u7684\u200b\u5185\u90e8\u200b IP \u200b\u5730\u5740\u200b ovn40local-pod-ip-nat/ovn60local-pod-ip-nat hash:ip \u200b\u5df2\u5f03\u200b\u7528\u200b ovn40subnets-nat-policy hash:net \u200b\u914d\u7f6e\u200b\u4e86\u200b natOutgoingPolicyRules \u200b\u7684\u200b\u6240\u6709\u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b ovn40natpr-418e79269dc5-dst hash:net natOutgoingPolicyRules \u200b\u4e2d\u200b rule \u200b\u5bf9\u5e94\u200b\u7684\u200b dstIPs ovn40natpr-418e79269dc5-src hash:net natOutgoingPolicyRules \u200b\u4e2d\u200b rule \u200b\u5bf9\u5e94\u200b\u7684\u200b srcIPs <p>\u200b\u4f7f\u7528\u200b\u7684\u200b iptables \u200b\u89c4\u5219\u200b\uff08IPv4\uff09\u200b\u5982\u4e0b\u200b\u8868\u200b\u6240\u793a\u200b\uff1a</p> \u200b\u8868\u200b \u200b\u94fe\u200b \u200b\u89c4\u5219\u200b \u200b\u7528\u9014\u200b \u200b\u5907\u6ce8\u200b filter INPUT -m set --match-set ovn40services src -j ACCEPT \u200b\u5141\u8bb8\u200b k8s Service \u200b\u548c\u200b Pod \u200b\u76f8\u5173\u200b\u6d41\u91cf\u200b\u901a\u8fc7\u200b -- filter INPUT -m set --match-set ovn40services dst -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter INPUT -m set --match-set ovn40subnets src -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter INPUT -m set --match-set ovn40subnets dst -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -m set --match-set ovn40services src -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -m set --match-set ovn40services dst -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -m set --match-set ovn40subnets src -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -m set --match-set ovn40subnets dst -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -s 10.16.0.0/16 -m comment --comment \"ovn-subnet-gateway,ovn-default\" \u200b\u7528\u4e8e\u200b\u8ba1\u6570\u200b\u4ece\u200b subnet \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u7684\u200b\u62a5\u6587\u200b 10.16.0.0/16 \u200b\u4e3a\u200b subnet \u200b\u7684\u200b cidr \uff0ccomment \u200b\u4e2d\u200b\u9017\u53f7\u200b\u524d\u9762\u200b\u7684\u200b ovn-subnet-gateway \u200b\u7528\u4e8e\u200b\u6807\u8bc6\u200b\u8be5\u200b iptables \u200b\u89c4\u5219\u200b\u7528\u4e8e\u200b subnet \u200b\u51fa\u5165\u200b\u7f51\u5173\u200b\u62a5\u6587\u200b\u8ba1\u6570\u200b\uff0c\u200b\u9017\u53f7\u200b\u540e\u9762\u200b ovn-default \u200b\u662f\u200b\u8be5\u200b subnet \u200b\u7684\u200b\u540d\u5b57\u200b filter FORWARD -d 10.16.0.0/16 -m comment --comment \"ovn-subnet-gateway,ovn-default\" \u200b\u7528\u4e8e\u200b\u8ba1\u6570\u200b\u4ece\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u8bbf\u95ee\u200b subnet \u200b\u7684\u200b\u62a5\u6587\u200b \u200b\u540c\u200b\u4e0a\u200b filter OUTPUT -p udp -m udp --dport 6081 -j MARK --set-xmark 0x0 \u200b\u6e05\u9664\u200b\u6d41\u91cf\u200b\u6807\u8bb0\u200b\uff0c\u200b\u907f\u514d\u200b\u6267\u884c\u200b SNAT UDP: bad checksum on VXLAN interface nat PREROUTING -m comment --comment \"kube-ovn prerouting rules\" -j OVN-PREROUTING \u200b\u8fdb\u5165\u200b OVN-PREROUTING \u200b\u94fe\u200b\u5904\u7406\u200b -- nat POSTROUTING -m comment --comment \"kube-ovn postrouting rules\" -j OVN-POSTROUTING \u200b\u8fdb\u5165\u200b OVN-POSTROUTING \u200b\u94fe\u200b\u5904\u7406\u200b -- nat OVN-PREROUTING -i ovn0 -m set --match-set ovn40subnets src -m set --match-set ovn40services dst -j MARK --set-xmark 0x4000/0x4000 \u200b\u4e3a\u200b Pod \u200b\u8bbf\u95ee\u200b Service \u200b\u6d41\u91cf\u200b\u6dfb\u52a0\u200b masquerade \u200b\u6807\u8bb0\u200b \u200b\u4f5c\u7528\u200b\u4e8e\u200b\u5173\u95ed\u200b\u5185\u7f6e\u200b LB \u200b\u7684\u200b\u573a\u666f\u200b nat OVN-PREROUTING -p tcp -m addrtype --dst-type LOCAL -m set --match-set KUBE-NODE-PORT-LOCAL-TCP dst -j MARK --set-xmark 0x80000/0x80000 \u200b\u4e3a\u200b ExternalTrafficPolicy \u200b\u4e3a\u200b Local \u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\uff08TCP\uff09\u200b\u6dfb\u52a0\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b \u200b\u4ec5\u200b kube-proxy \u200b\u4f7f\u7528\u200b ipvs \u200b\u6a21\u5f0f\u200b\u65f6\u200b\u5b58\u5728\u200b nat OVN-PREROUTING -p udp -m addrtype --dst-type LOCAL -m set --match-set KUBE-NODE-PORT-LOCAL-UDP dst -j MARK --set-xmark 0x80000/0x80000 \u200b\u4e3a\u200b ExternalTrafficPolicy \u200b\u4e3a\u200b Local \u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\uff08UDP\uff09\u200b\u6dfb\u52a0\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b \u200b\u540c\u200b\u4e0a\u200b nat OVN-POSTROUTING -m set --match-set ovn40services src -m set --match-set ovn40subnets dst -m mark --mark 0x4000/0x4000 -j SNAT --to-source  \u200b\u5f53\u200b\u8282\u70b9\u200b\u901a\u8fc7\u200b Service IP \u200b\u8bbf\u95ee\u200b Overlay Pod \u200b\u65f6\u200b\uff0c\u200b\u4fdd\u6301\u200b\u6e90\u200b IP \u200b\u4e3a\u200b\u8282\u70b9\u200b IP\u3002 \u200b\u4ec5\u200b kube-proxy \u200b\u4f7f\u7528\u200b ipvs \u200b\u6a21\u5f0f\u200b\u65f6\u200b\u751f\u6548\u200b nat OVN-POSTROUTING -m mark --mark 0x4000/0x4000 -j MASQUERADE \u200b\u4e3a\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b\u7684\u200b\u6d41\u91cf\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -m set --match-set ovn40subnets src -m set --match-set ovn40subnets dst -j MASQUERADE \u200b\u4e3a\u200b\u901a\u8fc7\u200b\u8282\u70b9\u200b\u7684\u200b Pod \u200b\u4e4b\u95f4\u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -m mark --mark 0x80000/0x80000 -m set --match-set ovn40subnets-distributed-gw dst -j RETURN \u200b\u5bf9\u4e8e\u200b ExternalTrafficPolicy \u200b\u4e3a\u200b Local \u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\uff0c\u200b\u82e5\u200b Endpoint \u200b\u4f7f\u7528\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u65e0\u9700\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -m mark --mark 0x80000/0x80000 -j MASQUERADE \u200b\u5bf9\u4e8e\u200b ExternalTrafficPolicy \u200b\u4e3a\u200b Local \u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\uff0c\u200b\u82e5\u200b Endpoint \u200b\u4f7f\u7528\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -p tcp -m tcp --tcp-flags SYN NONE -m conntrack --ctstate NEW -j RETURN Pod IP \u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b\u65f6\u200b\uff0c\u200b\u4e0d\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -s 10.16.0.0/16 -m set ! --match-set ovn40subnets dst -j SNAT --to-source 192.168.0.101 Pod \u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5916\u200b\u7f51\u7edc\u200b\u65f6\u200b\uff0c\u200b\u82e5\u200b\u5b50\u7f51\u200b\u5f00\u542f\u200b NatOutgoing \u200b\u4e14\u200b\u4f7f\u7528\u200b\u6307\u5b9a\u200b IP \u200b\u7684\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u6267\u884c\u200b SNAT 10.16.0.0/16 \u200b\u4e3a\u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b\uff0c192.168.0.101 \u200b\u4e3a\u200b\u6307\u5b9a\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b IP nat OVN-POSTROUTING -m set --match-set ovn40subnets-nat src -m set ! --match-set ovn40subnets dst -j MASQUERADE Pod \u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5916\u200b\u7f51\u7edc\u200b\u65f6\u200b\uff0c\u200b\u82e5\u200b\u5b50\u7f51\u200b\u5f00\u542f\u200b NatOutgoing\uff0c\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -m set --match-set ovn40subnets-nat-policy src -m set ! --match-set ovn40subnets dst -j OVN-NAT-POLICY Pod \u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5916\u200b\u7f51\u7edc\u200b\u65f6\u200b\uff0c\u200b\u82e5\u200b\u5b50\u7f51\u200b\u5f00\u542f\u200b natOutgoingPolicyRules\uff0c\u200b\u6307\u5b9a\u200b\u7b56\u7565\u200b\u7684\u200b\u62a5\u6587\u200b\u6267\u884c\u200b SNAT \u200b\u914d\u7f6e\u200b\u4e86\u200b natOutgoingPolicyRules \u200b\u5b50\u7f51\u200b\u7684\u200b\u51fa\u5916\u200b\u7f51\u200b\u62a5\u6587\u200b\u7684\u200b\u8fdb\u5165\u200b\u94fe\u200b OVN-NAT-POLICY nat OVN-POSTROUTING -m mark --mark 0x90001/0x90001 -j MASQUERADE --random-fully \u200b\u540c\u200b\u4e0a\u200b \u200b\u4ece\u200b OVN-NAT-POLICY \u200b\u51fa\u6765\u200b\u540e\u200b\uff0c\u200b\u5982\u679c\u200b\u88ab\u200b\u6253\u200b\u4e0a\u200b tag 0x90001/0x90001 \u200b\u5c31\u200b\u4f1a\u200b\u505a\u200b SNAT nat OVN-POSTROUTING -m mark --mark 0x90002/0x90002 -j RETURN \u200b\u540c\u200b\u4e0a\u200b \u200b\u4ece\u200b OVN-NAT-POLICY \u200b\u51fa\u6765\u200b\u540e\u200b, \u200b\u5982\u679c\u200b\u88ab\u200b\u6253\u200b\u4e0a\u200b tag 0x90002/0x90002 \u200b\u4e0d\u4f1a\u200b\u505a\u200b SNAT nat OVN-NAT-POLICY -s 10.0.11.0/24 -m comment --comment natPolicySubnet-net1 -j OVN-NAT-PSUBNET-aa98851157c5 \u200b\u540c\u200b\u4e0a\u200b 10.0.11.0/24 \u200b\u8868\u793a\u200b\u5b50\u7f51\u200b net1 \u200b\u7684\u200b CIDR\uff0c  OVN-NAT-PSUBNET-aa98851157c5 \u200b\u8fd9\u6761\u200b\u94fe\u4e0b\u200b\u7684\u200b\u89c4\u5219\u200b\u5c31\u200b\u5bf9\u5e94\u200b\u8fd9\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b natOutgoingPolicyRules \u200b\u914d\u7f6e\u200b nat OVN-NAT-PSUBNET-xxxxxxxxxxxx -m set --match-set ovn40natpr-418e79269dc5-src src -m set --match-set ovn40natpr-418e79269dc5-dst dst -j MARK --set-xmark 0x90002/0x90002 \u200b\u540c\u200b\u4e0a\u200b 418e79269dc5 \u200b\u8868\u793a\u200b natOutgoingPolicyRules \u200b\u4e2d\u200b\u7684\u200b\u4e00\u6761\u200b\u89c4\u5219\u200b\u7684\u200b ID\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b status.natOutgoingPolicyRules[index].RuleID \u200b\u67e5\u770b\u200b\u5230\u200b\uff0c \u200b\u8868\u793a\u200b srcIPs \u200b\u6ee1\u8db3\u200b ovn40natpr-418e79269dc5-src\uff0c dstIPS \u200b\u6ee1\u8db3\u200b ovn40natpr-418e79269dc5-dst \u200b\u4f1a\u200b\u6253\u200b\u4e0a\u200b tag 0x90002 mangle OVN-OUTPUT -d 10.241.39.2/32 -p tcp -m tcp --dport 80 -j MARK --set-xmark 0x90003/0x90003 \u200b\u5c06\u200b kubelet \u200b\u7684\u200b\u63a2\u6d4b\u200b\u6d41\u91cf\u200b\u52a0\u4e0a\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b\u4ece\u800c\u200b\u5f15\u5165\u200b\u5230\u200b tproxy mangle OVN-PREROUTING -d 10.241.39.2/32 -p tcp -m tcp --dport 80 -j TPROXY --on-port 8102 --on-ip 172.18.0.3 --tproxy-mark 0x90004/0x90004 \u200b\u5c06\u200b kubelet \u200b\u7684\u200b\u63a2\u6d4b\u200b\u6d41\u91cf\u200b\u52a0\u4e0a\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b\u4ece\u800c\u200b\u5f15\u5165\u200b\u5230\u200b tproxy <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/kube-ovn-api/","title":"Kube-OVN \u200b\u63a5\u53e3\u200b\u89c4\u8303","text":"<p>\u200b\u57fa\u4e8e\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\uff0c\u200b\u6574\u7406\u200b\u4e86\u200b Kube-OVN \u200b\u652f\u6301\u200b\u7684\u200b CRD \u200b\u8d44\u6e90\u200b\u5217\u8868\u200b\uff0c\u200b\u5217\u51fa\u200b CRD \u200b\u5b9a\u4e49\u200b\u5404\u5b57\u200b\u6bb5\u200b\u7684\u200b\u53d6\u503c\u200b\u7c7b\u578b\u200b\u548c\u200b\u542b\u4e49\u200b\uff0c\u200b\u4ee5\u200b\u4f9b\u53c2\u8003\u200b\u3002</p>"},{"location":"reference/kube-ovn-api/#condition","title":"\u901a\u7528\u200b\u7684\u200b Condition \u200b\u5b9a\u4e49","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b type String \u200b\u72b6\u6001\u200b\u7c7b\u578b\u200b status String \u200b\u72b6\u6001\u503c\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>True</code>\uff0c<code>False</code> \u200b\u6216\u200b <code>Unknown</code> reason String \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u7684\u200b\u539f\u56e0\u200b message String \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u7684\u200b\u5177\u4f53\u200b\u4fe1\u606f\u200b lastUpdateTime Time \u200b\u4e0a\u6b21\u200b\u72b6\u6001\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b lastTransitionTime Time \u200b\u4e0a\u6b21\u200b\u72b6\u6001\u200b\u7c7b\u578b\u200b\u53d1\u751f\u53d8\u5316\u200b\u7684\u200b\u65f6\u95f4\u200b <p>\u200b\u5728\u200b\u5404\u200b CRD \u200b\u7684\u200b\u5b9a\u4e49\u200b\u4e2d\u200b\uff0cStatus \u200b\u4e2d\u200b\u7684\u200b Condition \u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u90fd\u200b\u9075\u5faa\u200b\u4e0a\u8ff0\u200b\u683c\u5f0f\u200b\uff0c\u200b\u56e0\u6b64\u200b\u63d0\u524d\u200b\u8fdb\u884c\u200b\u8bf4\u660e\u200b\u3002</p>"},{"location":"reference/kube-ovn-api/#subnet","title":"Subnet \u200b\u5b9a\u4e49","text":""},{"location":"reference/kube-ovn-api/#subnet_1","title":"Subnet","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>Subnet</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec SubnetSpec Subnet \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status SubnetStatus Subnet \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#subnetspec","title":"SubnetSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b default Bool \u200b\u8be5\u200b\u5b50\u7f51\u200b\u662f\u5426\u200b\u4e3a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b vpc String \u200b\u5b50\u7f51\u200b\u6240\u5c5e\u200b Vpc\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b ovn-cluster protocol String IP \u200b\u534f\u8bae\u200b\uff0c\u200b\u53d6\u503c\u200b\u53ef\u4ee5\u200b\u4e3a\u200b <code>IPv4</code>\uff0c<code>IPv6</code> \u200b\u6216\u200b <code>Dual</code> namespaces []String \u200b\u8be5\u200b\u5b50\u7f51\u200b\u6240\u200b\u7ed1\u5b9a\u200b\u7684\u200b namespace \u200b\u5217\u8868\u200b cidrBlock String \u200b\u5b50\u7f51\u200b\u7684\u200b\u7f51\u6bb5\u200b\u8303\u56f4\u200b\uff0c\u200b\u5982\u200b 10.16.0.0/16 gateway String \u200b\u5b50\u7f51\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u8be5\u200b\u5b50\u7f51\u200b CIDRBlock \u200b\u4e0b\u200b\u7684\u200b\u7b2c\u4e00\u4e2a\u200b\u53ef\u7528\u200b\u5730\u5740\u200b excludeIps []String \u200b\u8be5\u200b\u5b50\u7f51\u200b\u4e0b\u200b\u4e0d\u4f1a\u200b\u88ab\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b provider String \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b ovn\u3002\u200b\u591a\u200b\u7f51\u5361\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u914d\u7f6e\u200b\u53d6\u503c\u200b\u4e3a\u200b NetworkAttachmentDefinition \u200b\u7684\u200b .\uff0cKube-OVN \u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u8fd9\u4e9b\u200b\u4fe1\u606f\u200b\u627e\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b Subnet \u200b\u8d44\u6e90\u200b gatewayType String Overlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u7684\u200b\u7f51\u5173\u200b\u7c7b\u578b\u200b\uff0c\u200b\u53d6\u503c\u200b\u53ef\u4ee5\u200b\u4e3a\u200b <code>distributed</code> \u200b\u6216\u200b <code>centralized</code> gatewayNode String \u200b\u5f53\u200b\u7f51\u5173\u200b\u6a21\u5f0f\u200b\u4e3a\u200b centralized \u200b\u65f6\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4e3a\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u7684\u200b\u591a\u4e2a\u200b\u8282\u70b9\u200b natOutgoing Bool \u200b\u51fa\u7f51\u200b\u6d41\u91cf\u200b\u662f\u5426\u200b\u8fdb\u884c\u200b NAT\u3002\u200b\u8be5\u200b\u53c2\u6570\u200b\u548c\u200b <code>externalEgressGateway</code> \u200b\u53c2\u6570\u200b\u4e0d\u80fd\u200b\u540c\u65f6\u200b\u8bbe\u7f6e\u200b\u3002 externalEgressGateway String \u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\u3002\u200b\u9700\u8981\u200b\u548c\u5b50\u200b\u7f51\u7f51\u200b\u5173\u8282\u70b9\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u4e8c\u5c42\u200b\u53ef\u8fbe\u57df\u200b\uff0c\u200b\u8be5\u200b\u53c2\u6570\u200b\u548c\u200b <code>natOutgoing</code> \u200b\u53c2\u6570\u200b\u4e0d\u80fd\u200b\u540c\u65f6\u200b\u8bbe\u7f6e\u200b policyRoutingPriority Uint32 \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4f18\u5148\u7ea7\u200b\u3002\u200b\u6dfb\u52a0\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4f7f\u7528\u200b\u53c2\u6570\u200b\uff0c\u200b\u63a7\u5236\u200b\u6d41\u91cf\u200b\u7ecf\u200b\u5b50\u7f51\u200b\u7f51\u5173\u200b\u4e4b\u540e\u200b\uff0c\u200b\u8f6c\u53d1\u200b\u5230\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u5730\u5740\u200b policyRoutingTableID Uint32 \u200b\u4f7f\u7528\u200b\u7684\u200b\u672c\u5730\u200b\u7b56\u7565\u200b\u8def\u7531\u8868\u200b\u7684\u200b TableID\uff0c\u200b\u6bcf\u4e2a\u200b\u5b50\u7f51\u200b\u5747\u200b\u9700\u200b\u4e0d\u540c\u200b\u4ee5\u200b\u907f\u514d\u200b\u51b2\u7a81\u200b private Bool \u200b\u6807\u8bc6\u200b\u8be5\u200b\u5b50\u7f51\u200b\u662f\u5426\u200b\u4e3a\u200b\u79c1\u6709\u200b\u5b50\u7f51\u200b\uff0c\u200b\u79c1\u6709\u200b\u5b50\u7f51\u200b\u9ed8\u8ba4\u200b\u62d2\u7edd\u200b\u5b50\u7f51\u200b\u5916\u200b\u7684\u200b\u5730\u5740\u200b\u8bbf\u95ee\u200b allowSubnets []String \u200b\u5b50\u7f51\u200b\u4e3a\u200b\u79c1\u6709\u200b\u5b50\u7f51\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u5141\u8bb8\u200b\u8bbf\u95ee\u200b\u8be5\u200b\u5b50\u7f51\u200b\u5730\u5740\u200b\u7684\u200b\u96c6\u5408\u200b vlan String \u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b\u7684\u200b Vlan \u200b\u540d\u79f0\u200b vips []String \u200b\u5b50\u7f51\u200b\u4e0b\u200b virtual \u200b\u7c7b\u578b\u200b lsp \u200b\u7684\u200b virtual-ip \u200b\u53c2\u6570\u4fe1\u606f\u200b logicalGateway Bool \u200b\u662f\u5426\u200b\u542f\u7528\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b disableGatewayCheck Bool \u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\u662f\u5426\u200b\u8df3\u8fc7\u200b\u7f51\u5173\u200b\u8054\u901a\u200b\u6027\u200b\u68c0\u67e5\u200b disableInterConnection Bool \u200b\u63a7\u5236\u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u5b50\u7f51\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b enableDHCP Bool \u200b\u63a7\u5236\u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp \u200b\u7684\u200b dhcp \u200b\u914d\u7f6e\u200b\u9009\u9879\u200b dhcpV4Options String \u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp dhcpv4_options \u200b\u5173\u8054\u200b\u7684\u200b DHCP_Options \u200b\u8bb0\u5f55\u200b dhcpV6Options String \u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp dhcpv6_options \u200b\u5173\u8054\u200b\u7684\u200b DHCP_Options \u200b\u8bb0\u5f55\u200b enableIPv6RA Bool \u200b\u63a7\u5236\u200b\u5b50\u7f51\u200b\u8fde\u63a5\u200b\u8def\u7531\u5668\u200b\u7684\u200b lrp \u200b\u7aef\u53e3\u200b\uff0c\u200b\u662f\u5426\u200b\u914d\u7f6e\u200b ipv6_ra_configs \u200b\u53c2\u6570\u200b ipv6RAConfigs String \u200b\u5b50\u7f51\u200b\u8fde\u63a5\u200b\u8def\u7531\u5668\u200b\u7684\u200b lrp \u200b\u7aef\u53e3\u200b\uff0cipv6_ra_configs \u200b\u53c2\u6570\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b acls []Acl \u200b\u5b50\u7f51\u200b\u5bf9\u5e94\u200b logical-switch \u200b\u5173\u8054\u200b\u7684\u200b acls \u200b\u8bb0\u5f55\u200b u2oInterconnection Bool \u200b\u662f\u5426\u200b\u5f00\u542f\u200b Overlay/Underlay \u200b\u7684\u200b\u4e92\u8054\u200b\u6a21\u5f0f\u200b enableLb *Bool \u200b\u63a7\u5236\u200b\u5b50\u7f51\u200b\u5bf9\u5e94\u200b\u7684\u200b logical-switch \u200b\u662f\u5426\u200b\u5173\u8054\u200b load-balancer \u200b\u8bb0\u5f55\u200b enableEcmp Bool \u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u662f\u5426\u200b\u5f00\u542f\u200b ECMP \u200b\u8def\u7531"},{"location":"reference/kube-ovn-api/#acl","title":"Acl","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b direction String Acl \u200b\u9650\u5236\u200b\u65b9\u5411\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>from-lport</code> \u200b\u6216\u8005\u200b <code>to-lport</code> priority Int Acl \u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u53d6\u503c\u200b\u8303\u56f4\u200b 0 \u200b\u5230\u200b 32767 match String Acl \u200b\u89c4\u5219\u200b\u5339\u914d\u200b\u8868\u8fbe\u5f0f\u200b action String Acl \u200b\u89c4\u5219\u200b\u52a8\u4f5c\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>allow-related</code>, <code>allow-stateless</code>, <code>allow</code>, <code>drop</code>, <code>reject</code> \u200b\u5176\u4e2d\u200b\u4e00\u4e2a"},{"location":"reference/kube-ovn-api/#subnetstatus","title":"SubnetStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []SubnetCondition \u200b\u5b50\u7f51\u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b v4AvailableIPs Float64 \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u53ef\u7528\u200b\u7684\u200b IPv4 IP \u200b\u5730\u5740\u200b\u6570\u91cf\u200b v4availableIPrange String \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u53ef\u7528\u200b\u7684\u200b IPv4 \u200b\u5730\u5740\u200b\u8303\u56f4\u200b v4UsingIPs Float64 \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u5df2\u7528\u200b\u7684\u200b IPv4 IP \u200b\u5730\u5740\u200b\u6570\u91cf\u200b v4usingIPrange String \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u5df2\u7528\u200b\u7684\u200b IPv4 \u200b\u5730\u5740\u200b\u8303\u56f4\u200b v6AvailableIPs Float64 \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u53ef\u7528\u200b\u7684\u200b IPv6 IP \u200b\u5730\u5740\u200b\u6570\u91cf\u200b v6availableIPrange String \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u53ef\u7528\u200b\u7684\u200b IPv6 \u200b\u5730\u5740\u200b\u8303\u56f4\u200b v6UsingIPs Float64 \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u5df2\u7528\u200b\u7684\u200b IPv6 IP \u200b\u5730\u5740\u200b\u6570\u91cf\u200b v6usingIPrange String \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u5df2\u7528\u200b\u7684\u200b IPv6 \u200b\u5730\u5740\u200b\u8303\u56f4\u200b sctivateGateway String \u200b\u96c6\u4e2d\u5f0f\u200b\u5b50\u7f51\u200b\uff0c\u200b\u4e3b\u5907\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u5f53\u524d\u200b\u6b63\u5728\u200b\u5de5\u4f5c\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b dhcpV4OptionsUUID String \u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp dhcpv4_options \u200b\u5173\u8054\u200b\u7684\u200b DHCP_Options \u200b\u8bb0\u5f55\u200b\u6807\u8bc6\u200b dhcpV6OptionsUUID String \u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp dhcpv6_options \u200b\u5173\u8054\u200b\u7684\u200b DHCP_Options \u200b\u8bb0\u5f55\u200b\u6807\u8bc6\u200b u2oInterconnectionIP String \u200b\u5f00\u542f\u200b Overlay/Underlay \u200b\u4e92\u8054\u200b\u6a21\u5f0f\u200b\u540e\u200b\uff0c\u200b\u6240\u200b\u5360\u7528\u200b\u7684\u200b\u7528\u4e8e\u200b\u4e92\u8054\u200b\u7684\u200b IP \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#ip","title":"IP \u200b\u5b9a\u4e49","text":""},{"location":"reference/kube-ovn-api/#ip_1","title":"IP","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IP</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IPSpec IP \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#ipsepc","title":"IPSepc","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b podName String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u540d\u79f0\u200b namespace String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u6240\u5728\u200b Namespace \u200b\u540d\u79f0\u200b subnet String IP \u200b\u6240\u5c5e\u200b Subnet attachSubnets []String \u200b\u8be5\u4e3b\u200b IP \u200b\u4e0b\u200b\u5176\u4ed6\u200b\u9644\u5c5e\u200b\u5b50\u7f51\u200b\u540d\u79f0\u200b\uff08\u200b\u5b57\u200b\u6bb5\u200b\u5e9f\u5f03\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\uff09 nodeName String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u6240\u5728\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b ipAddress String IP \u200b\u5730\u5740\u200b\uff0c\u200b\u53cc\u6808\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u4e3a\u200b <code>v4IP,v6IP</code> \u200b\u683c\u5f0f\u200b v4IPAddress String IPv4 IP \u200b\u5730\u5740\u200b v6IPAddress String IPv6 IP \u200b\u5730\u5740\u200b attachIPs []String \u200b\u8be5\u4e3b\u200b IP \u200b\u4e0b\u200b\u5176\u4ed6\u200b\u9644\u5c5e\u200b IP \u200b\u5730\u5740\u200b\uff08\u200b\u5b57\u200b\u6bb5\u200b\u5e9f\u5f03\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\uff09 macAddress String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u7684\u200b Mac \u200b\u5730\u5740\u200b attachMacs []String \u200b\u8be5\u4e3b\u200b IP \u200b\u4e0b\u200b\u5176\u4ed6\u200b\u9644\u5c5e\u200b Mac \u200b\u5730\u5740\u200b\uff08\u200b\u5b57\u200b\u6bb5\u200b\u5e9f\u5f03\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\uff09 containerID String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b Container ID podType String \u200b\u7279\u6b8a\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b Pod\uff0c\u200b\u53ef\u200b\u4e3a\u200b <code>StatefulSet</code>\uff0c<code>VirtualMachine</code> \u200b\u6216\u7a7a"},{"location":"reference/kube-ovn-api/#underlay","title":"Underlay \u200b\u914d\u7f6e","text":""},{"location":"reference/kube-ovn-api/#vlan","title":"Vlan","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>Vlan</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VlanSpec Vlan \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status VlanStatus Vlan \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#vlanspec","title":"VlanSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b id Int Vlan tag \u200b\u53f7\u200b\uff0c\u200b\u53d6\u503c\u200b\u8303\u56f4\u200b\u4e3a\u200b 0~4096 provider String Vlan \u200b\u7ed1\u5b9a\u200b\u7684\u200b ProviderNetwork \u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#vlanstatus","title":"VlanStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b subnets []String Vlan \u200b\u7ed1\u5b9a\u200b\u7684\u200b\u5b50\u7f51\u200b\u5217\u8868\u200b conditions []VlanCondition Vlan \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#providernetwork","title":"ProviderNetwork","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>ProviderNetwork</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec ProviderNetworkSpec ProviderNetwork \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status ProviderNetworkStatus ProviderNetwork \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#providernetworkspec","title":"ProviderNetworkSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b defaultInterface String \u200b\u8be5\u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\u63a5\u53e3\u200b\u540d\u79f0\u200b customInterfaces []CustomInterface \u200b\u8be5\u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u7279\u6b8a\u200b\u4f7f\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b excludeNodes []String \u200b\u8be5\u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u4e0d\u4f1a\u200b\u7ed1\u5b9a\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b exchangeLinkName Bool \u200b\u662f\u5426\u200b\u4ea4\u6362\u200b\u6865\u63a5\u200b\u7f51\u5361\u200b\u548c\u200b\u5bf9\u5e94\u200b OVS \u200b\u7f51\u6865\u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#custominterface","title":"CustomInterface","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b interface String Underlay \u200b\u4f7f\u7528\u200b\u7f51\u5361\u200b\u63a5\u53e3\u200b\u540d\u79f0\u200b nodes []String \u200b\u4f7f\u7528\u200b\u81ea\u5b9a\u4e49\u200b\u7f51\u5361\u200b\u63a5\u53e3\u200b\u7684\u200b\u8282\u70b9\u200b\u5217\u8868"},{"location":"reference/kube-ovn-api/#providernetworkstatus","title":"ProviderNetworkStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool \u200b\u5f53\u524d\u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u662f\u5426\u200b\u8fdb\u5165\u200b\u5c31\u7eea\u200b\u72b6\u6001\u200b readyNodes []String \u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u8fdb\u5165\u200b\u5c31\u7eea\u200b\u72b6\u6001\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b notReadyNodes []String \u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u672a\u200b\u8fdb\u5165\u200b\u5c31\u7eea\u200b\u72b6\u6001\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b vlans []String \u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u7ed1\u5b9a\u200b\u7684\u200b Vlan \u200b\u540d\u79f0\u200b conditions []ProviderNetworkCondition ProviderNetwork \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#vpc","title":"Vpc \u200b\u5b9a\u4e49","text":""},{"location":"reference/kube-ovn-api/#vpc_1","title":"Vpc","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>Vpc</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VpcSpec Vpc \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status VpcStatus Vpc \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#vpcspec","title":"VpcSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b namespaces []String Vpc \u200b\u7ed1\u5b9a\u200b\u7684\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u5217\u8868\u200b staticRoutes []*StaticRoute Vpc \u200b\u4e0b\u200b\u914d\u7f6e\u200b\u7684\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u4fe1\u606f\u200b policyRoutes []*PolicyRoute Vpc \u200b\u4e0b\u200b\u914d\u7f6e\u200b\u7684\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4fe1\u606f\u200b vpcPeerings []*VpcPeering Vpc \u200b\u4e92\u8054\u200b\u4fe1\u606f\u200b enableExternal Bool Vpc \u200b\u662f\u5426\u200b\u8fde\u63a5\u200b\u5230\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a"},{"location":"reference/kube-ovn-api/#staticroute","title":"StaticRoute","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b policy String \u200b\u8def\u7531\u200b\u7b56\u7565\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>policySrc</code> \u200b\u6216\u8005\u200b <code>policyDst</code> cidr String \u200b\u8def\u7531\u200b Cidr \u200b\u7f51\u6bb5\u200b nextHopIP String \u200b\u8def\u7531\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#policyroute","title":"PolicyRoute","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b priority Int32 \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4f18\u5148\u7ea7\u200b match String \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u5339\u914d\u200b\u6761\u4ef6\u200b action String \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u52a8\u4f5c\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>allow</code>\u3001<code>drop</code> \u200b\u6216\u8005\u200b <code>reroute</code> nextHopIP String \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u4fe1\u606f\u200b\uff0cECMP \u200b\u8def\u7531\u200b\u60c5\u51b5\u200b\u4e0b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u5730\u5740\u200b\u4f7f\u7528\u200b\u9017\u53f7\u200b\u9694\u5f00"},{"location":"reference/kube-ovn-api/#vpcpeering","title":"VpcPeering","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b remoteVpc String Vpc \u200b\u4e92\u8054\u200b\u5bf9\u7aef\u200b Vpc \u200b\u540d\u79f0\u200b localConnectIP String Vpc \u200b\u4e92\u8054\u200b\u672c\u7aef\u200b IP \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#vpcstatus","title":"VpcStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []VpcCondition Vpc \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b standby Bool \u200b\u6807\u8bc6\u200b Vpc \u200b\u662f\u5426\u200b\u521b\u5efa\u200b\u5b8c\u6210\u200b\uff0cVpc \u200b\u4e0b\u200b\u7684\u200b Subnet \u200b\u9700\u8981\u200b\u7b49\u200b Vpc \u200b\u521b\u5efa\u200b\u5b8c\u6210\u200b\u8f6c\u6362\u200b\u518d\u200b\u7ee7\u7eed\u200b\u5904\u7406\u200b default Bool \u200b\u662f\u5426\u662f\u200b\u9ed8\u8ba4\u200b Vpc defaultLogicalSwitch String Vpc \u200b\u4e0b\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b router String Vpc \u200b\u5bf9\u5e94\u200b\u7684\u200b logical-router \u200b\u540d\u79f0\u200b tcpLoadBalancer String Vpc \u200b\u4e0b\u200b\u7684\u200b TCP LB \u200b\u4fe1\u606f\u200b udpLoadBalancer String Vpc \u200b\u4e0b\u200b\u7684\u200b UDP LB \u200b\u4fe1\u606f\u200b tcpSessionLoadBalancer String Vpc \u200b\u4e0b\u200b\u7684\u200b TCP \u200b\u4f1a\u8bdd\u200b\u4fdd\u6301\u200b LB \u200b\u4fe1\u606f\u200b udpSessionLoadBalancer String Vpc \u200b\u4e0b\u200b\u7684\u200b UDP \u200b\u4f1a\u8bdd\u200b\u4fdd\u6301\u200b LB \u200b\u4fe1\u606f\u200b subnets []String Vpc \u200b\u4e0b\u200b\u7684\u200b\u5b50\u7f51\u200b\u5217\u8868\u200b vpcPeerings []String Vpc \u200b\u4e92\u8054\u200b\u7684\u200b\u5bf9\u200b\u7aef\u200b Vpc \u200b\u5217\u8868\u200b enableExternal Bool Vpc \u200b\u662f\u5426\u200b\u8fde\u63a5\u200b\u5230\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a"},{"location":"reference/kube-ovn-api/#vpcnatgateway","title":"VpcNatGateway","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>VpcNatGateway</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VpcNatSpec Vpc \u200b\u7f51\u5173\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#vpcnatspec","title":"VpcNatSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b vpc String Vpc \u200b\u7f51\u5173\u200b Pod \u200b\u6240\u5728\u200b\u7684\u200b Vpc \u200b\u540d\u79f0\u200b subnet String Vpc \u200b\u7f51\u5173\u200b Pod \u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u540d\u79f0\u200b lanIp String Vpc \u200b\u7f51\u5173\u200b Pod \u200b\u6307\u5b9a\u200b\u5206\u914d\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b selector []String \u200b\u6807\u51c6\u200b Kubernetes Selector \u200b\u5339\u914d\u200b\u4fe1\u606f\u200b tolerations []VpcNatToleration \u200b\u6807\u51c6\u200b Kubernetes \u200b\u5bb9\u5fcd\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#vpcnattoleration","title":"VpcNatToleration","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b key String \u200b\u5bb9\u5fcd\u200b\u6c61\u70b9\u200b\u7684\u200b key \u200b\u4fe1\u606f\u200b operator String \u200b\u53d6\u503c\u200b\u4e3a\u200b <code>Exists</code> \u200b\u6216\u8005\u200b <code>Equal</code> value String \u200b\u5bb9\u5fcd\u200b\u6c61\u70b9\u200b\u7684\u200b value \u200b\u4fe1\u606f\u200b effect String \u200b\u5bb9\u5fcd\u200b\u6c61\u70b9\u200b\u7684\u200b\u4f5c\u7528\u200b\u6548\u679c\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>NoExecute</code> \u3001<code>NoSchedule</code> \u200b\u6216\u8005\u200b <code>PreferNoSchedule</code> tolerationSeconds Int64 \u200b\u6dfb\u52a0\u200b\u6c61\u70b9\u200b\u540e\u200b\uff0cPod \u200b\u8fd8\u200b\u80fd\u200b\u7ee7\u7eed\u200b\u5728\u200b\u8282\u70b9\u200b\u4e0a\u200b\u8fd0\u884c\u200b\u7684\u200b\u65f6\u95f4\u200b <p>\u200b\u4ee5\u4e0a\u200b\u5bb9\u5fcd\u200b\u5b57\u6bb5\u200b\u7684\u200b\u542b\u4e49\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Kubernetes \u200b\u5b98\u65b9\u200b\u6587\u6863\u200b \u200b\u6c61\u70b9\u200b\u548c\u200b\u5bb9\u5fcd\u5ea6\u200b\u3002</p>"},{"location":"reference/kube-ovn-api/#iptableseip","title":"IptablesEIP","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IptablesEIP</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IptablesEipSpec Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status IptablesEipStatus Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#iptableseipspec","title":"IptablesEipSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b v4ip String IptablesEIP v4 \u200b\u5730\u5740\u200b v6ip String IptablesEIP v6 \u200b\u5730\u5740\u200b macAddress String IptablesEIP crd \u200b\u8bb0\u5f55\u200b\u5206\u914d\u200b\u7684\u200b mac \u200b\u5730\u5740\u200b\uff0c\u200b\u6ca1\u6709\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b natGwDp String Vpc \u200b\u7f51\u5173\u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#iptableseipstatus","title":"IptablesEipStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool IptablesEIP \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b ip String IptablesEIP \u200b\u4f7f\u7528\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u76ee\u524d\u200b\u53ea\u200b\u652f\u6301\u200b\u4e86\u200b IPv4 \u200b\u5730\u5740\u200b redo String IptablesEIP crd \u200b\u521b\u5efa\u200b\u6216\u8005\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b nat String IptablesEIP \u200b\u7684\u200b\u4f7f\u7528\u200b\u7c7b\u578b\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>fip</code>\u3001<code>snat</code> \u200b\u6216\u8005\u200b <code>dnat</code> conditions []IptablesEIPCondition IptablesEIP \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#iptablesfiprule","title":"IptablesFIPRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IptablesFIPRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IptablesFIPRuleSpec Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesFIPRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status IptablesFIPRuleStatus Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesFIPRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#iptablesfiprulespec","title":"IptablesFIPRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b eip String IptablesFIPRule \u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u540d\u79f0\u200b internalIp String IptablesFIPRule \u200b\u5bf9\u5e94\u200b\u7684\u200b\u5185\u90e8\u200b\u7684\u200b IP \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#iptablesfiprulestatus","title":"IptablesFIPRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool IptablesFIPRule \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4ip String IptablesEIP \u200b\u4f7f\u7528\u200b\u7684\u200b v4 IP \u200b\u5730\u5740\u200b v6ip String IptablesEIP \u200b\u4f7f\u7528\u200b\u7684\u200b v6 IP \u200b\u5730\u5740\u200b natGwDp String Vpc \u200b\u7f51\u5173\u200b\u540d\u79f0\u200b redo String IptablesFIPRule crd \u200b\u521b\u5efa\u200b\u6216\u8005\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b conditions []IptablesFIPRuleCondition IptablesFIPRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#iptablessnatrule","title":"IptablesSnatRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IptablesSnatRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IptablesSnatRuleSpec Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesSnatRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status IptablesSnatRuleStatus Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesSnatRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#iptablessnatrulespec","title":"IptablesSnatRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b eip String IptablesSnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u540d\u79f0\u200b internalIp String IptablesSnatRule \u200b\u5bf9\u5e94\u200b\u7684\u200b\u5185\u90e8\u200b\u7684\u200b IP \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#iptablessnatrulestatus","title":"IptablesSnatRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool IptablesSnatRule \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4ip String IptablesSnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b v4 IP \u200b\u5730\u5740\u200b v6ip String IptablesSnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b v6 IP \u200b\u5730\u5740\u200b natGwDp String Vpc \u200b\u7f51\u5173\u200b\u540d\u79f0\u200b redo String IptablesSnatRule crd \u200b\u521b\u5efa\u200b\u6216\u8005\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b conditions []IptablesSnatRuleCondition IptablesSnatRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#iptablesdnatrule","title":"IptablesDnatRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IptablesDnatRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IptablesDnatRuleSpec Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesDnatRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status IptablesDnatRuleStatus Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesDnatRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#iptablesdnatrulespec","title":"IptablesDnatRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b eip Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u540d\u79f0\u200b externalPort Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b\u5916\u90e8\u200b\u7aef\u53e3\u200b protocol Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u7684\u200b\u534f\u8bae\u200b\u7c7b\u578b\u200b internalIp Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b\u5185\u90e8\u200b IP \u200b\u5730\u5740\u200b internalPort Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b\u5185\u90e8\u200b\u7aef\u53e3"},{"location":"reference/kube-ovn-api/#iptablesdnatrulestatus","title":"IptablesDnatRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool IptablesDnatRule \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4ip String IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b v4 IP \u200b\u5730\u5740\u200b v6ip String IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b v6 IP \u200b\u5730\u5740\u200b natGwDp String Vpc \u200b\u7f51\u5173\u200b\u540d\u79f0\u200b redo String IptablesDnatRule crd \u200b\u521b\u5efa\u200b\u6216\u8005\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b conditions []IptablesDnatRuleCondition IptablesDnatRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#vpcdns","title":"VpcDns","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>VpcDns</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VpcDnsSpec VpcDns \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status VpcDnsStatus VpcDns \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#vpcdnsspec","title":"VpcDnsSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b vpc String VpcDns \u200b\u6240\u5728\u200b\u7684\u200b Vpc \u200b\u540d\u79f0\u200b subnet String VpcDns Pod \u200b\u5206\u914d\u200b\u5730\u5740\u200b\u7684\u200b Subnet \u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#vpcdnsstatus","title":"VpcDnsStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []VpcDnsCondition VpcDns \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b active Bool VpcDns \u200b\u662f\u5426\u200b\u6b63\u5728\u200b\u4f7f\u7528\u200b <p>VpcDns \u200b\u7684\u200b\u8be6\u7ec6\u200b\u4f7f\u7528\u200b\u6587\u6863\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b DNS\u3002</p>"},{"location":"reference/kube-ovn-api/#switchlbrule","title":"SwitchLBRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>SwitchLBRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec SwitchLBRuleSpec SwitchLBRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status SwitchLBRuleStatus SwitchLBRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#switchlbrulespec","title":"SwitchLBRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b vip String SwitchLBRule \u200b\u914d\u7f6e\u200b\u7684\u200b vip \u200b\u5730\u5740\u200b namespace String SwitchLBRule \u200b\u7684\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b selector []String \u200b\u6807\u51c6\u200b Kubernetes Selector \u200b\u5339\u914d\u200b\u4fe1\u606f\u200b sessionAffinity String \u200b\u6807\u51c6\u200b Kubernetes Service \u200b\u4e2d\u200b sessionAffinity \u200b\u53d6\u503c\u200b ports []SlrPort SwitchLBRule \u200b\u7aef\u53e3\u200b\u5217\u8868\u200b <p>SwitchLBRule \u200b\u7684\u200b\u8be6\u7ec6\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u3002</p>"},{"location":"reference/kube-ovn-api/#slrport","title":"SlrPort","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b name String \u200b\u7aef\u53e3\u200b\u540d\u79f0\u200b port Int32 \u200b\u7aef\u53e3\u53f7\u200b targetPort Int32 \u200b\u76ee\u6807\u200b\u7aef\u53e3\u53f7\u200b protocol String \u200b\u534f\u8bae\u200b\u7c7b\u578b"},{"location":"reference/kube-ovn-api/#switchlbrulestatus","title":"SwitchLBRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []SwitchLBRuleCondition SwitchLBRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b ports String SwitchLBRule \u200b\u7aef\u53e3\u200b\u4fe1\u606f\u200b service String SwitchLBRule \u200b\u63d0\u4f9b\u200b\u670d\u52a1\u200b\u7684\u200b service \u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#vip","title":"\u5b89\u5168\u200b\u7ec4\u4e0e\u200b Vip","text":""},{"location":"reference/kube-ovn-api/#securitygroup","title":"SecurityGroup","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>SecurityGroup</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec SecurityGroupSpec \u200b\u5b89\u5168\u200b\u7ec4\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status SecurityGroupStatus \u200b\u5b89\u5168\u200b\u7ec4\u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#securitygroupspec","title":"SecurityGroupSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ingressRules []*SgRule \u200b\u5165\u200b\u65b9\u5411\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b egressRules []*SgRule \u200b\u51fa\u200b\u65b9\u5411\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b allowSameGroupTraffic Bool \u200b\u540c\u4e00\u200b\u5b89\u5168\u200b\u7ec4\u5185\u200b\u7684\u200b lsp \u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u4e92\u901a\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u6d41\u91cf\u200b\u89c4\u5219\u200b\u662f\u5426\u200b\u9700\u8981\u200b\u66f4\u65b0"},{"location":"reference/kube-ovn-api/#sgrule","title":"SgRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ipVersion String IP \u200b\u7248\u672c\u53f7\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>ipv4</code> \u200b\u6216\u8005\u200b <code>ipv6</code> protocol String \u200b\u53d6\u503c\u200b\u4e3a\u200b <code>all</code>\u3001<code>icmp</code>\u3001<code>tcp</code> \u200b\u6216\u8005\u200b <code>udp</code> priority Int Acl \u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u53d6\u503c\u200b\u8303\u56f4\u200b\u4e3a\u200b 1-200\uff0c\u200b\u6570\u503c\u200b\u8d8a\u5c0f\u200b\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u8d8a\u9ad8\u200b remoteType String \u200b\u53d6\u503c\u200b\u4e3a\u200b <code>address</code> \u200b\u6216\u8005\u200b <code>securityGroup</code> remoteAddress String \u200b\u5bf9\u7aef\u200b\u5730\u5740\u200b remoteSecurityGroup String \u200b\u5bf9\u7aef\u200b\u5b89\u5168\u200b\u7ec4\u200b portRangeMin Int \u200b\u7aef\u53e3\u200b\u8303\u56f4\u200b\u8d77\u59cb\u503c\u200b\uff0c\u200b\u6700\u5c0f\u200b\u53d6\u503c\u200b\u4e3a\u200b 1 portRangeMax Int \u200b\u7aef\u53e3\u200b\u8303\u56f4\u200b\u6700\u5927\u503c\u200b\uff0c\u200b\u6700\u5927\u200b\u53d6\u503c\u200b\u4e3a\u200b 65535 policy String \u200b\u53d6\u503c\u200b\u4e3a\u200b <code>allow</code> \u200b\u6216\u8005\u200b <code>drop</code>"},{"location":"reference/kube-ovn-api/#securitygroupstatus","title":"SecurityGroupStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b portGroup String \u200b\u5b89\u5168\u200b\u7ec4\u200b\u5bf9\u5e94\u200b\u7684\u200b port-group \u200b\u540d\u79f0\u200b allowSameGroupTraffic Bool \u200b\u540c\u4e00\u200b\u5b89\u5168\u200b\u7ec4\u5185\u200b\u7684\u200b lsp \u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u4e92\u901a\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u6d41\u91cf\u200b\u89c4\u5219\u200b\u662f\u5426\u200b\u9700\u8981\u200b\u66f4\u65b0\u200b ingressMd5 String \u200b\u5165\u200b\u65b9\u5411\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b MD5 \u200b\u53d6\u503c\u200b egressMd5 String \u200b\u51fa\u200b\u65b9\u5411\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b MD5 \u200b\u53d6\u503c\u200b ingressLastSyncSuccess Bool \u200b\u5165\u200b\u65b9\u5411\u200b\u89c4\u5219\u200b\u4e0a\u200b\u4e00\u6b21\u200b\u540c\u6b65\u200b\u662f\u5426\u200b\u6210\u529f\u200b egressLastSyncSuccess Bool \u200b\u51fa\u200b\u65b9\u5411\u200b\u89c4\u5219\u200b\u4e0a\u200b\u4e00\u6b21\u200b\u540c\u6b65\u200b\u662f\u5426\u200b\u6210\u529f"},{"location":"reference/kube-ovn-api/#vip_1","title":"Vip","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>Vip</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VipSpec Vip \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status VipStatus Vip \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#vipspec","title":"VipSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b namespace String Vip \u200b\u6240\u5728\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b subnet String Vip \u200b\u6240\u5c5e\u200b\u5b50\u7f51\u200b type String Vip \u200b\u4f7f\u7528\u200b\u7c7b\u578b\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>switch_lb_vip</code> \u200b\u6216\u7a7a\u200b v4ip String Vip v4 IP \u200b\u5730\u5740\u200b v6ip String Vip v6 IP \u200b\u5730\u5740\u200b macAddress String Vip mac \u200b\u5730\u5740\u200b parentV4ip String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b parentV6ip String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b parentMac String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b selector []String \u200b\u6807\u51c6\u200b Kubernetes Selector \u200b\u5339\u914d\u200b\u4fe1\u606f\u200b attachSubnets []String \u200b\u8be5\u5b57\u6bb5\u200b\u5e9f\u5f03\u200b\uff0c\u200b\u4e0d\u518d\u200b\u4f7f\u7528"},{"location":"reference/kube-ovn-api/#vipstatus","title":"VipStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []VipCondition Vip \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b ready Bool Vip \u200b\u662f\u5426\u200b\u51c6\u5907\u200b\u597d\u200b v4ip String Vip v4 IP \u200b\u5730\u5740\u200b\uff0c\u200b\u5e94\u8be5\u200b\u548c\u200b spec \u200b\u5b57\u200b\u6bb5\u200b\u53d6\u503c\u200b\u4e00\u81f4\u200b v6ip String Vip v6 IP \u200b\u5730\u5740\u200b\uff0c\u200b\u5e94\u8be5\u200b\u548c\u200b spec \u200b\u5b57\u200b\u6bb5\u200b\u53d6\u503c\u200b\u4e00\u81f4\u200b mac String Vip mac \u200b\u5730\u5740\u200b\uff0c\u200b\u5e94\u8be5\u200b\u548c\u200b spec \u200b\u5b57\u200b\u6bb5\u200b\u53d6\u503c\u200b\u4e00\u81f4\u200b pv4ip String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b pv6ip String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b pmac String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528"},{"location":"reference/kube-ovn-api/#ovneip","title":"OvnEip","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>OvnEip</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec OvnEipSpec \u200b\u9ed8\u8ba4\u200b Vpc \u200b\u4f7f\u7528\u200b OvnEip \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status OvnEipStatus \u200b\u9ed8\u8ba4\u200b Vpc \u200b\u4f7f\u7528\u200b OvnEip \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#ovneipspec","title":"OvnEipSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b externalSubnet String OvnEip \u200b\u6240\u5728\u200b\u7684\u200b\u5b50\u7f51\u200b\u540d\u79f0\u200b v4Ip String OvnEip IPv4 \u200b\u5730\u5740\u200b v6Ip String OvnEip IPv6 \u200b\u5730\u5740\u200b macAddress String OvnEip Mac \u200b\u5730\u5740\u200b type String OvnEip \u200b\u4f7f\u7528\u200b\u7c7b\u578b\u200b\uff0c\u200b\u53d6\u503c\u200b\u6709\u200b <code>lrp</code>\u3001<code>lsp</code> \u200b\u6216\u8005\u200b <code>nat</code>"},{"location":"reference/kube-ovn-api/#ovneipstatus","title":"OvnEipStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []OvnEipCondition \u200b\u9ed8\u8ba4\u200b Vpc OvnEip \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b type String OvnEip \u200b\u4f7f\u7528\u200b\u7c7b\u578b\u200b, \u200b\u53ef\u4ee5\u200b\u662f\u200b <code>lrp</code>, <code>lsp</code> or <code>nat</code> nat String dnat snat fip v4Ip String OvnEip \u200b\u4f7f\u7528\u200b\u7684\u200b v4 IP \u200b\u5730\u5740\u200b v6Ip String OvnEip \u200b\u4f7f\u7528\u200b\u7684\u200b v6 IP \u200b\u5730\u5740\u200b macAddress String OvnEip \u200b\u4f7f\u7528\u200b\u7684\u200b Mac \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#ovnfip","title":"OvnFip","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>OvnFip</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec OvnFipSpec \u200b\u9ed8\u8ba4\u200b Vpc \u200b\u4f7f\u7528\u200b OvnFip \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status OvnFipStatus \u200b\u9ed8\u8ba4\u200b Vpc \u200b\u4f7f\u7528\u200b OvnFip \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#ovnfipspec","title":"OvnFipSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ovnEip String OvnFip \u200b\u7ed1\u5b9a\u200b\u7684\u200b OvnEip \u200b\u540d\u79f0\u200b ipType String vip \u200b\u6216\u8005\u200b ip crd (\"\" \u200b\u8868\u793a\u200b ip crd) ipName String OvnFip \u200b\u7ed1\u5b9a\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b IP crd \u200b\u540d\u79f0\u200b vpc String Pod \u200b\u6240\u5728\u200b\u7684\u200b VPC \u200b\u7684\u200b\u540d\u5b57\u200b V4Ip String IP \u200b\u6216\u8005\u200b VIP \u200b\u7684\u200b IPv4 \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#ovnfipstatus","title":"OvnFipStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool OvnFip \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4Eip String OvnFip \u200b\u7ed1\u5b9a\u200b\u7684\u200b OvnEip \u200b\u540d\u79f0\u200b v4Ip String OvnFip \u200b\u5f53\u524d\u200b\u4f7f\u7528\u200b\u7684\u200b OvnEip \u200b\u5730\u5740\u200b vpc String OvnFip \u200b\u6240\u5728\u200b\u7684\u200b Vpc \u200b\u540d\u79f0\u200b conditions []OvnFipCondition OvnFip \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#ovnsnatrule","title":"OvnSnatRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>OvnSnatRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec OvnSnatRuleSpec \u200b\u9ed8\u8ba4\u200b Vpc OvnSnatRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status OvnSnatRuleStatus \u200b\u9ed8\u8ba4\u200b Vpc OvnSnatRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#ovnsnatrulespec","title":"OvnSnatRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ovnEip String OvnSnatRule \u200b\u7ed1\u5b9a\u200b\u7684\u200b OvnEip \u200b\u540d\u79f0\u200b vpcSubnet String OvnSnatRule \u200b\u914d\u7f6e\u200b\u7684\u200b\u5b50\u7f51\u200b\u540d\u79f0\u200b vpc String Pod \u200b\u6240\u5728\u200b\u7684\u200b VPC ipName String OvnSnatRule \u200b\u7ed1\u5b9a\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b IP crd \u200b\u540d\u79f0\u200b v4IpCidr String vpc subnet \u200b\u7684\u200b IPv4 cidr"},{"location":"reference/kube-ovn-api/#ovnsnatrulestatus","title":"OvnSnatRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool OvnSnatRule \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4Eip String OvnSnatRule \u200b\u7ed1\u5b9a\u200b\u7684\u200b OvnEip \u200b\u5730\u5740\u200b v4IpCidr String \u200b\u5728\u200b logical-router \u200b\u4e2d\u200b\u914d\u7f6e\u200b snat \u200b\u8f6c\u6362\u200b\u4f7f\u7528\u200b\u7684\u200b cidr \u200b\u5730\u5740\u200b vpc String OvnSnatRule \u200b\u6240\u5728\u200b\u7684\u200b Vpc \u200b\u540d\u79f0\u200b conditions []OvnSnatRuleCondition OvnSnatRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/kube-ovn-pinger-args/","title":"Kube-OVN-Pinger \u200b\u53c2\u6570\u200b\u53c2\u8003","text":"<p>\u200b\u57fa\u4e8e\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\uff0c\u200b\u6574\u7406\u200b\u4e86\u200b Kube-ovn-pinger \u200b\u652f\u6301\u200b\u7684\u200b\u53c2\u6570\u200b\uff0c\u200b\u5217\u51fa\u200b\u53c2\u6570\u200b\u5b9a\u4e49\u200b\u5404\u5b57\u200b\u6bb5\u200b\u7684\u200b\u53d6\u503c\u200b\u7c7b\u578b\u200b\uff0c\u200b\u542b\u4e49\u200b\u548c\u200b\u9ed8\u8ba4\u503c\u200b\uff0c\u200b\u4ee5\u200b\u4f9b\u53c2\u8003\u200b</p>"},{"location":"reference/kube-ovn-pinger-args/#_1","title":"\u53c2\u6570\u200b\u63cf\u8ff0","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b \u200b\u9ed8\u8ba4\u503c\u200b port Int metrics \u200b\u7aef\u53e3\u200b 8080 kubeconfig String \u200b\u5177\u6709\u200b\u8ba4\u8bc1\u200b\u4fe1\u606f\u200b\u7684\u200b kubeconfig \u200b\u6587\u4ef6\u200b\u8def\u5f84\u200b\uff0c \u200b\u5982\u679c\u200b\u672a\u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u4f7f\u7528\u200b inCluster \u200b\u4ee4\u724c\u200b\u3002 \"\" ds-namespace String kube-ovn-pinger \u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b \"kube-system\" ds-name String kube-ovn-pinger \u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u540d\u5b57\u200b \"kube-ovn-pinger\" interval Int \u200b\u8fde\u7eed\u200b ping \u200b\u4e4b\u95f4\u200b\u7684\u200b\u95f4\u9694\u200b\u79d2\u6570\u200b 5 mode String \u200b\u670d\u52a1\u5668\u200b\u6216\u200b\u5de5\u4f5c\u200b\u6a21\u5f0f\u200b \"server\" exit-code Int \u200b\u5931\u8d25\u200b\u65f6\u200b\u9000\u51fa\u200b\u4ee3\u7801\u200b 0 internal-dns String \u200b\u4ece\u200b pod \u200b\u5185\u200b\u89e3\u6790\u200b\u5185\u90e8\u200b dns \"kubernetes.default\" external-dns String \u200b\u4ece\u200b pod \u200b\u5185\u200b\u89e3\u6790\u200b\u5916\u90e8\u200b dns \"\" external-address String \u200b\u68c0\u67e5\u200b\u4e0e\u200b\u5916\u90e8\u200b\u5730\u5740\u200b\u7684\u200b ping \u200b\u8fde\u901a\u200b \"114.114.114.114\" network-mode String \u200b\u5f53\u524d\u200b\u96c6\u7fa4\u200b\u4f7f\u7528\u200b\u7684\u200b cni \u200b\u63d2\u4ef6\u200b \"kube-ovn\" enable-metrics Bool \u200b\u662f\u5426\u200b\u652f\u6301\u200b metrics \u200b\u67e5\u8be2\u200b true ovs.timeout Int \u200b\u5bf9\u200b OVS \u200b\u7684\u200b JSON-RPC \u200b\u8bf7\u6c42\u200b\u8d85\u65f6\u200b\u3002 2 system.run.dir String OVS \u200b\u9ed8\u8ba4\u200b\u8fd0\u884c\u200b\u76ee\u5f55\u200b\u3002 \"/var/run/openvswitch\" database.vswitch.name String OVS \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u540d\u79f0\u200b\u3002 \"Open_vSwitch\" database.vswitch.socket.remote String JSON-RPC unix \u200b\u5957\u200b\u63a5\u5b57\u200b\u5230\u200b OVS \u200b\u6570\u636e\u5e93\u200b\u3002 \"unix:/var/run/openvswitch/db.sock\" database.vswitch.file.data.path String OVS \u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u3002 \"/etc/openvswitch/conf.db\" database.vswitch.file.log.path String OVS \u200b\u6570\u636e\u5e93\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u200b\u3002 \"/var/log/openvswitch/ovsdb-server.log\" database.vswitch.file.pid.path String OVS \u200b\u6570\u636e\u5e93\u200b\u8fdb\u7a0b\u200b ID \u200b\u6587\u4ef6\u200b\u3002 \"/var/run/openvswitch/ovsdb-server.pid\" database.vswitch.file.system.id.path String OVS \u200b\u7cfb\u7edf\u200b\u6807\u8bc6\u200b\u6587\u4ef6\u200b\u3002 \"/etc/openvswitch/system-id.conf\" service.vswitchd.file.log.path String OVS vswitchd \u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u200b\u3002 \"/var/log/openvswitch/ovs-vswitchd.log\" service.vswitchd.file.pid.path String OVS vswitchd \u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u8fdb\u7a0b\u200b ID \u200b\u6587\u4ef6\u200b\u3002 \"/var/run/openvswitch/ovs-vswitchd.pid\" service.ovncontroller.file.log.path String OVN \u200b\u63a7\u5236\u5668\u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u200b\u3002 \"/var/log/ovn/ovn-controller.log\" service.ovncontroller.file.pid.path String OVN \u200b\u63a7\u5236\u5668\u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u8fdb\u7a0b\u200b ID \u200b\u6587\u4ef6\u200b\u3002 \"/var/run/ovn/ovn-controller.pid\" <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/metrics/","title":"Kube-OVN \u200b\u76d1\u63a7\u200b\u6307\u6807","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u5217\u4e3e\u200b Kube-OVN \u200b\u6240\u200b\u63d0\u4f9b\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p>"},{"location":"reference/metrics/#ovn-monitor","title":"ovn-monitor","text":"<p>OVN \u200b\u81ea\u8eab\u200b\u72b6\u6001\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Gauge kube_ovn_ovn_status OVN \u200b\u89d2\u8272\u200b\u72b6\u6001\u200b\uff0c (2) \u200b\u4e3a\u200b follower\uff1b (1) \u200b\u4e3a\u200b leader, (0) \u200b\u4e3a\u200b\u5f02\u5e38\u200b\u72b6\u6001\u200b\u3002 Gauge kube_ovn_failed_req_count OVN \u200b\u5931\u8d25\u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_log_file_size_bytes OVN \u200b\u7ec4\u4ef6\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u5927\u5c0f\u200b\u3002 Gauge kube_ovn_db_file_size_bytes OVN \u200b\u7ec4\u4ef6\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u5927\u5c0f\u200b\u3002 Gauge kube_ovn_chassis_info OVN chassis \u200b\u72b6\u6001\u200b (1) \u200b\u8fd0\u884c\u200b\u4e2d\u200b\uff0c(0) \u200b\u505c\u6b62\u200b\u3002 Gauge kube_ovn_db_status OVN \u200b\u6570\u636e\u5e93\u200b\u72b6\u6001\u200b, (1) \u200b\u4e3a\u200b\u6b63\u5e38\u200b\uff1b (0) \u200b\u4e3a\u200b\u5f02\u5e38\u200b\u3002 Gauge kube_ovn_logical_switch_info OVN logical switch \u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b logical switch \u200b\u540d\u5b57\u200b\u3002 Gauge kube_ovn_logical_switch_external_id OVN logical switch external_id \u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b external-id \u200b\u5185\u5bb9\u200b\u3002 Gauge kube_ovn_logical_switch_port_binding OVN logical switch \u200b\u548c\u200b logical switch port \u200b\u5173\u8054\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u901a\u8fc7\u200b\u6807\u7b7e\u200b\u8fdb\u884c\u200b\u5173\u8054\u200b\u3002 Gauge kube_ovn_logical_switch_tunnel_key \u200b\u548c\u200b OVN logical switch \u200b\u5173\u8054\u200b\u7684\u200b tunnel key \u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_logical_switch_ports_num OVN logical switch \u200b\u4e0a\u200b logical port \u200b\u7684\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_logical_switch_port_info OVN logical switch port \u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5177\u4f53\u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_logical_switch_port_tunnel_key \u200b\u548c\u200b OVN logical switch port \u200b\u5173\u8054\u200b\u7684\u200b tunnel key \u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_cluster_enabled (1) OVN \u200b\u6570\u636e\u5e93\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u6a21\u5f0f\u200b\uff1b (0) OVN \u200b\u6570\u636e\u5e93\u200b\u4e3a\u200b\u975e\u200b\u96c6\u7fa4\u200b\u6a21\u5f0f\u200b\u3002 Gauge kube_ovn_cluster_role \u200b\u6bcf\u4e2a\u200b\u6570\u636e\u5e93\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u89d2\u8272\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u89d2\u8272\u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_cluster_status \u200b\u6bcf\u4e2a\u200b\u6570\u636e\u5e93\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u72b6\u6001\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u72b6\u6001\u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_cluster_term RAFT term \u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_cluster_leader_self \u200b\u5f53\u524d\u200b\u6570\u636e\u5e93\u200b\u5b9e\u4f8b\u200b\u662f\u5426\u200b\u4e3a\u200b leader (1) \u200b\u662f\u200b\uff0c (0) \u200b\u4e0d\u662f\u200b\u3002 Gauge kube_ovn_cluster_vote_self \u200b\u5f53\u524d\u200b\u6570\u636e\u5e93\u200b\u5b9e\u4f8b\u200b\u662f\u5426\u200b\u9009\u4e3e\u200b\u81ea\u5df1\u200b\u4e3a\u200b leader (1) \u200b\u662f\u200b\uff0c (0) \u200b\u4e0d\u662f\u200b\u3002 Gauge kube_ovn_cluster_election_timer \u200b\u5f53\u524d\u200b election timer \u200b\u503c\u200b\u3002 Gauge kube_ovn_cluster_log_not_committed \u200b\u672a\u200b commit \u200b\u7684\u200b RAFT \u200b\u65e5\u5fd7\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_log_not_applied \u200b\u672a\u200b apply \u200b\u7684\u200b RAFT \u200b\u65e5\u5fd7\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_log_index_start \u200b\u5f53\u524d\u200b RAFT \u200b\u65e5\u5fd7\u200b\u6761\u200b\u76ee\u7684\u200b\u8d77\u59cb\u503c\u200b\u3002 Gauge kube_ovn_cluster_log_index_next RAFT \u200b\u65e5\u5fd7\u200b\u6761\u200b\u76ee\u7684\u200b\u4e0b\u200b\u4e00\u4e2a\u200b\u503c\u200b\u3002 Gauge kube_ovn_cluster_inbound_connections_total \u200b\u5f53\u524d\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u5165\u200b\u5411\u200b\u8fde\u63a5\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_outbound_connections_total \u200b\u5f53\u524d\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u51fa\u200b\u5411\u200b\u8fde\u63a5\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_inbound_connections_error_total \u200b\u5f53\u524d\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u5165\u200b\u5411\u200b\u9519\u8bef\u200b\u8fde\u63a5\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_outbound_connections_error_total \u200b\u5f53\u524d\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u51fa\u200b\u5411\u200b\u9519\u8bef\u200b\u8fde\u63a5\u200b\u6570\u91cf\u200b\u3002"},{"location":"reference/metrics/#ovs-monitor","title":"ovs-monitor","text":"<p><code>ovsdb</code> \u200b\u548c\u200b <code>vswitchd</code> \u200b\u81ea\u8eab\u200b\u72b6\u6001\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Gauge ovs_status OVS \u200b\u5065\u5eb7\u200b\u72b6\u6001\u200b\uff0c (1) \u200b\u4e3a\u200b\u6b63\u5e38\u200b\uff0c(0) \u200b\u4e3a\u200b\u5f02\u5e38\u200b\u3002 Gauge ovs_info OVS \u200b\u57fa\u7840\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u4fe1\u606f\u200b\u3002 Gauge failed_req_count OVS \u200b\u5931\u8d25\u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Gauge log_file_size OVS \u200b\u7ec4\u4ef6\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u5927\u5c0f\u200b\u3002 Gauge db_file_size OVS \u200b\u7ec4\u4ef6\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u5927\u5c0f\u200b\u3002 Gauge datapath Datapath \u200b\u57fa\u7840\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u4fe1\u606f\u200b\u3002 Gauge dp_total \u200b\u5f53\u524d\u200b OVS \u200b\u4e2d\u200b datapath \u200b\u6570\u91cf\u200b\u3002 Gauge dp_if Datapath \u200b\u63a5\u53e3\u200b\u57fa\u7840\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u4fe1\u606f\u200b\u3002 Gauge dp_if_total \u200b\u5f53\u524d\u200b datapath \u200b\u4e2d\u200b port \u200b\u6570\u91cf\u200b\u3002 Gauge dp_flows_total Datapath \u200b\u4e2d\u200b flow \u200b\u6570\u91cf\u200b\u3002 Gauge dp_flows_lookup_hit Datapath \u200b\u4e2d\u200b\u547d\u4e2d\u200b\u5f53\u524d\u200b flow \u200b\u6570\u636e\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge dp_flows_lookup_missed Datapath \u200b\u4e2d\u672a\u200b\u547d\u4e2d\u200b\u5f53\u524d\u200b flow \u200b\u6570\u636e\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge dp_flows_lookup_lost Datapath \u200b\u4e2d\u200b\u9700\u8981\u200b\u53d1\u9001\u7ed9\u200b userspace \u200b\u5904\u7406\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge dp_masks_hit Datapath \u200b\u4e2d\u200b\u547d\u4e2d\u200b\u5f53\u524d\u200b mask \u200b\u6570\u636e\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge dp_masks_total Datapath \u200b\u4e2d\u200b mask \u200b\u7684\u200b\u6570\u91cf\u200b\u3002 Gauge dp_masks_hit_ratio Datapath \u200b\u4e2d\u200b \u200b\u6570\u636e\u5305\u200b\u547d\u4e2d\u200b mask \u200b\u7684\u200b\u6bd4\u7387\u200b\u3002 Gauge interface OVS \u200b\u63a5\u53e3\u200b\u57fa\u7840\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u4fe1\u606f\u200b\u3002 Gauge interface_admin_state \u200b\u63a5\u53e3\u200b\u7ba1\u7406\u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b (0) \u200b\u4e3a\u200b down, (1) \u200b\u4e3a\u200b up, (2) \u200b\u4e3a\u200b\u5176\u4ed6\u200b\u72b6\u6001\u200b\u3002 Gauge interface_link_state \u200b\u63a5\u53e3\u200b\u94fe\u8def\u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b (0) \u200b\u4e3a\u200b down, (1) \u200b\u4e3a\u200b up, (2) \u200b\u4e3a\u200b\u5176\u4ed6\u200b\u72b6\u6001\u200b\u3002 Gauge interface_mac_in_use OVS Interface \u200b\u4f7f\u7528\u200b\u7684\u200b MAC \u200b\u5730\u5740\u200b Gauge interface_mtu OVS Interface \u200b\u4f7f\u7528\u200b\u7684\u200b MTU\u3002 Gauge interface_of_port OVS Interface \u200b\u5173\u8054\u200b\u7684\u200b OpenFlow Port ID\u3002 Gauge interface_if_index OVS Interface \u200b\u5173\u8054\u200b\u7684\u200b Index\u3002 Gauge interface_tx_packets OVS Interface \u200b\u53d1\u9001\u200b\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge interface_tx_bytes OVS Interface \u200b\u53d1\u9001\u200b\u5305\u200b\u5927\u5c0f\u200b\u3002 Gauge interface_rx_packets OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_bytes OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u5927\u5c0f\u200b\u3002 Gauge interface_rx_crc_err OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u6821\u9a8c\u200b\u548c\u200b\u9519\u8bef\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_dropped OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u4e22\u5f03\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_errors OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u9519\u8bef\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_frame_err OVS Interface \u200b\u63a5\u6536\u200b\u5e27\u200b\u9519\u8bef\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_missed_err OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b miss \u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_over_err OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b overrun \u200b\u6570\u91cf\u200b\u3002 Gauge interface_tx_dropped OVS Interface \u200b\u53d1\u9001\u200b\u5305\u200b\u4e22\u5f03\u200b\u6570\u91cf\u200b\u3002 Gauge interface_tx_errors OVS Interface \u200b\u53d1\u9001\u200b\u5305\u200b\u9519\u8bef\u200b\u6570\u91cf\u200b\u3002 Gauge interface_collisions OVS interface \u200b\u51b2\u7a81\u200b\u6570\u91cf\u200b\u3002"},{"location":"reference/metrics/#kube-ovn-pinger","title":"kube-ovn-pinger","text":"<p>\u200b\u7f51\u7edc\u200b\u8d28\u91cf\u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Gauge pinger_ovs_up \u200b\u8282\u70b9\u200b OVS \u200b\u8fd0\u884c\u200b\u3002 Gauge pinger_ovs_down \u200b\u8282\u70b9\u200b OVS \u200b\u505c\u6b62\u200b\u3002 Gauge pinger_ovn_controller_up \u200b\u8282\u70b9\u200b ovn-controller \u200b\u8fd0\u884c\u200b\u3002 Gauge pinger_ovn_controller_down \u200b\u8282\u70b9\u200b ovn-controller \u200b\u505c\u6b62\u200b\u3002 Gauge pinger_inconsistent_port_binding OVN-SB \u200b\u91cc\u200b portbinding \u200b\u6570\u91cf\u200b\u548c\u200b\u4e3b\u673a\u200b OVS interface \u200b\u4e0d\u200b\u4e00\u81f4\u200b\u7684\u200b\u6570\u91cf\u200b\u3002 Gauge pinger_apiserver_healthy kube-ovn-pinger \u200b\u53ef\u4ee5\u200b\u8054\u901a\u200b apiserver\u3002 Gauge pinger_apiserver_unhealthy kube-ovn-pinger \u200b\u65e0\u6cd5\u200b\u8054\u901a\u200b apiserver\u3002 Histogram pinger_apiserver_latency_ms kube-ovn-pinger \u200b\u8bbf\u95ee\u200b apiserver \u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_internal_dns_healthy kube-ovn-pinger \u200b\u53ef\u4ee5\u200b\u89e3\u6790\u200b\u5185\u90e8\u200b\u57df\u540d\u200b\u3002 Gauge pinger_internal_dns_unhealthy kube-ovn-pinger \u200b\u65e0\u6cd5\u200b\u89e3\u6790\u200b\u5185\u90e8\u200b\u57df\u540d\u200b\u3002 Histogram pinger_internal_dns_latency_ms kube-ovn-pinger \u200b\u89e3\u6790\u200b\u5185\u90e8\u200b\u57df\u540d\u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_external_dns_health kube-ovn-pinger \u200b\u53ef\u4ee5\u200b\u89e3\u6790\u200b\u5916\u90e8\u200b\u57df\u540d\u200b\u3002 Gauge pinger_external_dns_unhealthy kube-ovn-pinger \u200b\u65e0\u6cd5\u200b\u89e3\u6790\u200b\u5916\u90e8\u200b\u57df\u540d\u200b\u3002 Histogram pinger_external_dns_latency_ms kube-ovn-pinger \u200b\u89e3\u6790\u200b\u5916\u90e8\u200b\u57df\u540d\u200b\u5ef6\u8fdf\u200b\u3002 Histogram pinger_pod_ping_latency_ms kube-ovn-pinger ping Pod \u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_pod_ping_lost_total kube-ovn-pinger ping Pod \u200b\u4e22\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge pinger_pod_ping_count_total kube-ovn-pinger ping Pod \u200b\u6570\u91cf\u200b\u3002 Histogram pinger_node_ping_latency_ms kube-ovn-pinger ping Node \u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_node_ping_lost_total kube-ovn-pinger ping Node \u200b\u4e22\u5305\u200b\u3002 Gauge pinger_node_ping_count_total kube-ovn-pinger ping Node \u200b\u6570\u91cf\u200b\u3002 Histogram pinger_external_ping_latency_ms kube-ovn-pinger ping \u200b\u5916\u90e8\u200b\u5730\u5740\u200b \u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_external_lost_total kube-ovn-pinger ping \u200b\u5916\u90e8\u200b\u4e22\u5305\u200b\u6570\u91cf\u200b\u3002"},{"location":"reference/metrics/#kube-ovn-controller","title":"kube-ovn-controller","text":"<p><code>kube-ovn-controller</code> \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Histogram rest_client_request_latency_seconds \u200b\u8bf7\u6c42\u200b apiserver \u200b\u5ef6\u8fdf\u200b\u3002 Counter rest_client_requests_total \u200b\u8bf7\u6c42\u200b apiserver \u200b\u6570\u91cf\u200b\u3002 Counter lists_total API list \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Summary list_duration_seconds API list \u200b\u8bf7\u6c42\u200b\u5ef6\u8fdf\u200b\u3002 Summary items_per_list API list \u200b\u8fd4\u56de\u200b\u7ed3\u679c\u200b\u6570\u91cf\u200b\u3002 Counter watches_total API watch \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Counter short_watches_total \u200b\u77ed\u65f6\u95f4\u200b API watch \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Summary watch_duration_seconds API watch \u200b\u6301\u7eed\u65f6\u95f4\u200b\u3002 Summary items_per_watch API watch \u200b\u8fd4\u56de\u200b\u7ed3\u679c\u200b\u6570\u91cf\u200b\u3002 Gauge last_resource_version \u200b\u6700\u65b0\u200b\u7684\u200b resource version\u3002 Histogram ovs_client_request_latency_milliseconds \u200b\u8bf7\u6c42\u200b OVN \u200b\u7ec4\u4ef6\u200b\u5ef6\u8fdf\u200b\u3002 Gauge subnet_available_ip_count \u200b\u5b50\u7f51\u200b\u53ef\u7528\u200b IP \u200b\u6570\u91cf\u200b\u3002 Gauge subnet_used_ip_count \u200b\u5b50\u7f51\u200b\u5df2\u200b\u7528\u200b IP \u200b\u6570\u91cf\u200b\u3002"},{"location":"reference/metrics/#kube-ovn-cni","title":"kube-ovn-cni","text":"<p><code>kube-ovn-cni</code> \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Histogram cni_op_latency_seconds CNI \u200b\u64cd\u4f5c\u200b\u5ef6\u8fdf\u200b\u3002 Counter cni_wait_address_seconds_total CNI \u200b\u7b49\u5f85\u200b\u5730\u5740\u200b\u5c31\u7eea\u200b\u65f6\u95f4\u200b\u3002 Counter cni_wait_connectivity_seconds_total CNI \u200b\u7b49\u5f85\u200b\u8fde\u63a5\u200b\u5c31\u7eea\u200b\u65f6\u95f4\u200b\u3002 Counter cni_wait_route_seconds_total CNI \u200b\u7b49\u5f85\u200b\u8def\u7531\u200b\u5c31\u7eea\u200b\u65f6\u95f4\u200b\u3002 Histogram rest_client_request_latency_seconds \u200b\u8bf7\u6c42\u200b apiserver \u200b\u5ef6\u8fdf\u200b\u3002 Counter rest_client_requests_total \u200b\u8bf7\u6c42\u200b apiserver \u200b\u6570\u91cf\u200b\u3002 Counter lists_total API list \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Summary list_duration_seconds API list \u200b\u8bf7\u6c42\u200b\u5ef6\u8fdf\u200b\u3002 Summary items_per_list API list \u200b\u8fd4\u56de\u200b\u7ed3\u679c\u200b\u6570\u91cf\u200b\u3002 Counter watches_total API watch \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Counter short_watches_total \u200b\u77ed\u65f6\u95f4\u200b API watch \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Summary watch_duration_seconds API watch \u200b\u6301\u7eed\u65f6\u95f4\u200b\u3002 Summary items_per_watch API watch \u200b\u8fd4\u56de\u200b\u7ed3\u679c\u200b\u6570\u91cf\u200b\u3002 Gauge last_resource_version \u200b\u6700\u65b0\u200b\u7684\u200b resource version\u3002 Histogram ovs_client_request_latency_milliseconds \u200b\u8bf7\u6c42\u200b OVN \u200b\u7ec4\u4ef6\u200b\u5ef6\u8fdf\u200b\u3002 <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/ovs-ovn-customized/","title":"\u5bf9\u200b\u4e0a\u6e38\u200b OVS/OVN \u200b\u4fee\u6539","text":"<p>\u200b\u4e0a\u6e38\u200b OVN/OVS \u200b\u6700\u521d\u200b\u8bbe\u8ba1\u200b\u76ee\u6807\u200b\u4e3a\u200b\u901a\u7528\u200b SDN \u200b\u63a7\u5236\u5668\u200b\u548c\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u3002\u200b\u7531\u4e8e\u200b Kubernetes \u200b\u7f51\u7edc\u200b\u5b58\u5728\u200b\u4e00\u4e9b\u200b\u7279\u6b8a\u200b\u7684\u200b\u7528\u6cd5\u200b\uff0c \u200b\u5e76\u4e14\u200b Kube-OVN \u200b\u53ea\u200b\u91cd\u70b9\u200b\u4f7f\u7528\u200b\u4e86\u200b\u90e8\u5206\u200b\u529f\u80fd\u200b\uff0c\u200b\u4e3a\u4e86\u200b \u200b\u8fbe\u5230\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u3001\u200b\u7a33\u5b9a\u6027\u200b\u548c\u200b\u7279\u5b9a\u200b\u7684\u200b\u529f\u80fd\u200b\uff0cKube-OVN \u200b\u5bf9\u200b\u4e0a\u6e38\u200b OVN/OVS \u200b\u505a\u200b\u4e86\u200b\u90e8\u5206\u200b\u4fee\u6539\u200b\u3002\u200b\u7528\u6237\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b\u81ea\u5df1\u200b\u7684\u200b OVN/OVS \u200b\u914d\u5408\u200b Kube-OVN \u200b\u7684\u200b\u63a7\u5236\u5668\u200b\u8fdb\u884c\u200b\u5de5\u4f5c\u200b\u65f6\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b \u200b\u4e0b\u8ff0\u200b\u7684\u200b\u6539\u52a8\u200b\u53ef\u80fd\u200b\u9020\u6210\u200b\u7684\u200b\u5f71\u54cd\u200b\u3002</p> <p>\u200b\u672a\u5408\u5165\u200b\u4e0a\u6e38\u200b\u4fee\u6539\u200b\uff1a</p> <ul> <li>38df6fa3f7 \u200b\u8c03\u6574\u200b\u9009\u4e3e\u200b timer\uff0c\u200b\u907f\u514d\u200b\u5927\u89c4\u6a21\u200b\u96c6\u7fa4\u200b\u9009\u4e3e\u200b\u6296\u52a8\u200b\u3002</li> <li>d4888c4e75 \u200b\u6dfb\u52a0\u200b fdb \u200b\u66f4\u65b0\u200b\u65e5\u5fd7\u200b\u3002</li> <li>d4888c4e75 \u200b\u4fee\u590d\u200b hairpin \u200b\u73af\u5883\u200b\u4e0b\u200b fdb \u200b\u5b66\u4e60\u200b\u9519\u8bef\u200b\u7684\u200b\u95ee\u9898\u200b\u3002</li> <li>9a81b91368 \u200b\u4e3a\u200b ovsdb-tool \u200b\u7684\u200b join-cluster \u200b\u5b50\u200b\u547d\u4ee4\u200b\u6dfb\u52a0\u200b Server ID \u200b\u53c2\u6570\u200b\u3002</li> <li>62d4969877 \u200b\u4fee\u590d\u200b\u5f00\u542f\u200b SSL \u200b\u540e\u200b OVSDB \u200b\u76d1\u542c\u200b\u5730\u5740\u200b\u9519\u8bef\u200b\u7684\u200b\u95ee\u9898\u200b\u3002</li> <li>0700cb90f9 \u200b\u76ee\u7684\u200b\u5730\u5740\u200b\u975e\u200b Service \u200b\u6d41\u91cf\u200b\u7ed5\u8fc7\u200b conntrack \u200b\u4ee5\u200b\u63d0\u9ad8\u200b\u7279\u5b9a\u200b\u6570\u636e\u94fe\u200b\u8def\u200b\u6027\u80fd\u200b\u3002</li> <li>c48049a64f ECMP \u200b\u7b97\u6cd5\u200b\u7531\u200b dp_hash \u200b\u8c03\u6574\u200b\u4e3a\u200b hash\uff0c\u200b\u907f\u514d\u200b\u90e8\u5206\u200b\u5185\u6838\u200b\u51fa\u73b0\u200b\u7684\u200b\u54c8\u5e0c\u200b\u9519\u8bef\u200b\u95ee\u9898\u200b\u3002</li> <li>64383c14a9 \u200b\u4fee\u590d\u200b Windows \u200b\u4e0b\u200b\u5185\u6838\u200b Crash \u200b\u95ee\u9898\u200b\u3002</li> <li>08a95db2ca \u200b\u652f\u6301\u200b Windows \u200b\u4e0b\u200b\u7684\u200b github action \u200b\u6784\u5efa\u200b\u3002</li> <li>680e77a190 Windows \u200b\u4e0b\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b tcp \u200b\u76d1\u542c\u200b\u3002</li> <li>05e57b3227 \u200b\u652f\u6301\u200b Windows \u200b\u7f16\u8bd1\u200b\u3002</li> <li>b3801ecb73 \u200b\u4fee\u6539\u200b\u6e90\u200b\u8def\u7531\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\u3002</li> <li>977e569539 \u200b\u4fee\u590d\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b Pod \u200b\u6570\u91cf\u200b\u8fc7\u591a\u200b\u5bfc\u81f4\u200b OVS \u200b\u6d41\u8868\u200b resubmit \u200b\u6b21\u6570\u200b\u8d85\u8fc7\u200b\u4e0a\u9650\u200b\u7684\u200b\u95ee\u9898\u200b\u3002</li> <li>45a4a22161 ovn-nbctl\uff1avips \u200b\u4e3a\u200b\u7a7a\u65f6\u200b\u4e0d\u200b\u5220\u9664\u200b Load Balancer\u3002</li> <li>540592b9ff DNAT \u200b\u540e\u200b\u66ff\u6362\u200b Mac \u200b\u5730\u5740\u200b\u4e3a\u200b\u76ee\u6807\u200b\u5730\u5740\u200b\uff0c\u200b\u51cf\u5c11\u200b\u989d\u5916\u200b\u6027\u80fd\u200b\u5f00\u9500\u200b\u3002</li> <li>10972d9632 \u200b\u4fee\u590d\u200b vswitchd ofport_usage \u200b\u5185\u5b58\u200b\u6cc4\u9732\u200b\u3002</li> </ul> <p>\u200b\u5df2\u5408\u5165\u200b\u4e0a\u6e38\u200b\u4fee\u6539\u200b\uff1a</p> <ul> <li>20626ea909 \u200b\u7ec4\u64ad\u200b\u6d41\u91cf\u200b\u7ed5\u8fc7\u200b LB \u200b\u548c\u200b ACL \u200b\u5904\u7406\u200b\u9636\u6bb5\u200b\uff0c\u200b\u4ee5\u200b\u63d0\u9ad8\u200b\u7279\u5b9a\u200b\u6570\u636e\u94fe\u200b\u8def\u200b\u6027\u80fd\u200b\u3002</li> <li>a2d9ff3ccd Deb \u200b\u6784\u5efa\u200b\u589e\u52a0\u200b\u7f16\u8bd1\u200b\u4f18\u5316\u200b\u9009\u9879\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/tunnel-protocol/","title":"\u96a7\u9053\u200b\u534f\u8bae\u200b\u8bf4\u660e","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b OVN/OVS \u200b\u4f5c\u4e3a\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u5b9e\u73b0\u200b\uff0c\u200b\u76ee\u524d\u200b\u652f\u6301\u200b <code>Geneve</code>\uff0c<code>Vxlan</code> \u200b\u548c\u200b <code>STT</code> \u200b\u4e09\u79cd\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\u3002 \u200b\u8fd9\u200b\u4e09\u79cd\u200b\u534f\u8bae\u200b\u5728\u200b\u529f\u80fd\u200b\uff0c\u200b\u6027\u80fd\u200b\u548c\u200b\u6613\u7528\u6027\u200b\u4e0a\u200b\u5b58\u5728\u200b\u7740\u200b\u533a\u522b\u200b\uff0c\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u200b\u4ecb\u7ecd\u200b\u4e09\u79cd\u200b\u534f\u8bae\u200b\u5728\u200b\u4f7f\u7528\u200b\u4e2d\u200b\u7684\u200b\u5dee\u5f02\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u200b\u6839\u636e\u200b\u81ea\u5df1\u200b\u7684\u200b\u60c5\u51b5\u200b\u8fdb\u884c\u200b\u9009\u62e9\u200b\u3002</p>"},{"location":"reference/tunnel-protocol/#geneve","title":"Geneve","text":"<p><code>Geneve</code> \u200b\u534f\u8bae\u200b\u4e3a\u200b Kube-OVN \u200b\u90e8\u7f72\u200b\u65f6\u200b\u9009\u62e9\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\uff0c\u200b\u4e5f\u200b\u662f\u200b OVN \u200b\u9ed8\u8ba4\u200b\u63a8\u8350\u200b\u7684\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\u3002\u200b\u8be5\u200b\u534f\u8bae\u200b\u5728\u200b\u5185\u6838\u200b\u4e2d\u200b\u5f97\u5230\u200b\u4e86\u200b\u5e7f\u6cdb\u200b\u7684\u200b\u652f\u6301\u200b\uff0c \u200b\u5e76\u200b\u53ef\u4ee5\u200b\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u7684\u200b\u901a\u7528\u200b Offload \u200b\u80fd\u529b\u200b\u8fdb\u884c\u200b\u52a0\u901f\u200b\u3002\u200b\u7531\u4e8e\u200b <code>Geneve</code> \u200b\u6709\u7740\u200b\u53ef\u53d8\u200b\u957f\u200b\u7684\u200b\u5934\u90e8\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b 24bit \u200b\u7a7a\u95f4\u200b\u6765\u200b\u6807\u5fd7\u200b\u4e0d\u540c\u200b\u7684\u200b datapath \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u521b\u5efa\u200b\u66f4\u200b\u591a\u200b\u6570\u91cf\u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b Mellanox \u200b\u6216\u200b\u82af\u542f\u6e90\u200b\u7684\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b OVS \u200b\u5378\u8f7d\u200b\uff0c<code>Geneve</code> \u200b\u9700\u8981\u200b\u8f83\u200b\u9ad8\u200b\u7248\u672c\u200b\u7684\u200b\u5185\u6838\u200b\u652f\u6301\u200b\uff0c\u200b\u9700\u8981\u200b\u9009\u62e9\u200b 5.4 \u200b\u4ee5\u4e0a\u200b\u7684\u200b\u4e0a\u6e38\u200b\u5185\u6838\u200b\uff0c \u200b\u6216\u200b backport \u200b\u4e86\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u5176\u4ed6\u200b\u517c\u5bb9\u200b\u5185\u6838\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u4f7f\u7528\u200b UDP \u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u8be5\u200b\u534f\u8bae\u200b\u5728\u200b\u5904\u7406\u200b TCP over UDP \u200b\u65f6\u200b\u4e0d\u80fd\u200b\u5f88\u200b\u597d\u200b\u7684\u200b\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u7684\u200b TCP \u200b\u76f8\u5173\u200b\u5378\u8f7d\u200b\uff0c\u200b\u5728\u200b\u5904\u7406\u200b\u5927\u5305\u200b\u65f6\u4f1a\u200b\u6d88\u8017\u200b\u8f83\u200b\u591a\u200b CPU \u200b\u8d44\u6e90\u200b\u3002</p>"},{"location":"reference/tunnel-protocol/#vxlan","title":"Vxlan","text":"<p><code>Vxlan</code> \u200b\u4e3a\u200b\u4e0a\u6e38\u200b OVN \u200b\u8fd1\u671f\u200b\u652f\u6301\u200b\u7684\u200b\u534f\u8bae\u200b\uff0c\u200b\u8be5\u200b\u534f\u8bae\u200b\u5728\u200b\u5185\u6838\u200b\u4e2d\u200b\u5f97\u5230\u200b\u4e86\u200b\u5e7f\u6cdb\u200b\u7684\u200b\u652f\u6301\u200b\uff0c \u200b\u5e76\u200b\u53ef\u4ee5\u200b\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u7684\u200b\u901a\u7528\u200b Offload \u200b\u80fd\u529b\u200b\u8fdb\u884c\u200b\u52a0\u901f\u200b\u3002 \u200b\u7531\u4e8e\u200b\u8be5\u200b\u534f\u8bae\u200b\u5934\u90e8\u200b\u957f\u5ea6\u200b\u6709\u9650\u200b\uff0c\u200b\u5e76\u4e14\u200b OVN \u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u7684\u200b\u7a7a\u95f4\u200b\u8fdb\u884c\u200b\u7f16\u6392\u200b\uff0cdatapath \u200b\u7684\u200b\u6570\u91cf\u200b\u5b58\u5728\u200b\u9650\u5236\u200b\uff0c\u200b\u6700\u200b\u591a\u200b\u53ea\u80fd\u200b\u521b\u5efa\u200b 4096 \u200b\u4e2a\u200b datapath\uff0c \u200b\u6bcf\u4e2a\u200b datapath \u200b\u4e0b\u200b\u6700\u200b\u591a\u200b 4096 \u200b\u4e2a\u200b\u7aef\u53e3\u200b\u3002\u200b\u540c\u65f6\u200b\u7531\u4e8e\u200b\u7a7a\u95f4\u200b\u6709\u9650\u200b\uff0c\u200b\u57fa\u4e8e\u200b <code>inport</code> \u200b\u7684\u200b ACL \u200b\u6ca1\u6709\u200b\u8fdb\u884c\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b Mellanox \u200b\u6216\u200b\u82af\u542f\u6e90\u200b\u7684\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b OVS \u200b\u5378\u8f7d\u200b\uff0c<code>Vxlan</code> \u200b\u7684\u200b\u5378\u8f7d\u200b\u5728\u200b\u5e38\u89c1\u200b\u5185\u6838\u200b\u4e2d\u200b\u5df2\u200b\u83b7\u5f97\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u4f7f\u7528\u200b UDP \u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u8be5\u200b\u534f\u8bae\u200b\u5728\u200b\u5904\u7406\u200b TCP over UDP \u200b\u65f6\u200b\u4e0d\u80fd\u200b\u5f88\u200b\u597d\u200b\u7684\u200b\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u7684\u200b TCP \u200b\u76f8\u5173\u200b\u5378\u8f7d\u200b\uff0c\u200b\u5728\u200b\u5904\u7406\u200b\u5927\u5305\u200b\u65f6\u4f1a\u200b\u6d88\u8017\u200b\u8f83\u200b\u591a\u200b CPU \u200b\u8d44\u6e90\u200b\u3002</p>"},{"location":"reference/tunnel-protocol/#stt","title":"STT","text":"<p><code>STT</code> \u200b\u534f\u8bae\u200b\u4e3a\u200b OVN \u200b\u8f83\u200b\u65e9\u200b\u652f\u6301\u200b\u7684\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\uff0c\u200b\u8be5\u200b\u534f\u8bae\u200b\u4f7f\u7528\u200b\u7c7b\u200b TCP \u200b\u7684\u200b\u5934\u90e8\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5145\u5206\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u901a\u7528\u200b\u7684\u200b TCP \u200b\u5378\u8f7d\u200b\u80fd\u529b\u200b\uff0c\u200b\u5927\u5e45\u200b\u63d0\u5347\u200b TCP \u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u3002\u200b\u540c\u65f6\u200b\u8be5\u200b\u534f\u8bae\u200b\u5934\u90e8\u200b\u8f83\u957f\u200b\u53ef\u200b\u652f\u6301\u200b\u5b8c\u6574\u200b\u7684\u200b OVN \u200b\u80fd\u529b\u200b\u548c\u200b\u5927\u89c4\u6a21\u200b\u7684\u200b datapath\u3002</p> <p>\u200b\u8be5\u200b\u534f\u8bae\u200b\u672a\u200b\u5728\u200b\u5185\u6838\u200b\u4e2d\u200b\u652f\u6301\u200b\uff0c\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u9700\u8981\u200b\u989d\u5916\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\uff0c\u200b\u5e76\u200b\u5728\u200b\u5347\u7ea7\u200b\u5185\u6838\u200b\u65f6\u200b\u5bf9\u5e94\u200b\u518d\u6b21\u200b\u7f16\u8bd1\u200b\u65b0\u200b\u7248\u672c\u200b\u5185\u6838\u6a21\u5757\u200b\u3002</p> <p>\u200b\u8be5\u200b\u534f\u8bae\u200b\u76ee\u524d\u200b\u672a\u200b\u88ab\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b\u652f\u6301\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b OVS \u200b\u7684\u200b\u5378\u8f7d\u200b\u80fd\u529b\u200b\u3002</p>"},{"location":"reference/tunnel-protocol/#_2","title":"\u53c2\u8003\u8d44\u6599","text":"<ul> <li>https://ipwithease.com/vxlan-vs-geneve-understand-the-difference/</li> <li>OVN FAQ</li> <li>What is Geneve</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/underlay-topology/","title":"Underlay \u200b\u6d41\u91cf\u200b\u62d3\u6251","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u6d41\u91cf\u200b\u5728\u200b\u4e0d\u540c\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u7684\u200b\u8f6c\u53d1\u200b\u8def\u5f84\u200b\u3002</p>"},{"location":"reference/underlay-topology/#_1","title":"\u540c\u200b\u8282\u70b9\u200b\u540c\u200b\u5b50\u7f51","text":"<p>\u200b\u5185\u90e8\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u76f4\u63a5\u200b\u4ea4\u6362\u200b\u6570\u636e\u5305\u200b\uff0c\u200b\u4e0d\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u3002</p> <p></p>"},{"location":"reference/underlay-topology/#_2","title":"\u8de8\u200b\u8282\u70b9\u200b\u540c\u200b\u5b50\u7f51","text":"<p>\u200b\u6570\u636e\u5305\u200b\u7ecf\u7531\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\uff0c\u200b\u7531\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u8fdb\u884c\u200b\u4ea4\u6362\u200b\u3002</p> <p></p>"},{"location":"reference/underlay-topology/#_3","title":"\u540c\u200b\u8282\u70b9\u200b\u4e0d\u540c\u200b\u5b50\u7f51","text":"<p>\u200b\u6570\u636e\u5305\u200b\u7ecf\u7531\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7531\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u53ca\u200b\u8def\u7531\u5668\u200b\u8fdb\u884c\u200b\u4ea4\u6362\u200b\u548c\u200b\u8def\u7531\u200b\u8f6c\u53d1\u200b\u3002</p> <p></p> <p>\u200b\u6b64\u5904\u200b br-provider-1 \u200b\u548c\u200b br-provider-2 \u200b\u53ef\u4ee5\u200b\u662f\u200b\u540c\u4e00\u4e2a\u200b OVS \u200b\u7f51\u6865\u200b\uff0c\u200b\u5373\u200b\u591a\u4e2a\u200b\u4e0d\u540c\u200b\u5b50\u7f51\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u540c\u4e00\u4e2a\u200b Provider Network\u3002</p>"},{"location":"reference/underlay-topology/#_4","title":"\u8de8\u200b\u8282\u70b9\u200b\u4e0d\u540c\u200b\u5b50\u7f51","text":"<p>\u200b\u6570\u636e\u5305\u200b\u7ecf\u7531\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7531\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u53ca\u200b\u8def\u7531\u5668\u200b\u8fdb\u884c\u200b\u4ea4\u6362\u200b\u548c\u200b\u8def\u7531\u200b\u8f6c\u53d1\u200b\u3002</p> <p></p>"},{"location":"reference/underlay-topology/#_5","title":"\u8bbf\u95ee\u200b\u5916\u90e8","text":"<p>\u200b\u6570\u636e\u5305\u200b\u7ecf\u7531\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7531\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u53ca\u200b\u8def\u7531\u5668\u200b\u8fdb\u884c\u200b\u4ea4\u6362\u200b\u548c\u200b\u8def\u7531\u200b\u8f6c\u53d1\u200b\u3002</p> <p></p> <p>\u200b\u8282\u70b9\u200b\u4e0e\u200b Pod \u200b\u4e4b\u95f4\u200b\u7684\u200b\u901a\u4fe1\u200b\u5927\u4f53\u4e0a\u200b\u4e5f\u200b\u9075\u5faa\u200b\u6b64\u200b\u903b\u8f91\u200b\u3002</p>"},{"location":"reference/underlay-topology/#vlan-tag","title":"\u65e0\u200b Vlan Tag \u200b\u4e0b\u200b\u603b\u89c8","text":""},{"location":"reference/underlay-topology/#vlan","title":"\u591a\u200b VLAN \u200b\u603b\u89c8","text":""},{"location":"reference/underlay-topology/#pod-service-ip","title":"Pod \u200b\u8bbf\u95ee\u200b Service IP","text":"<p>Kube-OVN \u200b\u4e3a\u200b\u6bcf\u4e2a\u200b Kubernetes Service \u200b\u5728\u200b\u6bcf\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u4e0a\u200b\u914d\u7f6e\u200b\u4e86\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u3002 \u200b\u5f53\u200b Pod \u200b\u901a\u8fc7\u200b\u8bbf\u95ee\u200b Service IP \u200b\u8bbf\u95ee\u200b\u5176\u5b83\u200b Pod \u200b\u65f6\u200b\uff0c\u200b\u4f1a\u200b\u6784\u9020\u200b\u4e00\u4e2a\u200b\u76ee\u7684\u200b\u5730\u5740\u200b\u4e3a\u200b Service IP\u3001\u200b\u76ee\u7684\u200b MAC \u200b\u5730\u5740\u200b\u4e3a\u200b\u7f51\u5173\u200b MAC \u200b\u5730\u5740\u200b\u7684\u200b\u7f51\u7edc\u200b\u5305\u200b\u3002 \u200b\u7f51\u7edc\u200b\u5305\u200b\u8fdb\u5165\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u540e\u200b\uff0c\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u4f1a\u200b\u5bf9\u200b\u7f51\u7edc\u200b\u5305\u200b\u8fdb\u884c\u200b\u62e6\u622a\u200b\u548c\u200b DNAT \u200b\u5904\u7406\u200b\uff0c\u200b\u5c06\u200b\u76ee\u7684\u200b IP \u200b\u548c\u200b\u7aef\u53e3\u200b\u4fee\u6539\u200b\u4e3a\u200b Service \u200b\u5bf9\u5e94\u200b\u7684\u200b\u67d0\u4e2a\u200b Endpoint \u200b\u7684\u200b IP \u200b\u548c\u200b\u7aef\u53e3\u200b\u3002 \u200b\u7531\u4e8e\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u5e76\u672a\u200b\u4fee\u6539\u200b\u7f51\u7edc\u200b\u5305\u200b\u7684\u200b\u4e8c\u5c42\u200b\u76ee\u7684\u200b MAC \u200b\u5730\u5740\u200b\uff0c\u200b\u7f51\u7edc\u200b\u5305\u200b\u5728\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u540e\u200b\u4ecd\u7136\u200b\u4f1a\u200b\u9001\u5230\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\uff0c\u200b\u6b64\u65f6\u200b\u9700\u8981\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u5bf9\u200b\u7f51\u7edc\u200b\u5305\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\u3002</p>"},{"location":"reference/underlay-topology/#service-pod","title":"Service \u200b\u540e\u7aef\u200b\u4e3a\u200b\u540c\u200b\u8282\u70b9\u200b\u540c\u200b\u5b50\u7f51\u200b Pod","text":""},{"location":"reference/underlay-topology/#service-pod_1","title":"Service \u200b\u540e\u7aef\u200b\u4e3a\u200b\u540c\u200b\u8282\u70b9\u200b\u4e0d\u540c\u200b\u5b50\u7f51\u200b Pod","text":"<p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/one-step-install/","title":"\u4e00\u952e\u200b\u5b89\u88c5","text":"<p>Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u4f60\u200b\u5feb\u901f\u200b\u5b89\u88c5\u200b\u4e00\u4e2a\u200b\u9ad8\u200b\u53ef\u7528\u200b\uff0c\u200b\u751f\u4ea7\u200b\u5c31\u7eea\u200b\u7684\u200b Kube-OVN \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u90e8\u7f72\u200b\u4e3a\u200b Overlay \u200b\u7c7b\u578b\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u4ece\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c\u200b\u652f\u6301\u200b Helm Chart \u200b\u5b89\u88c5\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u90e8\u7f72\u200b\u4e3a\u200b Overlay \u200b\u7c7b\u578b\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u9ed8\u8ba4\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u642d\u5efa\u200b Underlay/Vlan \u200b\u7f51\u7edc\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b Underlay \u200b\u7f51\u7edc\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u53c2\u8003\u200b\u51c6\u5907\u200b\u5de5\u4f5c\u200b\u786e\u8ba4\u200b\u73af\u5883\u200b\u914d\u7f6e\u200b\u6b63\u786e\u200b\u3002</p>"},{"location":"start/one-step-install/#_2","title":"\u811a\u672c\u200b\u5b89\u88c5","text":""},{"location":"start/one-step-install/#_3","title":"\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c","text":"<p>\u200b\u6211\u4eec\u200b\u63a8\u8350\u200b\u5728\u200b\u751f\u4ea7\u200b\u73af\u5883\u200b\u4f7f\u7528\u200b\u7a33\u5b9a\u200b\u7684\u200b release \u200b\u7248\u672c\u200b\uff0c\u200b\u8bf7\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u200b\u7a33\u5b9a\u200b\u7248\u672c\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u5982\u679c\u200b\u5bf9\u200b master \u200b\u5206\u652f\u200b\u7684\u200b\u6700\u65b0\u200b\u529f\u80fd\u200b\u611f\u5174\u8da3\u200b\uff0c\u200b\u60f3\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u200b\u5f00\u53d1\u200b\u7248\u672c\u200b\u90e8\u7f72\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre>"},{"location":"start/one-step-install/#_4","title":"\u4fee\u6539\u200b\u914d\u7f6e\u200b\u53c2\u6570","text":"<p>\u200b\u4f7f\u7528\u200b\u7f16\u8f91\u5668\u200b\u6253\u5f00\u200b\u811a\u672c\u200b\uff0c\u200b\u5e76\u200b\u4fee\u6539\u200b\u4e0b\u5217\u200b\u53d8\u91cf\u200b\u4e3a\u200b\u9884\u671f\u200b\u503c\u200b\uff1a</p> <pre><code>REGISTRY=\"kubeovn\"                     # \u200b\u955c\u50cf\u200b\u4ed3\u5e93\u200b\u5730\u5740\u200b\nVERSION=\"v1.13.0\"                      # \u200b\u955c\u50cf\u200b\u7248\u672c\u200b/Tag\nPOD_CIDR=\"10.16.0.0/16\"                # \u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u8981\u200b\u548c\u200b SVC/NODE/JOIN CIDR \u200b\u91cd\u53e0\u200b\nSVC_CIDR=\"10.96.0.0/12\"                # \u200b\u9700\u8981\u200b\u548c\u200b apiserver \u200b\u7684\u200b service-cluster-ip-range \u200b\u4fdd\u6301\u4e00\u81f4\u200b\nJOIN_CIDR=\"100.64.0.0/16\"              # Pod \u200b\u548c\u200b\u4e3b\u673a\u200b\u901a\u4fe1\u200b\u7f51\u7edc\u200b CIDR\uff0c\u200b\u4e0d\u8981\u200b\u548c\u200b SVC/NODE/POD CIDR \u200b\u91cd\u53e0\u200b \nLABEL=\"node-role.kubernetes.io/master\" # \u200b\u90e8\u7f72\u200b OVN DB \u200b\u8282\u70b9\u200b\u7684\u200b\u6807\u7b7e\u200b\nIFACE=\"\"                               # \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u6240\u200b\u4f7f\u7528\u200b\u7684\u200b\u7684\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u5982\u679c\u200b\u4e3a\u200b\u7a7a\u5219\u200b\u4f7f\u7528\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b Node IP \u200b\u6240\u5728\u200b\u7f51\u5361\u200b\nTUNNEL_TYPE=\"geneve\"                   # \u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\uff0c\u200b\u53ef\u200b\u9009\u200b geneve, vxlan \u200b\u6216\u200b stt\uff0cstt \u200b\u9700\u8981\u200b\u5355\u72ec\u200b\u7f16\u8bd1\u200b ovs \u200b\u5185\u6838\u6a21\u5757\u200b\n</code></pre> <p>\u200b\u53ef\u200b\u4f7f\u7528\u200b\u6b63\u5219\u8868\u8fbe\u5f0f\u200b\u6765\u200b\u5339\u914d\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u4f8b\u5982\u200b <code>IFACE=enp6s0f0,eth.*</code>\u3002</p>"},{"location":"start/one-step-install/#_5","title":"\u6267\u884c\u200b\u5b89\u88c5\u200b\u811a\u672c","text":"<p><code>bash install.sh</code></p> <p>\u200b\u7b49\u5f85\u200b\u5b89\u88c5\u200b\u5b8c\u6210\u200b\u3002</p>"},{"location":"start/one-step-install/#helm-chart","title":"Helm Chart \u200b\u5b89\u88c5","text":"<p>\u200b\u7531\u4e8e\u200b Kube-OVN \u200b\u7684\u200b\u5b89\u88c5\u200b\uff0c\u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e00\u4e9b\u200b\u53c2\u6570\u200b\uff0c\u200b\u56e0\u6b64\u200b\u4f7f\u7528\u200b Helm \u200b\u5b89\u88c5\u200b Kube-OVN\uff0c\u200b\u9700\u8981\u200b\u6309\u7167\u200b\u4ee5\u4e0b\u200b\u6b65\u9aa4\u200b\u6267\u884c\u200b\u3002</p>"},{"location":"start/one-step-install/#ip","title":"\u67e5\u770b\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740","text":"<pre><code>$ kubectl get node -o wide\nNAME                     STATUS     ROLES           AGE   VERSION   INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION      CONTAINER-RUNTIME\nkube-ovn-control-plane   NotReady   control-plane   20h   v1.26.0   172.18.0.3    &lt;none&gt;        Ubuntu 22.04.1 LTS   5.10.104-linuxkit   containerd://1.6.9\nkube-ovn-worker          NotReady   &lt;none&gt;          20h   v1.26.0   172.18.0.2    &lt;none&gt;        Ubuntu 22.04.1 LTS   5.10.104-linuxkit   containerd://1.6.9\n</code></pre>"},{"location":"start/one-step-install/#master","title":"\u53bb\u6389\u200b\u96c6\u7fa4\u200b master \u200b\u8282\u70b9\u200b\u6c61\u70b9","text":"<pre><code>$ kubectl taint node kube-ovn-control-plane node-role.kubernetes.io/control-plane:NoSchedule-\nnode/kube-ovn-control-plane untainted\n</code></pre> <p>\u200b\u5982\u679c\u200b\u786e\u5b9a\u200b\u4e0d\u200b\u9700\u8981\u200b\u5728\u200b master \u200b\u8282\u70b9\u200b\u8c03\u5ea6\u200b\u4e1a\u52a1\u200b Pod\uff0c\u200b\u8fd9\u200b\u4e00\u6b65\u200b\u53ef\u4ee5\u200b\u8df3\u8fc7\u200b\u3002</p>"},{"location":"start/one-step-install/#label","title":"\u7ed9\u200b\u8282\u70b9\u200b\u6dfb\u52a0\u200b label","text":"<pre><code>$ kubectl label node -lbeta.kubernetes.io/os=linux kubernetes.io/os=linux --overwrite\nnode/kube-ovn-control-plane not labeled\nnode/kube-ovn-worker not labeled\n\n$ kubectl label node -lnode-role.kubernetes.io/control-plane kube-ovn/role=master --overwrite\nnode/kube-ovn-control-plane labeled\n\n# \u200b\u4ee5\u4e0b\u200b label \u200b\u7528\u4e8e\u200b dpdk \u200b\u955c\u50cf\u200b\u7684\u200b\u5b89\u88c5\u200b\uff0c\u200b\u975e\u200b dpdk \u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5ffd\u7565\u200b\n$ kubectl label node -lovn.kubernetes.io/ovs_dp_type!=userspace ovn.kubernetes.io/ovs_dp_type=kernel --overwrite\nnode/kube-ovn-control-plane labeled\nnode/kube-ovn-worker labeled\n</code></pre>"},{"location":"start/one-step-install/#helm-repo","title":"\u6dfb\u52a0\u200b Helm Repo \u200b\u4fe1\u606f","text":"<pre><code>$ helm repo add kubeovn https://kubeovn.github.io/kube-ovn/\n\"kubeovn\" has been added to your repositories\n\n$ helm repo list\nNAME            URL\nkubeovn         https://kubeovn.github.io/kube-ovn/\n\n$ helm search repo kubeovn\nNAME                CHART VERSION   APP VERSION DESCRIPTION\nkubeovn/kube-ovn    0.1.0           1.12.0      Helm chart for Kube-OVN\n</code></pre>"},{"location":"start/one-step-install/#helm-install-kube-ovn","title":"\u6267\u884c\u200b helm install \u200b\u5b89\u88c5\u200b Kube-OVN","text":"<p>Node0IP\u3001Node1IP\u3001Node2IP \u200b\u53c2\u6570\u200b\u5206\u522b\u200b\u4e3a\u200b\u96c6\u7fa4\u200b master \u200b\u8282\u70b9\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002\u200b\u5176\u4ed6\u200b\u53c2\u6570\u200b\u7684\u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b values.yaml \u200b\u6587\u4ef6\u200b\u4e2d\u200b\u53d8\u91cf\u200b\u5b9a\u4e49\u200b\u3002</p> <pre><code># \u200b\u5355\u200b master \u200b\u8282\u70b9\u200b\u73af\u5883\u200b\u5b89\u88c5\u200b\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=${Node0IP}\n\n# \u200b\u4ee5\u4e0a\u200b\u8fb9\u200b\u7684\u200b node \u200b\u4fe1\u606f\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u6267\u884c\u200b\u5b89\u88c5\u200b\u547d\u4ee4\u200b\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=172.18.0.3\nNAME: kube-ovn\nLAST DEPLOYED: Fri Mar 31 12:43:43 2023\nNAMESPACE: default\nSTATUS: deployed\nREVISION: 1\nTEST SUITE: None\n\n# \u200b\u9ad8\u200b\u53ef\u7528\u200b\u96c6\u7fa4\u200b\u5b89\u88c5\u200b\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=${Node0IP}\\,${Node1IP}\\,${Node2IP}\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/prepare/","title":"\u51c6\u5907\u200b\u5de5\u4f5c","text":"<p>Kube-OVN \u200b\u662f\u200b\u4e00\u4e2a\u200b\u7b26\u5408\u200b CNI \u200b\u89c4\u8303\u200b\u7684\u200b\u7f51\u7edc\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u5176\u200b\u8fd0\u884c\u200b\u9700\u8981\u200b\u4f9d\u8d56\u200b Kubernetes \u200b\u73af\u5883\u200b\u53ca\u200b\u5bf9\u5e94\u200b\u7684\u200b\u5185\u6838\u200b\u7f51\u7edc\u200b\u6a21\u5757\u200b\u3002 \u200b\u4ee5\u4e0b\u200b\u662f\u200b\u901a\u8fc7\u200b\u6d4b\u8bd5\u200b\u7684\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u548c\u200b\u8f6f\u4ef6\u200b\u7248\u672c\u200b\uff0c\u200b\u73af\u5883\u200b\u914d\u7f6e\u200b\u548c\u200b\u6240\u200b\u9700\u8981\u200b\u5f00\u653e\u200b\u7684\u200b\u7aef\u53e3\u200b\u4fe1\u606f\u200b\u3002</p>"},{"location":"start/prepare/#_2","title":"\u8f6f\u4ef6\u200b\u7248\u672c","text":"<ul> <li>Kubernetes &gt;= 1.23\u3002</li> <li>Docker &gt;= 1.12.6, Containerd &gt;= 1.3.4\u3002</li> <li>\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b: CentOS 7/8, Ubuntu 16.04/18.04/20.04\u3002</li> <li>\u200b\u5176\u4ed6\u200b Linux \u200b\u53d1\u884c\u7248\u200b\uff0c\u200b\u9700\u8981\u200b\u68c0\u67e5\u4e00\u4e0b\u200b\u5185\u6838\u6a21\u5757\u200b\u662f\u5426\u200b\u5b58\u5728\u200b <code>geneve</code>, <code>openvswitch</code>, <code>ip_tables</code> \u200b\u548c\u200b <code>iptable_nat</code>\uff0cKube-OVN \u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\u4f9d\u8d56\u200b\u4e0a\u8ff0\u200b\u6a21\u5757\u200b\u3002</li> </ul> <p>\u200b\u6ce8\u610f\u4e8b\u9879\u200b\uff1a</p> <ol> <li>\u200b\u5982\u679c\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u4e3a\u200b 3.10.0-862 \u200b\u5185\u6838\u200b <code>netfilter</code> \u200b\u6a21\u5757\u200b\u5b58\u5728\u200b bug \u200b\u4f1a\u200b\u5bfc\u81f4\u200b Kube-OVN \u200b\u5185\u7f6e\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u65e0\u6cd5\u200b\u5de5\u4f5c\u200b\uff0c\u200b\u9700\u8981\u200b\u5bf9\u200b\u5185\u6838\u200b\u5347\u7ea7\u200b\uff0c\u200b\u5efa\u8bae\u200b\u4f7f\u7528\u200b CentOS \u200b\u5b98\u65b9\u200b\u5bf9\u5e94\u200b\u7248\u672c\u200b\u6700\u65b0\u200b\u5185\u6838\u200b\u4fdd\u8bc1\u7cfb\u7edf\u200b\u7684\u200b\u5b89\u5168\u200b\u3002\u200b\u76f8\u5173\u200b\u5185\u6838\u200b bug \u200b\u53c2\u8003\u200b Floating IPs broken after kernel upgrade to Centos/RHEL 7.5 - DNAT not working\u3002</li> <li>Rocky Linux 8.6 \u200b\u7684\u200b\u5185\u6838\u200b 4.18.0-372.9.1.el8.x86_64 \u200b\u5b58\u5728\u200b TCP \u200b\u901a\u4fe1\u200b\u95ee\u9898\u200b TCP connection failed in Rocky Linux 8.6\uff0c\u200b\u8bf7\u200b\u5347\u7ea7\u200b\u5185\u6838\u200b\u81f3\u200b 4.18.0-372.13.1.el8_6.x86_64 \u200b\u6216\u200b\u66f4\u200b\u9ad8\u200b\u7248\u672c\u200b\u3002</li> <li>\u200b\u5982\u679c\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u4e3a\u200b 4.4 \u200b\u5219\u200b\u5bf9\u5e94\u200b\u7684\u200b\u5185\u6838\u200b <code>openvswitch</code> \u200b\u6a21\u5757\u200b\u5b58\u5728\u200b\u95ee\u9898\u200b\uff0c\u200b\u5efa\u8bae\u200b\u5347\u7ea7\u200b\u6216\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b <code>openvswitch</code> \u200b\u65b0\u200b\u7248\u672c\u200b\u6a21\u5757\u200b\u8fdb\u884c\u200b\u66f4\u65b0\u200b</li> <li>Geneve \u200b\u96a7\u9053\u200b\u5efa\u7acb\u200b\u9700\u8981\u200b\u68c0\u67e5\u200b IPv6\uff0c\u200b\u53ef\u200b\u901a\u8fc7\u200b <code>cat /proc/cmdline</code> \u200b\u68c0\u67e5\u200b\u5185\u6838\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\uff0c \u200b\u76f8\u5173\u200b\u5185\u6838\u200b bug \u200b\u8bf7\u200b\u53c2\u8003\u200b Geneve tunnels don't work when ipv6 is disabled\u3002</li> </ol>"},{"location":"start/prepare/#_3","title":"\u73af\u5883\u200b\u914d\u7f6e","text":"<ul> <li>Kernel \u200b\u542f\u52a8\u200b\u9700\u8981\u200b\u5f00\u542f\u200b IPv6, \u200b\u5982\u679c\u200b kernel \u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u5305\u542b\u200b <code>ipv6.disable=1</code> \u200b\u9700\u8981\u200b\u5c06\u200b\u5176\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b 0\u3002</li> <li><code>kube-proxy</code> \u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\uff0cKube-OVN \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Service ClusterIP \u200b\u8bbf\u95ee\u200b\u5230\u200b <code>kube-apiserver</code>\u3002</li> <li>\u200b\u786e\u8ba4\u200b kubelet \u200b\u914d\u7f6e\u200b\u53c2\u6570\u200b\u5f00\u542f\u200b\u4e86\u200b CNI\uff0c\u200b\u5e76\u4e14\u200b\u914d\u7f6e\u200b\u5728\u200b\u6807\u51c6\u200b\u8def\u5f84\u200b\u4e0b\u200b, kubelet \u200b\u542f\u52a8\u200b\u65f6\u5e94\u200b\u5305\u542b\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b <code>--network-plugin=cni --cni-bin-dir=/opt/cni/bin --cni-conf-dir=/etc/cni/net.d</code>\u3002</li> <li>\u200b\u786e\u8ba4\u200b\u672a\u200b\u5b89\u88c5\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u6216\u8005\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u5df2\u7ecf\u200b\u88ab\u200b\u6e05\u9664\u200b\uff0c\u200b\u68c0\u67e5\u200b <code>/etc/cni/net.d/</code> \u200b\u8def\u5f84\u200b\u4e0b\u200b\u65e0\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u914d\u7f6e\u6587\u4ef6\u200b\u3002\u200b\u5982\u679c\u200b\u4e4b\u524d\u200b\u5b89\u88c5\u200b\u8fc7\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u5efa\u8bae\u200b\u5220\u9664\u200b\u540e\u200b\u91cd\u542f\u200b\u673a\u5668\u200b\u6e05\u7406\u200b\u6b8b\u7559\u200b\u7f51\u7edc\u8d44\u6e90\u200b\u3002</li> </ul>"},{"location":"start/prepare/#_4","title":"\u7aef\u53e3\u200b\u4fe1\u606f","text":"\u7ec4\u4ef6\u200b \u200b\u7aef\u53e3\u200b \u200b\u7528\u9014\u200b ovn-central 6641/tcp, 6642/tcp, 6643/tcp, 6644/tcp ovn-db \u200b\u548c\u200b raft server \u200b\u76d1\u542c\u200b\u7aef\u53e3\u200b ovs-ovn Geneve 6081/udp, STT 7471/tcp, Vxlan 4789/udp \u200b\u96a7\u9053\u200b\u7aef\u53e3\u200b kube-ovn-controller 10660/tcp \u200b\u76d1\u63a7\u200b\u76d1\u542c\u200b\u7aef\u53e3\u200b kube-ovn-daemon 10665/tcp \u200b\u76d1\u63a7\u200b\u76d1\u542c\u200b\u7aef\u53e3\u200b kube-ovn-monitor 10661/tcp \u200b\u76d1\u63a7\u200b\u76d1\u542c\u200b\u7aef\u53e3\u200b <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/sealos-install/","title":"\u4f7f\u7528\u200b sealos \u200b\u4e00\u952e\u200b\u90e8\u7f72\u200b Kubernetes \u200b\u548c\u200b Kube-OVN","text":"<p>sealos \u200b\u4f5c\u4e3a\u200b Kubernetes \u200b\u7684\u200b\u4e00\u4e2a\u200b\u53d1\u884c\u7248\u200b\uff0c\u200b\u901a\u8fc7\u200b\u6781\u7b80\u200b\u7684\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u548c\u200b\u56fd\u5185\u200b\u7684\u200b\u955c\u50cf\u200b\u4ed3\u5e93\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u7528\u6237\u200b\u5feb\u901f\u200b\u4ece\u200b\u96f6\u200b\u521d\u59cb\u5316\u200b\u4e00\u4e2a\u200b\u5bb9\u5668\u200b\u96c6\u7fa4\u200b\u3002 \u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b sealos \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4e00\u6761\u200b\u547d\u4ee4\u200b\u5728\u200b\u51e0\u5206\u949f\u200b\u5185\u200b\u90e8\u7f72\u200b\u51fa\u200b\u4e00\u4e2a\u200b\u5b89\u88c5\u200b\u597d\u200b Kube-OVN \u200b\u7684\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u3002</p>"},{"location":"start/sealos-install/#sealos","title":"\u4e0b\u8f7d\u5b89\u88c5\u200b sealos","text":"AMD64 ARM64 <pre><code>wget  https://github.com/labring/sealos/releases/download/v4.1.4/sealos_4.1.4_linux_amd64.tar.gz  &amp;&amp; \\\ntar -zxvf sealos_4.1.4_linux_amd64.tar.gz sealos &amp;&amp;  chmod +x sealos &amp;&amp; mv sealos /usr/bin\n</code></pre> <pre><code>wget  https://github.com/labring/sealos/releases/download/v4.1.4/sealos_4.1.4_linux_arm64.tar.gz  &amp;&amp; \\\ntar -zxvf sealos_4.1.4_linux_arm64.tar.gz sealos &amp;&amp;  chmod +x sealos &amp;&amp; mv sealos /usr/bin\n</code></pre>"},{"location":"start/sealos-install/#kubernetes-kube-ovn","title":"\u90e8\u7f72\u200b Kubernetes \u200b\u548c\u200b Kube-OVN","text":"<pre><code>```bash\nsealos run labring/kubernetes:v1.24.3 labring/kube-ovn:v1.10.5 \\\n  --masters [masters ips seperated by comma] \\\n  --nodes [nodes ips seperated by comma] -p [your-ssh-passwd]\n```\n</code></pre>"},{"location":"start/sealos-install/#_1","title":"\u7b49\u5f85\u200b\u90e8\u7f72\u200b\u5b8c\u6210","text":"<pre><code>```bash\n[Step 6/6] Finish\n\n                    ,,,,\n                    ,::,\n                   ,,::,,,,\n            ,,,,,::::::::::::,,,,,\n         ,,,::::::::::::::::::::::,,,\n       ,,::::::::::::::::::::::::::::,,\n     ,,::::::::::::::::::::::::::::::::,,\n    ,::::::::::::::::::::::::::::::::::::,\n   ,:::::::::::::,,   ,,:::::,,,::::::::::,\n ,,:::::::::::::,       ,::,     ,:::::::::,\n ,:::::::::::::,   :x,  ,::  :,   ,:::::::::,\n,:::::::::::::::,  ,,,  ,::, ,,  ,::::::::::,\n,:::::::::::::::::,,,,,,:::::,,,,::::::::::::,    ,:,   ,:,            ,xx,                            ,:::::,   ,:,     ,:: :::,    ,x\n,::::::::::::::::::::::::::::::::::::::::::::,    :x: ,:xx:        ,   :xx,                          :xxxxxxxxx, :xx,   ,xx:,xxxx,   :x\n,::::::::::::::::::::::::::::::::::::::::::::,    :xxxxx:,  ,xx,  :x:  :xxx:x::,  ::xxxx:           :xx:,  ,:xxx  :xx, ,xx: ,xxxxx:, :x\n,::::::::::::::::::::::::::::::::::::::::::::,    :xxxxx,   :xx,  :x:  :xxx,,:xx,:xx:,:xx, ,,,,,,,,,xxx,    ,xx:   :xx:xx:  ,xxx,:xx::x\n,::::::,,::::::::,,::::::::,,:::::::,,,::::::,    :x:,xxx:  ,xx,  :xx  :xx:  ,xx,xxxxxx:, ,xxxxxxx:,xxx:,  ,xxx,    :xxx:   ,xxx, :xxxx\n,::::,    ,::::,   ,:::::,   ,,::::,    ,::::,    :x:  ,:xx,,:xx::xxxx,,xxx::xx: :xx::::x: ,,,,,,   ,xxxxxxxxx,     ,xx:    ,xxx,  :xxx\n,::::,    ,::::,    ,::::,    ,::::,    ,::::,    ,:,    ,:,  ,,::,,:,  ,::::,,   ,:::::,            ,,:::::,        ,,      :x:    ,::\n,::::,    ,::::,    ,::::,    ,::::,    ,::::,\n ,,,,,    ,::::,    ,::::,    ,::::,    ,:::,             ,,,,,,,,,,,,,\n          ,::::,    ,::::,    ,::::,    ,:::,        ,,,:::::::::::::::,\n          ,::::,    ,::::,    ,::::,    ,::::,  ,,,,:::::::::,,,,,,,:::,\n          ,::::,    ,::::,    ,::::,     ,::::::::::::,,,,,\n           ,,,,     ,::::,     ,,,,       ,,,::::,,,,\n                    ,::::,\n                    ,,::,\n\nThanks for choosing Kube-OVN!\nFor more advanced features, please read https://github.com/kubeovn/kube-ovn#documents\nIf you have any question, please file an issue https://github.com/kubeovn/kube-ovn/issues/new/choose\n2022-08-10T16:31:34 info succeeded in creating a new cluster, enjoy it!\n2022-08-10T16:31:34 info\n      ___           ___           ___           ___       ___           ___\n     /\\  \\         /\\  \\         /\\  \\         /\\__\\     /\\  \\         /\\  \\\n    /::\\  \\       /::\\  \\       /::\\  \\       /:/  /    /::\\  \\       /::\\  \\\n   /:/\\ \\  \\     /:/\\:\\  \\     /:/\\:\\  \\     /:/  /    /:/\\:\\  \\     /:/\\ \\  \\\n  _\\:\\~\\ \\  \\   /::\\~\\:\\  \\   /::\\~\\:\\  \\   /:/  /    /:/  \\:\\  \\   _\\:\\~\\ \\  \\\n /\\ \\:\\ \\ \\__\\ /:/\\:\\ \\:\\__\\ /:/\\:\\ \\:\\__\\ /:/__/    /:/__/ \\:\\__\\ /\\ \\:\\ \\ \\__\\\n \\:\\ \\:\\ \\/__/ \\:\\~\\:\\ \\/__/ \\/__\\:\\/:/  / \\:\\  \\    \\:\\  \\ /:/  / \\:\\ \\:\\ \\/__/\n  \\:\\ \\:\\__\\    \\:\\ \\:\\__\\        \\::/  /   \\:\\  \\    \\:\\  /:/  /   \\:\\ \\:\\__\\\n   \\:\\/:/  /     \\:\\ \\/__/        /:/  /     \\:\\  \\    \\:\\/:/  /     \\:\\/:/  /\n    \\::/  /       \\:\\__\\         /:/  /       \\:\\__\\    \\::/  /       \\::/  /\n     \\/__/         \\/__/         \\/__/         \\/__/     \\/__/         \\/__/\n\n                  Website :https://www.sealos.io/\n                  Address :github.com/labring/sealos\n```\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/underlay/","title":"Underlay \u200b\u7f51\u7edc\u200b\u5b89\u88c5","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Kube-OVN \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b Geneve \u200b\u5bf9\u200b\u8de8\u200b\u4e3b\u673a\u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u5728\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u4e4b\u4e0a\u200b\u62bd\u8c61\u200b\u51fa\u200b\u4e00\u5c42\u200b\u865a\u62df\u200b\u7684\u200b Overlay \u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5bf9\u4e8e\u200b\u5e0c\u671b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\u7269\u7406\u200b\u7f51\u7edc\u5730\u5740\u200b\u6bb5\u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5c06\u200b Kube-OVN \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u5de5\u4f5c\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u7ed9\u200b\u5bb9\u5668\u200b\u5206\u914d\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u4e2d\u200b\u7684\u200b\u5730\u5740\u200b\u8d44\u6e90\u200b\uff0c\u200b\u8fbe\u5230\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u4ee5\u53ca\u200b\u548c\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u3002</p> <p></p>"},{"location":"start/underlay/#_1","title":"\u529f\u80fd\u200b\u9650\u5236","text":"<p>\u200b\u7531\u4e8e\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u8fdb\u884c\u200b\u4e8c\u5c42\u200b\u5305\u8f6c\u53d1\u200b\uff0cOverlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u7684\u200b SNAT/EIP\uff0c \u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b/\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u7b49\u200b L3 \u200b\u529f\u80fd\u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\uff0cVPC \u200b\u7ea7\u522b\u200b\u7684\u200b\u9694\u79bb\u200b\u4e5f\u200b\u65e0\u6cd5\u200b\u5bf9\u200b Underlay \u200b\u5b50\u7f51\u200b\u751f\u6548\u200b\u3002</p>"},{"location":"start/underlay/#macvlan","title":"\u548c\u200b Macvlan \u200b\u6bd4\u8f83","text":"<p>Kube-OVN \u200b\u7684\u200b Underlay \u200b\u6a21\u5f0f\u200b\u548c\u200b Macvlan \u200b\u5de5\u4f5c\u200b\u6a21\u5f0f\u200b\u5341\u5206\u200b\u7c7b\u4f3c\u200b\uff0c\u200b\u5728\u200b\u529f\u80fd\u200b\u548c\u200b\u6027\u80fd\u200b\u4e0a\u200b\u4e3b\u8981\u200b\u6709\u200b\u4ee5\u4e0b\u200b\u51e0\u4e2a\u200b\u533a\u522b\u200b\uff1a</p> <ol> <li>\u200b\u7531\u4e8e\u200b Macvlan \u200b\u7684\u200b\u5185\u6838\u200b\u8def\u5f84\u200b\u66f4\u200b\u77ed\u200b\uff0c\u200b\u5e76\u4e14\u200b\u4e0d\u200b\u9700\u8981\u200b OVS \u200b\u5bf9\u200b\u6570\u636e\u5305\u200b\u8fdb\u884c\u200b\u5904\u7406\u200b\uff0cMacvlan \u200b\u5728\u200b\u541e\u5410\u91cf\u200b\u548c\u200b\u5ef6\u8fdf\u200b\u6027\u80fd\u6307\u6807\u200b\u4e0a\u200b\u8868\u73b0\u200b\u4f1a\u200b\u66f4\u597d\u200b\u3002</li> <li>Kube-OVN \u200b\u901a\u8fc7\u200b\u6d41\u8868\u200b\u63d0\u4f9b\u200b\u4e86\u200b arp-proxy \u200b\u529f\u80fd\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u7f13\u89e3\u200b\u5927\u89c4\u6a21\u200b\u7f51\u7edc\u200b\u4e0b\u200b\u7684\u200b arp \u200b\u5e7f\u64ad\u200b\u98ce\u66b4\u200b\u98ce\u9669\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b Macvlan \u200b\u5de5\u4f5c\u200b\u5728\u200b\u5185\u6838\u200b\u5e95\u5c42\u200b\uff0c\u200b\u4f1a\u200b\u7ed5\u8fc7\u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b netfilter\uff0cService \u200b\u548c\u200b NetworkPolicy \u200b\u529f\u80fd\u200b\u9700\u8981\u200b\u989d\u5916\u200b\u5f00\u53d1\u200b\u3002Kube-OVN \u200b\u901a\u8fc7\u200b OVS \u200b\u6d41\u8868\u200b\u63d0\u4f9b\u200b\u4e86\u200b Service \u200b\u548c\u200b NetworkPolicy \u200b\u7684\u200b\u80fd\u529b\u200b\u3002</li> <li>Kube-OVN \u200b\u7684\u200b Underlay \u200b\u6a21\u5f0f\u200b\u76f8\u6bd4\u200b Macvlan \u200b\u989d\u5916\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u5730\u5740\u200b\u7ba1\u7406\u200b\uff0c\u200b\u56fa\u5b9a\u200b IP \u200b\u548c\u200b QoS \u200b\u7b49\u200b\u529f\u80fd\u200b\u3002</li> </ol>"},{"location":"start/underlay/#_2","title":"\u73af\u5883\u200b\u8981\u6c42","text":"<p>\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0cOVS \u200b\u5c06\u4f1a\u200b\u6865\u63a5\u200b\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u5230\u200b OVS \u200b\u7f51\u6865\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u6570\u636e\u5305\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b\u8be5\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u5bf9\u5916\u200b\u53d1\u9001\u200b\uff0cL2/L3 \u200b\u5c42\u9762\u200b\u7684\u200b\u8f6c\u53d1\u200b\u80fd\u529b\u200b\u9700\u8981\u200b\u4f9d\u8d56\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u3002 \u200b\u9700\u8981\u200b\u9884\u5148\u200b\u5728\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u914d\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b\u7f51\u5173\u200b\u3001Vlan \u200b\u548c\u200b\u5b89\u5168\u7b56\u7565\u200b\u7b49\u200b\u914d\u7f6e\u200b\u3002</p> <ol> <li>\u200b\u5bf9\u4e8e\u200b OpenStack \u200b\u7684\u200b VM \u200b\u73af\u5883\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b\u5bf9\u5e94\u200b\u7f51\u7edc\u200b\u7aef\u53e3\u200b\u7684\u200b <code>PortSecurity</code> \u200b\u5173\u95ed\u200b\u3002</li> <li>\u200b\u5bf9\u4e8e\u200b VMware \u200b\u7684\u200b vSwitch \u200b\u7f51\u7edc\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b <code>MAC Address Changes</code>, <code>Forged Transmits</code> \u200b\u548c\u200b <code>Promiscuous Mode Operation</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>allow</code>\u3002</li> <li>\u200b\u5bf9\u4e8e\u200b Hyper-V \u200b\u865a\u62df\u5316\u200b\uff0c\u200b\u9700\u8981\u200b\u5f00\u542f\u200b\u865a\u62df\u673a\u200b\u7f51\u5361\u200b\u9ad8\u7ea7\u200b\u529f\u80fd\u200b\u4e2d\u200b\u7684\u200b <code>MAC Address Spoofing</code>\u3002</li> <li>\u200b\u516c\u6709\u200b\u4e91\u200b\uff0c\u200b\u4f8b\u5982\u200b AWS\u3001GCE\u3001\u200b\u963f\u91cc\u200b\u4e91\u200b\u7b49\u200b\u7531\u4e8e\u200b\u4e0d\u200b\u652f\u6301\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b Mac \u200b\u65e0\u6cd5\u200b\u652f\u6301\u200b Underlay \u200b\u6a21\u5f0f\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u8fd9\u79cd\u200b\u573a\u666f\u200b\u4e0b\u200b\u5982\u679c\u200b\u60f3\u200b\u4f7f\u7528\u200b Underlay \u200b\u63a8\u8350\u200b\u4f7f\u7528\u200b\u5bf9\u5e94\u200b\u516c\u6709\u200b\u4e91\u200b\u5382\u5546\u200b\u63d0\u4f9b\u200b\u7684\u200b VPC-CNI\u3002</li> <li>\u200b\u6865\u63a5\u200b\u7f51\u5361\u200b\u4e0d\u80fd\u200b\u4e3a\u200b Linux Bridge\u3002</li> </ol> <p>\u200b\u5bf9\u4e8e\u200b\u7ba1\u7406\u200b\u7f51\u200b\u548c\u200b\u5bb9\u5668\u200b\u7f51\u200b\u4f7f\u7528\u200b\u540c\u4e00\u4e2a\u200b\u7f51\u5361\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0cKube-OVN \u200b\u4f1a\u200b\u5c06\u200b\u7f51\u5361\u200b\u7684\u200b Mac \u200b\u5730\u5740\u200b\u3001IP \u200b\u5730\u5740\u200b\u3001\u200b\u8def\u7531\u200b\u4ee5\u53ca\u200b MTU \u200b\u5c06\u200b\u8f6c\u79fb\u200b\u6216\u200b\u590d\u5236\u200b\u81f3\u200b\u5bf9\u5e94\u200b\u7684\u200b OVS Bridge\uff0c \u200b\u4ee5\u200b\u652f\u6301\u200b\u5355\u200b\u7f51\u5361\u200b\u90e8\u7f72\u200b Underlay \u200b\u7f51\u7edc\u200b\u3002OVS Bridge \u200b\u540d\u79f0\u200b\u683c\u5f0f\u200b\u4e3a\u200b <code>br-PROVIDER_NAME</code>\uff0c<code>PROVIDER_NAME</code> \u200b\u4e3a\u200b Provider \u200b\u7f51\u7edc\u200b\u540d\u79f0\u200b\uff08\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b provider\uff09\u3002</p>"},{"location":"start/underlay/#_3","title":"\u90e8\u7f72\u200b\u65f6\u200b\u6307\u5b9a\u200b\u7f51\u7edc\u200b\u6a21\u5f0f","text":"<p>\u200b\u8be5\u200b\u90e8\u7f72\u200b\u6a21\u5f0f\u200b\u5c06\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b Underlay \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u6240\u6709\u200b\u672a\u6307\u5b9a\u200b\u5b50\u7f51\u200b\u7684\u200b Pod \u200b\u5747\u4f1a\u200b\u9ed8\u8ba4\u200b\u8fd0\u884c\u200b\u5728\u200b Underlay \u200b\u7f51\u7edc\u200b\u4e2d\u200b\u3002</p>"},{"location":"start/underlay/#_4","title":"\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c","text":"<pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre>"},{"location":"start/underlay/#_5","title":"\u4fee\u6539\u200b\u811a\u672c\u200b\u4e2d\u200b\u76f8\u5e94\u200b\u914d\u7f6e","text":"<pre><code>ENABLE_ARP_DETECT_IP_CONFLICT # \u200b\u5982\u200b\u6709\u200b\u9700\u8981\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b\u5173\u95ed\u200b vlan \u200b\u7f51\u7edc\u200b arp \u200b\u51b2\u7a81\u68c0\u6d4b\u200b\nNETWORK_TYPE                  # \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b vlan\nVLAN_INTERFACE_NAME           # \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5bbf\u4e3b\u673a\u200b\u4e0a\u200b\u627f\u62c5\u200b\u5bb9\u5668\u200b\u6d41\u91cf\u200b\u7684\u200b\u7f51\u5361\u200b\uff0c\u200b\u4f8b\u5982\u200b eth1\nVLAN_ID                       # \u200b\u4ea4\u6362\u673a\u200b\u6240\u200b\u63a5\u53d7\u200b\u7684\u200b VLAN Tag\uff0c\u200b\u82e5\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b 0 \u200b\u5219\u200b\u4e0d\u200b\u505a\u200b VLAN \u200b\u5c01\u88c5\u200b\nPOD_CIDR                      # \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b CIDR\uff0c \u200b\u4f8b\u5982\u200b 192.168.1.0/24\nPOD_GATEWAY                   # \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u7f51\u5173\u200b\uff0c\u200b\u4f8b\u5982\u200b 192.168.1.1\nEXCLUDE_IPS                   # \u200b\u6392\u9664\u200b\u8303\u56f4\u200b\uff0c\u200b\u907f\u514d\u200b\u5bb9\u5668\u200b\u7f51\u6bb5\u200b\u548c\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u5df2\u200b\u7528\u200b IP \u200b\u51b2\u7a81\u200b\uff0c\u200b\u4f8b\u5982\u200b 192.168.1.1..192.168.1.100\nENABLE_LB                     # \u200b\u5982\u679c\u200b Underlay \u200b\u5b50\u7f51\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b Service \u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b true \nEXCHANGE_LINK_NAME            # \u200b\u662f\u5426\u200b\u4ea4\u6362\u200b\u9ed8\u8ba4\u200b provider-network \u200b\u4e0b\u200b OVS \u200b\u7f51\u6865\u200b\u548c\u200b\u6865\u63a5\u200b\u7f51\u5361\u200b\u7684\u200b\u540d\u5b57\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b false\nLS_DNAT_MOD_DL_DST            # DNAT \u200b\u65f6\u200b\u662f\u5426\u200b\u5bf9\u200b MAC \u200b\u5730\u5740\u200b\u8fdb\u884c\u200b\u8f6c\u6362\u200b\uff0c\u200b\u53ef\u200b\u52a0\u901f\u200b Service \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b true\n</code></pre>"},{"location":"start/underlay/#_6","title":"\u8fd0\u884c\u200b\u5b89\u88c5\u200b\u811a\u672c","text":"<pre><code>bash install.sh\n</code></pre>"},{"location":"start/underlay/#crd-underlay","title":"\u901a\u8fc7\u200b CRD \u200b\u52a8\u6001\u521b\u5efa\u200b Underlay \u200b\u7f51\u7edc","text":"<p>\u200b\u8be5\u200b\u65b9\u5f0f\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u52a8\u6001\u200b\u7684\u200b\u521b\u5efa\u200b\u67d0\u4e2a\u200b Underlay \u200b\u5b50\u7f51\u200b\u4f9b\u200b Pod \u200b\u4f7f\u7528\u200b\u3002\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b <code>ProviderNetwork</code>\uff0c<code>Vlan</code> \u200b\u548c\u200b <code>Subnet</code> \u200b\u4e09\u79cd\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u3002</p>"},{"location":"start/underlay/#providernetwork","title":"\u521b\u5efa\u200b ProviderNetwork","text":"<p>ProviderNetwork \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e3b\u673a\u200b\u7f51\u5361\u200b\u5230\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u6620\u5c04\u200b\u7684\u200b\u62bd\u8c61\u200b\uff0c\u200b\u5c06\u200b\u540c\u5c5e\u200b\u4e00\u4e2a\u200b\u7f51\u7edc\u200b\u7684\u200b\u7f51\u5361\u200b\u8fdb\u884c\u200b\u7edf\u4e00\u200b\u7ba1\u7406\u200b\uff0c \u200b\u5e76\u200b\u89e3\u51b3\u200b\u5728\u200b\u590d\u6742\u200b\u73af\u5883\u200b\u4e0b\u540c\u200b\u673a\u5668\u200b\u591a\u200b\u7f51\u5361\u200b\u3001\u200b\u7f51\u5361\u200b\u540d\u200b\u4e0d\u200b\u4e00\u81f4\u200b\u3001\u200b\u5bf9\u5e94\u200b Underlay \u200b\u7f51\u7edc\u200b\u4e0d\u200b\u4e00\u81f4\u200b\u7b49\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u7684\u200b\u914d\u7f6e\u200b\u95ee\u9898\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b\u5982\u4e0b\u200b ProviderNetwork \u200b\u5e76\u200b\u5e94\u7528\u200b:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: net1\nspec:\n  defaultInterface: eth1\n  customInterfaces:\n    - interface: eth2\n      nodes:\n        - node1\n  excludeNodes:\n    - node2\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1aProviderNetwork \u200b\u8d44\u6e90\u200b\u540d\u79f0\u200b\u7684\u200b\u957f\u5ea6\u200b\u4e0d\u5f97\u200b\u8d85\u8fc7\u200b 12\u3002</p> <ul> <li><code>defaultInterface</code>: \u200b\u4e3a\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b\u7684\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u540d\u79f0\u200b\u3002 ProviderNetwork \u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\uff0c\u200b\u5404\u200b\u8282\u70b9\u200b\uff08\u200b\u9664\u200b excludeNodes \u200b\u5916\u200b\uff09\u200b\u4e2d\u200b\u4f1a\u200b\u521b\u5efa\u200b\u540d\u4e3a\u200b br-net1\uff08\u200b\u683c\u5f0f\u200b\u4e3a\u200b <code>br-NAME</code>\uff09\u200b\u7684\u200b OVS \u200b\u7f51\u6865\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u6307\u5b9a\u200b\u7684\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u6865\u63a5\u200b\u81f3\u6b64\u200b\u7f51\u6865\u200b\u3002</li> <li><code>customInterfaces</code>: \u200b\u4e3a\u200b\u53ef\u9009\u9879\u200b\uff0c\u200b\u53ef\u200b\u9488\u5bf9\u200b\u7279\u5b9a\u200b\u8282\u70b9\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\u3002</li> <li><code>excludeNodes</code>: \u200b\u53ef\u9009\u9879\u200b\uff0c\u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b\u4e0d\u200b\u6865\u63a5\u200b\u7f51\u5361\u200b\u7684\u200b\u8282\u70b9\u200b\u3002\u200b\u8be5\u200b\u5217\u8868\u200b\u4e2d\u200b\u7684\u200b\u8282\u70b9\u200b\u4f1a\u200b\u88ab\u200b\u6dfb\u52a0\u200b <code>net1.provider-network.ovn.kubernetes.io/exclude=true</code> \u200b\u6807\u7b7e\u200b\u3002</li> </ul> <p>\u200b\u5176\u5b83\u200b\u8282\u70b9\u200b\u4f1a\u200b\u88ab\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b\u6807\u7b7e\u200b\uff1a</p> Key Value \u200b\u63cf\u8ff0\u200b net1.provider-network.ovn.kubernetes.io/ready true \u200b\u8282\u70b9\u200b\u4e2d\u200b\u7684\u200b\u6865\u63a5\u200b\u5de5\u4f5c\u200b\u5df2\u200b\u5b8c\u6210\u200b\uff0cProviderNetwork \u200b\u5728\u200b\u8282\u70b9\u200b\u4e2d\u200b\u53ef\u7528\u200b net1.provider-network.ovn.kubernetes.io/interface eth1 \u200b\u8282\u70b9\u200b\u4e2d\u200b\u88ab\u200b\u6865\u63a5\u200b\u7684\u200b\u7f51\u5361\u200b\u7684\u200b\u540d\u79f0\u200b net1.provider-network.ovn.kubernetes.io/mtu 1500 \u200b\u8282\u70b9\u200b\u4e2d\u200b\u88ab\u200b\u6865\u63a5\u200b\u7684\u200b\u7f51\u5361\u200b\u7684\u200b MTU <p>\u200b\u5982\u679c\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u4e0a\u200b\u5df2\u7ecf\u200b\u914d\u7f6e\u200b\u4e86\u200b IP\uff0c\u200b\u5219\u200b IP \u200b\u5730\u5740\u200b\u548c\u200b\u7f51\u5361\u200b\u4e0a\u200b\u7684\u200b\u8def\u7531\u200b\u4f1a\u200b\u88ab\u200b\u8f6c\u79fb\u200b\u81f3\u200b\u5bf9\u5e94\u200b\u7684\u200b OVS \u200b\u7f51\u6865\u200b\u3002</p>"},{"location":"start/underlay/#vlan","title":"\u521b\u5efa\u200b VLAN","text":"<p>Vlan \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u5c06\u200b Vlan Tag \u200b\u548c\u200b ProviderNetwork \u200b\u8fdb\u884c\u200b\u7ed1\u5b9a\u200b\u7684\u200b\u80fd\u529b\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b\u5982\u4e0b\u200b VLAN \u200b\u5e76\u200b\u5e94\u7528\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan1\nspec:\n  id: 0\n  provider: net1\n</code></pre> <ul> <li><code>id</code>: \u200b\u4e3a\u200b VLAN ID/Tag\uff0cKube-OVN \u200b\u4f1a\u200b\u5bf9\u200b\u5bf9\u200b\u8be5\u200b Vlan \u200b\u4e0b\u200b\u7684\u200b\u6d41\u91cf\u200b\u589e\u52a0\u200b Vlan \u200b\u6807\u7b7e\u200b\uff0c\u200b\u4e3a\u200b 0 \u200b\u65f6\u200b\u4e0d\u200b\u589e\u52a0\u200b\u4efb\u4f55\u200b\u6807\u7b7e\u200b\uff0cvlan \u200b\u6807\u7b7e\u200b\u4f5c\u7528\u200b\u5728\u200b\u4e00\u4e2a\u200b localnet \u200b\u7aef\u53e3\u200b\u3002</li> <li><code>provider</code>: \u200b\u4e3a\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u7684\u200b ProviderNetwork \u200b\u8d44\u6e90\u200b\u7684\u200b\u540d\u79f0\u200b\u3002\u200b\u591a\u4e2a\u200b VLAN \u200b\u53ef\u4ee5\u200b\u5f15\u7528\u200b\u540c\u4e00\u4e2a\u200b ProviderNetwork\u3002</li> </ul>"},{"location":"start/underlay/#subnet","title":"\u521b\u5efa\u200b Subnet","text":"<p>\u200b\u5c06\u200b Vlan \u200b\u548c\u200b\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  vlan: vlan1\n</code></pre> <p>\u200b\u5c06\u200b <code>vlan</code> \u200b\u7684\u200b\u503c\u200b\u6307\u5b9a\u200b\u4e3a\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u7684\u200b VLAN \u200b\u540d\u79f0\u200b\u5373\u53ef\u200b\u3002\u200b\u591a\u4e2a\u200b Subnet \u200b\u53ef\u4ee5\u200b\u5f15\u7528\u200b\u540c\u4e00\u4e2a\u200b VLAN\u3002</p>"},{"location":"start/underlay/#_7","title":"\u5bb9\u5668\u200b\u521b\u5efa","text":"<p>\u200b\u53ef\u200b\u6309\u200b\u6b63\u5e38\u200b\u5bb9\u5668\u200b\u521b\u5efa\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b\u521b\u5efa\u200b\uff0c\u200b\u67e5\u770b\u200b\u5bb9\u5668\u200b IP \u200b\u662f\u5426\u200b\u5728\u200b\u89c4\u5b9a\u200b\u8303\u56f4\u200b\u5185\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5bb9\u5668\u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u548c\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\u3002</p> <p>\u200b\u5982\u200b\u6709\u200b\u56fa\u5b9a\u200b IP \u200b\u9700\u6c42\u200b\uff0c\u200b\u53ef\u200b\u53c2\u8003\u200b Pod \u200b\u56fa\u5b9a\u200b IP \u200b\u548c\u200b Mac</p>"},{"location":"start/underlay/#_8","title":"\u4f7f\u7528\u200b\u903b\u8f91\u200b\u7f51\u5173","text":"<p>\u200b\u5bf9\u4e8e\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u4e0d\u200b\u5b58\u5728\u200b\u7f51\u5173\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0cKube-OVN \u200b\u652f\u6301\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u914d\u7f6e\u200b\u4f7f\u7528\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\u3002 \u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u6b64\u200b\u529f\u80fd\u200b\uff0c\u200b\u8bbe\u7f6e\u200b\u5b50\u7f51\u200b\u7684\u200b <code>spec.logicalGateway</code> \u200b\u4e3a\u200b <code>true</code> \u200b\u5373\u53ef\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  vlan: vlan1\n  logicalGateway: true\n</code></pre> <p>\u200b\u5f00\u542f\u200b\u6b64\u200b\u529f\u80fd\u200b\u540e\u200b\uff0cPod \u200b\u4e0d\u200b\u4f7f\u7528\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\uff0c\u200b\u800c\u662f\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u521b\u5efa\u200b\u7684\u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\uff08Logical Router\uff09\u200b\u5bf9\u4e8e\u200b\u8de8\u200b\u7f51\u6bb5\u200b\u901a\u4fe1\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\u3002</p>"},{"location":"start/underlay/#underlay-overlay","title":"Underlay \u200b\u548c\u200b Overlay \u200b\u7f51\u7edc\u200b\u4e92\u901a","text":"<p>\u200b\u5982\u679c\u200b\u4e00\u4e2a\u200b\u96c6\u7fa4\u200b\u540c\u65f6\u200b\u5b58\u5728\u200b Underlay \u200b\u548c\u200b Overlay \u200b\u5b50\u7f51\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Overlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u7f51\u5173\u200b\u4ee5\u200b NAT \u200b\u7684\u200b\u65b9\u5f0f\u200b\u8bbf\u95ee\u200b Underlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod IP\u3002 \u200b\u5728\u200b Underlay \u200b\u5b50\u7f51\u200b\u7684\u200b Pod \u200b\u770b\u6765\u200b Overlay \u200b\u5b50\u7f51\u200b\u7684\u200b\u5730\u5740\u200b\u662f\u200b\u4e00\u4e2a\u200b\u5916\u90e8\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b\u5e95\u5c42\u200b\u7269\u7406\u200b\u8bbe\u5907\u200b\u53bb\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u4f46\u200b\u5e95\u5c42\u200b\u7269\u7406\u200b\u8bbe\u5907\u200b\u5e76\u200b\u4e0d\u200b\u6e05\u695a\u200b Overlay \u200b\u5b50\u7f51\u200b\u7684\u200b\u5730\u5740\u200b\u65e0\u6cd5\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\u3002 \u200b\u56e0\u6b64\u200b Underlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u65e0\u6cd5\u200b\u901a\u8fc7\u200b Pod IP \u200b\u76f4\u63a5\u200b\u8bbf\u95ee\u200b Overlay \u200b\u5b50\u7f51\u200b\u7684\u200b Pod\u3002</p> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b Underlay \u200b\u548c\u200b Overlay \u200b\u4e92\u901a\u200b\u9700\u8981\u200b\u5c06\u200b\u5b50\u7f51\u200b\u7684\u200b <code>u2oInterconnection</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>true</code>\uff0c\u200b\u5728\u200b\u8fd9\u4e2a\u200b\u60c5\u51b5\u200b\u4e0b\u200b Kube-OVN \u200b\u4f1a\u200b\u989d\u5916\u200b\u4f7f\u7528\u200b\u4e00\u4e2a\u200b Underlay IP \u200b\u5c06\u200b Underlay \u200b\u5b50\u7f51\u200b \u200b\u548c\u200b <code>ovn-cluster</code> \u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\u8fde\u63a5\u200b\uff0c\u200b\u5e76\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u5b9e\u73b0\u200b\u4e92\u901a\u200b\u3002 \u200b\u548c\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\u4e0d\u540c\u200b\uff0c\u200b\u8be5\u200b\u65b9\u6848\u200b\u53ea\u4f1a\u200b\u8fde\u63a5\u200b Kube-OVN \u200b\u5185\u90e8\u200b\u7684\u200b Underlay \u200b\u548c\u200b Overlay \u200b\u5b50\u7f51\u200b\uff0c\u200b\u5176\u4ed6\u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u7684\u200b\u6d41\u91cf\u200b\u8fd8\u662f\u200b\u4f1a\u200b\u901a\u8fc7\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\u3002</p>"},{"location":"start/underlay/#ip","title":"\u6307\u5b9a\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b IP","text":"<p>\u200b\u5f00\u542f\u200b\u4e92\u901a\u200b\u529f\u80fd\u200b\u540e\u200b\uff0c\u200b\u4f1a\u200b\u968f\u673a\u200b\u4ece\u200b subnet \u200b\u5185\u200b\u7684\u200b\u53d6\u200b\u4e00\u4e2a\u200b IP \u200b\u4f5c\u4e3a\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b Underlay Subnet \u200b\u7684\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\u53ef\u4ee5\u200b\u6307\u5b9a\u200b\u5b57\u200b\u6bb5\u200b <code>u2oInterconnectionIP</code>\u3002</p>"},{"location":"start/underlay/#underlay-subnet-vpc","title":"\u6307\u5b9a\u200b Underlay Subnet \u200b\u8fde\u63a5\u200b\u7684\u200b\u81ea\u5b9a\u4e49\u200b VPC","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Underlay Subnet \u200b\u4f1a\u200b\u548c\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0a\u200b\u7684\u200b Overlay Subnet \u200b\u4e92\u901a\u200b\uff0c\u200b\u5982\u679c\u200b\u8981\u200b\u6307\u5b9a\u200b\u548c\u200b\u67d0\u4e2a\u200b VPC \u200b\u4e92\u901a\u200b\uff0c\u200b\u5728\u200b <code>u2oInterconnection</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>true</code> \u200b\u540e\u200b\uff0c\u200b\u6307\u5b9a\u200b <code>subnet.spec.vpc</code> \u200b\u5b57\u6bb5\u200b\u4e3a\u200b\u8be5\u200b VPC \u200b\u540d\u5b57\u200b\u5373\u53ef\u200b\u3002</p>"},{"location":"start/underlay/#_9","title":"\u6ce8\u610f\u4e8b\u9879","text":"<p>\u200b\u5982\u679c\u200b\u60a8\u200b\u4f7f\u7528\u200b\u7684\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u4e0a\u200b\u914d\u7f6e\u200b\u6709\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u4e14\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u901a\u8fc7\u200b Netplan \u200b\u914d\u7f6e\u200b\u7f51\u7edc\u200b\uff08\u200b\u5982\u200b Ubuntu\uff09\uff0c\u200b\u5efa\u8bae\u60a8\u200b\u5c06\u200b Netplan \u200b\u7684\u200b renderer \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b NetworkManager\uff0c\u200b\u5e76\u200b\u4e3a\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b\u9759\u6001\u200b IP \u200b\u5730\u5740\u200b\uff08\u200b\u5173\u95ed\u200b DHCP\uff09\uff1a</p> <pre><code>network:\n  renderer: NetworkManager\n  ethernets:\n    eth0:\n      dhcp4: no\n      addresses:\n        - 172.16.143.129/24\n  version: 2\n</code></pre> <p>\u200b\u5982\u679c\u200b\u60a8\u200b\u8981\u200b\u4fee\u6539\u200b\u7f51\u5361\u200b\u7684\u200b IP \u200b\u6216\u200b\u8def\u7531\u200b\u914d\u7f6e\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u4fee\u6539\u200b netplan \u200b\u914d\u7f6e\u200b\u540e\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>netplan generate\n\nnmcli connection reload netplan-eth0\nnmcli device set eth0 managed yes\n</code></pre> <p>\u200b\u6267\u884c\u200b\u4ee5\u4e0a\u200b\u547d\u4ee4\u200b\u540e\u200b\uff0cKube-OVN \u200b\u4f1a\u200b\u5c06\u200b\u7f51\u5361\u200b\u4e0a\u200b\u7684\u200b IP \u200b\u53ca\u200b\u8def\u7531\u200b\u91cd\u65b0\u200b\u8f6c\u79fb\u200b\u81f3\u200b OVS \u200b\u7f51\u6865\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u60a8\u200b\u4f7f\u7528\u200b\u7684\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u901a\u8fc7\u200b NetworkManager \u200b\u7ba1\u7406\u7f51\u7edc\u200b\uff08\u200b\u5982\u200b CentOS\uff09\uff0c\u200b\u5728\u200b\u4fee\u6539\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b\u540e\u200b\u9700\u8981\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>nmcli connection reload eth0\nnmcli device set eth0 managed yes\nnmcli -t -f GENERAL.STATE device show eth0 | grep -qw unmanaged || nmcli device reapply eth0\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b\u7684\u200b\u52a8\u6001\u200b\u4fee\u6539\u200b\u4ec5\u200b\u652f\u6301\u200b IP \u200b\u548c\u200b\u8def\u7531\u200b\uff0c\u200b\u4e0d\u200b\u652f\u6301\u200b MAC \u200b\u5730\u5740\u200b\u7684\u200b\u4fee\u6539\u200b\u3002</p>"},{"location":"start/underlay/#_10","title":"\u5df2\u77e5\u200b\u95ee\u9898","text":""},{"location":"start/underlay/#hairpin-pod","title":"\u7269\u7406\u200b\u7f51\u7edc\u200b\u5f00\u542f\u200b hairpin \u200b\u65f6\u200b Pod \u200b\u7f51\u7edc\u200b\u5f02\u5e38","text":"<p>\u200b\u5f53\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u5f00\u542f\u200b hairpin \u200b\u6216\u200b\u7c7b\u4f3c\u200b\u884c\u4e3a\u200b\u65f6\u200b\uff0c\u200b\u53ef\u80fd\u200b\u51fa\u73b0\u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\u7f51\u5173\u200b\u68c0\u67e5\u200b\u5931\u8d25\u200b\u3001Pod \u200b\u7f51\u7edc\u901a\u4fe1\u200b\u5f02\u5e38\u200b\u7b49\u200b\u95ee\u9898\u200b\u3002\u200b\u8fd9\u200b\u662f\u56e0\u4e3a\u200b OVS \u200b\u7f51\u6865\u200b\u9ed8\u8ba4\u200b\u7684\u200b MAC \u200b\u5b66\u4e60\u200b\u529f\u80fd\u200b\u4e0d\u200b\u652f\u6301\u200b\u8fd9\u79cd\u200b\u7f51\u7edc\u200b\u73af\u5883\u200b\u3002</p> <p>\u200b\u8981\u200b\u89e3\u51b3\u200b\u6b64\u200b\u95ee\u9898\u200b\uff0c\u200b\u9700\u8981\u200b\u5173\u95ed\u200b hairpin\uff08\u200b\u6216\u200b\u4fee\u6539\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u7684\u200b\u76f8\u5173\u200b\u914d\u7f6e\u200b\uff09\uff0c\u200b\u6216\u200b\u66f4\u65b0\u200b Kube-OVN \u200b\u7248\u672c\u200b\u3002</p>"},{"location":"start/underlay/#pod-pod","title":"Pod \u200b\u6570\u91cf\u200b\u8f83\u591a\u65f6\u200b\u65b0\u5efa\u200b Pod \u200b\u7f51\u5173\u200b\u68c0\u67e5\u200b\u5931\u8d25","text":"<p>\u200b\u82e5\u200b\u540c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u8fd0\u884c\u200b\u7684\u200b Pod \u200b\u6570\u91cf\u200b\u8f83\u200b\u591a\u200b\uff08\u200b\u5927\u4e8e\u200b 300\uff09\uff0c\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u51fa\u73b0\u200b ARP \u200b\u5e7f\u64ad\u200b\u5305\u200b\u7684\u200b OVS \u200b\u6d41\u8868\u200b resubmit \u200b\u6b21\u6570\u200b\u8d85\u8fc7\u200b\u4e0a\u9650\u200b\u5bfc\u81f4\u200b\u4e22\u5305\u200b\u7684\u200b\u73b0\u8c61\u200b\uff1a</p> <pre><code>2022-11-13T08:43:46.782Z|00222|ofproto_dpif_upcall(handler5)|WARN|Flow: arp,in_port=331,vlan_tci=0x0000,dl_src=00:00:00:25:eb:39,dl_dst=ff:ff:ff:ff:ff:ff,arp_spa=10.213.131.240,arp_tpa=10.213.159.254,arp_op=1,arp_sha=00:00:00:25:eb:39,arp_tha=ff:ff:ff:ff:ff:ff\n\nbridge(\"br-int\")\n----------------\n 0. No match.\n     &gt;&gt;&gt;&gt; received packet on unknown port 331 &lt;&lt;&lt;&lt;\n    drop\n\nFinal flow: unchanged\nMegaflow: recirc_id=0,eth,arp,in_port=331,dl_src=00:00:00:25:eb:39\nDatapath actions: drop\n2022-11-13T08:44:34.077Z|00224|ofproto_dpif_xlate(handler5)|WARN|over 4096 resubmit actions on bridge br-int while processing arp,in_port=13483,vlan_tci=0x0000,dl_src=00:00:00:59:ef:13,dl_dst=ff:ff:ff:ff:ff:ff,arp_spa=10.213.152.3,arp_tpa=10.213.159.254,arp_op=1,arp_sha=00:00:00:59:ef:13,arp_tha=ff:ff:ff:ff:ff:ff\n</code></pre> <p>\u200b\u8981\u200b\u89e3\u51b3\u200b\u6b64\u200b\u95ee\u9898\u200b\uff0c\u200b\u53ef\u200b\u4fee\u6539\u200b OVN NB \u200b\u9009\u9879\u200b <code>bcast_arp_req_flood</code> \u200b\u4e3a\u200b <code>false</code>\uff1a</p> <pre><code>kubectl ko nbctl set NB_Global . options:bcast_arp_req_flood=false\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/uninstall/","title":"\u5378\u8f7d","text":"<p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u5220\u9664\u200b Kube-OVN \u200b\u5e76\u200b\u66f4\u6362\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u8bf7\u200b\u6309\u7167\u200b\u4e0b\u5217\u200b\u7684\u200b\u6b65\u9aa4\u200b\u5220\u9664\u200b\u5bf9\u5e94\u200b\u7684\u200b Kube-OVN \u200b\u7ec4\u4ef6\u200b\u4ee5\u53ca\u200b OVS \u200b\u914d\u7f6e\u200b\uff0c\u200b\u4ee5\u200b\u907f\u514d\u200b\u5bf9\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u4ea7\u751f\u200b\u5e72\u6270\u200b\u3002 \u200b\u4e5f\u200b\u6b22\u8fce\u200b\u63d0\u200b issue \u200b\u8054\u7cfb\u200b\u6211\u4eec\u200b\u53cd\u9988\u200b\u4e0d\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u7684\u200b\u539f\u56e0\u200b\u5e2e\u52a9\u200b\u6211\u4eec\u200b\u6539\u8fdb\u200b\u3002</p>"},{"location":"start/uninstall/#kubernetes","title":"\u5220\u9664\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u521b\u5efa\u200b\u7684\u200b\u8d44\u6e90","text":"<p>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u6267\u884c\u200b\u811a\u672c\u200b\u5220\u9664\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u521b\u5efa\u200b\u7684\u200b\u8d44\u6e90\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/cleanup.sh\nbash cleanup.sh\n</code></pre>"},{"location":"start/uninstall/#_2","title":"\u6e05\u7406\u200b\u4e3b\u673a\u200b\u4e0a\u200b\u7684\u200b\u65e5\u5fd7\u200b\u548c\u200b\u914d\u7f6e\u6587\u4ef6","text":"<p>\u200b\u5728\u200b\u6bcf\u53f0\u200b\u673a\u5668\u200b\u4e0a\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u6e05\u7406\u200b ovsdb \u200b\u4ee5\u53ca\u200b openvswitch \u200b\u4fdd\u5b58\u200b\u7684\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>rm -rf /var/run/openvswitch\nrm -rf /var/run/ovn\nrm -rf /etc/origin/openvswitch/\nrm -rf /etc/origin/ovn/\nrm -rf /etc/cni/net.d/00-kube-ovn.conflist\nrm -rf /etc/cni/net.d/01-kube-ovn.conflist\nrm -rf /var/log/openvswitch\nrm -rf /var/log/ovn\nrm -fr /var/log/kube-ovn\n</code></pre>"},{"location":"start/uninstall/#_3","title":"\u91cd\u542f\u200b\u8282\u70b9","text":"<p>\u200b\u91cd\u542f\u200b\u673a\u5668\u200b\u786e\u4fdd\u200b\u5bf9\u5e94\u200b\u7684\u200b\u7f51\u5361\u200b\u4fe1\u606f\u200b\uff0ciptable/ipset \u200b\u89c4\u5219\u200b\u5f97\u4ee5\u200b\u6e05\u9664\u200b\uff0c\u200b\u907f\u514d\u200b\u5bf9\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u7684\u200b\u5f71\u54cd\u200b\uff1a</p> <pre><code>reboot\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"}]}
\ No newline at end of file
+{"config":{"lang":["en","zh"],"separator":"[\\s\\u200b\\-]","pipeline":["stemmer"]},"docs":[{"location":"","title":"Kube-OVN","text":"<p>Kube-OVN \u200b\u662f\u200b\u4e00\u6b3e\u200b CNCF \u200b\u65d7\u4e0b\u200b\u7684\u200b\u4f01\u4e1a\u7ea7\u200b\u4e91\u200b\u539f\u751f\u200b\u7f51\u7edc\u200b\u7f16\u6392\u200b\u7cfb\u7edf\u200b\uff0c\u200b\u5c06\u200b SDN \u200b\u7684\u200b\u80fd\u529b\u200b\u548c\u200b\u4e91\u200b\u539f\u751f\u200b\u7ed3\u5408\u200b\uff0c \u200b\u63d0\u4f9b\u200b\u4e30\u5bcc\u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u6781\u81f4\u200b\u7684\u200b\u6027\u80fd\u200b\u4ee5\u53ca\u200b\u826f\u597d\u200b\u7684\u200b\u53ef\u200b\u8fd0\u7ef4\u6027\u200b\u3002</p> <p>\u200b\u4e30\u5bcc\u200b\u7684\u200b\u529f\u80fd\u200b\uff1a</p> <p>\u200b\u5982\u679c\u200b\u4f60\u200b\u6000\u5ff5\u200b SDN \u200b\u9886\u57df\u200b\u4e30\u5bcc\u200b\u7684\u200b\u7f51\u7edc\u200b\u80fd\u529b\u200b\u5374\u200b\u5728\u200b\u4e91\u200b\u539f\u751f\u200b\u9886\u57df\u200b\u82e6\u82e6\u200b\u8ffd\u5bfb\u200b\u800c\u200b\u4e0d\u5f97\u200b\uff0c\u200b\u90a3\u4e48\u200b Kube-OVN \u200b\u5c06\u200b\u662f\u200b\u4f60\u200b\u7684\u200b\u6700\u4f73\u200b\u9009\u62e9\u200b\u3002</p> <p>\u200b\u501f\u52a9\u200b OVS/OVN \u200b\u5728\u200b SDN \u200b\u9886\u57df\u200b\u6210\u719f\u200b\u7684\u200b\u80fd\u529b\u200b\uff0cKube-OVN \u200b\u5c06\u200b\u7f51\u7edc\u200b\u865a\u62df\u5316\u200b\u7684\u200b\u4e30\u5bcc\u200b\u529f\u80fd\u200b\u5e26\u5165\u200b\u4e91\u200b\u539f\u751f\u200b\u9886\u57df\u200b\u3002\u200b\u76ee\u524d\u200b\u5df2\u200b\u652f\u6301\u200b\u5b50\u7f51\u200b\u7ba1\u7406\u200b\uff0c \u200b\u9759\u6001\u200b IP \u200b\u5206\u914d\u200b\uff0c\u200b\u5206\u5e03\u5f0f\u200b/\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0cUnderlay/Overlay \u200b\u6df7\u5408\u200b\u7f51\u7edc\u200b\uff0c VPC \u200b\u591a\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\uff0c\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u7f51\u7edc\u200b\uff0cQoS \u200b\u7ba1\u7406\u200b\uff0c \u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b\uff0cACL \u200b\u7f51\u7edc\u200b\u63a7\u5236\u200b\uff0c\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\uff0cARM \u200b\u652f\u6301\u200b\uff0c Windows \u200b\u652f\u6301\u200b\u7b49\u200b\u8bf8\u591a\u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u6781\u81f4\u200b\u7684\u200b\u6027\u80fd\u200b\uff1a</p> <p>\u200b\u5982\u679c\u200b\u4f60\u200b\u62c5\u5fc3\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u4f1a\u200b\u5e26\u6765\u200b\u989d\u5916\u200b\u7684\u200b\u6027\u80fd\u200b\u635f\u8017\u200b\uff0c\u200b\u90a3\u4e48\u200b\u6765\u770b\u200b\u4e00\u4e0b\u200b Kube-OVN \u200b\u662f\u200b\u5982\u4f55\u200b\u6781\u81f4\u200b\u7684\u200b\u4f18\u5316\u200b\u6027\u80fd\u200b\u3002</p> <p>\u200b\u5728\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\uff0c\u200b\u901a\u8fc7\u200b\u4e00\u7cfb\u5217\u200b\u5bf9\u6d41\u200b\u8868\u200b\u548c\u200b\u5185\u6838\u200b\u7684\u200b\u7cbe\u5fc3\u200b\u4f18\u5316\u200b\uff0c\u200b\u5e76\u200b\u501f\u52a9\u200b eBPF\u3001DPDK\u3001\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b\u5378\u8f7d\u200b\u7b49\u200b\u65b0\u5174\u200b\u6280\u672f\u200b\uff0c Kube-OVN \u200b\u53ef\u4ee5\u200b\u5728\u200b\u5ef6\u8fdf\u200b\u548c\u200b\u541e\u5410\u91cf\u200b\u7b49\u200b\u65b9\u9762\u200b\u7684\u200b\u6307\u6807\u200b\u8fbe\u5230\u200b\u8fd1\u4f3c\u200b\u6216\u200b\u8d85\u51fa\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u6027\u80fd\u200b\u7684\u200b\u6c34\u5e73\u200b\u3002\u200b\u5728\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\uff0c\u200b\u901a\u8fc7\u200b\u5bf9\u200b OVN \u200b\u4e0a\u6e38\u200b\u6d41\u8868\u200b\u7684\u200b\u88c1\u526a\u200b\uff0c \u200b\u5404\u79cd\u200b\u7f13\u5b58\u200b\u6280\u672f\u200b\u7684\u200b\u4f7f\u7528\u200b\u548c\u200b\u8c03\u4f18\u200b\uff0cKube-OVN \u200b\u53ef\u4ee5\u200b\u652f\u6301\u200b\u5927\u89c4\u6a21\u200b\u4e0a\u5343\u200b\u8282\u70b9\u200b\u548c\u200b\u4e0a\u4e07\u200b Pod \u200b\u7684\u200b\u96c6\u7fa4\u200b\u3002</p> <p>\u200b\u6b64\u5916\u200b Kube-OVN \u200b\u8fd8\u200b\u5728\u200b\u4e0d\u65ad\u200b\u4f18\u5316\u200b CPU \u200b\u548c\u200b\u5185\u5b58\u200b\u7b49\u200b\u8d44\u6e90\u200b\u7684\u200b\u4f7f\u7528\u91cf\u200b\uff0c\u200b\u4ee5\u200b\u9002\u5e94\u200b\u8fb9\u7f18\u200b\u7b49\u200b\u8d44\u6e90\u200b\u6709\u9650\u200b\u573a\u666f\u200b\u3002</p> <p>\u200b\u826f\u597d\u200b\u7684\u200b\u53ef\u200b\u8fd0\u7ef4\u6027\u200b\uff1a</p> <p>\u200b\u5982\u679c\u200b\u4f60\u200b\u5bf9\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u8fd0\u7ef4\u200b\u5fc3\u5b58\u200b\u5fe7\u8651\u200b\uff0cKube-OVN \u200b\u5185\u7f6e\u200b\u4e86\u200b\u5927\u91cf\u200b\u7684\u200b\u5de5\u5177\u200b\u6765\u200b\u5e2e\u52a9\u200b\u4f60\u200b\u7b80\u5316\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\u3002</p> <p>Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\uff0c\u200b\u5e2e\u52a9\u200b\u7528\u6237\u200b\u8fc5\u901f\u200b\u642d\u5efa\u200b\u751f\u4ea7\u200b\u5c31\u7eea\u200b\u7684\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u3002\u200b\u540c\u65f6\u200b\u5185\u7f6e\u200b\u7684\u200b\u4e30\u5bcc\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u548c\u200b Grafana \u200b\u9762\u677f\u200b\uff0c \u200b\u53ef\u200b\u5e2e\u52a9\u200b\u7528\u6237\u200b\u5efa\u7acb\u200b\u5b8c\u5584\u200b\u7684\u200b\u76d1\u63a7\u200b\u4f53\u7cfb\u200b\u3002\u200b\u5f3a\u5927\u200b\u7684\u200b\u547d\u4ee4\u884c\u200b\u5de5\u5177\u200b\u53ef\u4ee5\u200b\u7b80\u5316\u200b\u7528\u6237\u200b\u7684\u200b\u65e5\u5e38\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\u3002\u200b\u901a\u8fc7\u200b\u548c\u200b Cilium \u200b\u7ed3\u5408\u200b\uff0c\u200b\u5229\u7528\u200b eBPF \u200b\u80fd\u529b\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b \u200b\u589e\u5f3a\u200b\u5bf9\u200b\u7f51\u7edc\u200b\u7684\u200b\u53ef\u200b\u89c2\u6d4b\u200b\u6027\u200b\u3002 \u200b\u6b64\u5916\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u7684\u200b\u80fd\u529b\u200b\u53ef\u4ee5\u200b\u65b9\u4fbf\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b\u6d41\u91cf\u200b\u76d1\u63a7\u200b\uff0c\u200b\u5e76\u200b\u548c\u200b\u4f20\u7edf\u200b\u7684\u200b NPM \u200b\u7cfb\u7edf\u200b\u5bf9\u63a5\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"contact/","title":"\u8054\u7cfb\u65b9\u5f0f","text":"<p>\u200b\u5173\u6ce8\u200b\u516c\u4f17\u200b\u53f7\u200b\u83b7\u5f97\u200b\u66f4\u200b\u591a\u200b\u6700\u65b0\u200b\u4fe1\u606f\u200b\uff0c\u200b\u8bf7\u200b\u626b\u63cf\u200b\u4e0b\u65b9\u200b\u4e8c\u7ef4\u7801\u200b:</p> <p></p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/","title":"\u4f7f\u7528\u200b eBPF \u200b\u52a0\u901f\u200b\u8282\u70b9\u200b\u5185\u200b TCP \u200b\u901a\u4fe1","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u8fb9\u7f18\u200b\u548c\u200b 5G \u200b\u7684\u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u540c\u200b\u8282\u70b9\u200b\u5185\u200b\u7684\u200b Pod \u200b\u4e4b\u95f4\u200b\u4f1a\u200b\u8fdb\u884c\u200b\u5927\u91cf\u200b\u7684\u200b TCP \u200b\u901a\u4fe1\u200b\uff0c\u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b Intel \u200b\u5f00\u6e90\u200b\u7684\u200b istio-tcpip-bypass \u200b\u9879\u76ee\u200b\uff0cPod \u200b\u53ef\u4ee5\u200b\u501f\u52a9\u200b eBPF \u200b\u7684\u200b\u80fd\u529b\u200b\u7ed5\u8fc7\u200b\u4e3b\u673a\u200b\u7684\u200b TCP/IP \u200b\u534f\u8bae\u200b\u6808\u200b\uff0c\u200b\u76f4\u63a5\u200b\u8fdb\u884c\u200b socket \u200b\u901a\u4fe1\u200b\uff0c\u200b\u4ece\u800c\u200b\u5927\u5e45\u200b\u964d\u4f4e\u200b\u5ef6\u8fdf\u200b\u5e76\u200b\u63d0\u5347\u200b\u541e\u5410\u91cf\u200b\u3002</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_1","title":"\u57fa\u672c\u539f\u7406","text":"<p>\u200b\u5728\u200b\u5f53\u524d\u200b\u7684\u200b\u5b9e\u73b0\u200b\u4e0b\u200b\uff0c\u200b\u540c\u200b\u4e3b\u673a\u200b\u7684\u200b\u4e24\u4e2a\u200b Pod \u200b\u8fdb\u884c\u200b TCP \u200b\u8fdb\u884c\u200b\u901a\u4fe1\u200b\u9700\u8981\u200b\u7ecf\u8fc7\u200b\u5927\u91cf\u200b\u7684\u200b\u7f51\u7edc\u200b\u6808\u200b\uff0c\u200b\u5305\u62ec\u200b TCP/IP, netfilter\uff0cOVS \u200b\u7b49\u200b\u5982\u4e0b\u200b\u56fe\u200b\u6240\u793a\u200b\uff1a</p> <p></p> <p>istio-tcpip-bypass \u200b\u63d2\u4ef6\u200b\u53ef\u4ee5\u200b\u81ea\u52a8\u200b\u5206\u6790\u200b\u5e76\u200b\u8bc6\u522b\u200b\u51fa\u540c\u200b\u4e3b\u673a\u200b\u5185\u200b\u7684\u200b TCP \u200b\u901a\u4fe1\u200b\uff0c\u200b\u5e76\u200b\u7ed5\u8fc7\u200b\u590d\u6742\u200b\u7684\u200b\u5185\u6838\u200b\u6808\u200b\u4ece\u800c\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u8fdb\u884c\u200b socket \u200b\u95f4\u200b\u7684\u200b\u6570\u636e\u4f20\u8f93\u200b\uff0c \u200b\u6765\u200b\u964d\u4f4e\u200b\u7f51\u7edc\u200b\u6808\u200b\u5904\u7406\u200b\u5f00\u9500\u200b\uff0c\u200b\u5982\u4e0b\u200b\u56fe\u200b\u6240\u793a\u200b\uff1a</p> <p></p> <p>\u200b\u7531\u4e8e\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u53ef\u4ee5\u200b\u81ea\u52a8\u8bc6\u522b\u200b\u540c\u200b\u4e3b\u673a\u200b\u5185\u200b\u7684\u200b TCP \u200b\u901a\u4fe1\u200b\uff0c\u200b\u5e76\u200b\u8fdb\u884c\u200b\u4f18\u5316\u200b\u3002\u200b\u5728\u200b\u57fa\u4e8e\u200b\u4ee3\u7406\u200b\u6a21\u5f0f\u200b\u7684\u200b Service Mesh \u200b\u73af\u5883\u200b\u4e0b\u200b\uff0c\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u589e\u5f3a\u200b Service Mesh \u200b\u7684\u200b\u6027\u80fd\u200b\u8868\u73b0\u200b\u3002</p> <p>\u200b\u66f4\u200b\u591a\u200b\u6280\u672f\u200b\u5b9e\u73b0\u200b\u7ec6\u8282\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Tanzu Service Mesh Acceleration using eBPF\u3002</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_2","title":"\u73af\u5883\u200b\u51c6\u5907","text":"<p>eBPF \u200b\u5bf9\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u6709\u200b\u4e00\u5b9a\u200b\u8981\u6c42\u200b\uff0c\u200b\u63a8\u8350\u200b\u4f7f\u7528\u200b Ubuntu 20.04 \u200b\u548c\u200b Linux 5.4.0-74-generic \u200b\u7248\u672c\u200b\u5185\u6838\u200b\u8fdb\u884c\u200b\u5b9e\u9a8c\u200b\u3002</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_3","title":"\u5b9e\u9a8c\u200b\u6b65\u9aa4","text":"<p>\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u90e8\u7f72\u200b\u4e24\u4e2a\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b Pod\uff0c\u200b\u82e5\u200b\u96c6\u7fa4\u200b\u5185\u200b\u5b58\u5728\u200b\u591a\u53f0\u200b\u673a\u5668\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b <code>nodeSelector</code>\uff1a</p> <pre><code># kubectl create deployment perf --image=kubeovn/perf:dev --replicas=2\ndeployment.apps/perf created\n# kubectl get pod -o wide\nNAME                    READY   STATUS    RESTARTS   AGE   IP           NODE     NOMINATED NODE   READINESS GATES\nperf-7697bc6ddf-b2cpv   1/1     Running   0          28s   100.64.0.3   sealos   &lt;none&gt;           &lt;none&gt;\nperf-7697bc6ddf-p2xpt   1/1     Running   0          28s   100.64.0.2   sealos   &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>\u200b\u8fdb\u5165\u200b\u5176\u4e2d\u200b\u4e00\u4e2a\u200b Pod \u200b\u5f00\u542f\u200b qperf server\uff0c\u200b\u5728\u200b\u53e6\u200b\u4e00\u4e2a\u200b Pod \u200b\u4e2d\u200b\u542f\u52a8\u200b qperf client \u200b\u8fdb\u884c\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b\uff1a</p> <pre><code># kubectl exec -it perf-7697bc6ddf-b2cpv sh\n/ # qperf\n\n# kubectl exec -it perf-7697bc6ddf-p2xpt sh\n/ # qperf -t 60 100.64.0.3 -ub -oo msg_size:1:16K:*4 -vu tcp_lat tcp_bw\n</code></pre> <p>\u200b\u90e8\u7f72\u200b istio-tcpip-bypass \u200b\u63d2\u4ef6\u200b\uff1a</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/intel/istio-tcpip-bypass/main/bypass-tcpip-daemonset.yaml\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u8fdb\u5165\u200b perf client \u200b\u5bb9\u5668\u200b\u8fdb\u884c\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b\uff1a</p> <pre><code># kubectl exec -it perf-7697bc6ddf-p2xpt sh\n/ # qperf -t 60 100.64.0.3 -ub -oo msg_size:1:16K:*4 -vu tcp_lat tcp_bw\n</code></pre>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_4","title":"\u6d4b\u8bd5\u200b\u7ed3\u679c","text":"<p>\u200b\u6839\u636e\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b TCP \u200b\u5ef6\u8fdf\u200b\u5728\u200b\u4e0d\u540c\u200b\u6570\u636e\u5305\u200b\u5927\u5c0f\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u4f1a\u200b\u6709\u200b 40% ~ 60% \u200b\u7684\u200b\u5ef6\u8fdf\u200b\u4e0b\u964d\u200b\uff0c\u200b\u5728\u200b\u6570\u636e\u5305\u200b\u5927\u4e8e\u200b 1024 \u200b\u5b57\u8282\u200b\u65f6\u200b\u541e\u5410\u91cf\u200b\u4f1a\u200b\u6709\u200b 40% ~ 80% \u200b\u63d0\u5347\u200b\u3002</p> Packet Size (byte) eBPF tcp_lat (us) Default tcp_lat (us) eBPF tcp_bw (Mb/s) Default tcp_bw(Mb/s) 1 20.2 44.5 1.36 4.27 4 20.2 48.7 5.48 16.7 16 19.6 41.6 21.7 63.5 64 18.8 41.3 96.8 201 256 19.2 36 395 539 1024 18.3 42.4 1360 846 4096 16.5 62.6 4460 2430 16384 20.2 58.8 9600 6900 <p>\u200b\u5728\u200b\u6d4b\u8bd5\u200b\u7684\u200b\u786c\u4ef6\u200b\u73af\u5883\u200b\u4e0b\u200b\uff0c\u200b\u6570\u636e\u5305\u200b\u5c0f\u4e8e\u200b 512 \u200b\u5b57\u8282\u200b\u65f6\u200b\uff0c\u200b\u4f7f\u7528\u200b eBPF \u200b\u4f18\u5316\u200b\u541e\u5410\u91cf\u200b\u6307\u6807\u200b\u4f1a\u200b\u4f4e\u4e8e\u200b\u9ed8\u8ba4\u200b\u914d\u7f6e\u200b\u4e0b\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u3002 \u200b\u8be5\u200b\u60c5\u51b5\u200b\u53ef\u80fd\u200b\u548c\u200b\u9ed8\u8ba4\u200b\u914d\u7f6e\u200b\u4e0b\u200b\u7f51\u5361\u200b\u5f00\u542f\u200b TCP \u200b\u805a\u5408\u200b\u4f18\u5316\u200b\u76f8\u5173\u200b\u3002\u200b\u5982\u679c\u200b\u5e94\u7528\u200b\u573a\u666f\u200b\u5bf9\u200b\u5c0f\u5305\u200b\u541e\u5410\u91cf\u200b\u654f\u611f\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u76f8\u5e94\u200b\u73af\u5883\u200b\u4e0b\u200b \u200b\u8fdb\u884c\u200b\u6d4b\u8bd5\u200b\u5224\u65ad\u200b\u662f\u5426\u200b\u5f00\u542f\u200b eBPF \u200b\u4f18\u5316\u200b\u3002\u200b\u6211\u4eec\u200b\u4e5f\u200b\u4f1a\u200b\u540e\u7eed\u200b\u5bf9\u200b eBPF TCP \u200b\u5c0f\u5305\u200b\u573a\u666f\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u8fdb\u884c\u200b\u4f18\u5316\u200b\u3002</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_5","title":"\u53c2\u8003\u8d44\u6599","text":"<ol> <li>istio-tcpip-bypass</li> <li>Deep Dive TCP/IP Bypass with eBPF in Service Mesh</li> <li>Tanzu Service Mesh Acceleration using eBPF</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/cilium-hubble-observe/","title":"Cilium \u200b\u7f51\u7edc\u6d41\u91cf\u200b\u89c2\u6d4b","text":"<p>Kube-OVN \u200b\u5f53\u524d\u200b\u5df2\u7ecf\u200b\u652f\u6301\u200b\u4e0e\u200b Cilium \u200b\u96c6\u6210\u200b\uff0c\u200b\u5177\u4f53\u64cd\u4f5c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Cilium \u200b\u96c6\u6210\u200b\u3002</p> <p>Cilium \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e30\u5bcc\u200b\u7684\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\u80fd\u529b\u200b\uff0c\u200b\u6d41\u91cf\u200b\u53ef\u200b\u89c2\u6d4b\u200b\u6027\u662f\u200b\u7531\u200b Hubble \u200b\u63d0\u4f9b\u200b\u7684\u200b\u3002Hubble \u200b\u53ef\u4ee5\u200b\u89c2\u5bdf\u200b\u8282\u70b9\u200b\u3001\u200b\u96c6\u7fa4\u200b\u751a\u81f3\u200b\u591a\u200b\u96c6\u7fa4\u200b\u573a\u666f\u200b\u4e0b\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u7684\u200b\u6d41\u91cf\u200b\u3002</p>"},{"location":"advance/cilium-hubble-observe/#hubble","title":"\u5b89\u88c5\u200b Hubble","text":"<p>\u200b\u9ed8\u8ba4\u200b\u7684\u200b Cilium \u200b\u96c6\u6210\u200b\u5b89\u88c5\u200b\u4e2d\u200b\uff0c\u200b\u5e76\u200b\u6ca1\u6709\u200b\u5b89\u88c5\u200b Hubble \u200b\u76f8\u5173\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u56e0\u6b64\u200b\u8981\u200b\u652f\u6301\u200b\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\uff0c\u200b\u9700\u8981\u200b\u5148\u200b\u5728\u200b\u73af\u5883\u200b\u4e0a\u200b\u8865\u5145\u200b\u5b89\u88c5\u200b Hubble\u3002</p> <p>\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff0c\u200b\u4f7f\u7528\u200b helm \u200b\u5b89\u88c5\u200b Hubble\uff1a</p> <pre><code>helm upgrade cilium cilium/cilium --version 1.11.6 \\\n   --namespace kube-system \\\n   --reuse-values \\\n   --set hubble.relay.enabled=true \\\n   --set hubble.ui.enabled=true\n</code></pre> <p>\u200b\u8865\u5145\u200b\u5b89\u88c5\u200b Hubble \u200b\u4e4b\u540e\u200b\uff0c\u200b\u6267\u884c\u200b <code>cilium status</code> \u200b\u67e5\u770b\u200b\u7ec4\u4ef6\u200b\u72b6\u6001\u200b\uff0c\u200b\u786e\u8ba4\u200b Hubble \u200b\u5b89\u88c5\u200b\u6210\u529f\u200b\u3002</p> <pre><code># cilium status\n    /\u00af\u00af\\\n /\u00af\u00af\\__/\u00af\u00af\\    Cilium:         OK\n \\__/\u00af\u00af\\__/    Operator:       OK\n /\u00af\u00af\\__/\u00af\u00af\\    Hubble:         OK\n \\__/\u00af\u00af\\__/    ClusterMesh:    disabled\n    \\__/\n\nDeployment        hubble-relay       Desired: 1, Ready: 1/1, Available: 1/1\nDeployment        cilium-operator    Desired: 2, Ready: 2/2, Available: 2/2\nDaemonSet         cilium             Desired: 2, Ready: 2/2, Available: 2/2\nDeployment        hubble-ui          Desired: 1, Ready: 1/1, Available: 1/1\nContainers:       cilium             Running: 2\n                  hubble-ui          Running: 1\n                  hubble-relay       Running: 1\n                  cilium-operator    Running: 2\nCluster Pods:     16/17 managed by Cilium\nImage versions    hubble-relay       quay.io/cilium/hubble-relay:v1.11.6@sha256:fd9034a2d04d5b973f1e8ed44f230ea195b89c37955ff32e34e5aa68f3ed675a: 1\n                  cilium-operator    quay.io/cilium/operator-generic:v1.11.6@sha256:9f6063c7bcaede801a39315ec7c166309f6a6783e98665f6693939cf1701bc17: 2\n                  cilium             quay.io/cilium/cilium:v1.11.6@sha256:f7f93c26739b6641a3fa3d76b1e1605b15989f25d06625260099e01c8243f54c: 2\n                  hubble-ui          quay.io/cilium/hubble-ui:v0.9.0@sha256:0ef04e9a29212925da6bdfd0ba5b581765e41a01f1cc30563cef9b30b457fea0: 1\n                  hubble-ui          quay.io/cilium/hubble-ui-backend:v0.9.0@sha256:000df6b76719f607a9edefb9af94dfd1811a6f1b6a8a9c537cba90bf12df474b: 1\napple@bogon cilium %\n</code></pre> <p>\u200b\u5b89\u88c5\u200b Hubble \u200b\u7ec4\u4ef6\u200b\u4e4b\u540e\u200b\uff0c\u200b\u9700\u8981\u200b\u5b89\u88c5\u200b\u547d\u4ee4\u884c\u200b\uff0c\u200b\u7528\u4e8e\u200b\u5728\u200b\u73af\u5883\u200b\u4e0a\u200b\u67e5\u770b\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002 \u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff0c\u200b\u5b89\u88c5\u200b Hubble CLI :</p> <pre><code>curl -L --fail --remote-name-all https://github.com/cilium/hubble/releases/download/v0.10.0/hubble-linux-amd64.tar.gz\nsudo tar xzvfC hubble-linux-amd64.tar.gz /usr/local/bin\n</code></pre>"},{"location":"advance/cilium-hubble-observe/#_1","title":"\u90e8\u7f72\u200b\u6d4b\u8bd5\u200b\u4e1a\u52a1","text":"<p>Cilium \u200b\u5b98\u65b9\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u4e2a\u200b\u6d41\u91cf\u200b\u6d4b\u8bd5\u200b\u7684\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\u5b98\u65b9\u200b\u90e8\u7f72\u200b\u7684\u200b\u4e1a\u52a1\u200b\u8fdb\u884c\u200b\u6d4b\u8bd5\u200b\u3002</p> <p>\u200b\u6267\u884c\u547d\u4ee4\u200b <code>cilium connectivity test</code>\uff0cCilium \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u521b\u5efa\u200b <code>cilium-test</code> \u200b\u7684\u200b Namespace\uff0c\u200b\u540c\u65f6\u200b\u5728\u200b cilium-test \u200b\u4e0b\u200b\u90e8\u7f72\u200b\u6d4b\u8bd5\u200b\u4e1a\u52a1\u200b\u3002</p> <p>\u200b\u6b63\u5e38\u200b\u90e8\u7f72\u200b\u5b8c\u540e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b cilium-test namespace \u200b\u4e0b\u200b\u7684\u200b\u8d44\u6e90\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53c2\u8003\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># kubectl get all -n cilium-test\nNAME                                  READY   STATUS    RESTARTS   AGE\npod/client-7df6cfbf7b-z5t2j           1/1     Running   0          21s\npod/client2-547996d7d8-nvgxg          1/1     Running   0          21s\npod/echo-other-node-d79544ccf-hl4gg   2/2     Running   0          21s\npod/echo-same-node-5d466d5444-ml7tc   2/2     Running   0          21s\n\nNAME                      TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE\nservice/echo-other-node   NodePort   10.109.58.126   &lt;none&gt;        8080:32269/TCP   21s\nservice/echo-same-node    NodePort   10.108.70.32    &lt;none&gt;        8080:32490/TCP   21s\n\nNAME                              READY   UP-TO-DATE   AVAILABLE   AGE\ndeployment.apps/client            1/1     1            1           21s\ndeployment.apps/client2           1/1     1            1           21s\ndeployment.apps/echo-other-node   1/1     1            1           21s\ndeployment.apps/echo-same-node    1/1     1            1           21s\n\nNAME                                        DESIRED   CURRENT   READY   AGE\nreplicaset.apps/client-7df6cfbf7b           1         1         1       21s\nreplicaset.apps/client2-547996d7d8          1         1         1       21s\nreplicaset.apps/echo-other-node-d79544ccf   1         1         1       21s\nreplicaset.apps/echo-same-node-5d466d5444   1         1         1       21s\n</code></pre>"},{"location":"advance/cilium-hubble-observe/#_2","title":"\u4f7f\u7528\u200b\u547d\u4ee4\u884c\u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u89c2\u6d4b","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\u4ec5\u200b\u63d0\u4f9b\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b Cilium \u200b\u4ee3\u7406\u200b\u89c2\u5bdf\u200b\u5230\u200b\u7684\u200b\u6d41\u91cf\u200b\u3002 \u200b\u53ef\u4ee5\u200b\u5728\u200b <code>kube-system namespace</code> \u200b\u4e0b\u200b\u7684\u200b Cilium \u200b\u4ee3\u7406\u200b pod \u200b\u4e2d\u200b\u6267\u884c\u200b <code>hubble observe</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u770b\u200b\u8be5\u200b\u8282\u70b9\u200b\u4e0a\u200b\u7684\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002</p> <pre><code># kubectl get pod -n kube-system -o wide\nNAME                                             READY   STATUS    RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES\ncilium-d6h56                                     1/1     Running   0          2d20h   172.18.0.2   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\ncilium-operator-5887f78bbb-c7sb2                 1/1     Running   0          2d20h   172.18.0.2   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\ncilium-operator-5887f78bbb-wj8gt                 1/1     Running   0          2d20h   172.18.0.3   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\ncilium-tq5xb                                     1/1     Running   0          2d20h   172.18.0.3   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\nkube-ovn-pinger-7lgk8                            1/1     Running   0          21h     10.16.0.19   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\nkube-ovn-pinger-msvcn                            1/1     Running   0          21h     10.16.0.18   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\n\n# kubectl exec -it -n kube-system cilium-d6h56 -- bash\nroot@kube-ovn-worker:/home/cilium# hubble observe --from-namespace kube-system\nJul 29 03:24:25.551: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.561: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: RST)\nJul 29 03:24:25.561: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, RST)\nJul 29 03:24:25.572: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: SYN)\nJul 29 03:24:25.572: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.651: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.661: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: RST)\nJul 29 03:24:25.661: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, RST)\nJul 29 03:24:25.761: kube-system/kube-ovn-pinger-msvcn:52004 -&gt; 172.18.0.3:6443 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.779: kube-system/kube-ovn-pinger-msvcn -&gt; kube-system/kube-ovn-pinger-7lgk8 to-stack FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:25.779: kube-system/kube-ovn-pinger-msvcn &lt;- kube-system/kube-ovn-pinger-7lgk8 to-endpoint FORWARDED (ICMPv4 EchoReply)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 &lt;- kube-system/hubble-relay-959988db5-zc5vv:4245 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 &lt;- kube-system/hubble-relay-959988db5-zc5vv:80 to-endpoint FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 -&gt; kube-system/hubble-relay-959988db5-zc5vv:4245 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 -&gt; kube-system/hubble-relay-959988db5-zc5vv:4245 to-endpoint FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.975: kube-system/kube-ovn-pinger-7lgk8 -&gt; kube-system/kube-ovn-pinger-msvcn to-endpoint FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:25.975: kube-system/kube-ovn-pinger-7lgk8 &lt;- kube-system/kube-ovn-pinger-msvcn to-stack FORWARDED (ICMPv4 EchoReply)\nJul 29 03:24:25.979: kube-system/kube-ovn-pinger-msvcn -&gt; 172.18.0.3 to-stack FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:26.037: kube-system/coredns-6d4b75cb6d-lbgjg:36430 -&gt; 172.18.0.3:6443 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:26.282: kube-system/kube-ovn-pinger-msvcn -&gt; 172.18.0.2 to-stack FORWARDED (ICMPv4 EchoRequest)\n</code></pre> <p>\u200b\u90e8\u7f72\u200b Hubble Relay \u200b\u540e\u200b\uff0cHubble \u200b\u53ef\u4ee5\u200b\u63d0\u4f9b\u200b\u5b8c\u6574\u200b\u7684\u200b\u96c6\u7fa4\u200b\u8303\u56f4\u200b\u7684\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\u3002</p>"},{"location":"advance/cilium-hubble-observe/#_3","title":"\u914d\u7f6e\u200b\u7aef\u53e3\u200b\u8f6c\u53d1","text":"<p>\u200b\u4e3a\u4e86\u200b\u80fd\u200b\u6b63\u5e38\u200b\u8bbf\u95ee\u200b Hubble API\uff0c\u200b\u9700\u8981\u200b\u521b\u5efa\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u5c06\u200b\u672c\u5730\u200b\u8bf7\u6c42\u200b\u8f6c\u53d1\u200b\u5230\u200b Hubble Service\u3002\u200b\u53ef\u4ee5\u200b\u6267\u884c\u200b <code>kubectl port-forward deployment/hubble-relay -n kube-system 4245:4245</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u5728\u200b\u5f53\u524d\u200b\u7ec8\u7aef\u200b\u5f00\u542f\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u3002</p> <p>\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u914d\u7f6e\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b \u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u3002</p> <p><code>kubectl port-forward</code> \u200b\u547d\u4ee4\u200b\u4e0d\u4f1a\u200b\u8fd4\u56de\u200b\uff0c\u200b\u9700\u8981\u200b\u6253\u5f00\u200b\u53e6\u200b\u4e00\u4e2a\u200b\u7ec8\u7aef\u200b\u6765\u200b\u7ee7\u7eed\u200b\u6d4b\u8bd5\u200b\u3002</p> <p>\u200b\u914d\u7f6e\u200b\u5b8c\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u4e4b\u540e\u200b\uff0c\u200b\u5728\u200b\u7ec8\u7aef\u200b\u6267\u884c\u200b <code>hubble status</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u5982\u679c\u200b\u6709\u200b\u7c7b\u4f3c\u200b\u5982\u4e0b\u200b\u8f93\u51fa\u200b\uff0c\u200b\u5219\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u914d\u7f6e\u200b\u6b63\u786e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u547d\u4ee4\u884c\u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\u3002</p> <pre><code># hubble status\nHealthcheck (via localhost:4245): Ok\nCurrent/Max Flows: 8,190/8,190 (100.00%)\nFlows/s: 22.86\nConnected Nodes: 2/2\n</code></pre>"},{"location":"advance/cilium-hubble-observe/#_4","title":"\u547d\u4ee4\u884c\u200b\u89c2\u6d4b","text":"<p>\u200b\u5728\u200b\u7ec8\u7aef\u200b\u4e0a\u200b\u6267\u884c\u200b <code>hubble observe</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u770b\u200b\u96c6\u7fa4\u200b\u7684\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002 \u200b\u89c2\u6d4b\u200b\u5230\u200b\u7684\u200b cilium-test \u200b\u76f8\u5173\u200b\u7684\u200b\u6d4b\u8bd5\u200b\u6d41\u91cf\u200b\u53c2\u8003\u200b\u5982\u4e0b\u200b\uff1a </p> <p>\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u7684\u200b\u662f\u200b\uff0c <code>hubble observe</code> \u200b\u547d\u4ee4\u200b\u7684\u200b\u663e\u793a\u200b\u7ed3\u679c\u200b\uff0c\u200b\u662f\u200b\u5f53\u524d\u200b\u547d\u4ee4\u884c\u200b\u6267\u884c\u200b\u65f6\u200b\u67e5\u8be2\u200b\u5230\u200b\u7684\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002\u200b\u591a\u6b21\u200b\u6267\u884c\u547d\u4ee4\u200b\u884c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b\u5230\u200b\u4e0d\u540c\u200b\u7684\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002 \u200b\u66f4\u200b\u591a\u200b\u8be6\u7ec6\u200b\u7684\u200b\u89c2\u6d4b\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u6267\u884c\u200b <code>hubble help observe</code> \u200b\u547d\u4ee4\u200b\u67e5\u770b\u200b Hubble CLI \u200b\u7684\u200b\u8be6\u7ec6\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u3002</p>"},{"location":"advance/cilium-hubble-observe/#ui","title":"\u4f7f\u7528\u200b UI \u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u89c2\u6d4b","text":"<p>\u200b\u6267\u884c\u200b <code>cilium status</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u786e\u8ba4\u200b Hubble UI \u200b\u5df2\u7ecf\u200b\u5b89\u88c5\u200b\u6210\u529f\u200b\u3002\u200b\u5728\u200b\u7b2c\u4e8c\u6b65\u200b\u7684\u200b Hubble \u200b\u5b89\u88c5\u200b\u4e2d\u200b\uff0c\u200b\u5df2\u7ecf\u200b\u8865\u5145\u200b\u4e86\u200b UI \u200b\u7684\u200b\u5b89\u88c5\u200b\u3002</p> <p>\u200b\u6267\u884c\u547d\u4ee4\u200b <code>cilium hubble ui</code> \u200b\u53ef\u4ee5\u200b\u81ea\u52a8\u200b\u521b\u5efa\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u5c06\u200b <code>hubble-ui service</code> \u200b\u6620\u5c04\u200b\u5230\u200b\u672c\u5730\u200b\u7aef\u53e3\u200b\u3002 \u200b\u6b63\u5e38\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u6267\u884c\u200b\u5b8c\u200b\u547d\u4ee4\u200b\u540e\u200b\uff0c\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u6253\u5f00\u200b\u672c\u5730\u200b\u7684\u200b\u6d4f\u89c8\u5668\u200b\uff0c\u200b\u8df3\u8f6c\u200b\u5230\u200b Hubble UI \u200b\u754c\u9762\u200b\u3002\u200b\u5982\u679c\u200b\u6ca1\u6709\u200b\u81ea\u52a8\u200b\u8df3\u8f6c\u200b\uff0c\u200b\u5728\u200b\u6d4f\u89c8\u5668\u200b\u4e2d\u200b\u8f93\u5165\u200b <code>http://localhost:12000</code> \u200b\u6253\u5f00\u200b UI \u200b\u89c2\u5bdf\u200b\u754c\u9762\u200b\u3002</p> <p>\u200b\u5728\u200b\u754c\u9762\u200b\u5de6\u4e0a\u89d2\u200b\uff0c\u200b\u9009\u62e9\u200b <code>cilium-test</code> namespace\uff0c\u200b\u67e5\u770b\u200b Cilium \u200b\u63d0\u4f9b\u200b\u7684\u200b\u6d4b\u8bd5\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002 </p>"},{"location":"advance/cilium-hubble-observe/#hubble_1","title":"Hubble \u200b\u6d41\u91cf\u200b\u76d1\u63a7","text":"<p>Hubble \u200b\u7ec4\u4ef6\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u96c6\u7fa4\u200b\u4e2d\u200b Pod \u200b\u7f51\u7edc\u200b\u884c\u4e3a\u200b\u7684\u200b\u76d1\u63a7\u200b\uff0c\u200b\u4e3a\u4e86\u200b\u652f\u6301\u200b\u67e5\u770b\u200b Hubble \u200b\u63d0\u4f9b\u200b\u7684\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\uff0c\u200b\u9700\u8981\u200b\u4f7f\u80fd\u200b\u76d1\u63a7\u200b\u7edf\u8ba1\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff0c\u200b\u8865\u5145\u200b <code>hubble.metrics.enabled</code> \u200b\u914d\u7f6e\u200b\u9879\u200b:</p> <pre><code>helm upgrade cilium cilium/cilium --version 1.11.6 \\\n   --namespace kube-system \\\n   --reuse-values \\\n   --set hubble.relay.enabled=true \\\n   --set hubble.ui.enabled=true \\\n   --set hubble.metrics.enabled=\"{dns,drop,tcp,flow,icmp,http}\"\n</code></pre> <p>\u200b\u90e8\u7f72\u200b\u4e4b\u540e\u200b\uff0c\u200b\u4f1a\u200b\u5728\u200b kube-system namespace \u200b\u751f\u6210\u200b\u540d\u79f0\u200b\u4e3a\u200b <code>hubble-metrics</code> \u200b\u7684\u200b\u670d\u52a1\u200b\u3002\u200b\u901a\u8fc7\u200b\u8bbf\u95ee\u200b Endpoints \u200b\u67e5\u8be2\u200b Hubble \u200b\u63d0\u4f9b\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff0c\u200b\u53c2\u8003\u200b\u5982\u4e0b\u200b:</p> <pre><code># curl 172.18.0.2:9091/metrics\n# HELP hubble_drop_total Number of drops\n# TYPE hubble_drop_total counter\nhubble_drop_total{protocol=\"ICMPv6\",reason=\"Unsupported L3 protocol\"} 2\n# HELP hubble_flows_processed_total Total number of flows processed\n# TYPE hubble_flows_processed_total counter\nhubble_flows_processed_total{protocol=\"ICMPv4\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 335\nhubble_flows_processed_total{protocol=\"ICMPv4\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 335\nhubble_flows_processed_total{protocol=\"ICMPv6\",subtype=\"\",type=\"Drop\",verdict=\"DROPPED\"} 2\nhubble_flows_processed_total{protocol=\"TCP\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 8282\nhubble_flows_processed_total{protocol=\"TCP\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 6767\nhubble_flows_processed_total{protocol=\"UDP\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 1642\nhubble_flows_processed_total{protocol=\"UDP\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 1642\n# HELP hubble_icmp_total Number of ICMP messages\n# TYPE hubble_icmp_total counter\nhubble_icmp_total{family=\"IPv4\",type=\"EchoReply\"} 335\nhubble_icmp_total{family=\"IPv4\",type=\"EchoRequest\"} 335\nhubble_icmp_total{family=\"IPv4\",type=\"RouterSolicitation\"} 2\n# HELP hubble_tcp_flags_total TCP flag occurrences\n# TYPE hubble_tcp_flags_total counter\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"FIN\"} 2043\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"RST\"} 301\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"SYN\"} 1169\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"SYN-ACK\"} 1169\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/cilium-networkpolicy/","title":"Cilium NetworkPolicy \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u5f53\u524d\u200b\u5df2\u7ecf\u200b\u652f\u6301\u200b\u4e0e\u200b Cilium \u200b\u96c6\u6210\u200b\uff0c\u200b\u5177\u4f53\u64cd\u4f5c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Cilium \u200b\u96c6\u6210\u200b\u3002</p> <p>\u200b\u5728\u200b\u96c6\u6210\u200b Cilium \u200b\u4e4b\u540e\u200b\uff0c\u200b\u5c31\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b Cilium \u200b\u4f18\u79c0\u200b\u7684\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u80fd\u529b\u200b\uff0c\u200b\u5b9e\u73b0\u200b\u5bf9\u200b\u6d41\u91cf\u200b\u8bbf\u95ee\u200b\u7684\u200b\u63a7\u5236\u200b\u3002\u200b\u4ee5\u4e0b\u200b\u6587\u6863\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u5bf9\u200b Cilium L3 \u200b\u548c\u200b L4 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u80fd\u529b\u200b\u7684\u200b\u96c6\u6210\u200b\u9a8c\u8bc1\u200b\u3002</p>"},{"location":"advance/cilium-networkpolicy/#_1","title":"\u9a8c\u8bc1\u200b\u6b65\u9aa4","text":""},{"location":"advance/cilium-networkpolicy/#pod","title":"\u521b\u5efa\u200b\u6d4b\u8bd5\u200b Pod","text":"<p>\u200b\u521b\u5efa\u200b namespace <code>test</code>\u3002\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u5728\u200b test namespace \u200b\u4e2d\u200b\u521b\u5efa\u200b\u6307\u5b9a\u200b label <code>app=test</code> \u200b\u7684\u200b Pod\uff0c\u200b\u4f5c\u4e3a\u200b\u6d4b\u8bd5\u200b\u8bbf\u95ee\u200b\u7684\u200b\u76ee\u7684\u200b Pod\u3002</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: test\n  name: test\n  namespace: test\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: test\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      labels:\n        app: test\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n</code></pre> <p>\u200b\u540c\u6837\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u5728\u200b default namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b\u6307\u5b9a\u200b label <code>app=dynamic</code> \u200b\u7684\u200b Pod \u200b\u4e3a\u200b\u53d1\u8d77\u200b\u8bbf\u95ee\u200b\u6d4b\u8bd5\u200b\u7684\u200b Pod\u3002</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: dynamic\n  name: dynamic\n  namespace: default\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: dynamic\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      creationTimestamp: null\n      labels:\n        app: dynamic\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n</code></pre> <p>\u200b\u67e5\u770b\u200b\u6d4b\u8bd5\u200b Pod \u200b\u4ee5\u53ca\u200b Label \u200b\u4fe1\u606f\u200b:</p> <pre><code># kubectl get pod -o wide --show-labels\nNAME                         READY   STATUS    RESTARTS   AGE   IP           NODE                     NOMINATED NODE   READINESS GATES   LABELS\ndynamic-7d8d7874f5-9v5c4     1/1     Running   0          28h   10.16.0.35   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\ndynamic-7d8d7874f5-s8z2n     1/1     Running   0          28h   10.16.0.36   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\n# kubectl get pod -o wide -n test --show-labels\nNAME                           READY   STATUS    RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES   LABELS\ndynamic-7d8d7874f5-6dsg6       1/1     Running   0          7h20m   10.16.0.2    kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\ndynamic-7d8d7874f5-tjgtp       1/1     Running   0          7h46m   10.16.0.42   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\nlabel-test1-77b6764857-swq4k   1/1     Running   0          3h43m   10.16.0.12   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=test1,pod-template-hash=77b6764857\n\n// \u200b\u4ee5\u4e0b\u200b\u4e3a\u200b\u6d4b\u8bd5\u200b\u8bbf\u95ee\u200b\u76ee\u7684\u200b Pod\ntest-54c98bc466-mft5s          1/1     Running   0          8h      10.16.0.41   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=test,pod-template-hash=54c98bc466\n</code></pre>"},{"location":"advance/cilium-networkpolicy/#l3","title":"L3 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u6d4b\u8bd5","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b <code>CiliumNetworkPolicy</code> \u200b\u8d44\u6e90\u200b:</p> <pre><code>apiVersion: \"cilium.io/v2\"\nkind: CiliumNetworkPolicy\nmetadata:\n  name: \"l3-rule\"\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n</code></pre> <p>\u200b\u5728\u200b default namespace \u200b\u4e0b\u200b\u7684\u200b\u6d4b\u8bd5\u200b Pod \u200b\u4e2d\u200b\uff0c\u200b\u53d1\u8d77\u200b\u5bf9\u200b\u76ee\u7684\u200b Pod \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u7ed3\u679c\u200b\u8bbf\u95ee\u200b\u4e0d\u901a\u200b\u3002 \u200b\u4f46\u662f\u200b\u5728\u200b test namespace \u200b\u4e0b\u200b\uff0c\u200b\u6d4b\u8bd5\u200b\u5230\u200b\u76ee\u7684\u200b Pod \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u6d4b\u8bd5\u200b\u6b63\u5e38\u200b\u3002</p> <p>default namespace \u200b\u4e0b\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b:</p> <pre><code># kubectl exec -it dynamic-7d8d7874f5-9v5c4 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\n</code></pre> <p>test namepsace \u200b\u4e0b\u200b Pod \u200b\u7684\u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u8bbf\u95ee\u200b\u6b63\u5e38\u200b:</p> <pre><code># kubectl exec -it -n test dynamic-7d8d7874f5-6dsg6 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n64 bytes from 10.16.0.41: seq=0 ttl=64 time=2.558 ms\n64 bytes from 10.16.0.41: seq=1 ttl=64 time=0.223 ms\n64 bytes from 10.16.0.41: seq=2 ttl=64 time=0.304 ms\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.223/1.028/2.558 ms\n</code></pre> <p>\u200b\u67e5\u770b\u200b Cilium \u200b\u5b98\u65b9\u200b\u6587\u6863\u200b\u89e3\u91ca\u200b\uff0c<code>CiliumNetworkPolicy</code> \u200b\u8d44\u6e90\u200b\u5c06\u200b\u9650\u5236\u200b\u63a7\u5236\u200b\u5728\u200b\u4e86\u200b <code>Namespace</code> \u200b\u7ea7\u522b\u200b\u3002\u200b\u8be6\u7ec6\u4fe1\u606f\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b Cilium \u200b\u9650\u5236\u200b\u3002</p> <p>\u200b\u5728\u200b\u6709\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u5339\u914d\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u53ea\u6709\u200b\u540c\u4e00\u4e2a\u200b Namespace \u200b\u7684\u200b Pod \uff0c\u200b\u624d\u200b\u53ef\u4ee5\u200b\u6309\u7167\u200b\u89c4\u5219\u200b\u8fdb\u884c\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u62d2\u7edd\u200b\u5176\u4ed6\u200b Namespace \u200b\u7684\u200b Pod \u200b\u8fdb\u884c\u200b\u8bbf\u95ee\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u60f3\u200b\u5b9e\u73b0\u200b\u8de8\u200b Namespace \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u89c4\u5219\u200b\u4e2d\u200b\u660e\u786e\u200b\u6307\u5b9a\u200b Namespace \u200b\u4fe1\u606f\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\uff0c\u200b\u4fee\u6539\u200b <code>CiliumNetworkPolicy</code> \u200b\u8d44\u6e90\u200b\uff0c\u200b\u589e\u52a0\u200b namespace \u200b\u4fe1\u606f\u200b:</p> <pre><code>  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n        k8s:io.kubernetes.pod.namespace: default    // \u200b\u63a7\u5236\u200b\u5176\u4ed6\u200b Namespace \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\n</code></pre> <p>\u200b\u67e5\u770b\u200b\u4fee\u6539\u200b\u540e\u200b\u7684\u200b <code>CiliumNetworkPolicy</code> \u200b\u8d44\u6e90\u200b\u4fe1\u606f\u200b:</p> <pre><code># kubectl get cnp -n test  -o yaml l3-rule\napiVersion: cilium.io/v2\nkind: CiliumNetworkPolicy\nmetadata:\n  name: l3-rule\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n    - matchLabels:\n        app: dynamic\n        k8s:io.kubernetes.pod.namespace: default\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u6d4b\u8bd5\u200b default namespace \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\uff0c\u200b\u76ee\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\u6b63\u5e38\u200b:</p> <pre><code># kubectl exec -it dynamic-7d8d7874f5-9v5c4 -n test -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n64 bytes from 10.16.0.41: seq=0 ttl=64 time=2.383 ms\n64 bytes from 10.16.0.41: seq=1 ttl=64 time=0.115 ms\n64 bytes from 10.16.0.41: seq=2 ttl=64 time=0.142 ms\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.115/0.880/2.383 ms\n</code></pre> <p>\u200b\u4f7f\u7528\u200b\u6807\u51c6\u200b\u7684\u200b Kubernetes \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b networkpolicy\uff0c\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u663e\u793a\u200b Cilium \u200b\u540c\u6837\u200b\u5c06\u200b\u8bbf\u95ee\u200b\u9650\u5236\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b Namespace \u200b\u5185\u200b\uff0c\u200b\u8de8\u200b Namespace \u200b\u7684\u200b\u8bbf\u95ee\u200b\u662f\u200b\u7981\u6b62\u200b\u7684\u200b\u3002</p> <p>\u200b\u8fd9\u70b9\u200b\u4e0e\u200b Kube-OVN \u200b\u5b9e\u73b0\u200b\u662f\u200b\u4e0d\u540c\u200b\u7684\u200b\u3002Kube-OVN \u200b\u652f\u6301\u200b\u6807\u51c6\u200b\u7684\u200b k8s \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\uff0c\u200b\u9650\u5236\u200b\u4e86\u200b\u5177\u4f53\u200b Namespace \u200b\u4e0b\u200b\u7684\u200b\u76ee\u7684\u200b Pod\uff0c\u200b\u4f46\u662f\u200b\u5bf9\u200b\u6e90\u5730\u5740\u200b Pod\uff0c\u200b\u662f\u200b\u6ca1\u6709\u200b Namespace \u200b\u9650\u5236\u200b\u7684\u200b\uff0c\u200b\u4efb\u4f55\u200b Namespace \u200b\u4e0b\u200b\u7b26\u5408\u200b\u9650\u5236\u200b\u89c4\u5219\u200b\u7684\u200b Pod\uff0c\u200b\u90fd\u200b\u53ef\u4ee5\u200b\u5b9e\u73b0\u200b\u5bf9\u200b\u76ee\u7684\u200b Pod \u200b\u7684\u200b\u8bbf\u95ee\u200b\u3002</p>"},{"location":"advance/cilium-networkpolicy/#l4","title":"L4 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u6d4b\u8bd5","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b L4 \u200b\u5c42\u200b\u7684\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u8d44\u6e90\u200b:</p> <pre><code>apiVersion: \"cilium.io/v2\"\nkind: CiliumNetworkPolicy\nmetadata:\n  name: \"l4-rule\"\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n    toPorts:\n    - ports:\n      - port: \"80\"\n        protocol: TCP\n</code></pre> <p>\u200b\u6d4b\u8bd5\u200b\u76f8\u540c\u200b Namespace \u200b\u4e0b\u200b\uff0c\u200b\u7b26\u5408\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u7684\u200b Pod \u200b\u7684\u200b\u8bbf\u95ee\u200b</p> <pre><code># kubectl exec -it -n test dynamic-7d8d7874f5-6dsg6 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\nbash-5.0#\nbash-5.0# curl 10.16.0.41:80\n&lt;html&gt;\n&lt;head&gt;\n        &lt;title&gt;Hello World!&lt;/title&gt;\n        &lt;link href='//fonts.googleapis.com/css?family=Open+Sans:400,700' rel='stylesheet' type='text/css'&gt;\n        &lt;style&gt;\n        body {\n                background-color: white;\n                text-align: center;\n                padding: 50px;\n                font-family: \"Open Sans\",\"Helvetica Neue\",Helvetica,Arial,sans-serif;\n        }\n        #logo {\n                margin-bottom: 40px;\n        }\n        &lt;/style&gt;\n&lt;/head&gt;\n&lt;body&gt;\n                &lt;h1&gt;Hello World!&lt;/h1&gt;\n                                &lt;h3&gt;Links found&lt;/h3&gt;\n        &lt;h3&gt;I am on  test-54c98bc466-mft5s&lt;/h3&gt;\n        &lt;h3&gt;Cookie                  =&lt;/h3&gt;\n                                        &lt;b&gt;KUBERNETES&lt;/b&gt; listening in 443 available at tcp://10.96.0.1:443&lt;br /&gt;\n                                                &lt;h3&gt;my name is hanhouchao!&lt;/h3&gt;\n                        &lt;h3&gt; RequestURI='/'&lt;/h3&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre> <p>\u200b\u76f8\u540c\u200b Namespace \u200b\u4e0b\u200b\uff0c\u200b\u4e0d\u200b\u7b26\u5408\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\u6d4b\u8bd5\u200b</p> <pre><code># kubectl exec -it -n test label-test1-77b6764857-swq4k -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\nbash-5.0#\nbash-5.0# curl -v 10.16.0.41:80 --connect-timeout 10\n*   Trying 10.16.0.41:80...\n* After 10000ms connect time, move on!\n* connect to 10.16.0.41 port 80 failed: Operation timed out\n* Connection timeout after 10001 ms\n* Closing connection 0\ncurl: (28) Connection timeout after 10001 ms\n</code></pre> <p>\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u751f\u6548\u200b\u540e\u200b\uff0c\u200b\u8de8\u200b Namespace \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u4f9d\u7136\u200b\u662f\u200b\u88ab\u200b\u7981\u6b62\u200b\u7684\u200b\uff0c\u200b\u8ddf\u200b L3 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b\u4e00\u81f4\u200b\u3002</p> <p>\u200b\u5728\u200b L4 \u200b\u7f51\u7edc\u200b\u89c4\u5219\u200b\u751f\u6548\u200b\u540e\u200b\uff0cping \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\uff0c\u200b\u4f46\u662f\u200b\u7b26\u5408\u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u7684\u200b TCP \u200b\u8bbf\u95ee\u200b\uff0c\u200b\u662f\u200b\u53ef\u4ee5\u200b\u6b63\u5e38\u200b\u6267\u884c\u200b\u7684\u200b\u3002</p> <p>\u200b\u5173\u4e8e\u200b ICMP \u200b\u7684\u200b\u9650\u5236\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u5b98\u65b9\u200b\u8bf4\u660e\u200b L4 \u200b\u9650\u5236\u200b\u8bf4\u660e\u200b\u3002</p>"},{"location":"advance/cilium-networkpolicy/#l7","title":"L7 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u6d4b\u8bd5","text":"<p>chaining \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0cL7 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u76ee\u524d\u200b\u662f\u200b\u5b58\u5728\u200b\u95ee\u9898\u200b\u7684\u200b\u3002\u200b\u5728\u200b Cilium \u200b\u5b98\u65b9\u200b\u6587\u6863\u200b\u4e2d\u200b\uff0c\u200b\u5bf9\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u7ed9\u51fa\u200b\u4e86\u200b\u8bf4\u660e\u200b\uff0c\u200b\u53c2\u8003\u200b Generic Veth Chaining\u3002</p> <p>\u200b\u8fd9\u4e2a\u200b\u95ee\u9898\u200b\u4f7f\u7528\u200b issue 12454 \u200b\u8ddf\u8e2a\u200b\uff0c\u200b\u76ee\u524d\u200b\u8fd8\u200b\u6ca1\u6709\u200b\u89e3\u51b3\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/dhcp/","title":"DHCP \u200b\u8bbe\u7f6e","text":"<p>\u200b\u5728\u200b\u4f7f\u7528\u200b SR-IOV \u200b\u6216\u200b DPDK \u200b\u7c7b\u578b\u200b\u7f51\u7edc\u200b\u65f6\u200b\uff0cKubeVirt \u200b\u5185\u7f6e\u200b\u7684\u200b DHCP \u200b\u65e0\u6cd5\u200b\u5728\u200b\u8be5\u200b\u7f51\u7edc\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u5de5\u4f5c\u200b\u3002Kube-OVN \u200b\u53ef\u4ee5\u200b\u5229\u7528\u200b OVN \u200b\u7684\u200b DHCP \u200b\u80fd\u529b\u200b\u5728\u200b\u5b50\u7f51\u200b\u7ea7\u522b\u200b\u8bbe\u7f6e\u200b  DHCP \u200b\u9009\u9879\u200b\uff0c\u200b\u4ece\u800c\u200b\u5e2e\u52a9\u200b\u8be5\u200b\u7f51\u7edc\u200b\u7c7b\u578b\u200b\u7684\u200b KubeVirt \u200b\u865a\u673a\u200b\u6b63\u5e38\u200b\u4f7f\u7528\u200b DHCP \u200b\u83b7\u5f97\u200b\u5206\u914d\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002Kube-OVN \u200b\u540c\u65f6\u200b\u652f\u6301\u200b DHCPv4 \u200b\u548c\u200b DHCPv6\u3002</p> <p>\u200b\u5b50\u7f51\u200b DHCP \u200b\u7684\u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sn-dual\nspec:\n  cidrBlock: \"10.0.0.0/24,240e::a00/120\"\n  default: false\n  disableGatewayCheck: true\n  disableInterConnection: false\n  excludeIps:\n    - 10.0.0.1\n    - 240e::a01\n  gateway: 10.0.0.1,240e::a01\n  gatewayNode: ''\n  gatewayType: distributed\n  natOutgoing: false\n  private: false\n  protocol: Dual\n  provider: ovn\n  vpc: vpc-test\n  enableDHCP: true\n  dhcpV4Options: \"lease_time=3600,router=10.0.0.1,server_id=169.254.0.254,server_mac=00:00:00:2E:2F:B8\"\n  dhcpV6Options: \"server_id=00:00:00:2E:2F:C5\"\n  enableIPv6RA: true\n  ipv6RAConfigs: \"address_mode=dhcpv6_stateful,max_interval=30,min_interval=5,send_periodic=true\"\n</code></pre> <ul> <li><code>enableDHCP</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u5b50\u7f51\u200b\u7684\u200b DHCP \u200b\u529f\u80fd\u200b\u3002</li> <li><code>dhcpV4Options</code>,<code>dhcpV6Options</code>: \u200b\u8be5\u5b57\u6bb5\u200b\u76f4\u63a5\u200b\u66b4\u9732\u200b ovn-nb \u200b\u5185\u200b DHCP \u200b\u76f8\u5173\u200b\u9009\u9879\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b DHCP Options\u3002 \u200b\u9ed8\u8ba4\u503c\u200b\u5206\u522b\u200b\u4e3a\u200b <code>\"lease_time=3600, router=$ipv4_gateway, server_id=169.254.0.254, server_mac=$random_mac\"</code> \u200b\u548c\u200b <code>server_id=$random_mac</code>\u3002</li> <li><code>enableIPv6RA</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b DHCPv6 \u200b\u7684\u200b\u8def\u7531\u200b\u5e7f\u64ad\u200b\u529f\u80fd\u200b\u3002</li> <li><code>ipv6RAConfigs</code>\uff1a\u200b\u8be5\u5b57\u6bb5\u200b\u76f4\u63a5\u200b\u66b4\u9732\u200b ovn-nb \u200b\u5185\u200b Logical_Router_Port \u200b\u76f8\u5173\u200b\u9009\u9879\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b Logical Router Port \u200b\u9ed8\u8ba4\u503c\u200b\u4e3a\u200b <code>address_mode=dhcpv6_stateful, max_interval=30, min_interval=5, send_periodic=true</code>\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/dpdk/","title":"DPDK \u200b\u652f\u6301","text":"<p>\u200b\u8be5\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b Kube-OVN \u200b\u5982\u4f55\u200b\u548c\u200b OVS-DPDK \u200b\u7ed3\u5408\u200b\uff0c\u200b\u7ed9\u200b KubeVirt \u200b\u7684\u200b\u865a\u673a\u200b\u63d0\u4f9b\u200b DPDK \u200b\u7c7b\u578b\u200b\u7684\u200b\u7f51\u7edc\u63a5\u53e3\u200b\u3002</p> <p>\u200b\u4e0a\u6e38\u200b\u7684\u200b KubeVirt \u200b\u76ee\u524d\u200b\u8fd8\u200b\u672a\u200b\u652f\u6301\u200b OVS-DPDK\uff0c\u200b\u7528\u6237\u200b\u9700\u8981\u200b\u81ea\u5df1\u200b\u901a\u8fc7\u200b\u76f8\u5173\u200b patch Vhostuser implementation \u200b\u6784\u5efa\u200b KubeVirt \u200b\u6216\u200b KVM Device Plugin \u200b\u6765\u200b\u4f7f\u7528\u200b OVS-DPDK\u3002</p>"},{"location":"advance/dpdk/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ul> <li>\u200b\u8282\u70b9\u200b\u9700\u200b\u63d0\u4f9b\u200b\u4e13\u95e8\u200b\u7ed9\u200b DPDK \u200b\u9a71\u52a8\u200b\u8fd0\u884c\u200b\u7684\u200b\u7f51\u5361\u200b\u3002</li> <li>\u200b\u8282\u70b9\u200b\u9700\u200b\u5f00\u542f\u200b Hugepages\u3002</li> </ul>"},{"location":"advance/dpdk/#dpdk_1","title":"\u7f51\u5361\u200b\u8bbe\u7f6e\u200b DPDK \u200b\u9a71\u52a8","text":"<p>\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b <code>driverctl</code> \u200b\u4e3a\u4f8b\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5177\u4f53\u200b\u53c2\u6570\u200b\u548c\u200b\u5176\u4ed6\u200b\u9a71\u52a8\u200b\u4f7f\u7528\u200b\u8bf7\u200b\u53c2\u8003\u200b DPDK \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\u3002</p> <pre><code>driverctl set-override 0000:00:0b.0 uio_pci_generic\n</code></pre>"},{"location":"advance/dpdk/#_2","title":"\u8282\u70b9\u200b\u914d\u7f6e","text":"<p>\u200b\u5bf9\u200b\u652f\u6301\u200b OVS-DPDK \u200b\u7684\u200b\u8282\u70b9\u200b\u6253\u200b\u6807\u7b7e\u200b\uff0c\u200b\u4ee5\u4fbf\u200b Kube-OVN \u200b\u8fdb\u884c\u200b\u8bc6\u522b\u200b\u5904\u7406\u200b\uff1a</p> <pre><code>kubectl label nodes &lt;node&gt; ovn.kubernetes.io/ovs_dp_type=\"userspace\"\n</code></pre> <p>\u200b\u5728\u200b\u652f\u6301\u200b OVS-DPDK \u200b\u8282\u70b9\u200b\u7684\u200b <code>/opt/ovs-config</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\u521b\u5efa\u200b\u914d\u7f6e\u6587\u4ef6\u200b <code>ovs-dpdk-config</code>\uff1a</p> <pre><code>ENCAP_IP=192.168.122.193/24\nDPDK_DEV=0000:00:0b.0\n</code></pre> <ul> <li><code>ENCAP_IP</code>: \u200b\u96a7\u9053\u200b\u7aef\u70b9\u200b\u5730\u5740\u200b\u3002</li> <li><code>DPDK_DEV</code>: \u200b\u8bbe\u5907\u200b\u7684\u200b PCI ID\u3002</li> </ul>"},{"location":"advance/dpdk/#kube-ovn","title":"\u5b89\u88c5\u200b Kube-OVN","text":"<p>\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u542f\u7528\u200b DPDK \u200b\u5b89\u88c5\u200b\u9009\u9879\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a</p> <pre><code>bash install.sh --with-hybrid-dpdk\n</code></pre>"},{"location":"advance/dpdk/#_3","title":"\u4f7f\u7528\u200b\u65b9\u5f0f","text":"<p>\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u901a\u8fc7\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b\u4f7f\u7528\u200b vhostuser \u200b\u7c7b\u578b\u200b\u7f51\u5361\u200b\u7684\u200b\u865a\u200b\u673a\u6765\u200b\u9a8c\u8bc1\u200b OVS-DPDK \u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u5b89\u88c5\u200b KVM Device Plugin \u200b\u6765\u200b\u521b\u5efa\u200b\u865a\u673a\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u8bf7\u200b\u53c2\u8003\u200b KVM Device Plugin\u3002</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/kubevirt/kubernetes-device-plugins/master/manifests/kvm-ds.yml\n</code></pre> <p>\u200b\u521b\u5efa\u200b NetworkAttachmentDefinition\uff1a</p> <pre><code>apiVersion: k8s.cni.cncf.io/v1\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-dpdk\n  namespace: default\nspec:\n  config: &gt;-\n    {\n        \"cniVersion\": \"0.3.0\", \n        \"type\": \"kube-ovn\", \n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\", \n        \"provider\": \"ovn-dpdk.default.ovn\",\n        \"vhost_user_socket_volume_name\": \"vhostuser-sockets\",\n        \"vhost_user_socket_name\": \"sock\"\n    }\n</code></pre> <p>\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b Dockerfile \u200b\u521b\u5efa\u200b VM \u200b\u955c\u50cf\u200b\uff1a</p> <pre><code>FROM quay.io/kubevirt/virt-launcher:v0.46.1\n\n# wget http://cloud.centos.org/centos/7/images/CentOS-7-x86_64-GenericCloud.qcow2\nCOPY CentOS-7-x86_64-GenericCloud.qcow2 /var/lib/libvirt/images/CentOS-7-x86_64-GenericCloud.qcow2\n</code></pre> <p>\u200b\u521b\u5efa\u200b\u865a\u62df\u673a\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vm-config\ndata:\n  start.sh: |\n    chmod u+w /etc/libvirt/qemu.conf\n    echo \"hugetlbfs_mount = \\\"/dev/hugepages\\\"\" &gt;&gt; /etc/libvirt/qemu.conf\n    virtlogd &amp;\n    libvirtd &amp;\n\n    mkdir /var/lock\n\n    sleep 5\n\n    virsh define /root/vm/vm.xml\n    virsh start vm\n\n    tail -f /dev/null\n  vm.xml: |\n    &lt;domain type='kvm'&gt;\n      &lt;name&gt;vm&lt;/name&gt;\n      &lt;uuid&gt;4a9b3f53-fa2a-47f3-a757-dd87720d9d1d&lt;/uuid&gt;\n      &lt;memory unit='KiB'&gt;2097152&lt;/memory&gt;\n      &lt;currentMemory unit='KiB'&gt;2097152&lt;/currentMemory&gt;\n      &lt;memoryBacking&gt;\n        &lt;hugepages&gt;\n          &lt;page size='2' unit='M' nodeset='0'/&gt;\n        &lt;/hugepages&gt;\n      &lt;/memoryBacking&gt;\n      &lt;vcpu placement='static'&gt;2&lt;/vcpu&gt;\n      &lt;cputune&gt;\n        &lt;shares&gt;4096&lt;/shares&gt;\n        &lt;vcpupin vcpu='0' cpuset='4'/&gt;\n        &lt;vcpupin vcpu='1' cpuset='5'/&gt;\n        &lt;emulatorpin cpuset='1,3'/&gt;\n      &lt;/cputune&gt;\n      &lt;os&gt;\n        &lt;type arch='x86_64' machine='pc'&gt;hvm&lt;/type&gt;\n        &lt;boot dev='hd'/&gt;\n      &lt;/os&gt;\n      &lt;features&gt;\n        &lt;acpi/&gt;\n        &lt;apic/&gt;\n      &lt;/features&gt;\n      &lt;cpu mode='host-model'&gt;\n        &lt;model fallback='allow'/&gt;\n        &lt;topology sockets='1' cores='2' threads='1'/&gt;\n        &lt;numa&gt;\n          &lt;cell id='0' cpus='0-1' memory='2097152' unit='KiB' memAccess='shared'/&gt;\n        &lt;/numa&gt;\n      &lt;/cpu&gt;\n      &lt;on_reboot&gt;restart&lt;/on_reboot&gt;\n      &lt;devices&gt;\n        &lt;emulator&gt;/usr/libexec/qemu-kvm&lt;/emulator&gt;\n        &lt;disk type='file' device='disk'&gt;\n          &lt;driver name='qemu' type='qcow2' cache='none'/&gt;\n          &lt;source file='/var/lib/libvirt/images/CentOS-7-x86_64-GenericCloud.qcow2'/&gt;\n          &lt;target dev='vda' bus='virtio'/&gt;\n        &lt;/disk&gt;\n\n        &lt;interface type='vhostuser'&gt;\n          &lt;mac address='00:00:00:0A:30:89'/&gt;\n          &lt;source type='unix' path='/var/run/vm/sock' mode='server'/&gt;\n           &lt;model type='virtio'/&gt;\n          &lt;driver queues='2'&gt;\n            &lt;host mrg_rxbuf='off'/&gt;\n          &lt;/driver&gt;\n        &lt;/interface&gt;\n        &lt;serial type='pty'&gt;\n          &lt;target type='isa-serial' port='0'&gt;\n            &lt;model name='isa-serial'/&gt;\n          &lt;/target&gt;\n        &lt;/serial&gt;\n        &lt;console type='pty'&gt;\n          &lt;target type='serial' port='0'/&gt;\n        &lt;/console&gt;\n        &lt;channel type='unix'&gt;\n          &lt;source mode='bind' path='/var/lib/libvirt/qemu/channel/target/domain-1-vm/org.qemu.guest_agent.0'/&gt;\n          &lt;target type='virtio' name='org.qemu.guest_agent.0' state='connected'/&gt;\n          &lt;alias name='channel0'/&gt;\n          &lt;address type='virtio-serial' controller='0' bus='0' port='1'/&gt;\n        &lt;/channel&gt;\n\n      &lt;/devices&gt;\n    &lt;/domain&gt;\n---\napiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: vm-deployment\n  labels:\n    app: vm\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: vm\n  template:\n    metadata:\n      labels:\n        app: vm\n      annotations:\n        k8s.v1.cni.cncf.io/networks: default/ovn-dpdk\n        ovn-dpdk.default.ovn.kubernetes.io/ip_address: 10.16.0.96\n        ovn-dpdk.default.ovn.kubernetes.io/mac_address: 00:00:00:0A:30:89\n    spec:\n      nodeSelector:\n        ovn.kubernetes.io/ovs_dp_type: userspace\n      securityContext:\n        runAsUser: 0\n      volumes:\n        - name: vhostuser-sockets\n          emptyDir: {}\n        - name: xml\n          configMap:\n            name: vm-config\n        - name: hugepage\n          emptyDir:\n            medium: HugePages-2Mi\n        - name: libvirt-runtime\n          emptyDir: {}\n      containers:\n        - name: vm\n          image: vm-vhostuser:latest\n          command: [\"bash\", \"/root/vm/start.sh\"]\n          securityContext:\n            capabilities:\n              add:\n                - NET_BIND_SERVICE\n                - SYS_NICE\n                - NET_RAW\n                - NET_ADMIN\n            privileged: false\n            runAsUser: 0\n          resources:\n            limits:\n              cpu: '2'\n              devices.kubevirt.io/kvm: '1'\n              memory: '8784969729'\n              hugepages-2Mi: 2Gi\n            requests:\n              cpu: 666m\n              devices.kubevirt.io/kvm: '1'\n              ephemeral-storage: 50M\n              memory: '4490002433'\n          volumeMounts:\n            - name: vhostuser-sockets\n              mountPath: /var/run/vm\n            - name: xml\n              mountPath: /root/vm/\n            - mountPath: /dev/hugepages\n              name: hugepage\n            - name: libvirt-runtime\n              mountPath: /var/run/libvirt\n</code></pre> <p>\u200b\u7b49\u5f85\u200b\u865a\u62df\u673a\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u8fdb\u5165\u200b Pod \u200b\u8fdb\u884c\u200b\u865a\u673a\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code># virsh set-user-password vm root 12345\nPassword set successfully for root in vm\n\n# virsh console vm\nConnected to domain 'vm'\nEscape character is ^] (Ctrl + ])\n\nCentOS Linux 7 (Core)\nKernel 3.10.0-1127.el7.x86_64 on an x86_64\n\nlocalhost login: root\nPassword:\nLast login: Fri Feb 25 09:52:54 on ttyS0\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u767b\u5f55\u200b\u865a\u673a\u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\u5e76\u200b\u6d4b\u8bd5\u200b\uff1a</p> <pre><code>ip link set eth0 mtu 1400\nip addr add 10.16.0.96/16 dev eth0\nip ro add default via 10.16.0.1\nping 114.114.114.114\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/external-gateway/","title":"\u5916\u90e8\u200b\u7f51\u5173\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u5bf9\u200b\u6240\u6709\u200b\u5bb9\u5668\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7684\u200b\u6d41\u91cf\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b\u4e00\u4e2a\u200b\u5916\u90e8\u200b\u7684\u200b\u7f51\u5173\u200b\u8fdb\u884c\u200b\u7edf\u4e00\u200b\u7684\u200b\u7ba1\u7406\u200b\u548c\u200b\u5ba1\u8ba1\u200b\u3002 Kube-OVN \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5728\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b\u8def\u7531\u200b\u914d\u7f6e\u200b\uff0c\u200b\u5c06\u200b\u51fa\u7f51\u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b\u81f3\u200b\u5bf9\u5e94\u200b\u7684\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u3002</p>"},{"location":"advance/external-gateway/#_2","title":"\u4f7f\u7528\u200b\u65b9\u5f0f","text":"<pre><code>kind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: external\nspec:\n  cidrBlock: 172.31.0.0/16\n  gatewayType: centralized\n  natOutgoing: false\n  externalEgressGateway: 192.168.0.1\n  policyRoutingTableID: 1000\n  policyRoutingPriority: 1500\n</code></pre> <ul> <li><code>natOutgoing</code>: \u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code>\u3002</li> <li><code>externalEgressGateway</code>\uff1a\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u9700\u8981\u200b\u548c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u4e8c\u5c42\u200b\u53ef\u8fbe\u57df\u200b\u3002</li> <li><code>policyRoutingTableID</code>\uff1a\u200b\u4f7f\u7528\u200b\u7684\u200b\u672c\u5730\u200b\u7b56\u7565\u200b\u8def\u7531\u8868\u200b\u7684\u200b TableID \u200b\u6bcf\u4e2a\u200b\u5b50\u7f51\u200b\u5747\u200b\u9700\u200b\u4e0d\u540c\u200b\u4ee5\u200b\u907f\u514d\u200b\u51b2\u7a81\u200b\u3002</li> <li><code>policyRoutingPriority</code>\uff1a\u200b\u8def\u7531\u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u4e3a\u200b\u907f\u514d\u200b\u540e\u7eed\u200b\u7528\u6237\u200b\u5b9a\u5236\u200b\u5316\u200b\u7684\u200b\u5176\u4ed6\u200b\u8def\u7531\u200b\u64cd\u4f5c\u200b\u51b2\u7a81\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u53ef\u4ee5\u200b\u6307\u5b9a\u200b\u8def\u7531\u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u82e5\u200b\u65e0\u200b\u7279\u6b8a\u200b\u9700\u6c42\u200b\u586b\u5165\u200b\u4efb\u610f\u200b\u503c\u200b\u5373\u53ef\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/fastpath/","title":"\u624b\u52a8\u200b\u7f16\u8bd1\u200b FastPath \u200b\u6a21\u5757","text":"<p>\u200b\u7ecf\u8fc7\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u7684\u200b\u6027\u80fd\u200b Profile\uff0c<code>Netfilter</code> \u200b\u5728\u200b\u5bb9\u5668\u200b\u5185\u200b\u548c\u200b\u5bbf\u4e3b\u673a\u200b\u4e0a\u200b\u7684\u200b\u76f8\u5173\u200b\u5904\u7406\u200b\u6d88\u8017\u200b\u4e86\u200b 20% \u200b\u5de6\u53f3\u200b\u7684\u200b CPU \u200b\u8d44\u6e90\u200b\uff0cFastPath \u200b\u6a21\u5757\u200b\u53ef\u4ee5\u200b\u7ed5\u8fc7\u200b <code>Netfilter</code> \u200b\u4ece\u800c\u200b \u200b\u964d\u4f4e\u200b CPU \u200b\u7684\u200b\u6d88\u8017\u200b\u548c\u200b\u5ef6\u8fdf\u200b\uff0c\u200b\u5e76\u200b\u63d0\u5347\u200b\u541e\u5410\u91cf\u200b\u3002\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u200b\u4ecb\u7ecd\u200b\u5982\u4f55\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b FastPath \u200b\u6a21\u5757\u200b\u3002</p>"},{"location":"advance/fastpath/#_1","title":"\u4e0b\u8f7d\u200b\u76f8\u5173\u200b\u5185\u6838\u6a21\u5757\u200b\u4ee3\u7801","text":"<pre><code>git clone --depth=1 https://github.com/kubeovn/kube-ovn.git\n</code></pre>"},{"location":"advance/fastpath/#_2","title":"\u5b89\u88c5\u200b\u4f9d\u8d56","text":"<p>\u200b\u8fd9\u91cc\u200b\u4ee5\u200b CentOS \u200b\u4e3a\u4f8b\u200b\u4e0b\u8f7d\u200b\u76f8\u5173\u200b\u4f9d\u8d56\u200b\uff1a</p> <pre><code>yum install -y kernel-devel-$(uname -r) gcc elfutils-libelf-devel\n</code></pre>"},{"location":"advance/fastpath/#_3","title":"\u7f16\u8bd1\u200b\u76f8\u5173\u200b\u6a21\u5757","text":"<p>\u200b\u9488\u5bf9\u200b 3.x \u200b\u7684\u200b\u5185\u6838\u200b\uff1a</p> <pre><code>cd kube-ovn/fastpath\nmake all\n</code></pre> <p>\u200b\u9488\u5bf9\u200b 4.x \u200b\u7684\u200b\u5185\u6838\u200b\uff1a</p> <pre><code>cd kube-ovn/fastpath/4.18\ncp ../Makefile .\nmake all\n</code></pre>"},{"location":"advance/fastpath/#_4","title":"\u5b89\u88c5\u200b\u5185\u6838\u6a21\u5757","text":"<p>\u200b\u5c06\u200b <code>kube_ovn_fastpath.ko</code> \u200b\u590d\u5236\u5230\u200b\u6bcf\u4e2a\u200b\u9700\u8981\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u7684\u200b\u8282\u70b9\u200b <code>/tmp</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\uff0c<code>kube-ovn-cni</code> \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u52a0\u8f7d\u200b\u8be5\u200b\u6a21\u5757\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b <code>dmesg</code> \u200b\u786e\u8ba4\u200b\u5b89\u88c5\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># dmesg\n[619631.323788] init_module,kube_ovn_fastpath_local_out\n[619631.323798] init_module,kube_ovn_fastpath_post_routing\n[619631.323800] init_module,kube_ovn_fastpath_pre_routing\n[619631.323801] init_module,kube_ovn_fastpath_local_in\n</code></pre> <p>\u200b\u5982\u9700\u200b\u5378\u8f7d\u200b\u6a21\u5757\u200b\uff0c\u200b\u53ef\u200b\u5c06\u200b\u8be5\u200b\u6a21\u5757\u200b\u4ece\u200b <code>/tmp</code> \u200b\u76ee\u5f55\u200b\u4e0b\u79fb\u200b\u9664\u200b\uff0c<code>kube-ovn-cni</code> \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5378\u8f7d\u200b\u8be5\u200b\u6a21\u5757\u200b\u3002</p> <p>\u200b\u8be5\u200b\u6a21\u5757\u200b\u5728\u200b\u673a\u5668\u200b\u91cd\u542f\u200b\u540e\u200b\u4e0d\u4f1a\u200b\u81ea\u52a8\u200b\u52a0\u8f7d\u200b\uff0c\u200b\u5982\u9700\u200b\u81ea\u52a8\u200b\u52a0\u8f7d\u200b\u8bf7\u200b\u6839\u636e\u200b\u7cfb\u7edf\u200b\u5f04\u200b\u914d\u7f6e\u200b\u7f16\u5199\u200b\u76f8\u5e94\u200b\u81ea\u542f\u52a8\u200b\u811a\u672c\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/multi-nic/","title":"\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406","text":"<p>Kube-OVN \u200b\u53ef\u4ee5\u200b\u4e3a\u200b\u5176\u4ed6\u200b CNI \u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u4f8b\u5982\u200b macvlan\u3001vlan\u3001host-device \u200b\u7b49\u200b\u63d2\u4ef6\u200b\u63d0\u4f9b\u200b\u96c6\u7fa4\u200b\u7ea7\u522b\u200b\u7684\u200b IPAM \u200b\u80fd\u529b\u200b\uff0c \u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5230\u200b Kube-OVN \u200b\u4e2d\u5b50\u200b\u7f51\u200b\u4ee5\u53ca\u200b\u56fa\u5b9a\u200b IP \u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u540c\u65f6\u200b Kube-OVN \u200b\u4e5f\u200b\u652f\u6301\u200b\u591a\u5757\u200b\u7f51\u5361\u200b\u5747\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7f51\u5361\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u7684\u200b\u5730\u5740\u200b\u7ba1\u7406\u200b\u3002</p>"},{"location":"advance/multi-nic/#_2","title":"\u5de5\u4f5c\u200b\u539f\u7406","text":"<p>\u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b\uff1a</p> <p>\u200b\u4e0b\u9762\u200b\u662f\u200b\u7531\u200b Multus CNI \u200b\u63d0\u4f9b\u200b\u7684\u200b\u8fde\u63a5\u200b\u5230\u200b pod \u200b\u7684\u200b\u7f51\u7edc\u63a5\u53e3\u200b\u793a\u610f\u56fe\u200b\u3002\u200b\u56fe\u4e2d\u200b\u663e\u793a\u200b pod \u200b\u6709\u200b\u4e09\u4e2a\u200b\u63a5\u53e3\u200b\uff1aeth0\u3001net0 \u200b\u548c\u200b net1\u3002 eth0 \u200b\u8fde\u63a5\u200b kubernetes \u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7528\u4e8e\u200b\u8fde\u63a5\u200b kubernetes \u200b\u670d\u52a1\u5668\u200b\uff08\u200b\u5982\u200b kubernetes api-server\u3001kubelet \u200b\u7b49\u200b\uff09\u3002 net0 \u200b\u548c\u200b net1 \u200b\u662f\u200b\u9644\u52a0\u200b\u7f51\u7edc\u63a5\u53e3\u200b\uff0c\u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b\u5176\u4ed6\u200b CNI \u200b\u63d2\u4ef6\u200b\uff08\u200b\u5982\u200b vlan/vxlan/ptp\uff09\u200b\u8fde\u63a5\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u3002</p> <p></p> <p>IPAM\uff1a</p> <p>\u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b Multus CNI, \u200b\u6211\u4eec\u200b\u53ef\u4ee5\u200b\u7ed9\u200b\u4e00\u4e2a\u200b Pod \u200b\u6dfb\u52a0\u200b\u591a\u5757\u200b\u4e0d\u540c\u200b\u7f51\u7edc\u200b\u7684\u200b\u7f51\u5361\u200b\u3002 \u200b\u7136\u800c\u200b\u6211\u4eec\u200b\u4ecd\u7136\u200b\u7f3a\u4e4f\u200b\u5bf9\u200b\u96c6\u7fa4\u200b\u8303\u56f4\u200b\u5185\u200b\u4e0d\u540c\u200b\u7f51\u7edc\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u8fdb\u884c\u200b\u7ba1\u7406\u200b\u7684\u200b\u80fd\u529b\u200b\u3002\u200b\u5728\u200b Kube-OVN \u200b\u4e2d\u200b\uff0c\u200b\u6211\u4eec\u200b\u5df2\u7ecf\u200b\u80fd\u591f\u200b\u901a\u8fc7\u200b Subnet \u200b\u548c\u200b IP \u200b\u7684\u200b CRD \u200b\u6765\u200b\u8fdb\u884c\u200b IP \u200b\u7684\u200b\u9ad8\u7ea7\u200b\u7ba1\u7406\u200b\uff0c \u200b\u4f8b\u5982\u200b\u5b50\u7f51\u200b\u7ba1\u7406\u200b\uff0cIP \u200b\u9884\u7559\u200b\uff0c\u200b\u968f\u673a\u200b\u5206\u914d\u200b\uff0c\u200b\u56fa\u5b9a\u200b\u5206\u914d\u200b\u7b49\u200b\u3002\u200b\u73b0\u5728\u200b\u6211\u4eec\u200b\u5bf9\u200b\u5b50\u7f51\u200b\u8fdb\u884c\u200b\u6269\u5c55\u200b\uff0c\u200b\u6765\u200b\u63a5\u5165\u200b\u5176\u4ed6\u200b\u4e0d\u540c\u200b\u7684\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u4f7f\u5f97\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u7684\u200b IPAM \u200b\u529f\u80fd\u200b\u3002</p>"},{"location":"advance/multi-nic/#_3","title":"\u5de5\u4f5c\u200b\u6d41\u7a0b","text":"<p>\u200b\u4e0a\u200b\u56fe\u200b\u5c55\u793a\u200b\u4e86\u200b\u5982\u4f55\u200b\u901a\u8fc7\u200b Kube-OVN \u200b\u6765\u200b\u7ba1\u7406\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002\u200b\u5176\u4e2d\u200b\u5bb9\u5668\u200b\u7684\u200b eth0 \u200b\u7f51\u5361\u200b\u63a5\u5165\u200b OVN \u200b\u7f51\u7edc\u200b\uff0cnet1 \u200b\u7f51\u5361\u200b\u63a5\u5165\u200b\u5176\u4ed6\u200b CNI \u200b\u7f51\u7edc\u200b\u3002 net1 \u200b\u7f51\u7edc\u200b\u7684\u200b\u7f51\u7edc\u200b\u5b9a\u4e49\u200b\u6765\u81ea\u200b\u4e8e\u200b multus-cni \u200b\u4e2d\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u8d44\u6e90\u200b\u5b9a\u4e49\u200b\u3002</p> <p>\u200b\u5f53\u200b Pod \u200b\u521b\u5efa\u200b\u65f6\u200b\uff0c<code>kube-ovn-controller</code> \u200b\u4f1a\u200b\u76d1\u542c\u200b\u5230\u200b Pod \u200b\u6dfb\u52a0\u200b\u4e8b\u4ef6\u200b\uff0c\u200b\u5e76\u200b\u6839\u636e\u200b Pod \u200b\u4e2d\u200b\u7684\u200b annotation \u200b\u53bb\u200b\u5bfb\u627e\u200b\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b Subnet \u200b\u5e76\u200b\u4ece\u4e2d\u200b\u8fdb\u884c\u200b IP \u200b\u7684\u200b\u5206\u914d\u200b\u548c\u200b\u7ba1\u7406\u200b\uff0c \u200b\u5e76\u200b\u5c06\u200b Pod \u200b\u6240\u200b\u5206\u914d\u200b\u5230\u200b\u7684\u200b\u5730\u5740\u200b\u4fe1\u606f\u200b\u5199\u200b\u56de\u5230\u200b Pod annotation \u200b\u4e2d\u200b\u3002</p> <p>\u200b\u5728\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u673a\u5668\u200b\u7684\u200b CNI \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5728\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u914d\u7f6e\u200b <code>kube-ovn-cni</code> \u200b\u4f5c\u4e3a\u200b ipam \u200b\u63d2\u4ef6\u200b, <code>kube-ovn-cni</code> \u200b\u5c06\u4f1a\u200b\u8bfb\u53d6\u200b Pod annotation \u200b\u5e76\u200b\u5c06\u200b\u5730\u5740\u200b\u4fe1\u606f\u200b\u901a\u8fc7\u200b CNI \u200b\u534f\u8bae\u200b\u7684\u200b\u6807\u51c6\u200b\u683c\u5f0f\u200b\u8fd4\u56de\u200b\u7ed9\u200b\u76f8\u5e94\u200b\u7684\u200b CNI \u200b\u63d2\u4ef6\u200b\u3002</p>"},{"location":"advance/multi-nic/#_4","title":"\u4f7f\u7528\u200b\u65b9\u6cd5","text":""},{"location":"advance/multi-nic/#kube-ovn-multus","title":"\u5b89\u88c5\u200b Kube-OVN \u200b\u548c\u200b Multus","text":"<p>\u200b\u8bf7\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b \u200b\u548c\u200b Multus how to use \u200b\u6765\u200b\u5b89\u88c5\u200b Kube-OVN \u200b\u548c\u200b Multus-CNI\u3002</p>"},{"location":"advance/multi-nic/#cni-ipam","title":"\u4e3a\u200b\u5176\u4ed6\u200b CNI \u200b\u63d0\u4f9b\u200b IPAM","text":"<p>\u200b\u6b64\u65f6\u200b\u4e3b\u200b\u7f51\u5361\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7f51\u5361\u200b\uff0c\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4e3a\u200b\u5176\u4ed6\u200b\u7c7b\u578b\u200b CNI\u3002</p>"},{"location":"advance/multi-nic/#networkattachmentdefinition","title":"\u521b\u5efa\u200b NetworkAttachmentDefinition","text":"<p>\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b macvlan \u200b\u4f5c\u4e3a\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u7b2c\u4e8c\u4e2a\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u5176\u200b ipam \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>kube-ovn</code>\uff1a</p> <pre><code># \u200b\u52a0\u8f7d\u200b macvlan \u200b\u6a21\u5757\u200b\nsudo modprobe macvlan\n</code></pre> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: macvlan\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth0\",\n      \"mode\": \"bridge\",\n      \"ipam\": {\n        \"type\": \"kube-ovn\",\n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n        \"provider\": \"macvlan.default\"\n      }\n    }'\n</code></pre> <ul> <li><code>spec.config.ipam.type</code>: \u200b\u9700\u8981\u200b\u4e3a\u200b <code>kube-ovn</code> \u200b\u6765\u200b\u8c03\u7528\u200b kube-ovn \u200b\u7684\u200b\u63d2\u4ef6\u200b\u6765\u200b\u83b7\u53d6\u200b\u5730\u5740\u200b\u4fe1\u606f\u200b\u3002</li> <li><code>server_socket</code>: Kube-OVN \u200b\u901a\u4fe1\u200b\u4f7f\u7528\u200b\u7684\u200b socket \u200b\u6587\u4ef6\u200b\u3002 \u200b\u9ed8\u8ba4\u200b\u4f4d\u7f6e\u200b\u4e3a\u200b <code>/run/openvswitch/kube-ovn-daemon.sock</code>\u3002</li> <li><code>provider</code>: \u200b\u5f53\u524d\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;name&gt;.&lt;namespace&gt;</code> , Kube-OVN \u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u8fd9\u4e9b\u200b\u4fe1\u606f\u200b\u627e\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b Subnet \u200b\u8d44\u6e90\u200b\u3002</li> <li><code>master</code>: \u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b\u7269\u7406\u200b\u7f51\u5361\u200b</li> </ul>"},{"location":"advance/multi-nic/#kube-ovn-subnet","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet","text":"<p>\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet, \u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>cidrBlock</code> \u200b\u548c\u200b <code>exclude_ips</code>\uff0c<code>provider</code> \u200b\u5e94\u8be5\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;name&gt;.&lt;namespace&gt;</code>\uff0c \u200b\u4f8b\u5982\u200b\u7528\u200b macvlan \u200b\u63d0\u4f9b\u200b\u9644\u52a0\u200b\u7f51\u5361\u200b\uff0c\u200b\u521b\u5efa\u200b Subnet \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: macvlan\nspec:\n  protocol: IPv4\n  provider: macvlan.default\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre> <p><code>gateway</code>, <code>private</code>, <code>nat</code> \u200b\u53ea\u200b\u5bf9\u200b <code>provider</code> \u200b\u7c7b\u578b\u200b\u4e3a\u200b ovn \u200b\u7684\u200b\u7f51\u7edc\u200b\u751f\u6548\u200b\uff0c\u200b\u4e0d\u9002\u200b\u7528\u4e8e\u200b attachment network\u3002</p>"},{"location":"advance/multi-nic/#pod","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u591a\u200b\u7f51\u7edc\u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u5730\u5740\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u7684\u200b Pod\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b annotation <code>k8s.v1.cni.cncf.io/networks</code>,\u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"advance/multi-nic/#ip-pod","title":"\u521b\u5efa\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b Pod\uff0c\u200b\u6dfb\u52a0\u200b <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/ip_address</code> annotation\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: static-ip\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\n    ovn.kubernetes.io/ip_address: 10.16.0.15\n    ovn.kubernetes.io/mac_address: 00:00:00:53:6B:B6\n    macvlan.default.kubernetes.io/ip_address: 172.17.0.100\n    macvlan.default.kubernetes.io/mac_address: 00:00:00:53:6B:BB\nspec:\n  containers:\n  - name: static-ip\n    image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"advance/multi-nic/#ip","title":"\u521b\u5efa\u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d","text":"<p>\u200b\u5bf9\u4e8e\u200b\u4f7f\u7528\u200b ippool \u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b, \u200b\u6dfb\u52a0\u200b <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/ip_pool</code> annotations:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  namespace: default\n  name: static-workload\n  labels:\n    app: static-workload\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: static-workload\n  template:\n    metadata:\n      labels:\n        app: static-workload\n      annotations:\n        k8s.v1.cni.cncf.io/networks: default/macvlan\n        ovn.kubernetes.io/ip_pool: 10.16.0.15,10.16.0.16,10.16.0.17\n        macvlan.default.kubernetes.io/ip_pool: 172.17.0.200,172.17.0.201,172.17.0.202\n    spec:\n      containers:\n      - name: static-workload\n        image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"advance/multi-nic/#macvlan-pod","title":"\u521b\u5efa\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u4f7f\u7528\u200b macvlan \u200b\u4f5c\u4e3a\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u7684\u200b Pod\uff0c\u200b\u82e5\u200b\u5e0c\u671b\u200b\u5c06\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4f5c\u4e3a\u200b Pod \u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b annotation\uff0c<code>default-route</code> \u200b\u4e3a\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod-route\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: '[{\n      \"name\": \"macvlan\",\n      \"namespace\": \"default\",\n      \"default-route\": [\"172.17.0.1\"]\n    }]'\nspec:\n  containers:\n  - name: samplepod-route\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"advance/multi-nic/#macvlan-pod_1","title":"\u521b\u5efa\u200b\u4e3b\u200b\u7f51\u5361\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u4f7f\u7528\u200b macvlan \u200b\u4f5c\u4e3a\u200b\u4e3b\u200b\u7f51\u5361\u200b\u7684\u200b Pod\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b annotation <code>v1.multus-cni.io/default-network</code>, \u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod-macvlan\n  namespace: default\n  annotations:\n    v1.multus-cni.io/default-network: default/macvlan\nspec:\n  containers:\n  - name: samplepod-macvlan\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"advance/multi-nic/#kube-ovn-subnetprovider-ovn","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet\uff08Provider ovn\uff09","text":"<p>\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet\uff0c\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>cidrBlock</code> \u200b\u548c\u200b <code>exclude_ips</code>, <code>provider</code> \u200b\u4e3a\u200b ovn\uff0c\u200b\u521b\u5efa\u200b Subnet \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: macvlan\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"advance/multi-nic/#pod_1","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u591a\u200b\u7f51\u7edc\u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u9700\u8981\u200b\u4ece\u200b <code>provider</code> \u200b\u7c7b\u578b\u200b\u4e3a\u200b ovn \u200b\u7684\u200b subnet \u200b\u4e2d\u200b\u83b7\u53d6\u200b IP \u200b\u7684\u200b Pod\uff0c\u200b\u9700\u200b\u5c06\u200b annotation <code>k8s.v1.cni.cncf.io/networks</code> \u200b\u548c\u200b <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/logical_switch</code> \u200b\u7ed3\u5408\u200b\u4f7f\u7528\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\n    macvlan.default.kubernetes.io/logical_switch: macvlan\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre> <ul> <li><code>k8s.v1.cni.cncf.io/networks</code>: \u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code></li> <li><code>macvlan.default.kubernetes.io/logical_switch</code>: \u200b\u53d6\u503c\u200b\u4e3a\u5b50\u200b\u7f51\u540d\u200b</li> </ul> <p>\u200b\u6ce8\u610f\u200b: \u200b\u901a\u8fc7\u200b<code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/logical_switch</code> \u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\u9ad8\u4e8e\u200b\u901a\u8fc7\u200b provider \u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u57fa\u4e8e\u200b ovn \u200b\u7c7b\u578b\u200b\u7684\u200b subnet \u200b\u63d0\u4f9b\u200b ipam \u200b\u540c\u6837\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b Pod\u3001\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u3001\u200b\u521b\u5efa\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod\uff0c\u200b\u4f46\u200b\u4e0d\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u4e3b\u200b\u7f51\u5361\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod\u3002</p>"},{"location":"advance/multi-nic/#kube-ovn","title":"\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7f51\u5361","text":"<p>\u200b\u6b64\u65f6\u200b\u591a\u5757\u200b\u7f51\u5361\u200b\u5747\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7f51\u5361\u200b\u3002</p>"},{"location":"advance/multi-nic/#networkattachmentdefinition_1","title":"\u521b\u5efa\u200b NetworkAttachmentDefinition","text":"<p>\u200b\u5c06\u200b <code>provider</code> \u200b\u7684\u200b\u540e\u7f00\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>ovn</code>\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: attachnet\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"attachnet.default.ovn\"\n    }'\n</code></pre> <ul> <li><code>spec.config.type</code>: \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>kube-ovn</code> \u200b\u6765\u200b\u89e6\u53d1\u200b CNI \u200b\u63d2\u4ef6\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u5b50\u7f51\u200b\u3002</li> <li><code>server_socket</code>: Kube-OVN \u200b\u901a\u4fe1\u200b\u4f7f\u7528\u200b\u7684\u200b socket \u200b\u6587\u4ef6\u200b\u3002 \u200b\u9ed8\u8ba4\u200b\u4f4d\u7f6e\u200b\u4e3a\u200b <code>/run/openvswitch/kube-ovn-daemon.sock</code>\u3002</li> <li><code>provider</code>: \u200b\u5f53\u524d\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;name&gt;.&lt;namespace&gt;.ovn</code> , Kube-OVN \u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u8fd9\u4e9b\u200b\u4fe1\u606f\u200b\u627e\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b Subnet \u200b\u8d44\u6e90\u200b\uff0c\u200b\u6ce8\u610f\u200b\u540e\u7f00\u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b ovn\u3002</li> </ul>"},{"location":"advance/multi-nic/#kube-ovn-subnet_1","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet","text":"<p>\u200b\u5982\u679c\u200b\u4ee5\u200b Kube-OVN \u200b\u4f5c\u4e3a\u200b\u9644\u52a0\u200b\u7f51\u5361\u200b\uff0c\u200b\u5219\u200b <code>provider</code> \u200b\u5e94\u8be5\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;name&gt;.&lt;namespace&gt;.ovn</code>\uff0c\u200b\u5e76\u200b\u8981\u200b\u4ee5\u200b <code>ovn</code> \u200b\u4f5c\u4e3a\u200b\u540e\u7f00\u200b\u7ed3\u675f\u200b\u3002 \u200b\u7528\u200b Kube-OVN \u200b\u63d0\u4f9b\u200b\u9644\u52a0\u200b\u7f51\u5361\u200b\uff0c\u200b\u521b\u5efa\u200b Subnet \u200b\u793a\u4f8b\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attachnet\nspec:\n  protocol: IPv4\n  provider: attachnet.default.ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"advance/multi-nic/#pod_2","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u591a\u200b\u7f51\u7edc\u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u5730\u5740\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u7684\u200b Pod\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b annotation <code>k8s.v1.cni.cncf.io/networks</code>, \u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"advance/multi-nic/#kube-ovn-subnetprovider-ovn_1","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet\uff08Provider ovn\uff09","text":"<p>\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet\uff0c\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>cidrBlock</code> \u200b\u548c\u200b <code>exclude_ips</code>, <code>provider</code> \u200b\u4e3a\u200b ovn\uff0c\u200b\u521b\u5efa\u200b Subnet \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attachnet\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"advance/multi-nic/#pod_3","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u591a\u200b\u7f51\u7edc\u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u9700\u8981\u200b\u4ece\u200b <code>provider</code> \u200b\u7c7b\u578b\u200b\u4e3a\u200b ovn \u200b\u7684\u200b subnet \u200b\u4e2d\u200b\u83b7\u53d6\u200b IP \u200b\u7684\u200b Pod\uff0c\u200b\u9700\u200b\u5c06\u200b annotation <code>k8s.v1.cni.cncf.io/networks</code> \u200b\u548c\u200b <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.ovn.kubernetes.io/logical_switch</code> \u200b\u7ed3\u5408\u200b\u4f7f\u7528\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\n    attachnet.default.ovn.kubernetes.io/logical_switch: attachnet\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre> <ul> <li><code>k8s.v1.cni.cncf.io/networks</code>: \u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code></li> <li><code>attachnet.default.ovn.kubernetes.io/logical_switch</code>: \u200b\u53d6\u503c\u200b\u4e3a\u5b50\u200b\u7f51\u540d\u200b</li> </ul> <p>\u200b\u6ce8\u610f\u200b: \u200b\u901a\u8fc7\u200b<code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/logical_switch</code> \u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\u9ad8\u4e8e\u200b\u901a\u8fc7\u200b provider \u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u5bf9\u4e8e\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7684\u200b Pod\uff0c\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b Pod\u3001\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u3001\u200b\u521b\u5efa\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod\uff0c\u200b\u540c\u65f6\u200b\u4e5f\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u4e3b\u200b\u7f51\u5361\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7684\u200b Pod\uff0c\u200b\u914d\u7f6e\u200b\u65b9\u5f0f\u200b\u53ef\u200b\u53c2\u8003\u200b\u4e0a\u200b\u4e00\u8282\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/nat-policy-rule/","title":"\u9ed8\u8ba4\u200b VPC NAT \u200b\u7b56\u7565\u200b\u89c4\u5219","text":""},{"location":"advance/nat-policy-rule/#_1","title":"\u7528\u9014","text":"<p>\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Overlay \u200b\u5b50\u7f51\u200b\uff0c\u200b\u6253\u5f00\u200b <code>natOutgoing</code> \u200b\u5f00\u5173\u200b\u65f6\u200b\uff0cSubnet \u200b\u4e0b\u200b\u7684\u200b\u6240\u6709\u200b Pod \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u90fd\u200b\u9700\u8981\u200b\u505a\u200b SNAT \u200b\u6210\u200b\u8282\u70b9\u200b\u7684\u200b IP\uff0c\u200b\u4f46\u662f\u200b\u6709\u4e9b\u200b\u573a\u666f\u200b\u6211\u4eec\u200b\u5e76\u200b\u4e0d\u200b\u5e0c\u671b\u200b\u5b50\u7f51\u200b\u5185\u200b\u6240\u6709\u200b Pod \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u90fd\u200b\u505a\u200b SNAT\u3002</p> <p>\u200b\u56e0\u6b64\u200b NAT \u200b\u7b56\u7565\u200b\u5c31\u662f\u200b\u4e3a\u4e86\u200b\u63d0\u4f9b\u200b\u4e00\u4e2a\u200b\u63a5\u53e3\u200b\u8ba9\u200b\u7528\u6237\u200b\u51b3\u5b9a\u200b\u5b50\u7f51\u200b\u5185\u200b\u7684\u200b\u54ea\u4e9b\u200b CIDR \u200b\u6216\u8005\u200b IP \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u505a\u200b SNAT\u3002</p>"},{"location":"advance/nat-policy-rule/#_2","title":"\u4f7f\u7528\u200b\u65b9\u6cd5","text":"<p>\u200b\u5728\u200b <code>subnet.Spec</code> \u200b\u4e2d\u200b\u5f00\u542f\u200b <code>natOutgoing</code> \u200b\u5f00\u5173\u200b\uff0c \u200b\u5e76\u4e14\u200b\u6dfb\u52a0\u200b\u5b57\u200b\u6bb5\u200b <code>natOutgoingPolicyRules</code> \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>spec:\n  natOutgoing: true\n  natOutgoingPolicyRules:\n    - action: forward\n      match:\n        srcIPs: 10.0.11.0/30,10.0.11.254\n    - action: nat\n      match:\n        srcIPs: 10.0.11.128/26\n        dstIPs: 114.114.114.114,8.8.8.8\n</code></pre> <p>\u200b\u4ee5\u4e0a\u200b\u6848\u4f8b\u200b\u8868\u793a\u200b\u6709\u200b\u4e24\u6761\u200b NAT \u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\uff1a</p> <ol> <li>\u200b\u6e90\u200b IP \u200b\u662f\u200b 10.0.11.0/30 \u200b\u6216\u8005\u200b 10.0.11.254  \u200b\u7684\u200b\u62a5\u6587\u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u65f6\u200b\u4e0d\u4f1a\u200b\u505a\u200b SNAT\u3002</li> <li>\u200b\u6e90\u200b IP \u200b\u662f\u200b 10.0.11.128/26 \u200b\u5e76\u4e14\u200b\u76ee\u7684\u200b IP \u200b\u662f\u200b 114.114.114.114 \u200b\u6216\u8005\u200b 8.8.8.8 \u200b\u7684\u200b\u62a5\u6587\u200b\u8bbf\u95ee\u200b\u5916\u200b\u7f51\u200b\u65f6\u4f1a\u200b\u505a\u200b SNAT\u3002</li> </ol> <p>\u200b\u5b57\u200b\u6bb5\u200b\u63cf\u8ff0\u200b\uff1a</p> <p><code>action</code>\uff1a\u200b\u6ee1\u8db3\u200b <code>match</code> \u200b\u5bf9\u5e94\u200b\u6761\u4ef6\u200b\u7684\u200b\u62a5\u6587\u200b\uff0c\u200b\u4f1a\u200b\u6267\u884c\u200b\u7684\u200b action, action \u200b\u5206\u4e3a\u200b\u4e24\u79cd\u200b <code>forward</code> \u200b\u548c\u200b <code>nat</code> \uff0c<code>forward</code> \u200b\u8868\u793a\u200b\u62a5\u6587\u200b\u51fa\u5916\u200b\u7f51\u4e0d\u505a\u200b SNAT, <code>nat</code> \u200b\u8868\u793a\u200b\u62a5\u6587\u200b\u51fa\u5916\u200b\u7f51\u505a\u200b SNAT\u3002 \u200b\u6ca1\u6709\u200b\u914d\u7f6e\u200b natOutgoingPolicyRules \u200b\u65f6\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u62a5\u6587\u200b\u4ecd\u7136\u200b\u662f\u200b\u505a\u200b SNAT\u3002</p> <p><code>match</code>\uff1a\u200b\u8868\u793a\u200b\u62a5\u6587\u200b\u7684\u200b\u5339\u914d\u6bb5\u200b\uff0c\u200b\u5339\u914d\u6bb5\u200b\u6709\u200b <code>srcIPs</code> \u200b\u548c\u200b <code>dstIPs</code>\uff0c \u200b\u8fd9\u91cc\u200b\u8868\u793a\u200b\u4ece\u200b\u5b50\u7f51\u200b\u5185\u5230\u200b\u5916\u7f51\u200b\u65b9\u5411\u200b\u4e0a\u200b\u7684\u200b\u62a5\u6587\u200b\u7684\u200b\u6e90\u200b IP \u200b\u548c\u200b \u200b\u76ee\u7684\u200b IP\u3002<code>match.srcIPs</code> \u200b\u548c\u200b <code>match.dstIPs</code> \u200b\u652f\u6301\u200b\u591a\u4e2a\u200b CIDR \u200b\u548c\u200b IP\uff0c\u200b\u4e4b\u95f4\u200b\u7528\u200b\u9017\u53f7\u200b\u95f4\u9694\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u51fa\u73b0\u200b\u591a\u4e2a\u200b match \u200b\u89c4\u5219\u200b\u91cd\u53e0\u200b\uff0c\u200b\u5219\u200b\u6309\u7167\u200b <code>natOutgoingPolicyRules</code> \u200b\u6570\u7ec4\u200b\u987a\u5e8f\u200b\u8fdb\u884c\u200b\u5339\u914d\u200b\uff0c\u200b\u6700\u5148\u200b\u88ab\u200b\u5339\u914d\u200b\u7684\u200b action \u200b\u4f1a\u200b\u88ab\u200b\u6267\u884c\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/node-local-dns/","title":"\u8282\u70b9\u200b\u672c\u5730\u200b DNS \u200b\u7f13\u5b58\u200b\u548c\u200b Kube-OVN \u200b\u9002\u914d","text":"<p>NodeLocal DNSCache \u200b\u662f\u200b\u901a\u8fc7\u200b\u96c6\u7fa4\u200b\u8282\u70b9\u200b\u4e0a\u200b\u4f5c\u4e3a\u200b DaemonSet \u200b\u8fd0\u884c\u200b DNS \u200b\u7f13\u5b58\u200b\u6765\u200b\u63d0\u9ad8\u200b\u96c6\u7fa4\u200b DNS \u200b\u6027\u80fd\u200b\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u548c\u200b Kube-OVN \u200b\u9002\u914d\u200b\u3002</p>"},{"location":"advance/node-local-dns/#dns","title":"\u8282\u70b9\u200b\u672c\u5730\u200b DNS \u200b\u7f13\u5b58\u200b\u90e8\u7f72","text":""},{"location":"advance/node-local-dns/#kubernetes-dns","title":"\u90e8\u7f72\u200b Kubernetes \u200b\u7684\u200b\u8282\u70b9\u200b\u672c\u5730\u200b DNS \u200b\u7f13\u5b58","text":"<p>\u200b\u8be5\u200b\u6b65\u9aa4\u200b\u53c2\u8003\u200b Kubernetes \u200b\u5b98\u7f51\u200b\u914d\u7f6e\u200b Nodelocaldnscache\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u200b\u811a\u672c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>#!bin/bash\n\nlocaldns=169.254.20.10\ndomain=cluster.local\nkubedns=10.96.0.10\n\nwget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/dns/nodelocaldns/nodelocaldns.yaml\nsed -i \"s/__PILLAR__LOCAL__DNS__/$localdns/g; s/__PILLAR__DNS__DOMAIN__/$domain/g; s/,__PILLAR__DNS__SERVER__//g; s/__PILLAR__CLUSTER__DNS__/$kubedns/g\" nodelocaldns.yaml\n\nkubectl apply -f nodelocaldns.yaml\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u7684\u200b kubelet \u200b\u914d\u7f6e\u6587\u4ef6\u200b\uff0c\u200b\u5c06\u200b <code>/var/lib/kubelet/config.yaml</code> \u200b\u4e2d\u200b\u7684\u200b clusterDNS \u200b\u5b57\u200b\u6bb5\u200b\u4fee\u6539\u200b\u4e3a\u200b\u672c\u5730\u200b DNS IP 169.254.20.10\uff0c\u200b\u7136\u540e\u200b\u91cd\u542f\u200b kubelet \u200b\u670d\u52a1\u200b\u3002</p>"},{"location":"advance/node-local-dns/#kube-ovn-dns","title":"Kube-OVN \u200b\u76f8\u5e94\u200b DNS \u200b\u914d\u7f6e","text":"<p>\u200b\u90e8\u7f72\u200b\u597d\u200b Kubernetes \u200b\u7684\u200b Nodelocal DNScache \u200b\u7ec4\u4ef6\u200b\u540e\u200b\uff0c Kube-OVN \u200b\u9700\u8981\u200b\u505a\u51fa\u200b\u4e0b\u9762\u200b\u4fee\u6539\u200b\uff1a</p>"},{"location":"advance/node-local-dns/#underlay-subnet-u2o","title":"Underlay Subnet \u200b\u5f00\u542f\u200b U2O \u200b\u5f00\u5173","text":"<p>\u200b\u5982\u679c\u200b\u662f\u200b Underlay Subnet \u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u672c\u5730\u200b DNS \u200b\u529f\u80fd\u200b\uff0c\u200b\u9700\u8981\u200b\u5f00\u542f\u200b U2O \u200b\u529f\u80fd\u200b\uff0c\u200b\u5373\u200b\u5728\u200b <code>kubectl edit subnet {your subnet}</code> \u200b\u4e2d\u200b\u914d\u7f6e\u200b <code>spec.u2oInterconnection = true</code> , \u200b\u5982\u679c\u200b\u662f\u200b Overlay Subnet \u200b\u5219\u200b\u4e0d\u200b\u9700\u8981\u200b\u8fd9\u6b65\u200b\u64cd\u4f5c\u200b\u3002</p>"},{"location":"advance/node-local-dns/#kube-ovn-controller-dns-ip","title":"\u7ed9\u200b Kube-ovn-controller \u200b\u6307\u5b9a\u200b\u5bf9\u5e94\u200b\u7684\u200b\u672c\u5730\u200b DNS IP","text":"<pre><code>kubectl edit deployment kube-ovn-controller -n kube-system\n</code></pre> <p>\u200b\u7ed9\u200b <code>spec.template.spec.containers.args</code> \u200b\u589e\u52a0\u200b\u5b57\u200b\u6bb5\u200b <code>--node-local-dns-ip=169.254.20.10</code></p>"},{"location":"advance/node-local-dns/#pod","title":"\u91cd\u5efa\u200b\u5df2\u7ecf\u200b\u521b\u5efa\u200b\u7684\u200b Pod","text":"<p>\u200b\u8fd9\u6b65\u200b\u539f\u56e0\u200b\u662f\u200b\u8ba9\u200b Pod \u200b\u91cd\u65b0\u200b\u751f\u6210\u200b <code>/etc/resolv.conf</code> \u200b\u8ba9\u200b nameserver \u200b\u6307\u5411\u200b\u672c\u5730\u200b DNS IP\uff0c\u200b\u5982\u679c\u200b\u6ca1\u6709\u200b\u91cd\u5efa\u200b Pod \u200b\u7684\u200b nameserver \u200b\u5c06\u200b\u4ecd\u7136\u200b\u4f7f\u7528\u200b\u96c6\u7fa4\u200b\u7684\u200b DNS ClusterIP\u3002\u200b\u540c\u65f6\u200b u2o \u200b\u5f00\u5173\u200b\u5982\u679c\u200b\u5f00\u542f\u200b\u4e5f\u200b\u9700\u8981\u200b\u91cd\u5efa\u200b Pod \u200b\u6765\u200b\u91cd\u65b0\u200b\u751f\u6210\u200b Pod \u200b\u7f51\u5173\u200b\u3002</p>"},{"location":"advance/node-local-dns/#dns_1","title":"\u9a8c\u8bc1\u200b\u8282\u70b9\u200b\u672c\u5730\u200b DNS \u200b\u7f13\u5b58\u200b\u529f\u80fd","text":"<p>\u200b\u4ee5\u4e0a\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b\u540e\u200b\u53ef\u4ee5\u200b\u627e\u5230\u200b Pod \u200b\u9a8c\u8bc1\u200b\u5982\u4e0b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b Pod \u200b\u7684\u200b DNS \u200b\u670d\u52a1\u5668\u200b\u662f\u200b\u6307\u5411\u200b\u672c\u5730\u200b 169.254.20.10 \uff0c\u200b\u5e76\u200b\u6210\u529f\u200b\u89e3\u6790\u200b\u57df\u540d\u200b\uff1a</p> <pre><code># kubectl exec -it pod1 -- nslookup github.com\nServer:         169.254.20.10\nAddress:        169.254.20.10:53\n\n\nName:   github.com\nAddress: 20.205.243.166\n</code></pre> <p>\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u5728\u200b\u8282\u70b9\u200b\u6293\u5305\u200b\u9a8c\u8bc1\u200b\u5982\u4e0b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b DNS \u200b\u67e5\u8be2\u200b\u62a5\u6587\u200b\u901a\u8fc7\u200b ovn0 \u200b\u7f51\u5361\u200b\u5230\u8fbe\u200b\u672c\u5730\u200b\u7684\u200b DNS \u200b\u670d\u52a1\u200b\uff0cDNS \u200b\u54cd\u5e94\u200b\u62a5\u6587\u200b\u539f\u200b\u8def\u200b\u8fd4\u56de\u200b:</p> <pre><code># tcpdump -i any port 53\n\n06:20:00.441889 659246098c56_h P   ifindex 17 00:00:00:73:f1:06 ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1291+ A? baidu.com. (27)\n06:20:00.441889 ovn0  In  ifindex 7 00:00:00:50:32:cd ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1291+ A? baidu.com. (27)\n06:20:00.441950 659246098c56_h P   ifindex 17 00:00:00:73:f1:06 ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1611+ AAAA? baidu.com. (27)\n06:20:00.441950 ovn0  In  ifindex 7 00:00:00:50:32:cd ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1611+ AAAA? baidu.com. (27)\n06:20:00.442203 ovn0  Out ifindex 7 00:00:00:52:99:d8 ethertype IPv4 (0x0800), length 145: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1611* 0/1/0 (97)\n06:20:00.442219 659246098c56_h Out ifindex 17 00:00:00:ea:b3:5e ethertype IPv4 (0x0800), length 145: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1611* 0/1/0 (97)\n06:20:00.442273 ovn0  Out ifindex 7 00:00:00:52:99:d8 ethertype IPv4 (0x0800), length 125: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1291* 2/0/0 A 39.156.66.10, A 110.242.68.66 (77)\n06:20:00.442278 659246098c56_h Out ifindex 17 00:00:00:ea:b3:5e ethertype IPv4 (0x0800), length 125: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1291* 2/0/0 A 39.156.66.10, A 110.242.68.66 (77)\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/offload-corigine/","title":"\u82af\u542f\u6e90\u200b\u7f51\u5361\u200b Offload \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u5728\u200b\u6700\u7ec8\u200b\u7684\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u4f7f\u7528\u200b OVS \u200b\u6765\u200b\u5b8c\u6210\u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u76f8\u5173\u200b\u7684\u200b\u6d41\u8868\u200b\u5339\u914d\u200b\uff0c\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u7b49\u200b\u529f\u80fd\u200b\u4e3a\u200b CPU \u200b\u5bc6\u96c6\u578b\u200b\uff0c\u200b\u5728\u200b\u5927\u200b\u6d41\u91cf\u200b\u4e0b\u4f1a\u200b\u6d88\u8017\u200b\u5927\u91cf\u200b CPU \u200b\u8d44\u6e90\u200b\u5e76\u200b\u5bfc\u81f4\u200b \u200b\u5ef6\u8fdf\u200b\u4e0a\u5347\u200b\u548c\u200b\u541e\u5410\u91cf\u200b\u4e0b\u964d\u200b\u3002\u200b\u82af\u542f\u6e90\u200b\u7684\u200b Agilio CX \u200b\u7cfb\u5217\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b\u53ef\u4ee5\u200b\u5c06\u200b OVS \u200b\u76f8\u5173\u200b\u7684\u200b\u64cd\u4f5c\u200b\u5378\u8f7d\u200b\u5230\u200b\u786c\u4ef6\u200b\u7f51\u5361\u200b\u4e2d\u200b\u6267\u884c\u200b\u3002 \u200b\u8be5\u200b\u6280\u672f\u200b\u53ef\u4ee5\u200b\u5728\u200b\u65e0\u9700\u200b\u5bf9\u200b OVS \u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7f29\u77ed\u200b\u6570\u636e\u200b\u8def\u5f84\u200b\uff0c\u200b\u907f\u514d\u200b\u5bf9\u200b\u4e3b\u673a\u200b CPU \u200b\u8d44\u6e90\u200b\u7684\u200b\u4f7f\u7528\u200b\uff0c\u200b\u5927\u5e45\u200b\u964d\u4f4e\u200b\u5ef6\u8fdf\u200b\u5e76\u200b\u663e\u8457\u200b\u63d0\u5347\u200b\u541e\u5410\u91cf\u200b\u3002</p> <p></p>"},{"location":"advance/offload-corigine/#_1","title":"\u524d\u7f6e\u6761\u4ef6","text":"<ul> <li>\u200b\u82af\u542f\u6e90\u200b Agilio CX \u200b\u7cfb\u5217\u200b\u7684\u200b\u786c\u4ef6\u200b\u7f51\u5361\u200b\u3002</li> <li>CentOS 8 Stream \u200b\u6216\u200b\u4e0a\u6e38\u200b Linux 5.7 \u200b\u4ee5\u4e0a\u200b\u5185\u6838\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u5f53\u524d\u200b\u7f51\u5361\u200b\u4e0d\u200b\u652f\u6301\u200b <code>dp_hash</code> \u200b\u548c\u200b <code>hash</code> \u200b\u64cd\u4f5c\u200b\u5378\u8f7d\u200b\uff0c\u200b\u9700\u200b\u5173\u95ed\u200b OVN LB \u200b\u529f\u80fd\u200b\u3002</li> </ul>"},{"location":"advance/offload-corigine/#sr-iov","title":"\u8bbe\u7f6e\u200b\u7f51\u5361\u200b SR-IOV \u200b\u6a21\u5f0f","text":"<p>\u200b\u7528\u6237\u200b\u53ef\u200b\u53c2\u8003\u200b Agilio Open vSwitch TC User Guide \u200b\u83b7\u5f97\u200b\u8be5\u200b\u7f51\u5361\u200b\u4f7f\u7528\u200b\u7684\u200b\u66f4\u200b\u591a\u200b\u8be6\u7ec6\u4fe1\u606f\u200b\u3002</p> <p>\u200b\u4fdd\u5b58\u200b\u4e0b\u5217\u200b\u811a\u672c\u200b\u7528\u4e8e\u200b\u540e\u7eed\u200b\u6267\u884c\u200b\u56fa\u4ef6\u200b\u76f8\u5173\u200b\u64cd\u4f5c\u200b\uff1a</p> <pre><code>#!/bin/bash\nDEVICE=${1}\nDEFAULT_ASSY=scan\nASSY=${2:-${DEFAULT_ASSY}}\nAPP=${3:-flower}\n\nif [ \"x${DEVICE}\" = \"x\" -o ! -e /sys/class/net/${DEVICE} ]; then\n    echo Syntax: ${0} device [ASSY] [APP]\n    echo\n    echo This script associates the TC Offload firmware\n    echo with a Netronome SmartNIC.\n    echo\n    echo device: is the network device associated with the SmartNIC\n    echo ASSY: defaults to ${DEFAULT_ASSY}\n    echo APP: defaults to flower. flower-next is supported if updated\n    echo      firmware has been installed.\n    exit 1\nfi\n\n# It is recommended that the assembly be determined by inspection\n# The following code determines the value via the debug interface\nif [ \"${ASSY}x\" = \"scanx\" ]; then\n    ethtool -W ${DEVICE} 0\n    DEBUG=$(ethtool -w ${DEVICE} data /dev/stdout | strings)\n    SERIAL=$(echo \"${DEBUG}\" | grep \"^SN:\")\n    ASSY=$(echo ${SERIAL} | grep -oE AMDA[0-9]{4})\nfi\n\nPCIADDR=$(basename $(readlink -e /sys/class/net/${DEVICE}/device))\nFWDIR=\"/lib/firmware/netronome\"\n\n# AMDA0081 and AMDA0097 uses the same firmware\nif [ \"${ASSY}\" = \"AMDA0081\" ]; then\n    if [ ! -e ${FWDIR}/${APP}/nic_AMDA0081.nffw ]; then\n       ln -sf nic_AMDA0097.nffw ${FWDIR}/${APP}/nic_AMDA0081.nffw\n   fi\nfi\n\nFW=\"${FWDIR}/pci-${PCIADDR}.nffw\"\nln -sf \"${APP}/nic_${ASSY}.nffw\" \"${FW}\"\n\n# insert distro-specific initramfs section here...\n</code></pre> <p>\u200b\u5207\u6362\u200b\u56fa\u4ef6\u200b\u9009\u9879\u200b\u5e76\u200b\u91cd\u8f7d\u200b\u9a71\u52a8\u200b\uff1a</p> <pre><code>./agilio-tc-fw-select.sh ens47np0 scan\nrmmod nfp\nmodprobe nfp\n</code></pre> <p>\u200b\u68c0\u67e5\u200b\u53ef\u7528\u200b VF \u200b\u6570\u91cf\u200b\uff0c\u200b\u5e76\u200b\u521b\u5efa\u200b VF\uff1a</p> <pre><code># cat /sys/class/net/ens3/device/sriov_totalvfs\n65\n\n# echo 4 &gt; /sys/class/net/ens47/device/sriov_numvfs\n</code></pre>"},{"location":"advance/offload-corigine/#sr-iov-device-plugin","title":"\u5b89\u88c5\u200b SR-IOV Device Plugin","text":"<p>\u200b\u7531\u4e8e\u200b\u6bcf\u4e2a\u200b\u673a\u5668\u200b\u7684\u200b VF \u200b\u6570\u91cf\u200b\u6709\u9650\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u4f7f\u7528\u200b\u52a0\u901f\u200b\u7684\u200b Pod \u200b\u4f1a\u200b\u5360\u7528\u200b VF \u200b\u8d44\u6e90\u200b\uff0c\u200b\u6211\u4eec\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b SR-IOV Device Plugin \u200b\u7ba1\u7406\u200b\u76f8\u5e94\u200b\u8d44\u6e90\u200b\uff0c\u200b\u4f7f\u5f97\u200b\u8c03\u5ea6\u200b\u5668\u200b\u77e5\u9053\u200b\u5982\u4f55\u200b\u6839\u636e\u200b \u200b\u8d44\u6e90\u200b\u8fdb\u884c\u200b\u8c03\u5ea6\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b SR-IOV \u200b\u76f8\u5173\u200b Configmap\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: sriovdp-config\n  namespace: kube-system\ndata:\n  config.json: |\n    {\n      \"resourceList\": [{\n          \"resourcePrefix\": \"corigine.com\",\n          \"resourceName\": \"agilio_sriov\",\n          \"selectors\": {\n                  \"vendors\": [\"19ee\"],\n                  \"devices\": [\"6003\"],\n                  \"drivers\": [\"nfp_netvf\"]\n              }\n      }\n      ]\n    }\n</code></pre> <p>\u200b\u53c2\u8003\u200b SR-IOV \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b:</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/intel/sriov-network-device-plugin/master/deployments/k8s-v1.16/sriovdp-daemonset.yaml\n</code></pre> <p>\u200b\u68c0\u67e5\u200b SR-IOV \u200b\u8d44\u6e90\u200b\u662f\u5426\u200b\u5df2\u7ecf\u200b\u6ce8\u518c\u200b\u5230\u200b Kubernetes Node \u200b\u4e2d\u200b\uff1a</p> <pre><code>kubectl describe no containerserver  | grep corigine\n\ncorigine.com/agilio_sriov:  4\ncorigine.com/agilio_sriov:  4\ncorigine.com/agilio_sriov  0           0\n</code></pre>"},{"location":"advance/offload-corigine/#multus-cni","title":"\u5b89\u88c5\u200b Multus-CNI","text":"<p>SR-IOV Device Plugin \u200b\u8c03\u5ea6\u200b\u65f6\u200b\u83b7\u5f97\u200b\u7684\u200b\u8bbe\u5907\u200b ID \u200b\u9700\u8981\u200b\u901a\u8fc7\u200b Multus-CNI \u200b\u4f20\u9012\u200b\u7ed9\u200b Kube-OVN\uff0c\u200b\u56e0\u6b64\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b Multus-CNI \u200b\u914d\u5408\u200b\u5b8c\u6210\u200b\u76f8\u5173\u200b\u4efb\u52a1\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b Multus-CNI \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/multus-cni/master/deployments/multus-daemonset.yml\n</code></pre> <p>\u200b\u521b\u5efa\u200b <code>NetworkAttachmentDefinition</code>\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: default\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/resourceName: corigine.com/agilio_sriov\nspec:\n  config: '{\n    \"cniVersion\": \"0.3.1\",\n    \"name\": \"kube-ovn\",\n    \"plugins\":[\n        {\n            \"type\":\"kube-ovn\",\n            \"server_socket\":\"/run/openvswitch/kube-ovn-daemon.sock\",\n            \"provider\": \"default.default.ovn\"\n        },\n        {\n            \"type\":\"portmap\",\n            \"capabilities\":{\n                \"portMappings\":true\n            }\n        }\n    ]\n}'\n</code></pre> <ul> <li><code>provider</code>: \u200b\u683c\u5f0f\u200b\u4e3a\u200b\u5f53\u524d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {name}.{namespace}.ovn\u3002</li> </ul>"},{"location":"advance/offload-corigine/#kube-ovn","title":"Kube-OVN \u200b\u4e2d\u200b\u5f00\u542f\u200b\u5378\u8f7d\u200b\u6a21\u5f0f","text":"<p>\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/alauda/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\uff0c<code>IFACE</code> \u200b\u9700\u8981\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u8be5\u200b\u7f51\u5361\u200b\u9700\u8981\u200b\u6709\u200b\u53ef\u200b\u8def\u7531\u200b IP\uff1a</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"ensp01\"\n</code></pre> <p>\u200b\u5b89\u88c5\u200b Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"advance/offload-corigine/#vf-pod","title":"\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u7f51\u5361\u200b\u7684\u200b Pod","text":"<p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b yaml \u200b\u683c\u5f0f\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx\n  namespace: default\n  annotations:\n    v1.multus-cni.io/default-network: default/default\nspec:\n  containers:\n    - name: nginx\n      image: docker.io/library/nginx:alpine\n      resources:\n        requests:\n          corigine.com/agilio_sriov: '1'\n        limits:\n          corigine.com/agilio_sriov: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: \u200b\u4e3a\u200b\u4e0a\u200b\u4e00\u200b\u6b65\u9aa4\u200b\u4e2d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {namespace}/{name}\u3002</li> </ul> <p>\u200b\u53ef\u200b\u901a\u8fc7\u200b\u5728\u200b Pod \u200b\u8fd0\u884c\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\u4e2d\u200b\u8fd0\u884c\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u89c2\u5bdf\u200b\u5378\u8f7d\u200b\u662f\u5426\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># ovs-appctl dpctl/dump-flows -m type=offloaded\nufid:91cc45de-e7e9-4935-8f82-1890430b0f66, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(5b45c61b307e_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:c5:6d:4e,dst=00:00:00:e7:16:ce),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:941539, bytes:62142230, used:0.260s, offloaded:yes, dp:tc, actions:54235e5753b8_h\nufid:e00768d7-e652-4d79-8182-3291d852b791, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(54235e5753b8_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:e7:16:ce,dst=00:00:00:c5:6d:4e),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:82386659, bytes:115944854173, used:0.260s, offloaded:yes, dp:tc, actions:5b45c61b307e_h\n</code></pre> <p>\u200b\u5982\u679c\u200b\u6709\u200b <code>offloaded:yes, dp:tc</code> \u200b\u5185\u5bb9\u200b\u8bc1\u660e\u200b\u5378\u8f7d\u200b\u6210\u529f\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/offload-mellanox/","title":"Mellanox \u200b\u7f51\u5361\u200b Offload \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u5728\u200b\u6700\u7ec8\u200b\u7684\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u4f7f\u7528\u200b OVS \u200b\u6765\u200b\u5b8c\u6210\u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u76f8\u5173\u200b\u7684\u200b\u6d41\u8868\u200b\u5339\u914d\u200b\uff0c\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u7b49\u200b\u529f\u80fd\u200b\u4e3a\u200b CPU \u200b\u5bc6\u96c6\u578b\u200b\uff0c\u200b\u5728\u200b\u5927\u200b\u6d41\u91cf\u200b\u4e0b\u4f1a\u200b\u6d88\u8017\u200b\u5927\u91cf\u200b CPU \u200b\u8d44\u6e90\u200b\u5e76\u200b\u5bfc\u81f4\u200b \u200b\u5ef6\u8fdf\u200b\u4e0a\u5347\u200b\u548c\u200b\u541e\u5410\u91cf\u200b\u4e0b\u964d\u200b\u3002Mellanox \u200b\u7684\u200b Accelerated Switching And Packet Processing (ASAP\u00b2) \u200b\u6280\u672f\u200b\u53ef\u4ee5\u200b\u5c06\u200b OVS \u200b\u76f8\u5173\u200b\u7684\u200b\u64cd\u4f5c\u200b\u5378\u8f7d\u200b\u5230\u200b\u786c\u4ef6\u200b\u7f51\u5361\u200b\u5185\u200b\u7684\u200b eSwitch \u200b\u4e0a\u200b\u6267\u884c\u200b\u3002\u200b\u8be5\u200b\u6280\u672f\u200b\u53ef\u4ee5\u200b\u5728\u200b\u65e0\u9700\u200b\u5bf9\u200b OVS \u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7f29\u77ed\u200b\u6570\u636e\u200b\u8def\u5f84\u200b\uff0c\u200b\u907f\u514d\u200b\u5bf9\u200b\u4e3b\u673a\u200b CPU \u200b\u8d44\u6e90\u200b\u7684\u200b\u4f7f\u7528\u200b\uff0c\u200b\u5927\u5e45\u200b\u964d\u4f4e\u200b\u5ef6\u8fdf\u200b\u5e76\u200b\u663e\u8457\u200b\u63d0\u5347\u200b\u541e\u5410\u91cf\u200b\u3002</p> <p></p>"},{"location":"advance/offload-mellanox/#_1","title":"\u524d\u7f6e\u6761\u4ef6","text":"<ul> <li>Mellanox CX5/CX6/CX7/BlueField \u200b\u7b49\u200b\u652f\u6301\u200b ASAP\u00b2 \u200b\u7684\u200b\u786c\u4ef6\u200b\u7f51\u5361\u200b\u3002</li> <li>CentOS 8 Stream \u200b\u6216\u200b\u4e0a\u6e38\u200b Linux 5.7 \u200b\u4ee5\u4e0a\u200b\u5185\u6838\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u5f53\u524d\u200b\u7f51\u5361\u200b\u4e0d\u200b\u652f\u6301\u200b <code>dp_hash</code> \u200b\u548c\u200b <code>hash</code> \u200b\u64cd\u4f5c\u200b\u5378\u8f7d\u200b\uff0c\u200b\u9700\u200b\u5173\u95ed\u200b OVN LB \u200b\u529f\u80fd\u200b\u3002</li> <li>\u200b\u4e3a\u4e86\u200b\u914d\u7f6e\u200b\u5378\u8f7d\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u7f51\u5361\u200b\u4e0d\u80fd\u200b\u7ed1\u5b9a\u200b bond\u3002</li> </ul>"},{"location":"advance/offload-mellanox/#sr-iov-device-plugin","title":"\u914d\u7f6e\u200b SR-IOV \u200b\u548c\u200b Device Plugin","text":"<p>Mellanox \u200b\u7f51\u5361\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u914d\u7f6e\u200b offload \u200b\u7684\u200b\u65b9\u5f0f\u200b\uff0c\u200b\u4e00\u79cd\u200b\u624b\u52a8\u200b\u914d\u7f6e\u200b\u7f51\u5361\u200b SR-IOV \u200b\u548c\u200b Device Plugin\uff0c\u200b\u53e6\u200b\u4e00\u79cd\u200b\u901a\u8fc7\u200b sriov-network-operator \u200b\u8fdb\u884c\u200b\u81ea\u52a8\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"advance/offload-mellanox/#sr-iov-device-plugin_1","title":"\u624b\u52a8\u200b\u914d\u7f6e\u200b SR-IOV \u200b\u548c\u200b Device Plugin","text":""},{"location":"advance/offload-mellanox/#sr-iov","title":"\u914d\u7f6e\u200b SR-IOV","text":"<p>\u200b\u67e5\u8be2\u200b\u7f51\u5361\u200b\u7684\u200b\u8bbe\u5907\u200b ID\uff0c\u200b\u4e0b\u9762\u200b\u7684\u200b\u4f8b\u5b50\u200b\u4e2d\u4e3a\u200b <code>84:00.0</code> \u200b\u548c\u200b <code>84.00.1</code>\uff1a</p> <pre><code># lspci -nn | grep ConnectX-5\n84:00.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n84:00.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n</code></pre> <p>\u200b\u6839\u636e\u200b\u8bbe\u5907\u200b ID \u200b\u627e\u5230\u200b\u5bf9\u5e94\u200b\u7f51\u5361\u200b\uff1a</p> <pre><code># ls -l /sys/class/net/ | grep 84:00.0\nlrwxrwxrwx 1 root root 0 Feb 4 16:16 enp132s0f0np0 -&gt; ../../devices/pci0000:80/0000:80:08.0/0000:84:00.0/net/enp132s0f0np0\n# ls -l /sys/class/net/ | grep 84:00.1\nlrwxrwxrwx 1 root root 0 Feb 4 16:16 enp132s0f1np1 -&gt; ../../devices/pci0000:80/0000:80:08.0/0000:84:00.1/net/enp132s0f1np1\n</code></pre> <p>\u200b\u68c0\u67e5\u200b\u7f51\u5361\u200b\u662f\u5426\u200b\u7ed1\u5b9a\u200b bond\uff1a</p> <p>\u200b\u672c\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u7f51\u5361\u200b enp132s0f0np0 \u200b\u548c\u200b enp132s0f1np1 \u200b\u7ed1\u5b9a\u200b bond1</p> <pre><code># ip link show enp132s0f0np0 | grep bond\n160: enp132s0f0np0: &lt;BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP&gt; mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000\n# ip link show enp132s0f1np1 | grep bond\n169: enp132s0f1np1: &lt;BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP&gt; mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000\n</code></pre> <p>\u200b\u79fb\u9664\u200b bond \u200b\u548c\u200b\u73b0\u6709\u200b\u7684\u200b VF\uff1a</p> <pre><code>ifenslave -d bond1 enp132s0f0np0\nifenslave -d bond1 enp132s0f1np1\necho 0 &gt; /sys/class/net/enp132s0f0np0/device/sriov_numvfs\necho 0 &gt; /sys/class/net/enp132s0f1np1/device/sriov_numvfs\nip link set enp132s0f0np0 down\nip link set enp132s0f1np1 down\n</code></pre> <p>\u200b\u914d\u7f6e\u200b\u89c4\u5219\u200b\u4e0b\u53d1\u200b\u6a21\u5f0f\u200b\uff1a</p> <p>OVS \u200b\u5185\u6838\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u89c4\u5219\u200b\u63d2\u5165\u200b\u786c\u4ef6\u200b\u7684\u200b\u6a21\u5f0f\u200b\uff1aSMFS \u200b\u548c\u200b DMFS</p> <ul> <li>SMFS (software-managed flow steering)\uff1a\u200b\u9ed8\u8ba4\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u89c4\u5219\u200b\u7531\u200b\u8f6f\u4ef6\u200b\uff08\u200b\u9a71\u52a8\u7a0b\u5e8f\u200b\uff09\u200b\u76f4\u63a5\u63d2\u5165\u200b\u786c\u4ef6\u200b\u3002\u200b\u8fd9\u79cd\u200b\u6a21\u5f0f\u200b\u5bf9\u200b\u89c4\u5219\u200b\u63d2\u5165\u200b\u8fdb\u884c\u200b\u4e86\u200b\u4f18\u5316\u200b\u3002</li> <li>DMFS (device-managed flow steering)\uff1a\u200b\u89c4\u5219\u200b\u63d2\u5165\u200b\u662f\u200b\u901a\u8fc7\u200b\u56fa\u4ef6\u200b\u547d\u4ee4\u200b\u5b8c\u6210\u200b\u7684\u200b\u3002\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u9488\u5bf9\u200b\u7cfb\u7edf\u200b\u4e2d\u200b\u5c11\u91cf\u200b\u89c4\u5219\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u8fdb\u884c\u200b\u4e86\u200b\u4f18\u5316\u200b\u3002</li> </ul> <p>\u200b\u53ef\u200b\u5728\u200b\u652f\u6301\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u7684\u200b\u5185\u6838\u200b\u4e2d\u200b\u901a\u8fc7\u200b sysfs \u200b\u6216\u200b devlink API \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code># \u200b\u901a\u8fc7\u200b sysfs \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\necho &lt;smfs|dmfs&gt; &gt; /sys/class/net/enp132s0f0np0/compat/devlink/steering_mode\necho &lt;smfs|dmfs&gt; &gt; /sys/class/net/enp132s0f1np1/compat/devlink/steering_mode\n# \u200b\u901a\u8fc7\u200b devlink \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\ndevlink dev param set pci/84:00.0 name flow_steering_mode value smfs cmode runtime\ndevlink dev param set pci/84:00.1 name flow_steering_mode value smfs cmode runtime\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u82e5\u200b\u4e0d\u200b\u4e86\u89e3\u200b\u5e94\u8be5\u200b\u9009\u62e9\u200b\u54ea\u4e2a\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u5219\u200b\u53ef\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u65e0\u9700\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u68c0\u67e5\u200b\u53ef\u7528\u200b VF \u200b\u6570\u91cf\u200b\uff1a</p> <pre><code># cat /sys/class/net/enp132s0f0np0/device/sriov_totalvfs\n127\n# cat /sys/class/net/enp132s1f0np1/device/sriov_totalvfs\n127\n</code></pre> <p>\u200b\u521b\u5efa\u200b VF\uff0c\u200b\u603b\u6570\u200b\u4e0d\u8981\u200b\u8d85\u8fc7\u200b\u4e0a\u9762\u200b\u67e5\u8be2\u200b\u51fa\u200b\u7684\u200b\u6570\u91cf\u200b\uff1a</p> <pre><code># echo '4' &gt; /sys/class/net/enp132s0f0np0/device/sriov_numvfs\n# echo '4' &gt; /sys/class/net/enp132s1f0np1/device/sriov_numvfs\n# ip link show enp132s0f0np0\n160: enp132s0f0np0: &lt;NO-CARRIER,BROADCAST,MULTICAST,UP&gt; mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000\n    link/ether 08:c0:eb:74:c3:4a brd ff:ff:ff:ff:ff:ff\n    vf 0 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 1 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 2 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 3 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n# ip link show enp132s0f1np1\n169: enp132s0f1np1: &lt;NO-CARRIER,BROADCAST,MULTICAST,UP&gt; mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000\n    link/ether 08:c0:eb:74:c3:4b brd ff:ff:ff:ff:ff:ff\n    vf 0 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 1 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 2 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 3 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n# ip link set enp132s0f0np0 up\n# ip link set enp132s0f1np1 up\n</code></pre> <p>\u200b\u627e\u5230\u200b\u4e0a\u8ff0\u200b VF \u200b\u5bf9\u5e94\u200b\u7684\u200b\u8bbe\u5907\u200b ID\uff1a</p> <pre><code># lspci -nn | grep ConnectX-5 | grep Virtual\n84:00.2 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.3 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.4 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.5 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.6 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.7 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:01.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:01.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n</code></pre> <p>\u200b\u5c06\u200b VF \u200b\u4ece\u200b\u9a71\u52a8\u200b\u4e2d\u89e3\u200b\u7ed1\u200b\uff1a</p> <pre><code>echo 0000:84:00.2 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.3 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.4 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.5 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.6 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.7 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:01.0 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:01.1 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\n</code></pre> <p>\u200b\u5f00\u542f\u200b eSwitch \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u5e76\u200b\u8bbe\u7f6e\u200b\u786c\u4ef6\u200b\u5378\u8f7d\u200b\uff1a</p> <pre><code>devlink dev eswitch set pci/0000:84:00.0 mode switchdev\ndevlink dev eswitch set pci/0000:84:00.1 mode switchdev\nethtool -K enp132s0f0np0 hw-tc-offload on\nethtool -K enp132s0f1np1 hw-tc-offload on\n</code></pre> <p>SR-IOV VF \u200b\u94fe\u8def\u200b\u805a\u5408\u200b\u914d\u7f6e\u200b\uff1a</p> <p>SR-IOV VF LAG \u200b\u5141\u8bb8\u200b\u7f51\u5361\u200b\u7684\u200b PF \u200b\u83b7\u53d6\u200b OVS \u200b\u8bd5\u56fe\u200b\u5378\u8f7d\u200b\u5230\u200b\u7ed1\u5b9a\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u7684\u200b\u89c4\u5219\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u5176\u200b\u5378\u8f7d\u200b\u5230\u200b\u786c\u4ef6\u200b e-switch \u200b\u4e0a\u200b\u3002\u200b\u652f\u6301\u200b\u7684\u200b bond \u200b\u6a21\u5f0f\u200b\u5982\u4e0b\u200b\uff1a</p> <ul> <li>Active-backup</li> <li>XOR</li> <li>LACP</li> </ul> <p>SR-IOV VF LAG \u200b\u53ef\u200b\u5c06\u200b LAG \u200b\u529f\u80fd\u200b\u5b8c\u5168\u200b\u5378\u8f7d\u200b\u7ed9\u200b\u786c\u4ef6\u200b\u3002bond \u200b\u4f1a\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b\u5355\u4e00\u200b\u7684\u200b bond PF \u200b\u7aef\u53e3\u200b\u3002\u200b\u5f53\u200b\u4f7f\u7528\u200b\u786c\u4ef6\u200b\u5378\u8f7d\u200b\u65f6\u200b\uff0c\u200b\u4e24\u4e2a\u200b\u7aef\u53e3\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u53ef\u200b\u8f6c\u53d1\u200b\u5230\u200b\u4efb\u4f55\u200b\u4e00\u4e2a\u200b VF\u3002\u200b\u6765\u81ea\u200b VF \u200b\u7684\u200b\u6d41\u91cf\u200b\u53ef\u200b\u6839\u636e\u200b bond \u200b\u72b6\u6001\u200b\u8f6c\u53d1\u200b\u5230\u200b\u4e24\u4e2a\u200b\u7aef\u53e3\u200b\u3002\u200b\u8fd9\u200b\u610f\u5473\u7740\u200b\uff0c\u200b\u5728\u200b\u4e3b\u5907\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u53ea\u6709\u200b\u4e00\u4e2a\u200b PF \u200b\u5904\u4e8e\u200b\u8fd0\u884c\u200b\u72b6\u6001\u200b\uff0c\u200b\u6765\u81ea\u200b\u4efb\u4f55\u200b VF \u200b\u7684\u200b\u6d41\u91cf\u200b\u90fd\u200b\u4f1a\u200b\u901a\u8fc7\u200b\u8be5\u200b PF\u3002\u200b\u5728\u200b XOR \u200b\u6216\u200b LACP \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u5982\u679c\u200b\u4e24\u4e2a\u200b PF \u200b\u90fd\u200b\u6b63\u5e38\u200b\u8fd0\u884c\u200b\uff0c\u200b\u5219\u200b\u6765\u81ea\u200b\u4efb\u4f55\u200b VF \u200b\u7684\u200b\u6d41\u91cf\u200b\u90fd\u200b\u4f1a\u200b\u5728\u200b\u8fd9\u200b\u4e24\u4e2a\u200b PF \u200b\u4e4b\u95f4\u200b\u5206\u914d\u200b\u3002</p> <p>\u200b\u672c\u200b\u793a\u4f8b\u200b\u4e2d\u5c06\u200b\u91c7\u7528\u200b LACP \u200b\u7684\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u914d\u7f6e\u200b\u65b9\u5f0f\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>modprobe bonding mode=802.3ad\nip link set enp132s0f0np0 master bond1\nip link set enp132s0f1np1 master bond1\nip link set enp132s0f0np0 up\nip link set enp132s0f1np1 up\nip link set bond1 up\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u82e5\u200b\u4e0d\u200b\u9700\u8981\u200b\u7ed1\u5b9a\u200b bond\uff0c\u200b\u8bf7\u200b\u5ffd\u7565\u200b\u4e0a\u8ff0\u200b\u64cd\u4f5c\u200b\u3002</p> <p>\u200b\u91cd\u65b0\u200b\u7ed1\u5b9a\u200b\u9a71\u52a8\u200b\uff0c\u200b\u5b8c\u6210\u200b VF \u200b\u8bbe\u7f6e\u200b\uff1a</p> <pre><code>echo 0000:84:00.2 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.3 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.4 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.5 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.6 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.7 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:01.0 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:01.1 &gt; /sys/bus/pci/drivers/mlx5_core/bind\n</code></pre> <p><code>NetworkManager</code> \u200b\u7684\u200b\u4e00\u4e9b\u200b\u884c\u4e3a\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u5bfc\u81f4\u200b\u9a71\u52a8\u200b\u5f02\u5e38\u200b\uff0c\u200b\u5982\u679c\u200b\u5378\u8f7d\u200b\u51fa\u73b0\u200b\u95ee\u9898\u200b\u5efa\u8bae\u200b\u5173\u95ed\u200b <code>NetworkManager</code> \u200b\u518d\u200b\u8fdb\u884c\u200b\u5c1d\u8bd5\u200b\uff1a</p> <pre><code>systemctl stop NetworkManager\nsystemctl disable NetworkManager\n</code></pre>"},{"location":"advance/offload-mellanox/#device-plugin","title":"\u914d\u7f6e\u200b Device Plugin","text":"<p>\u200b\u7531\u4e8e\u200b\u6bcf\u4e2a\u200b\u673a\u5668\u200b\u7684\u200b VF \u200b\u6570\u91cf\u200b\u4f18\u5148\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u4f7f\u7528\u200b\u52a0\u901f\u200b\u7684\u200b Pod \u200b\u4f1a\u200b\u5360\u7528\u200b VF \u200b\u8d44\u6e90\u200b\uff0c\u200b\u6211\u4eec\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b SR-IOV Device Plugin \u200b\u7ba1\u7406\u200b\u76f8\u5e94\u200b\u8d44\u6e90\u200b\uff0c\u200b\u4f7f\u5f97\u200b\u8c03\u5ea6\u200b\u5668\u200b\u77e5\u9053\u200b\u5982\u4f55\u200b\u6839\u636e\u200b \u200b\u8d44\u6e90\u200b\u8fdb\u884c\u200b\u8c03\u5ea6\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b SR-IOV \u200b\u76f8\u5173\u200b Configmap\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: sriovdp-config\n  namespace: kube-system\ndata:\n  config.json: |\n    {\n      \"resourceList\": [{\n          \"resourcePrefix\": \"mellanox.com\",\n          \"resourceName\": \"cx5_sriov_switchdev\",\n          \"selectors\": {\n                  \"vendors\": [\"15b3\"],\n                  \"devices\": [\"1018\"],\n                  \"drivers\": [\"mlx5_core\"]\n              }\n      }\n      ]\n    }\n</code></pre> <p>SR-IOV Device Plugin \u200b\u4f1a\u200b\u6839\u636e\u200b\u5173\u8054\u200b\u7684\u200b ConfigMap \u200b\u4e2d\u200b\u6307\u5b9a\u200b\u7684\u200b\u914d\u7f6e\u200b\u521b\u5efa\u200b\u8bbe\u5907\u200b\u63d2\u4ef6\u200b\u7aef\u70b9\u200b\uff0cConfigMap \u200b\u7684\u200b name \u200b\u4e3a\u200b sriovdp-config\u3002</p> <ul> <li><code>selectors</code>: VF \u200b\u9009\u62e9\u5668\u200b</li> <li><code>vendors</code>: \u200b\u76ee\u6807\u200b\u8bbe\u5907\u200b\u4f9b\u5e94\u5546\u200b\u5341\u516d\u8fdb\u5236\u200b\u4ee3\u7801\u200b\u5b57\u7b26\u4e32\u200b</li> <li><code>devices</code>: \u200b\u76ee\u6807\u200b\u8bbe\u5907\u200b\u7684\u200b\u8bbe\u5907\u200b\u5341\u516d\u8fdb\u5236\u200b\u4ee3\u7801\u200b\u5b57\u7b26\u4e32\u200b</li> <li><code>drivers</code>: \u200b\u4ee5\u200b\u5b57\u7b26\u4e32\u200b\u5f62\u5f0f\u200b\u663e\u793a\u200b\u7684\u200b\u76ee\u6807\u200b\u8bbe\u5907\u200b\u9a71\u52a8\u7a0b\u5e8f\u200b\u540d\u79f0\u200b</li> </ul> <p><code>selectors</code> \u200b\u8fd8\u200b\u652f\u6301\u200b\u57fa\u4e8e\u200b <code>pciAddresses</code>\u3001<code>acpiIndexes</code> \u200b\u7b49\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b VF \u200b\u7684\u200b\u9009\u62e9\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u8be6\u7ec6\u200b\u914d\u7f6e\u200b\u8bf7\u200b\u53c2\u8003\u200bSR-IOV ConfigMap \u200b\u914d\u7f6e\u200b</p> <p>\u200b\u53c2\u8003\u200b SR-IOV \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b:</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/sriov-network-device-plugin/v3.6.2/deployments/sriovdp-daemonset.yaml\n</code></pre> <p>\u200b\u68c0\u67e5\u200b SR-IOV \u200b\u8d44\u6e90\u200b\u662f\u5426\u200b\u5df2\u7ecf\u200b\u6ce8\u518c\u200b\u5230\u200b Kubernetes Node \u200b\u4e2d\u200b\uff1a</p> <pre><code>kubectl describe node kube-ovn-01  | grep mellanox\n\nmellanox.com/cx5_sriov_switchdev:  8\nmellanox.com/cx5_sriov_switchdev:  8\nmellanox.com/cx5_sriov_switchdev  0           0\n</code></pre>"},{"location":"advance/offload-mellanox/#sriov-network-operator-sr-iov-device-plugin","title":"\u4f7f\u7528\u200b sriov-network-operator \u200b\u914d\u7f6e\u200b SR-IOV \u200b\u548c\u200b Device Plugin","text":"<p>\u200b\u5b89\u88c5\u200b node-feature-discovery \u200b\u81ea\u52a8\u68c0\u6d4b\u200b\u786c\u4ef6\u200b\u7684\u200b\u529f\u80fd\u200b\u548c\u200b\u7cfb\u7edf\u914d\u7f6e\u200b:</p> <pre><code>kubectl apply -k https://github.com/kubernetes-sigs/node-feature-discovery/deployment/overlays/default?ref=v0.11.3\n</code></pre> <p>\u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff0c\u200b\u624b\u52a8\u200b\u7ed9\u200b\u6709\u200b offload \u200b\u80fd\u529b\u200b\u7684\u200b\u7f51\u5361\u200b\u589e\u52a0\u200b annotation:</p> <pre><code>kubectl label nodes [offloadNicNode] feature.node.kubernetes.io/network-sriov.capable=true\n</code></pre> <p>\u200b\u514b\u9686\u200b\u4ee3\u7801\u200b\u4ed3\u5e93\u200b\u5e76\u200b\u5b89\u88c5\u200b Operator\uff1a</p> <pre><code>git clone --depth=1 https://github.com/kubeovn/sriov-network-operator.git\nkubectl apply -k sriov-network-operator/deploy\n</code></pre> <p>\u200b\u68c0\u67e5\u200b Operator \u200b\u7ec4\u4ef6\u200b\u662f\u5426\u200b\u5de5\u4f5c\u200b\u6b63\u5e38\u200b\uff1a</p> <pre><code># kubectl get -n kube-system all | grep sriov\nNAME                                          READY   STATUS    RESTARTS   AGE\npod/sriov-network-config-daemon-bf9nt         1/1     Running   0          8s\npod/sriov-network-operator-54d7545f65-296gb   1/1     Running   0          10s\n\nNAME                                         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                                                 AGE\ndaemonset.apps/sriov-network-config-daemon   1         1         1       1            1           beta.kubernetes.io/os=linux,feature.node.kubernetes.io/network-sriov.capable=true   8s\n\nNAME                                     READY   UP-TO-DATE   AVAILABLE   AGE\ndeployment.apps/sriov-network-operator   1/1     1            1           10s\n\nNAME                                                DESIRED   CURRENT   READY   AGE\nreplicaset.apps/sriov-network-operator-54d7545f65   1         1         1       10s\n</code></pre> <p>\u200b\u68c0\u67e5\u200b <code>SriovNetworkNodeState</code>\uff0c\u200b\u4e0b\u9762\u200b\u4ee5\u200b <code>node1</code> \u200b\u8282\u70b9\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u8be5\u200b\u8282\u70b9\u200b\u4e0a\u200b\u6709\u200b\u4e24\u4e2a\u200b Mellanox \u200b\u7f51\u5361\u200b\uff1a</p> <pre><code># kubectl get sriovnetworknodestates.sriovnetwork.openshift.io -n kube-system node1 -o yaml\napiVersion: sriovnetwork.openshift.io/v1\nkind: SriovNetworkNodeState\nspec: ...\nstatus:\n  interfaces:\n  - deviceID: \"1017\"\n    driver: mlx5_core\n    mtu: 1500\n    pciAddress: \"0000:5f:00.0\"\n    totalvfs: 8\n    vendor: \"15b3\"\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    name: ens41f0np0\n  - deviceID: \"1017\"\n    driver: mlx5_core\n    mtu: 1500\n    pciAddress: \"0000:5f:00.1\"\n    totalvfs: 8\n    vendor: \"15b3\"\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    name: ens41f1np1\n</code></pre> <p>\u200b\u521b\u5efa\u200b <code>SriovNetworkNodePolicy</code> \u200b\u8d44\u6e90\u200b\uff0c\u200b\u5e76\u200b\u901a\u8fc7\u200b <code>nicSelector</code> \u200b\u9009\u62e9\u200b\u8981\u200b\u7ba1\u7406\u200b\u7684\u200b\u7f51\u5361\u200b\uff1a</p> <pre><code>apiVersion: sriovnetwork.openshift.io/v1\nkind: SriovNetworkNodePolicy\nmetadata:\n  name: policy\n  namespace: kube-system\nspec:\n  nodeSelector:\n    feature.node.kubernetes.io/network-sriov.capable: \"true\"\n  eSwitchMode: switchdev\n  numVfs: 3\n  nicSelector:\n    pfNames:\n    - ens41f0np0\n    - ens41f1np1\n  resourceName: cx_sriov_switchdev\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u68c0\u67e5\u200b <code>SriovNetworkNodeState</code> \u200b\u7684\u200b <code>status</code> \u200b\u5b57\u200b\u6bb5\u200b\uff1a</p> <pre><code># kubectl get sriovnetworknodestates.sriovnetwork.openshift.io -n kube-system node1 -o yaml\n\n...\nspec:\n  interfaces:\n  - eSwitchMode: switchdev\n    name: ens41f0np0\n    numVfs: 3\n    pciAddress: 0000:5f:00.0\n    vfGroups:\n    - policyName: policy\n      vfRange: 0-2\n      resourceName: cx_sriov_switchdev\n  - eSwitchMode: switchdev\n    name: ens41f1np1\n    numVfs: 3\n    pciAddress: 0000:5f:00.1\n    vfGroups:\n    - policyName: policy\n      vfRange: 0-2\n      resourceName: cx_sriov_switchdev\nstatus:\n  interfaces\n  - Vfs:\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.2\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.3\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.4\n      vendor: \"15b3\"\n    deviceID: \"1017\"\n    driver: mlx5_core\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:ab\n    mtu: 1500\n    name: ens41f0np0\n    numVfs: 3\n    pciAddress: 0000:5f:00.0\n    totalvfs: 3\n    vendor: \"15b3\"\n  - Vfs:\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.5\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.6\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.7\n      vendor: \"15b3\"\n    deviceID: \"1017\"\n    driver: mlx5_core\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    mtu: 1500\n    name: ens41f1np1\n    numVfs: 3\n    pciAddress: 0000:5f:00.1\n    totalvfs: 3\n    vendor: \"15b3\"\n</code></pre> <p>\u200b\u68c0\u67e5\u200b VF \u200b\u7684\u200b\u72b6\u6001\u200b\uff1a</p> <pre><code># lspci -nn | grep ConnectX\n5f:00.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n5f:00.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n5f:00.2 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.3 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.4 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.5 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.6 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.7 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n</code></pre> <p>\u200b\u68c0\u67e5\u200b PF \u200b\u5de5\u4f5c\u200b\u6a21\u5f0f\u200b\uff1a</p> <pre><code># cat /sys/class/net/ens41f0np0/compat/devlink/mode\nswitchdev\n</code></pre>"},{"location":"advance/offload-mellanox/#multus-cni","title":"\u5b89\u88c5\u200b Multus-CNI","text":"<p>SR-IOV Device Plugin \u200b\u8c03\u5ea6\u200b\u65f6\u200b\u83b7\u5f97\u200b\u7684\u200b\u8bbe\u5907\u200b ID \u200b\u9700\u8981\u200b\u901a\u8fc7\u200b Multus-CNI \u200b\u4f20\u9012\u200b\u7ed9\u200b Kube-OVN\uff0c\u200b\u56e0\u6b64\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b Multus-CNI \u200b\u914d\u5408\u200b\u5b8c\u6210\u200b\u76f8\u5173\u200b\u4efb\u52a1\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b Multus-CNI \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/multus-cni/v4.0.2/deployments/multus-daemonset-thick.yml\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1amultus \u200b\u63d0\u4f9b\u200b\u4e86\u200b Thin \u200b\u548c\u200b Thick \u200b\u7248\u672c\u200b\u7684\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u82e5\u200b\u8981\u200b\u652f\u6301\u200b SR-IOV \u200b\u5219\u200b\u9700\u8981\u200b\u5b89\u88c5\u200b Thick \u200b\u7248\u672c\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b <code>NetworkAttachmentDefinition</code>\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: sriov\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/resourceName: mellanox.com/cx5_sriov_switchdev\nspec:\n  config: '{\n    \"cniVersion\": \"0.3.1\",\n    \"name\": \"kube-ovn\",\n    \"plugins\":[\n        {\n            \"type\":\"kube-ovn\",\n            \"server_socket\":\"/run/openvswitch/kube-ovn-daemon.sock\",\n            \"provider\": \"sriov.default.ovn\"\n        },\n        {\n            \"type\":\"portmap\",\n            \"capabilities\":{\n                \"portMappings\":true\n            }\n        }\n    ]\n}'\n</code></pre> <ul> <li><code>provider</code>: \u200b\u683c\u5f0f\u200b\u4e3a\u200b\u5f53\u524d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {name}.{namespace}.ovn\u3002</li> </ul>"},{"location":"advance/offload-mellanox/#overlay","title":"Overlay \u200b\u5378\u8f7d","text":""},{"location":"advance/offload-mellanox/#kube-ovn","title":"Kube-OVN \u200b\u4e2d\u200b\u5f00\u542f\u200b\u5378\u8f7d\u200b\u6a21\u5f0f","text":"<p>\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\uff0c<code>IFACE</code> \u200b\u9700\u8981\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u8be5\u200b\u7f51\u5361\u200b\u9700\u8981\u200b\u6709\u200b\u53ef\u200b\u8def\u7531\u200b IP\uff1a</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"bond1\"\n# \u200b\u4ee5\u200b\u624b\u52a8\u200b\u914d\u7f6e\u200b SR-IOV \u200b\u548c\u200b Device Plugin \u200b\u4e2d\u200b\u7684\u200b\u7f51\u5361\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u82e5\u200b\u7ed1\u5b9a\u200b bond\uff0c\u200b\u5219\u200b\u5c06\u200b IFACE \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b bond1\uff0c\u200b\u82e5\u200b\u672a\u200b\u7ed1\u5b9a\u200b bond\uff0c\u200b\u5219\u200b\u53ef\u200b\u5c06\u200b IFACE \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b enp132s0f0np0 \u200b\u6216\u200b enp132s0f1np1\n</code></pre> <p>\u200b\u5b89\u88c5\u200b Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"advance/offload-mellanox/#vf-pod","title":"\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u7f51\u5361\u200b\u7684\u200b Pod","text":"<p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b yaml \u200b\u683c\u5f0f\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-overlay\n  annotations:\n    v1.multus-cni.io/default-network: default/sriov\n    sriov.default.ovn.kubernetes.io/logical_switch: ovn-default\nspec:\n  containers:\n  - name: nginx-overlay\n    image: docker.io/library/nginx:alpine\n    resources:\n      requests:\n        mellanox.com/cx5_sriov_switchdev: '1'\n      limits:\n        mellanox.com/cx5_sriov_switchdev: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: \u200b\u4e3a\u200b\u4e0a\u200b\u4e00\u200b\u6b65\u9aa4\u200b\u4e2d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {namespace}/{name}\u3002</li> <li><code>sriov.default.ovn.kubernetes.io/logical_switch</code>: \u200b\u6307\u5b9a\u200b Pod \u200b\u6240\u5c5e\u200b\u7684\u200b Subnet\uff0c\u200b\u82e5\u200b\u5e0c\u671b\u200b Pod \u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e3a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u5219\u200b\u8be5\u884c\u200b\u6ce8\u89e3\u200b\u53ef\u200b\u7701\u7565\u200b\u3002</li> </ul>"},{"location":"advance/offload-mellanox/#underlay","title":"Underlay \u200b\u5378\u8f7d","text":""},{"location":"advance/offload-mellanox/#kube-ovn_1","title":"Kube-OVN \u200b\u4e2d\u200b\u5f00\u542f\u200b\u5378\u8f7d\u200b\u6a21\u5f0f","text":"<p>\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\uff0c<code>IFACE</code> \u200b\u9700\u8981\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u8be5\u200b\u7f51\u5361\u200b\u9700\u8981\u200b\u6709\u200b\u53ef\u200b\u8def\u7531\u200b IP\uff1a</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"\"\n# \u200b\u82e5\u200b\u9700\u8981\u200b Underlay \u200b\u5378\u8f7d\u200b\uff0cIFACE \u200b\u9700\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5176\u5b83\u200b\u975e\u200b PF \u200b\u7684\u200b\u7f51\u5361\u200b\u3002\uff08IFACE \u200b\u4e3a\u7a7a\u200b\u65f6\u4f1a\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b K8s \u200b\u96c6\u7fa4\u200b\u901a\u4fe1\u200b\u7684\u200b\u7f51\u5361\u200b\uff0c\u200b\u6ce8\u610f\u200b\u8fd9\u5f20\u200b\u7f51\u5361\u200b\u4e0d\u80fd\u200b\u662f\u200b PF \u200b\u7684\u200b\u7f51\u5361\u200b\uff09\n</code></pre> <p>\u200b\u5b89\u88c5\u200b Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"advance/offload-mellanox/#vf-pod_1","title":"\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u7f51\u5361\u200b\u7684\u200b Pod","text":"<p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b yaml \u200b\u683c\u5f0f\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: underlay-offload\nspec:\n  defaultInterface: bond1\n\n---\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan0\nspec:\n  id: 0\n  provider: underlay-offload\n\n---\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vlan0\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 10.10.204.0/24\n  gateway: 10.10.204.254\n  vlan: vlan0\n  excludeIps:\n  - 10.10.204.1..10.10.204.100\n\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-underlay\n  annotations:\n    k8s.v1.cni.cncf.io/networks: '[{\n      \"name\": \"sriov\",\n      \"namespace\": \"default\",\n      \"default-route\": [\"10.10.204.254\"]\n    }]'\n    sriov.default.ovn.kubernetes.io/logical_switch: vlan0\nspec:\n  containers:\n  - name: nginx-underlay\n    image: docker.io/library/nginx:alpine\n    resources:\n      requests:\n        mellanox.com/cx5_sriov_switchdev: '1'\n      limits:\n        mellanox.com/cx5_sriov_switchdev: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: \u200b\u4e3a\u200b\u4e0a\u200b\u4e00\u200b\u6b65\u9aa4\u200b\u4e2d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {namespace}/{name}\u3002</li> </ul> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u4e0a\u8ff0\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u901a\u8fc7\u200b multus \u200b\u521b\u5efa\u200b\u4e86\u200b\u4f7f\u7528\u200b VF \u200b\u4f5c\u4e3a\u200b\u526f\u200b\u7f51\u5361\u200b\u7684\u200b Pod\uff0c\u200b\u540c\u65f6\u200b\u5c06\u200b VF \u200b\u4f5c\u4e3a\u200b Pod \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u3002\u200b\u8fd8\u200b\u53ef\u4ee5\u200b\u5c06\u200b VF \u200b\u4f5c\u4e3a\u200b Pod \u200b\u7684\u200b\u4e3b\u200b\u7f51\u5361\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b multus \u200b\u914d\u7f6e\u200b\u8be6\u89c1\u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b\u3002</p> <p>\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u7684\u200b\u662f\u200b\u4ecd\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b yaml \u200b\u683c\u5f0f\u200b\u521b\u5efa\u200b\u4e0d\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-underlay-noVF\n  annotations:\n    ovn.kubernetes.io/logical_switch: vlan0\nspec:\n  containers:\n  - name: nginx-underlay-noVF\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u4e0a\u8ff0\u200b\u793a\u4f8b\u200b\u4f1a\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b\u4e0d\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod\uff0c\u200b\u5176\u6d41\u8868\u200b\u4ecd\u4f1a\u200b\u88ab\u200b\u4e0b\u53d1\u200b\u81f3\u200b ovs-kernel \u200b\u4e2d\u200b\u800c\u200b\u4e0d\u4f1a\u200b\u4e0b\u53d1\u200b\u5230\u200b e-switch \u200b\u4e2d\u200b\u3002</p>"},{"location":"advance/offload-mellanox/#_2","title":"\u5378\u8f7d\u200b\u9a8c\u8bc1","text":"<p>\u200b\u53ef\u200b\u901a\u8fc7\u200b\u5728\u200b Pod \u200b\u8fd0\u884c\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\u4e2d\u200b\u8fd0\u884c\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u89c2\u5bdf\u200b\u5378\u8f7d\u200b\u662f\u5426\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># ovs-appctl dpctl/dump-flows -m type=offloaded\nufid:91cc45de-e7e9-4935-8f82-1890430b0f66, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(5b45c61b307e_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:c5:6d:4e,dst=00:00:00:e7:16:ce),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:941539, bytes:62142230, used:0.260s, offloaded:yes, dp:tc, actions:54235e5753b8_h\nufid:e00768d7-e652-4d79-8182-3291d852b791, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(54235e5753b8_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:e7:16:ce,dst=00:00:00:c5:6d:4e),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:82386659, bytes:115944854173, used:0.260s, offloaded:yes, dp:tc, actions:5b45c61b307e_h\n</code></pre> <p>\u200b\u5982\u679c\u200b\u6709\u200b <code>offloaded:yes, dp:tc</code> \u200b\u5185\u5bb9\u200b\u8bc1\u660e\u200b\u5378\u8f7d\u200b\u6210\u529f\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/overlay-with-route/","title":"Overlay \u200b\u4e0b\u200b\u8def\u7531\u200b\u65b9\u5f0f\u200b\u7f51\u7edc\u200b\u6253\u901a","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u7f51\u7edc\u200b\u73af\u5883\u200b\u4e0d\u200b\u652f\u6301\u200b Underlay \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u4f46\u662f\u200b\u4f9d\u7136\u200b\u9700\u8981\u200b Pod \u200b\u80fd\u200b\u548c\u200b\u5916\u90e8\u200b\u8bbe\u65bd\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b IP \u200b\u8fdb\u884c\u200b\u4e92\u8bbf\u200b\uff0c \u200b\u8fd9\u65f6\u5019\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u8def\u7531\u200b\u65b9\u5f0f\u200b\u5c06\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u548c\u200b\u5916\u90e8\u200b\u8054\u901a\u200b\u3002</p> <p>\u200b\u8def\u7531\u200b\u6a21\u5f0f\u200b\u53ea\u200b\u652f\u6301\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Overlay \u200b\u7f51\u7edc\u200b\u548c\u200b\u5916\u90e8\u200b\u6253\u901a\u200b\uff0c\u200b\u5728\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0cPod IP \u200b\u4f1a\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u653e\u5f00\u200b\u5173\u4e8e\u200b\u6e90\u5730\u5740\u200b\u548c\u200b\u76ee\u200b\u5730\u5740\u200b\u7684\u200b IP \u200b\u68c0\u67e5\u200b\u3002</p>"},{"location":"advance/overlay-with-route/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ul> <li>\u200b\u6b64\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u4e3b\u673a\u200b\u9700\u8981\u200b\u5f00\u653e\u200b <code>ip_forward</code>\u3002</li> <li>\u200b\u68c0\u67e5\u200b\u4e3b\u673a\u200b iptables \u200b\u89c4\u5219\u200b\u4e2d\u200b\u662f\u5426\u200b\u5728\u200b forward \u200b\u94fe\u4e2d\u200b\u662f\u5426\u200b\u6709\u200b Drop \u200b\u89c4\u5219\u200b\uff0c\u200b\u9700\u8981\u200b\u653e\u884c\u200b\u5bb9\u5668\u200b\u76f8\u5173\u200b\u6d41\u91cf\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u53ef\u80fd\u200b\u5b58\u5728\u200b\u975e\u5bf9\u79f0\u200b\u8def\u7531\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0c\u200b\u4e3b\u673a\u200b\u9700\u200b\u653e\u884c\u200b ct \u200b\u72b6\u6001\u200b\u4e3a\u200b <code>INVALID</code> \u200b\u7684\u200b\u6570\u636e\u5305\u200b\u3002</li> </ul>"},{"location":"advance/overlay-with-route/#_2","title":"\u8bbe\u7f6e\u200b\u6b65\u9aa4","text":"<p>\u200b\u5bf9\u4e8e\u200b\u9700\u8981\u200b\u5bf9\u5916\u200b\u76f4\u63a5\u200b\u8def\u7531\u200b\u7684\u200b\u5b50\u7f51\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b\u5b50\u7f51\u200b\u7684\u200b <code>natOutgoing</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code>\uff0c\u200b\u5173\u95ed\u200b nat \u200b\u6620\u5c04\u200b\uff0c\u200b\u4f7f\u5f97\u200b Pod IP \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: routed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: distributed\n  natOutgoing: false\n</code></pre> <p>\u200b\u6b64\u65f6\u200b\uff0cPod \u200b\u7684\u200b\u6570\u636e\u5305\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4e3b\u673a\u200b\u8def\u7531\u200b\u5230\u8fbe\u200b\u5bf9\u7aef\u200b\u8282\u70b9\u200b\uff0c\u200b\u4f46\u662f\u200b\u5bf9\u7aef\u200b\u8282\u70b9\u200b\u8fd8\u200b\u4e0d\u200b\u77e5\u9053\u200b\u56de\u7a0b\u200b\u6570\u636e\u5305\u200b\u5e94\u8be5\u200b\u53d1\u9001\u5230\u200b\u54ea\u91cc\u200b\uff0c\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u56de\u7a0b\u200b\u8def\u7531\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u5bf9\u7aef\u200b\u4e3b\u673a\u200b\u548c\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u5bbf\u4e3b\u673a\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u4e8c\u5c42\u200b\u7f51\u7edc\u200b\uff0c\u200b\u6211\u4eec\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u5728\u200b\u5bf9\u200b\u7aef\u200b\u4e3b\u673a\u200b\u6dfb\u52a0\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u5c06\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u6307\u5411\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b\u4efb\u610f\u200b\u4e00\u53f0\u200b\u673a\u5668\u200b\u3002</p> <pre><code>ip route add 10.166.0.0/16 via 192.168.2.10 dev eth0\n</code></pre> <p><code>10.166.0.0/16</code> \u200b\u4e3a\u200b\u5bb9\u5668\u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b\uff0c<code>192.168.2.10</code> \u200b\u4e3a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u5185\u200b\u4efb\u610f\u200b\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u3002</p> <p>\u200b\u82e5\u200b\u5bf9\u200b\u7aef\u200b\u4e3b\u673a\u200b\u548c\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u5bbf\u4e3b\u673a\u200b\u4e0d\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u4e8c\u5c42\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u5728\u200b\u8def\u7531\u5668\u200b\u4e0a\u200b\u914d\u7f6e\u200b\u76f8\u5e94\u200b\u7684\u200b\u89c4\u5219\u200b\uff0c\u200b\u901a\u8fc7\u200b\u8def\u7531\u5668\u200b\u8fdb\u884c\u200b\u6253\u901a\u200b\u3002</p> <p>\u200b\u6ce8\u610f\u200b\uff1a \u200b\u6307\u5b9a\u200b\u67d0\u4e2a\u200b\u8282\u70b9\u200b IP \u200b\u5b58\u5728\u200b\u5355\u70b9\u6545\u969c\u200b\u7684\u200b\u53ef\u80fd\u200b\uff0c\u200b\u5982\u679c\u200b\u5e0c\u671b\u200b\u505a\u5230\u200b\u5feb\u901f\u200b\u7684\u200b\u6545\u969c\u200b\u5207\u6362\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Keepalived \u200b\u7ed9\u200b\u591a\u4e2a\u200b\u8282\u70b9\u200b\u8bbe\u7f6e\u200b VIP\uff0c\u200b\u540c\u65f6\u200b\u5c06\u200b\u8def\u7531\u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u6307\u5411\u200b VIP\u3002</p> <p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u865a\u62df\u5316\u200b\u73af\u5883\u200b\u4e2d\u200b\uff0c\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u4f1a\u200b\u5c06\u200b\u975e\u5bf9\u79f0\u200b\u6d41\u91cf\u200b\u8bc6\u522b\u200b\u4e3a\u200b\u975e\u6cd5\u200b\u6d41\u91cf\u200b\u5e76\u200b\u4e22\u5f03\u200b\u3002 \u200b\u6b64\u65f6\u200b\u9700\u8981\u200b\u5c06\u200b Subnet \u200b\u7684\u200b <code>gatewayType</code> \u200b\u8c03\u6574\u200b\u4e3a\u200b <code>centralized</code>\uff0c\u200b\u5e76\u200b\u5728\u200b\u8def\u7531\u200b\u8bbe\u7f6e\u200b\u65f6\u200b\u5c06\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>gatewayNode</code> \u200b\u8282\u70b9\u200b\u7684\u200b IP\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: routed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: centralized\n  gatewayNode: \"node1\"\n  natOutgoing: false\n</code></pre> <p>\u200b\u5982\u679c\u200b\u5bf9\u4e8e\u200b\u90e8\u5206\u200b\u6d41\u91cf\u200b\uff08\u200b\u5982\u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u7684\u200b\u6d41\u91cf\u200b\uff09\u200b\u4ecd\u7136\u200b\u5e0c\u671b\u200b\u8fdb\u884c\u200b nat \u200b\u5904\u7406\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b\u9ed8\u8ba4\u200b VPC NAT \u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/ovn-eip-fip-snat/","title":"OVN EIP FIP SNAT DNAT \u200b\u652f\u6301","text":"<pre><code>\ngraph LR\n\npod--&gt;subnet--&gt;vpc--&gt;lrp--bind--&gt;gw-chassis--&gt;snat--&gt;lsp--&gt;external-subnet\nlrp-.-peer-.-lsp\n</code></pre> <p>Pod \u200b\u57fa\u4e8e\u200b SNAT \u200b\u51fa\u200b\u516c\u7f51\u200b\u7684\u200b\u5927\u81f4\u200b\u6d41\u7a0b\u200b\uff0c\u200b\u6700\u540e\u200b\u662f\u200b\u7ecf\u8fc7\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u5361\u200b\u3002 Pod \u200b\u57fa\u4e8e\u200b Fip \u200b\u4f7f\u7528\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u8def\u5f84\u200b\u4e5f\u200b\u7c7b\u4f3c\u200b\u3002</p> <pre><code>\ngraph LR\n\n\npod--&gt;subnet--&gt;vpc--&gt;lrp--bind--&gt;local-chassis--&gt;snat--&gt;lsp--&gt;external-subnet\n\n\nlrp-.-peer-.-lsp\n</code></pre> <p>Pod \u200b\u57fa\u4e8e\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b FIP (dnat_and_snat) \u200b\u51fa\u200b\u516c\u7f51\u200b\u7684\u200b\u5927\u81f4\u200b\u6d41\u7a0b\u200b\uff0c\u200b\u6700\u540e\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b\u672c\u5730\u200b\u8282\u70b9\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u5361\u200b\u51fa\u200b\u516c\u7f51\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u6240\u200b\u652f\u6301\u200b\u7684\u200b CRD \u200b\u5728\u200b\u4f7f\u7528\u200b\u4e0a\u5c06\u200b\u548c\u200b iptable nat gw \u200b\u516c\u7f51\u200b\u65b9\u6848\u200b\u4fdd\u6301\u200b\u57fa\u672c\u4e00\u81f4\u200b\u3002</p> <ul> <li>ovn eip: \u200b\u7528\u4e8e\u200b\u516c\u7f51\u200b ip \u200b\u5360\u4f4d\u200b\uff0c\u200b\u4ece\u200b underlay provider network vlan subnet \u200b\u4e2d\u200b\u5206\u914d\u200b</li> <li>ovn fip\uff1a \u200b\u4e00\u5bf9\u4e00\u200b dnat snat\uff0c\u200b\u4e3a\u200b vpc \u200b\u5185\u200b\u7684\u200b ip \u200b\u6216\u8005\u200b vip \u200b\u63d0\u4f9b\u200b\u516c\u7f51\u200b\u76f4\u63a5\u200b\u8bbf\u95ee\u200b\u80fd\u529b\u200b</li> <li>ovn snat\uff1a\u200b\u6574\u4e2a\u200b\u5b50\u7f51\u200b\u6216\u8005\u200b\u5355\u4e2a\u200b vpc \u200b\u5185\u200b ip \u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b snat \u200b\u8bbf\u95ee\u200b\u516c\u7f51\u200b</li> <li>ovn dnat\uff1a\u200b\u57fa\u4e8e\u200b router lb \u200b\u5b9e\u73b0\u200b, \u200b\u57fa\u4e8e\u200b\u516c\u7f51\u200b ip + \u200b\u7aef\u53e3\u200b \u200b\u76f4\u63a5\u200b\u8bbf\u95ee\u200b vpc \u200b\u5185\u200b\u7684\u200b \u200b\u4e00\u7ec4\u200b endpoints</li> </ul>"},{"location":"advance/ovn-eip-fip-snat/#1","title":"1. \u200b\u90e8\u7f72","text":"<p>\u200b\u76ee\u524d\u200b\u5141\u8bb8\u200b\u6240\u6709\u200b\uff08\u200b\u9ed8\u8ba4\u200b\u4ee5\u53ca\u200b\u81ea\u5b9a\u4e49\u200b\uff09 vpc \u200b\u4f7f\u7528\u200b\u540c\u4e00\u4e2a\u200b\u9ed8\u8ba4\u200b provider vlan subnet \u200b\u8d44\u6e90\u200b\uff0c\u200b\u540c\u65f6\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u652f\u6301\u200b\u6269\u5c55\u200b provider vlan subnet \u200b\u4ece\u800c\u200b\u5b9e\u73b0\u200b\u4f7f\u7528\u200b\u591a\u4e2a\u200b\u516c\u7f51\u200b\uff0c\u200b\u517c\u5bb9\u200b\u9ed8\u8ba4\u200b VPC EIP/SNAT\u200b\u7684\u200b\u573a\u666f\u200b\u3002</p> <p>\u200b\u7c7b\u4f3c\u200b neutron ovn\uff0c\u200b\u670d\u52a1\u200b\u542f\u52a8\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b provider network \u200b\u76f8\u5173\u200b\u7684\u200b\u914d\u7f6e\u200b\uff0c\u200b\u4e0b\u8ff0\u200b\u7684\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u4e5f\u200b\u662f\u200b\u4e3a\u4e86\u200b\u517c\u5bb9\u200b VPC EIP/SNAT \u200b\u7684\u200b\u5b9e\u73b0\u200b\u3002</p> <p>\u200b\u90e8\u7f72\u200b\u9636\u6bb5\u200b\uff0c\u200b\u6839\u636e\u200b\u5b9e\u9645\u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u80fd\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b\u9ed8\u8ba4\u200b\u516c\u7f51\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u3002 \u200b\u5982\u679c\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u4e2d\u200b\u6ca1\u6709\u200b vlan\uff08\u200b\u4f7f\u7528\u200b vlan 0\uff09\uff0c\u200b\u90a3\u4e48\u200b\u4e0b\u8ff0\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u65e0\u9700\u200b\u914d\u7f6e\u200b\u3002</p> <pre><code># \u200b\u90e8\u7f72\u200b\u7684\u200b\u65f6\u5019\u200b\u4f60\u200b\u9700\u8981\u200b\u53c2\u8003\u200b\u4ee5\u4e0a\u200b\u573a\u666f\u200b\uff0c\u200b\u6839\u636e\u200b\u5b9e\u9645\u200b\u60c5\u51b5\u200b\uff0c\u200b\u6309\u200b\u9700\u200b\u6307\u5b9a\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b\n# 1. kube-ovn-controller \u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b\uff1a\n          - --external-gateway-vlanid=204\n          - --external-gateway-switch=external204\n\n# 2. kube-ovn-cni \u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b:\n          - --external-gateway-switch=external204 \n\n### \u200b\u4ee5\u4e0a\u200b\u914d\u7f6e\u200b\u90fd\u200b\u548c\u200b\u4e0b\u9762\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b vlan id \u200b\u548c\u200b\u8d44\u6e90\u200b\u540d\u200b\u4fdd\u6301\u4e00\u81f4\u200b\uff0c\u200b\u76ee\u524d\u200b\u4ec5\u200b\u652f\u6301\u200b\u6307\u5b9a\u200b\u4e00\u4e2a\u200b underlay \u200b\u516c\u7f51\u200b\u4f5c\u4e3a\u200b\u9ed8\u8ba4\u200b\u5916\u90e8\u200b\u516c\u7f51\u200b\u3002\n</code></pre> <p>\u200b\u8be5\u200b\u914d\u7f6e\u200b\u9879\u200b\u7684\u200b\u8bbe\u8ba1\u200b\u548c\u200b\u4f7f\u7528\u200b\u4e3b\u8981\u200b\u8003\u8651\u200b\u4e86\u200b\u5982\u4e0b\u200b\u56e0\u7d20\u200b\uff1a</p> <ul> <li>\u200b\u57fa\u4e8e\u200b\u8be5\u200b\u914d\u7f6e\u200b\u9879\u200b\u53ef\u4ee5\u200b\u5bf9\u200b\u63a5\u5230\u200b provider network\uff0cvlan\uff0csubnet \u200b\u7684\u200b\u8d44\u6e90\u200b\u3002</li> <li>\u200b\u57fa\u4e8e\u200b\u8be5\u200b\u914d\u7f6e\u200b\u9879\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u9ed8\u8ba4\u200b vpc enable_eip_snat \u200b\u529f\u80fd\u200b\u5bf9\u200b\u63a5\u5230\u200b\u5df2\u6709\u200b\u7684\u200b vlan\uff0csubnet \u200b\u8d44\u6e90\u200b\uff0c\u200b\u540c\u65f6\u200b\u652f\u6301\u200b\u516c\u7f51\u200b ip \u200b\u7684\u200b ipam\u3002</li> <li>\u200b\u5982\u679c\u200b\u4ec5\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b vpc \u200b\u7684\u200b enable_eip_snat \u200b\u6a21\u5f0f\u200b, \u200b\u4e14\u200b\u4ec5\u200b\u4f7f\u7528\u200b\u65e7\u200b\u7684\u200b\u57fa\u4e8e\u200b pod annotaion \u200b\u7684\u200b fip snat\uff0c\u200b\u90a3\u4e48\u200b\u8fd9\u4e2a\u200b\u914d\u7f6e\u200b\u65e0\u9700\u200b\u914d\u7f6e\u200b\u3002</li> <li>\u200b\u57fa\u4e8e\u200b\u8be5\u200b\u914d\u7f6e\u200b\u53ef\u4ee5\u200b\u4e0d\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b vpc enable_eip_snat \u200b\u6d41\u7a0b\u200b\uff0c\u200b\u4ec5\u200b\u901a\u8fc7\u200b\u5bf9\u5e94\u200b\u5230\u200b vlan\uff0csubnet \u200b\u6d41\u7a0b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u517c\u5bb9\u200b\u4ec5\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u4f7f\u7528\u200b eip snat \u200b\u7684\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\u3002</li> </ul>"},{"location":"advance/ovn-eip-fip-snat/#11-underlay","title":"1.1 \u200b\u51c6\u5907\u200b underlay \u200b\u516c\u7f51\u200b\u7f51\u7edc","text":"<pre><code># \u200b\u51c6\u5907\u200b provider-network\uff0c vlan\uff0c subnet\n# cat 01-provider-network.yaml\n\napiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: external204\nspec:\n  defaultInterface: vlan\n\n# cat 02-vlan.yaml\n\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan204\nspec:\n  id: 204\n  provider: external204\n\n# cat 03-vlan-subnet.yaml\n\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: external204\nspec:\n  protocol: IPv4\n  cidrBlock: 10.5.204.0/24\n  gateway: 10.5.204.254\n  vlan: vlan204\n  excludeIps:\n  - 10.5.204.1..10.5.204.100\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#12-vpc-eip_snat","title":"1.2 \u200b\u9ed8\u8ba4\u200b vpc \u200b\u542f\u7528\u200b eip_snat","text":"<pre><code># \u200b\u542f\u7528\u200b\u9ed8\u8ba4\u200b vpc \u200b\u548c\u200b\u4e0a\u8ff0\u200b underlay \u200b\u516c\u7f51\u200b provider subnet \u200b\u4e92\u8054\u200b\n# cat 00-centralized-external-gw-no-ip.yaml\n\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-external-gw-config\n  namespace: kube-system\ndata:\n  enable-external-gw: \"true\"\n  external-gw-nodes: \"pc-node-1,pc-node-2,pc-node-3\"\n  type: \"centralized\" \n  external-gw-nic: \"vlan\" # \u200b\u7528\u4e8e\u200b\u63a5\u5165\u200b ovs \u200b\u516c\u7f51\u200b\u7f51\u6865\u200b\u7684\u200b\u7f51\u5361\u200b\n  external-gw-addr: \"10.5.204.254/24\" # underlay \u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u7684\u200b ip\n</code></pre> <p>\u200b\u76ee\u524d\u200b\u8be5\u200b\u529f\u80fd\u200b\u5df2\u200b\u652f\u6301\u200b\u53ef\u4ee5\u200b\u4e0d\u200b\u6307\u5b9a\u200b logical router port (lrp) ip \u200b\u548c\u200b mac\uff0c\u200b\u5df2\u200b\u652f\u6301\u200b\u4ece\u200b underlay \u200b\u516c\u7f51\u200b\u4e2d\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\uff0c\u200b\u521b\u5efa\u200b lrp \u200b\u7c7b\u578b\u200b\u7684\u200b ovn eip \u200b\u8d44\u6e90\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u6307\u5b9a\u200b\u4e86\u200b\uff0c\u200b\u5219\u200b\u76f8\u5f53\u4e8e\u200b\u4ee5\u200b\u6307\u5b9a\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\u521b\u5efa\u200b\u4e86\u200b\u4e00\u4e2a\u200b lrp \u200b\u7c7b\u578b\u200b\u7684\u200b ovn-eip\u3002 \u200b\u5f53\u7136\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u63d0\u524d\u200b\u624b\u52a8\u200b\u521b\u5efa\u200b lrp \u200b\u7c7b\u578b\u200b\u7684\u200b ovn eip\u3002</p>"},{"location":"advance/ovn-eip-fip-snat/#13-vpc-eip-snat-fip","title":"1.3 \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u542f\u7528\u200b eip snat fip \u200b\u529f\u80fd","text":"<p>\u200b\u96c6\u7fa4\u200b\u4e00\u822c\u200b\u9700\u8981\u200b\u591a\u4e2a\u200b\u7f51\u5173\u200b node \u200b\u6765\u200b\u5b9e\u73b0\u200b\u9ad8\u200b\u53ef\u7528\u200b\uff0c\u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># \u200b\u9996\u5148\u200b\u901a\u8fc7\u200b\u6dfb\u52a0\u200b\u6807\u7b7e\u200b\u6307\u5b9a\u200b external-gw-nodes\nkubectl label nodes pc-node-1 pc-node-2 pc-node-3 ovn.kubernetes.io/external-gw=true\n</code></pre> <pre><code># cat 00-ns.yml\n\napiVersion: v1\nkind: Namespace\nmetadata:\n  name: vpc1\n\n# cat 01-vpc-ecmp-enable-external-bfd.yml\n\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true\n# vpc \u200b\u542f\u7528\u200b enableExternal \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u521b\u5efa\u200b lrp \u200b\u5173\u8054\u200b\u5230\u200b\u4e0a\u8ff0\u200b\u6307\u5b9a\u200b\u7684\u200b\u516c\u7f51\u200b\n\n# cat 02-subnet.yml\n\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vpc1-subnet1\nspec:\n  cidrBlock: 192.168.0.0/24\n  default: false\n  disableGatewayCheck: false\n  disableInterConnection: true\n  enableEcmp: true\n  gatewayNode: \"\"\n  gatewayType: distributed\n  #gatewayType: centralized\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n  provider: ovn\n  vpc: vpc1\n  namespaces:\n  - vpc1\n\n# \u200b\u8fd9\u91cc\u200b\u5b50\u7f51\u200b\u548c\u200b\u4e4b\u524d\u200b\u4f7f\u7528\u200b\u5b50\u7f51\u200b\u4e00\u6837\u200b\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u5728\u200b subnet \u200b\u4e0a\u200b\u6ca1\u6709\u200b\u65b0\u589e\u200b\u5c5e\u6027\u200b\uff0c\u200b\u6ca1\u6709\u200b\u4efb\u4f55\u200b\u53d8\u66f4\u200b\n</code></pre> <p>\u200b\u4ee5\u4e0a\u200b\u6a21\u677f\u200b\u5e94\u7528\u200b\u540e\u200b\uff0c\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\u5b58\u5728\u200b</p> <pre><code># k ko nbctl show vpc1\n\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 21d853b0-f7b4-40bd-9a53-31d2e2745739\n        external ip: \"10.5.204.115\"\n        logical ip: \"192.168.0.0/24\"\n        type: \"snat\"\n</code></pre> <pre><code># k ko nbctl lr-route-list vpc1\n\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0              10.5.204.254 dst-ip\n# \u200b\u76ee\u524d\u200b\u8be5\u200b\u8def\u7531\u200b\u5df2\u200b\u81ea\u52a8\u200b\u7ef4\u62a4\u200b\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#14","title":"1.4 \u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc","text":""},{"location":"advance/ovn-eip-fip-snat/#141-underlay","title":"1.4.1 \u200b\u51c6\u5907\u200b\u989d\u5916\u200b underlay \u200b\u516c\u7f51\u200b\u7f51\u7edc","text":"<p>\u200b\u989d\u5916\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\u5728\u200b\u542f\u52a8\u200b\u9ed8\u8ba4\u200b eip snat fip \u200b\u529f\u80fd\u200b\u540e\u200b\u624d\u200b\u4f1a\u200b\u542f\u7528\u200b\uff0c\u200b\u82e5\u200b\u53ea\u6709\u200b 1 \u200b\u4e2a\u200b\u516c\u7f51\u200b\u7f51\u5361\u200b\uff0c\u200b\u8bf7\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b eip snat fip \u200b\u529f\u80fd\u200b</p> <pre><code># \u200b\u51c6\u5907\u200b provider-network\uff0c vlan\uff0c subnet\n# cat 01-extra-provider-network.yaml\napiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: extra\nspec:\n  defaultInterface: vlan\n# cat 02-extra-vlan.yaml\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan0\nspec:\n  id: 0\n  provider: extra\n# cat 03-extra-vlan-subnet.yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: extra\nspec:\n  protocol: IPv4\n  cidrBlock: 10.10.204.0/24\n  gateway: 10.10.204.254\n  vlan: vlan0\n  excludeIps:\n  - 10.10.204.1..10.10.204.100\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#142-vpc","title":"1.4.2 \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u914d\u7f6e","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vpc\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true  # \u200b\u5f00\u542f\u200b enableExternal \u200b\u540e\u200b vpc \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u8fde\u63a5\u200b\u540d\u4e3a\u200b external \u200b\u7684\u200b ls\n  addExternalSubnets: # \u200b\u914d\u7f6e\u200b addExternalSubnets \u200b\u652f\u6301\u200b\u8fde\u63a5\u200b\u591a\u4e2a\u200b\u989d\u5916\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\n  - extra\n</code></pre> <p>\u200b\u4ee5\u4e0a\u200b\u6a21\u677f\u200b\u5e94\u7528\u200b\u540e\u200b\uff0c\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\u5b58\u5728\u200b</p> <pre><code># k ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    port vpc1-extra\n        mac: \"00:00:00:EF:6A:C7\"\n        networks: [\"10.10.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#2-ovn-eip","title":"2. ovn-eip","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u548c\u200b iptables-eip \u200b\u8bbe\u8ba1\u200b\u548c\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u57fa\u672c\u4e00\u81f4\u200b\uff0covn-eip \u200b\u76ee\u524d\u200b\u6709\u200b\u4e09\u79cd\u200b type</p> <ul> <li>nat: \u200b\u662f\u200b\u6307\u200b ovn dnat\uff0cfip, snat \u200b\u8fd9\u200b\u4e09\u79cd\u200b nat \u200b\u8d44\u6e90\u7c7b\u578b\u200b</li> <li>lrp: \u200b\u8f6f\u200b\u8def\u7531\u200b\u57fa\u4e8e\u200b\u8be5\u200b\u7aef\u53e3\u200b\u548c\u200b underlay \u200b\u516c\u7f51\u200b\u4e92\u8054\u200b\uff0c\u200b\u8be5\u200b lrp \u200b\u7aef\u53e3\u200b\u7684\u200b ip \u200b\u53ef\u4ee5\u200b\u88ab\u200b\u5176\u4ed6\u200b dnat snat \u200b\u590d\u7528\u200b</li> <li>lsp: \u200b\u7528\u4e8e\u200b ovn \u200b\u57fa\u4e8e\u200b bfd \u200b\u7684\u200b ecmp \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u573a\u666f\u200b\uff0c\u200b\u5728\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u4e0a\u200b\u63d0\u4f9b\u200b\u4e00\u4e2a\u200b ovs internal port \u200b\u4f5c\u4e3a\u200b ecmp \u200b\u8def\u7531\u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b</li> </ul> <pre><code>---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: external204\n  type: nat\n\n# \u200b\u52a8\u6001\u5206\u914d\u200b\u4e00\u4e2a\u200b eip \u200b\u8d44\u6e90\u200b\uff0c\u200b\u8be5\u200b\u8d44\u6e90\u200b\u9884\u7559\u200b\u7528\u4e8e\u200b fip \u200b\u573a\u666f\u200b\n</code></pre> <p>externalSubnet \u200b\u5b57\u200b\u6bb5\u200b\u53ef\u4e0d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff0c\u200b\u82e5\u200b\u672a\u200b\u914d\u7f6e\u200b\u5219\u200b\u4f1a\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u9ed8\u8ba4\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b external204\u3002</p> <p>\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b externalSubnet \u200b\u663e\u5f0f\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u6269\u5c55\u200b\u4f7f\u7528\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u6269\u5c55\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b extra\u3002</p>"},{"location":"advance/ovn-eip-fip-snat/#21-ovn-fip-pod-fip","title":"2.1 ovn-fip \u200b\u4e3a\u200b pod \u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b fip","text":"<pre><code># k get po -o wide -n vpc1 vpc-1-busybox01\nNAME              READY   STATUS    RESTARTS   AGE     IP            NODE\nvpc-1-busybox01   1/1     Running   0          3d15h   192.168.0.2   pc-node-2\n\n# k get ip vpc-1-busybox01.vpc1\nNAME                   V4IP          V6IP   MAC                 NODE        SUBNET\nvpc-1-busybox01.vpc1   192.168.0.2          00:00:00:0A:DD:27   pc-node-2   vpc1-subnet1\n\n---\n\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  ovnEip: eip-static\n  ipName: vpc-1-busybox01.vpc1  # \u200b\u6ce8\u610f\u200b\u8fd9\u91cc\u200b\u662f\u200b ip crd \u200b\u7684\u200b\u540d\u5b57\u200b\uff0c\u200b\u5177\u6709\u200b\u552f\u4e00\u6027\u200b\n\n--\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  ovnEip: eip-static\n  vpc: vpc1\n  v4Ip: 192.168.0.2\n</code></pre> <pre><code># k get ofip\nNAME          VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-for-vip   vpc1   10.5.204.106   192.168.0.3   true    vip      test-fip-vip\neip-static    vpc1   10.5.204.101   192.168.0.2   true             vpc-1-busybox01.vpc1\n# k get ofip eip-static\nNAME         VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-static   vpc1   10.5.204.101   192.168.0.2   true             vpc-1-busybox01.vpc1\n\n[root@pc-node-1 03-cust-vpc]# ping 10.5.204.101\nPING 10.5.204.101 (10.5.204.101) 56(84) bytes of data.\n64 bytes from 10.5.204.101: icmp_seq=2 ttl=62 time=1.21 ms\n64 bytes from 10.5.204.101: icmp_seq=3 ttl=62 time=0.624 ms\n64 bytes from 10.5.204.101: icmp_seq=4 ttl=62 time=0.368 ms\n^C\n--- 10.5.204.101 ping statistics ---\n4 packets transmitted, 3 received, 25% packet loss, time 3049ms\nrtt min/avg/max/mdev = 0.368/0.734/1.210/0.352 ms\n[root@pc-node-1 03-cust-vpc]#\n\n# \u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5728\u200b node ping \u200b\u9ed8\u8ba4\u200b vpc \u200b\u4e0b\u200b\u7684\u200b pod \u200b\u7684\u200b\u516c\u7f51\u200b ip \u200b\u662f\u200b\u80fd\u901a\u200b\u7684\u200b\n</code></pre> <pre><code># \u200b\u8be5\u200b\u516c\u7f51\u200b ip \u200b\u80fd\u901a\u200b\u7684\u200b\u5173\u952e\u200b\u8d44\u6e90\u200b\u4e3b\u8981\u200b\u5305\u62ec\u200b\u4ee5\u4e0b\u200b\u90e8\u5206\u200b\n# k ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 813523e7-c68c-408f-bd8c-cba30cb2e4f4\n        external ip: \"10.5.204.101\"\n        logical ip: \"192.168.0.2\"\n        type: \"dnat_and_snat\"\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#22-ovn-fip-vip-fip","title":"2.2 ovn-fip \u200b\u4e3a\u200b vip \u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b fip","text":"<p>\u200b\u4e3a\u4e86\u200b\u4fbf\u4e8e\u200b\u4e00\u4e9b\u200b vip \u200b\u573a\u666f\u200b\u7684\u200b\u4f7f\u7528\u200b\uff0c\u200b\u6bd4\u5982\u200b kubevirt \u200b\u865a\u62df\u673a\u200b\u5185\u90e8\u200b\u6211\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u4f7f\u7528\u200b\u4e00\u4e9b\u200b vip \u200b\u63d0\u4f9b\u200b\u7ed9\u200b keepalived\uff0ckube-vip \u200b\u7b49\u200b\u573a\u666f\u200b\u6765\u200b\u4f7f\u7528\u200b\uff0c\u200b\u540c\u65f6\u200b\u652f\u6301\u200b\u516c\u7f51\u200b\u8bbf\u95ee\u200b\u3002</p> <p>\u200b\u90a3\u4e48\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b fip \u200b\u7ed1\u5b9a\u200b vpc \u200b\u5185\u90e8\u200b\u7684\u200b vip \u200b\u7684\u200b\u65b9\u5f0f\u200b\u6765\u200b\u63d0\u4f9b\u200b vip \u200b\u7684\u200b\u516c\u7f51\u200b\u80fd\u529b\u200b\u3002</p> <pre><code># \u200b\u5148\u200b\u521b\u5efa\u200b vip\uff0ceip\uff0c\u200b\u518d\u200b\u5c06\u200b eip \u200b\u7ed1\u5b9a\u200b\u5230\u200b vip\n# cat vip.yaml\n\napiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: test-fip-vip\nspec:\n  subnet: vpc1-subnet1\n\n# cat 04-fip.yaml\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  ovnEip: eip-for-vip\n  ipType: vip         # \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b fip \u200b\u662f\u200b\u9762\u5411\u200b pod ip \u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u9700\u8981\u200b\u6807\u6ce8\u200b\u6307\u5b9a\u200b\u5bf9\u200b\u63a5\u5230\u200b vip \u200b\u8d44\u6e90\u200b\n  ipName: test-fip-vip\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  ovnEip: eip-for-vip\n  ipType: vip         # \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b fip \u200b\u662f\u200b\u9762\u5411\u200b pod ip \u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u9700\u8981\u200b\u6807\u6ce8\u200b\u6307\u5b9a\u200b\u5bf9\u200b\u63a5\u5230\u200b vip \u200b\u8d44\u6e90\u200b\n  vpc: vpc1\n  v4Ip: 192.168.0.3\n</code></pre> <pre><code># k get ofip\nNAME          VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-for-vip   vpc1   10.5.204.106   192.168.0.3   true    vip      test-fip-vip\n\n\n[root@pc-node-1 fip-vip]# ping  10.5.204.106\nPING 10.5.204.106 (10.5.204.106) 56(84) bytes of data.\n64 bytes from 10.5.204.106: icmp_seq=1 ttl=62 time=0.694 ms\n64 bytes from 10.5.204.106: icmp_seq=2 ttl=62 time=0.436 ms\n\n# \u200b\u5728\u200b node \u200b\u4e0a\u200b\u662f\u200b ping \u200b\u5f97\u901a\u200b\u7684\u200b\n\n\n# pod \u200b\u5185\u90e8\u200b\u7684\u200b ip \u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u5927\u81f4\u200b\u5c31\u662f\u200b\u5982\u4e0b\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\n\n[root@pc-node-1 fip-vip]# k -n vpc1 exec -it vpc-1-busybox03 -- bash\n[root@vpc-1-busybox03 /]#\n[root@vpc-1-busybox03 /]#\n[root@vpc-1-busybox03 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1568: eth0@if1569: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:56:40:e5 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.5/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet 192.168.0.3/24 scope global secondary eth0  # \u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b vip \u200b\u7684\u200b\u914d\u7f6e\u200b\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe56:40e5/64 scope link\n       valid_lft forever preferred_lft forever\n\n[root@vpc-1-busybox03 /]# tcpdump -i eth0 host  192.168.0.3 -netvv\ntcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes\n00:00:00:ed:8e:c7 &gt; 00:00:00:56:40:e5, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 62, id 44830, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.32.51 &gt; 192.168.0.3: ICMP echo request, id 177, seq 1, length 64\n00:00:00:56:40:e5 &gt; 00:00:00:ed:8e:c7, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 64, id 43962, offset 0, flags [none], proto ICMP (1), length 84)\n    192.168.0.3 &gt; 10.5.32.51: ICMP echo reply, id 177, seq 1, length 64\n\n# pod \u200b\u5185\u90e8\u200b\u53ef\u4ee5\u200b\u6293\u200b\u5230\u200b fip \u200b\u76f8\u5173\u200b\u7684\u200b icmp \u200b\u5305\u200b\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#3-ovn-snat","title":"3. ovn-snat","text":""},{"location":"advance/ovn-eip-fip-snat/#31-ovn-snat-subnet-cidr","title":"3.1 ovn-snat \u200b\u5bf9\u5e94\u200b\u4e00\u4e2a\u200b subnet \u200b\u7684\u200b cidr","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u548c\u200b iptables-snat \u200b\u8bbe\u8ba1\u200b\u548c\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u57fa\u672c\u4e00\u81f4\u200b</p> <pre><code># cat 03-subnet-snat.yaml\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpcSubnet: vpc1-subnet1 # eip \u200b\u5bf9\u5e94\u200b\u6574\u4e2a\u200b\u7f51\u6bb5\u200b\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b subnet cidr \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpc: vpc1\n  v4IpCidr: 192.168.0.0/24 # \u200b\u8be5\u5b57\u6bb5\u200b\u53ef\u4ee5\u200b\u662f\u200b cidr \u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u662f\u200b ip\n</code></pre> <p>\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b externalSubnet \u200b\u663e\u5f0f\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u6269\u5c55\u200b\u4f7f\u7528\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u6269\u5c55\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b extra\u3002</p>"},{"location":"advance/ovn-eip-fip-snat/#32-ovn-snat-pod-ip","title":"3.2 ovn-snat \u200b\u5bf9\u5e94\u200b\u5230\u200b\u4e00\u4e2a\u200b pod ip","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u548c\u200b iptables-snat \u200b\u8bbe\u8ba1\u200b\u548c\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u57fa\u672c\u4e00\u81f4\u200b</p> <pre><code># cat 03-pod-snat.yaml\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-pod-vpc-ip\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat01\nspec:\n  ovnEip: snat-for-pod-vpc-ip\n  ipName: vpc-1-busybox02.vpc1 # eip \u200b\u5bf9\u5e94\u200b\u5355\u4e2a\u200b pod ip\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpc: vpc1\n  v4IpCidr: 192.168.0.4\n</code></pre> <p>\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b externalSubnet \u200b\u663e\u5f0f\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u6269\u5c55\u200b\u4f7f\u7528\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u6269\u5c55\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b extra\u3002</p> <p>\u200b\u4ee5\u4e0a\u200b\u8d44\u6e90\u200b\u521b\u5efa\u200b\u540e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b snat \u200b\u516c\u7f51\u200b\u529f\u80fd\u200b\u4f9d\u8d56\u200b\u7684\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\u3002</p> <pre><code># kubectl ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 21d853b0-f7b4-40bd-9a53-31d2e2745739\n        external ip: \"10.5.204.115\"\n        logical ip: \"192.168.0.0/24\"\n        type: \"snat\"\n    nat da77a11f-c523-439c-b1d1-72c664196a0f\n        external ip: \"10.5.204.116\"\n        logical ip: \"192.168.0.4\"\n        type: \"snat\"\n</code></pre> <pre><code>[root@pc-node-1 03-cust-vpc]# k get po -A -o wide  | grep busy\nvpc1            vpc-1-busybox01                                 1/1     Running   0                3d15h   192.168.0.2   pc-node-2   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox02                                 1/1     Running   0                17h     192.168.0.4   pc-node-1   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox03                                 1/1     Running   0                17h     192.168.0.5   pc-node-1   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox04                                 1/1     Running   0                17h     192.168.0.6   pc-node-3   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox05                                 1/1     Running   0                17h     192.168.0.7   pc-node-1   &lt;none&gt;           &lt;none&gt;\n\n# k exec -it -n vpc1            vpc-1-busybox04   bash\nkubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.\n[root@vpc-1-busybox04 /]#\n[root@vpc-1-busybox04 /]#\n[root@vpc-1-busybox04 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n17095: eth0@if17096: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:76:94:55 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.6/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe76:9455/64 scope link\n       valid_lft forever preferred_lft forever\n[root@vpc-1-busybox04 /]# ping 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=1 ttl=114 time=22.2 ms\n64 bytes from 223.5.5.5: icmp_seq=2 ttl=114 time=21.8 ms\n\n[root@pc-node-1 03-cust-vpc]# k exec -it -n vpc1            vpc-1-busybox02   bash\nkubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1566: eth0@if1567: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:0b:e9:d0 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.4/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe0b:e9d0/64 scope link\n       valid_lft forever preferred_lft forever\n[root@vpc-1-busybox02 /]# ping 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=2 ttl=114 time=22.7 ms\n64 bytes from 223.5.5.5: icmp_seq=3 ttl=114 time=22.6 ms\n64 bytes from 223.5.5.5: icmp_seq=4 ttl=114 time=22.1 ms\n^C\n--- 223.5.5.5 ping statistics ---\n4 packets transmitted, 3 received, 25% packet loss, time 3064ms\nrtt min/avg/max/mdev = 22.126/22.518/22.741/0.278 ms\n\n# \u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u4e24\u4e2a\u200b pod \u200b\u53ef\u4ee5\u200b\u5206\u522b\u200b\u57fa\u4e8e\u200b\u8fd9\u200b\u4e24\u79cd\u200b snat \u200b\u8d44\u6e90\u200b\u4e0a\u200b\u5916\u7f51\u200b\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#4-ovn-dnat","title":"4. ovn-dnat","text":""},{"location":"advance/ovn-eip-fip-snat/#41-ovn-dnat-pod-dnat","title":"4.1 ovn-dnat \u200b\u4e3a\u200b pod \u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b dnat","text":"<pre><code>kind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: underlay\n\n---\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ovnEip: eip-dnat\n  ipName: vpc-1-busybox01.vpc1 # \u200b\u6ce8\u610f\u200b\u8fd9\u91cc\u200b\u662f\u200b pod ip crd \u200b\u7684\u200b\u540d\u5b57\u200b\uff0c\u200b\u5177\u6709\u200b\u552f\u4e00\u6027\u200b\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ovnEip: eip-dnat\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n  vpc: vpc1\n  v4Ip: 192.168.0.3\n</code></pre> <p>\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b externalSubnet \u200b\u663e\u5f0f\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u6269\u5c55\u200b\u4f7f\u7528\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u6269\u5c55\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b extra\u3002</p> <p>OvnDnatRule \u200b\u7684\u200b\u914d\u7f6e\u200b\u4e0e\u200b IptablesDnatRule \u200b\u7c7b\u4f3c\u200b</p> <pre><code># kubectl get oeip eip-dnat\nNAME       V4IP        V6IP   MAC                 TYPE   READY\neip-dnat   10.5.49.4          00:00:00:4D:CE:49   dnat   true\n\n# kubectl get odnat\nNAME                   EIP                    PROTOCOL   V4EIP        V4IP           INTERNALPORT   EXTERNALPORT   IPNAME                                READY\neip-dnat               eip-dnat               tcp        10.5.49.4    192.168.0.3    22             22             vpc-1-busybox01.vpc1                  true\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#42-ovn-dnat-vip-dnat","title":"4.2 ovn-dnat \u200b\u4e3a\u200b vip \u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b dnat","text":"<pre><code>kind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ipType: vip  # \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b dnat \u200b\u662f\u200b\u9762\u5411\u200b pod ip \u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u9700\u8981\u200b\u6807\u6ce8\u200b\u6307\u5b9a\u200b\u5bf9\u200b\u63a5\u5230\u200b vip \u200b\u8d44\u6e90\u200b\n  ovnEip: eip-dnat\n  ipName: test-dnat-vip\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ipType: vip  # \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b dnat \u200b\u662f\u200b\u9762\u5411\u200b pod ip \u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u9700\u8981\u200b\u6807\u6ce8\u200b\u6307\u5b9a\u200b\u5bf9\u200b\u63a5\u5230\u200b vip \u200b\u8d44\u6e90\u200b\n  ovnEip: eip-dnat\n  ipName: test-dnat-vip\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n  vpc: vpc1\n  v4Ip: 192.168.0.4\n</code></pre> <p>OvnDnatRule \u200b\u7684\u200b\u914d\u7f6e\u200b\u4e0e\u200b IptablesDnatRule \u200b\u7c7b\u4f3c\u200b</p> <pre><code># kubectl get vip test-dnat-vip\nNAME            V4IP          PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET         READY\ntest-dnat-vip   192.168.0.4           00:00:00:D0:C0:B5                         vpc1-subnet1   true\n\n# kubectl get oeip eip-dnat\nNAME       V4IP        V6IP   MAC                 TYPE   READY\neip-dnat   10.5.49.4          00:00:00:4D:CE:49   dnat   true\n\n# kubectl get odnat eip-dnat \nNAME       EIP        PROTOCOL   V4EIP       V4IP          INTERNALPORT   EXTERNALPORT   IPNAME          READY\neip-dnat   eip-dnat   tcp        10.5.49.4   192.168.0.4   22             22             test-dnat-vip   true\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/ovn-ipsec/","title":"\u4f7f\u7528\u200b IPsec \u200b\u52a0\u5bc6\u200b\u8282\u70b9\u200b\u95f4\u901a\u4fe1","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4ece\u200b v1.10.11 \u200b\u548c\u200b v1.11.4 \u200b\u540e\u200b\u5f00\u59cb\u200b\u652f\u6301\u200b\uff0ckernel \u200b\u7248\u672c\u200b\u81f3\u5c11\u200b\u662f\u200b 3.10.0 \u200b\u4ee5\u4e0a\u200b\uff0c\u200b\u540c\u65f6\u200b\u9700\u8981\u200b\u4fdd\u8bc1\u200b\u4e3b\u673a\u200b UDP 500 \u200b\u548c\u200b 4500 \u200b\u7aef\u53e3\u200b\u53ef\u7528\u200b\u3002</p>"},{"location":"advance/ovn-ipsec/#ipsec_1","title":"\u542f\u52a8\u200b IPsec","text":"<p>\u200b\u4ece\u200b Kube-OVN \u200b\u6e90\u7801\u200b\u62f7\u8d1d\u200b\u811a\u672c\u200b ipsec.sh\uff0c\u200b\u6267\u884c\u547d\u4ee4\u200b\u5982\u4e0b\u200b\uff0c\u200b\u8be5\u200b\u811a\u672c\u200b\u4f1a\u200b\u8c03\u7528\u200b ovs-pki \u200b\u751f\u6210\u200b\u548c\u200b\u5206\u914d\u200b\u52a0\u5bc6\u200b\u9700\u8981\u200b\u7684\u200b\u8bc1\u4e66\u200b\uff1a</p> <pre><code>bash ipsec.sh init\n</code></pre> <p>\u200b\u6267\u884c\u200b\u5b8c\u6bd5\u200b\u540e\u200b\uff0c\u200b\u8282\u70b9\u200b\u4e4b\u95f4\u200b\u4f1a\u200b\u534f\u5546\u200b\u4e00\u6bb5\u65f6\u95f4\u200b\u5efa\u7acb\u200b IPsec \u200b\u96a7\u9053\u200b\uff0c\u200b\u7ecf\u9a8c\u503c\u200b\u662f\u200b\u5341\u51e0\u79d2\u200b\u5230\u200b\u4e00\u5206\u949f\u200b\u4e4b\u95f4\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5982\u4e0b\u200b\u547d\u4ee4\u200b\u6765\u200b\u67e5\u770b\u200b IPsec \u200b\u72b6\u6001\u200b\uff1a</p> <pre><code># bash ipsec.sh status\n Pod {ovs-ovn-d7hdt} ipsec status...\nInterface name: ovn-a4718e-0 v1 (CONFIGURED)\n  Tunnel Type:    geneve\n  Local IP:       172.18.0.2\n  Remote IP:      172.18.0.4\n  Address Family: IPv4\n  SKB mark:       None\n  Local cert:     /etc/ipsec.d/certs/8aebd9df-46ef-47b9-85e3-73e9a765296d-cert.pem\n  Local name:     8aebd9df-46ef-47b9-85e3-73e9a765296d\n  Local key:      /etc/ipsec.d/private/8aebd9df-46ef-47b9-85e3-73e9a765296d-privkey.pem\n  Remote cert:    None\n  Remote name:    a4718e55-5b85-4f46-90e6-63527d080590\n  CA cert:        /etc/ipsec.d/cacerts/cacert.pem\n  PSK:            None\n  Custom Options: {}\n  Ofport:         2\n  CFM state:      Disabled\nKernel policies installed:\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\nKernel security associations installed:\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\nIPsec connections that are active:\n\n Pod {ovs-ovn-fvbbj} ipsec status...\nInterface name: ovn-8aebd9-0 v1 (CONFIGURED)\n  Tunnel Type:    geneve\n  Local IP:       172.18.0.4\n  Remote IP:      172.18.0.2\n  Address Family: IPv4\n  SKB mark:       None\n  Local cert:     /etc/ipsec.d/certs/a4718e55-5b85-4f46-90e6-63527d080590-cert.pem\n  Local name:     a4718e55-5b85-4f46-90e6-63527d080590\n  Local key:      /etc/ipsec.d/private/a4718e55-5b85-4f46-90e6-63527d080590-privkey.pem\n  Remote cert:    None\n  Remote name:    8aebd9df-46ef-47b9-85e3-73e9a765296d\n  CA cert:        /etc/ipsec.d/cacerts/cacert.pem\n  PSK:            None\n  Custom Options: {}\n  Ofport:         1\n  CFM state:      Disabled\nKernel policies installed:\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\nKernel security associations installed:\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\nIPsec connections that are active:\n</code></pre> <p>\u200b\u5efa\u7acb\u200b\u5b8c\u6210\u200b\u540e\u200b\u53ef\u4ee5\u200b\u6293\u5305\u200b\u89c2\u5bdf\u200b\u62a5\u6587\u200b\u5df2\u7ecf\u200b\u88ab\u200b\u52a0\u5bc6\u200b\uff1a</p> <pre><code># tcpdump -i eth0 -nel esp\n10:01:40.349896 IP kube-ovn-worker &gt; kube-ovn-control-plane.kind: ESP(spi=0xcc91322a,seq=0x13d0), length 156\n10:01:40.350015 IP kube-ovn-control-plane.kind &gt; kube-ovn-worker: ESP(spi=0xc8df4221,seq=0x1d37), length 156\n</code></pre> <p>\u200b\u5f53\u200b\u6267\u884c\u200b\u5b8c\u200b\u811a\u672c\u200b\u540e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u6267\u884c\u547d\u4ee4\u200b\u5173\u95ed\u200b IPsec\uff1a</p> <pre><code># bash ipsec.sh stop\n</code></pre> <p>\u200b\u6216\u8005\u200b\u6267\u884c\u547d\u4ee4\u200b\u518d\u6b21\u200b\u6253\u5f00\u200b\uff1a</p> <pre><code># bash ipsec.sh start\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/","title":"OVN SNAT \u200b\u57fa\u4e8e\u200b ECMP BFD \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u7684\u200b L3 HA \u200b\u652f\u6301","text":"<p>\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u57fa\u4e8e\u200b ovn snat \u200b\u540e\u200b\u57fa\u4e8e\u200b ecmp \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u54c8\u5e0c\u200b\u5230\u200b\u591a\u4e2a\u200b gw node ovnext0 \u200b\u7f51\u5361\u200b\u51fa\u200b\u516c\u7f51\u200b</p> <ul> <li>\u200b\u652f\u6301\u200b\u57fa\u4e8e\u200b bfd \u200b\u7684\u200b\u9ad8\u200b\u53ef\u7528\u200b</li> <li>\u200b\u4ec5\u200b\u652f\u6301\u200b hash \u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b</li> </ul> <pre><code>graph LR\n\npod--&gt;vpc-subnet--&gt;vpc--&gt;snat--&gt;ecmp--&gt;external-subnet--&gt;gw-node1-ovnext0--&gt; node1-external-switch\nexternal-subnet--&gt;gw-node2-ovnext0--&gt; node2-external-switch\nexternal-subnet--&gt;gw-node3-ovnext0--&gt; node3-external-switch</code></pre> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u548c\u200bovn-eip-fip-snat.md \u200b\u57fa\u672c\u4e00\u81f4\u200b\uff0c\u200b\u4e00\u81f4\u200b\u7684\u200b\u90e8\u5206\u200b\u5305\u62ec\u200b install.sh \u200b\u7684\u200b\u90e8\u7f72\u200b\u90e8\u5206\u200b\uff0cprovider-network\uff0cvlan\uff0csubnet \u200b\u7684\u200b\u51c6\u5907\u200b\u90e8\u5206\u200b\u3002</p> <p>\u200b\u81f3\u4e8e\u200b\u4e0d\u200b\u76f8\u540c\u200b\u7684\u200b\u90e8\u5206\u200b\uff0c\u200b\u4f1a\u200b\u5728\u200b\u4ee5\u4e0b\u200b\u90e8\u5206\u200b\u5177\u4f53\u200b\u9610\u8ff0\u200b\uff0c\u200b\u4e3b\u8981\u200b\u5305\u62ec\u200b lsp \u200b\u7c7b\u578b\u200b\u7684\u200b ovn-eip \u200b\u7684\u200b\u521b\u5efa\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u57fa\u4e8e\u200b vpc enable_bfd \u200b\u81ea\u52a8\u200b\u7ef4\u62a4\u200b bfd \u200b\u4ee5\u53ca\u200b ecmp \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u3002</p>"},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#1","title":"1. \u200b\u90e8\u7f72","text":""},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#11-underlay","title":"1.1 \u200b\u51c6\u5907\u200b underlay \u200b\u516c\u7f51\u200b\u7f51\u7edc","text":""},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#12-vpc-eip_snat","title":"1.2 \u200b\u9ed8\u8ba4\u200b vpc \u200b\u542f\u7528\u200b eip_snat","text":""},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#13-vpc-eip-snat-fip","title":"1.3 \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u542f\u7528\u200b eip snat fip \u200b\u529f\u80fd","text":"<p>\u200b\u4ee5\u4e0a\u200b\u90e8\u5206\u200b\u548c\u200b ovn-eip-fip-snat.md \u200b\u5b8c\u5168\u4e00\u81f4\u200b\uff0c\u200b\u8fd9\u4e9b\u200b\u529f\u80fd\u200b\u9a8c\u8bc1\u200b\u901a\u8fc7\u200b\u540e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u57fa\u4e8e\u200b\u5982\u4e0b\u200b\u65b9\u5f0f\u200b\uff0c\u200b\u5c06\u200b vpc \u200b\u5207\u6362\u200b\u5230\u200b\u57fa\u4e8e\u200b ecmp \u200b\u7684\u200b bfd \u200b\u9759\u6001\u200b\u8def\u7531\u200b\uff0c\u200b\u5f53\u7136\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u5207\u56de\u200b\u3002</p> <p>\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u4f7f\u7528\u200b\u8be5\u200b\u529f\u80fd\u200b\u4e4b\u524d\u200b\uff0c\u200b\u9700\u8981\u200b\u5148\u200b\u63d0\u4f9b\u200b\u597d\u7f51\u200b\u5173\u8282\u70b9\u200b\uff0c\u200b\u81f3\u5c11\u200b\u9700\u8981\u200b\u63d0\u4f9b\u200b 2 \u200b\u4e2a\u200b\u4ee5\u4e0a\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\uff0c\u200b\u6ce8\u610f\u200b\u5f53\u524d\u200b\u5b9e\u73b0\u200b ovn-eip \u200b\u7684\u200b\u540d\u5b57\u200b\u5fc5\u987b\u200b\u548c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u540d\u200b\u4fdd\u6301\u4e00\u81f4\u200b\uff0c\u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u505a\u200b\u8be5\u200b\u8d44\u6e90\u200b\u7684\u200b\u81ea\u52a8\u5316\u200b\u7ef4\u62a4\u200b\u3002</p> <pre><code># cat gw-node-eip.yaml\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-1\nspec:\n  externalSubnet: external204\n  type: lsp\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-2\nspec:\n  externalSubnet: external204\n  type: lsp\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-3\nspec:\n  externalSubnet: external204\n  type: lsp\n</code></pre> <p>\u200b\u7531\u4e8e\u200b\u8fd9\u4e2a\u200b\u573a\u666f\u200b\u76ee\u524d\u200b\u8bbe\u8ba1\u200b\u4e0a\u200b\u662f\u200b\u4f9b\u200b vpc ecmp \u200b\u51fa\u200b\u516c\u7f51\u200b\u4f7f\u7528\u200b\uff0c\u200b\u6240\u4ee5\u200b\u4ee5\u4e0a\u200b\u5728\u200b\u6ca1\u6709\u200b vpc \u200b\u542f\u7528\u200b bfd \u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u5373\u200b\u4e0d\u200b\u5b58\u5728\u200b\u5e26\u6709\u200b enable bfd \u200b\u6807\u7b7e\u200b\u7684\u200b lrp \u200b\u7684\u200b ovn eip \u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u4e0d\u4f1a\u200b\u89e6\u53d1\u200b\u521b\u5efa\u200b\u7f51\u5173\u200b\u7f51\u5361\u200b\uff0c\u200b\u4e5f\u200b\u65e0\u6cd5\u200b\u6210\u529f\u200b\u542f\u52a8\u200b\u5bf9\u7aef\u200b bfd \u200b\u4f1a\u8bdd\u200b\u7684\u200b\u76d1\u542c\u200b\u3002</p>"},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#2-vpc-ecmp-bfd-l3-ha","title":"2. \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u542f\u7528\u200b ecmp bfd L3 HA \u200b\u516c\u7f51\u200b\u529f\u80fd","text":"<pre><code># cat 01-vpc-ecmp-enable-external-bfd.yml\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true\n  enableBfd: true # bfd \u200b\u5f00\u5173\u200b\u53ef\u4ee5\u200b\u968f\u610f\u200b\u5207\u6362\u200b\uff0c\u200b\u5f00\u200b\u8868\u793a\u200b\u542f\u7528\u200b bfd ecmp \u200b\u8def\u7531\u200b\n  #enableBfd: false \n\n\n# cat 02-subnet.yml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vpc1-subnet1\nspec:\n  cidrBlock: 192.168.0.0/24\n  default: false\n  disableGatewayCheck: false\n  disableInterConnection: true\n  enableEcmp: true  # \u200b\u53ea\u200b\u9700\u200b\u5f00\u542f\u200b ecmp\n  gatewayNode: \"\"\n  gatewayType: distributed\n  #gatewayType: centralized\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n  provider: ovn\n  vpc: vpc1\n  namespaces:\n  - vpc1\n</code></pre> <p>\u200b\u4f7f\u7528\u200b\u4e0a\u200b\u7684\u200b\u6ce8\u610f\u200b\u70b9\u200b:</p> <ol> <li>\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u4e0b\u200b\u7684\u200b ecmp \u200b\u53ea\u7528\u200b\u9759\u6001\u200b ecmp bfd \u200b\u8def\u7531\u200b\uff0cvpc enableBfd \u200b\u548c\u200b subnet enableEcmp \u200b\u540c\u65f6\u200b\u5f00\u542f\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u624d\u200b\u4f1a\u200b\u751f\u6548\u200b\uff0c\u200b\u624d\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u7ba1\u7406\u200b\u9759\u6001\u200b ecmp bfd \u200b\u8def\u7531\u200b\u3002</li> <li>\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u5173\u95ed\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5207\u56de\u200b\u5e38\u89c4\u200b\u9ed8\u8ba4\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u3002</li> <li>\u200b\u9ed8\u8ba4\u200b vpc \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u8be5\u200b\u529f\u80fd\u200b\uff0c\u200b\u4ec5\u200b\u652f\u6301\u200b\u81ea\u5b9a\u4e49\u200b vpc\uff0c\u200b\u9ed8\u8ba4\u200b vpc \u200b\u6709\u200b\u66f4\u200b\u590d\u6742\u200b\u7684\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4ee5\u53ca\u200b snat \u200b\u8bbe\u8ba1\u200b\u3002</li> <li>\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u7684\u200b subnet \u200b\u7684\u200b enableEcmp \u200b\u4ec5\u200b\u4f7f\u7528\u200b\u9759\u6001\u200b\u8def\u7531\u200b\uff0c\u200b\u7f51\u5173\u200b\u7c7b\u578b\u200b gatewayType \u200b\u6ca1\u6709\u200b\u4f5c\u7528\u200b\u3002</li> <li>\u200b\u5f53\u200b\u5173\u95ed\u200b EnableExternal \u200b\u65f6\u200b\uff0cvpc \u200b\u5185\u200b\u65e0\u6cd5\u200b\u901a\u5916\u200b\u7f51\u200b\u3002</li> <li>\u200b\u5f53\u200b\u5f00\u542f\u200b EnableExternal \u200b\u65f6\u200b\uff0c\u200b\u5173\u95ed\u200b EnableBfd \u200b\u65f6\u200b\uff0c\u200b\u4f1a\u200b\u57fa\u4e8e\u200b\u666e\u901a\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u4e0a\u200b\u5916\u7f51\u200b\uff0c\u200b\u4e0d\u200b\u5177\u5907\u200b\u9ad8\u200b\u53ef\u7528\u200b\u3002</li> </ol> <pre><code># \u200b\u4e0a\u8ff0\u200b\u6a21\u677f\u200b\u5e94\u7528\u200b\u540e\u200b ovn \u200b\u903b\u8f91\u200b\u5c42\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\n# \u200b\u67e5\u770b\u200b vpc\n# k get vpc\nNAME          ENABLEEXTERNAL   ENABLEBFD   STANDBY   SUBNETS                                NAMESPACES\novn-cluster   true                         true      [\"external204\",\"join\",\"ovn-default\"]\nvpc1          true             true        true      [\"vpc1-subnet1\"]                       [\"vpc1\"]\n\n# \u200b\u9ed8\u8ba4\u200b vpc \u200b\u672a\u200b\u652f\u6301\u200b ENABLEBFD\n# \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u5df2\u200b\u652f\u6301\u200b\u4e14\u200b\u5df2\u200b\u542f\u7528\u200b\n\n\n# 1. \u200b\u521b\u5efa\u200b\u4e86\u200b bfd \u200b\u4f1a\u8bdd\u200b\n# k ko nbctl list bfd\n_uuid               : be7df545-2c4c-4751-878f-b3507987f050\ndetect_mult         : 3\ndst_ip              : \"10.5.204.121\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n_uuid               : 684c4489-5b59-4693-8d8c-3beab93f8093\ndetect_mult         : 3\ndst_ip              : \"10.5.204.109\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n_uuid               : f0f62077-2ae9-4e79-b4f8-a446ec6e784c\ndetect_mult         : 3\ndst_ip              : \"10.5.204.108\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n### \u200b\u6ce8\u610f\u200b\u6240\u6709\u200b status \u200b\u6b63\u5e38\u200b\u90fd\u200b\u5e94\u8be5\u200b\u662f\u200b up \u200b\u7684\u200b\n\n# 2. \u200b\u521b\u5efa\u200b\u4e86\u200b\u57fa\u4e8e\u200b bfd \u200b\u7684\u200b\u9759\u6001\u200b\u8def\u7531\u200b\n# k ko nbctl lr-route-list vpc1\nIPv4 Routes\nRoute Table &lt;main&gt;:\n           192.168.0.0/24              10.5.204.108 src-ip ecmp ecmp-symmetric-reply bfd\n           192.168.0.0/24              10.5.204.109 src-ip ecmp ecmp-symmetric-reply bfd\n           192.168.0.0/24              10.5.204.121 src-ip ecmp ecmp-symmetric-reply bfd\n\n# 3. \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u8be6\u60c5\u200b\n# k ko nbctl find Logical_Router_Static_Route  policy=src-ip options=ecmp_symmetric_reply=\"true\"\n_uuid               : 3aacb384-d5ee-4b14-aebf-59e8c11717ba\nbfd                 : 684c4489-5b59-4693-8d8c-3beab93f8093\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.109\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n\n_uuid               : 18bcc585-bc05-430b-925b-ef673c8e1aef\nbfd                 : f0f62077-2ae9-4e79-b4f8-a446ec6e784c\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.108\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n\n_uuid               : 7d0a4e6b-cde0-4110-8176-fbaf19738498\nbfd                 : be7df545-2c4c-4751-878f-b3507987f050\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.121\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n</code></pre> <pre><code># \u200b\u540c\u65f6\u200b\u5728\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u90fd\u200b\u5e94\u8be5\u200b\u5177\u5907\u200b\u4ee5\u4e0b\u200b\u8d44\u6e90\u200b\n\n[root@pc-node-1 ~]# ip netns exec ovnext bash ip a\n/usr/sbin/ip: /usr/sbin/ip: cannot execute binary file\n[root@pc-node-1 ~]#\n[root@pc-node-1 ~]# ip netns exec ovnext ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1541: ovnext0: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1400 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/ether 00:00:00:ab:bd:87 brd ff:ff:ff:ff:ff:ff\n    inet 10.5.204.108/24 brd 10.5.204.255 scope global ovnext0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:feab:bd87/64 scope link\n       valid_lft forever preferred_lft forever\n[root@pc-node-1 ~]#\n[root@pc-node-1 ~]# ip netns exec ovnext route -n\nKernel IP routing table\nDestination     Gateway         Genmask         Flags Metric Ref    Use Iface\n0.0.0.0         10.5.204.254    0.0.0.0         UG    0      0        0 ovnext0\n10.5.204.0      0.0.0.0         255.255.255.0   U     0      0        0 ovnext0\n\n## \u200b\u6ce8\u610f\u200b\u4ee5\u4e0a\u200b\u5185\u5bb9\u200b\u548c\u200b\u4e00\u4e2a\u200b internal port unerlay \u200b\u516c\u7f51\u200b pod \u200b\u5185\u90e8\u200b\u7684\u200b ns \u200b\u5927\u81f4\u200b\u662f\u200b\u4e00\u81f4\u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u53ea\u662f\u200b\u5728\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u4e0a\u200b\u5355\u72ec\u200b\u7ef4\u62a4\u200b\u4e86\u200b\u4e00\u4e2a\u200b ns\n\n[root@pc-node-1 ~]# ip netns exec ovnext bfdd-control status\nThere are 1 sessions:\nSession 1\n id=1 local=10.5.204.108 (p) remote=10.5.204.122 state=Up\n\n## \u200b\u8fd9\u91cc\u200b\u5373\u200b\u662f\u200b lrp bfd \u200b\u4f1a\u8bdd\u200b\u7684\u200b\u53e6\u4e00\u7aef\u200b\uff0c\u200b\u4e5f\u200b\u662f\u200b lrp ecmp \u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u7684\u200b\u5176\u4e2d\u200b\u4e00\u4e2a\u200b\n\n\n[root@pc-node-1 ~]# ip netns exec ovnext ping -c1 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=1 ttl=115 time=21.6 ms\n\n# \u200b\u5230\u200b\u516c\u7f51\u200b\u6ca1\u200b\u95ee\u9898\u200b\n</code></pre> <p>\u200b\u53ef\u4ee5\u200b\u5728\u200b\u67d0\u200b\u4e00\u4e2a\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u7684\u200b ovnext ns \u200b\u5185\u200b\u6293\u200b\u5230\u200b\u51fa\u53bb\u200b\u7684\u200b\u5305\u200b</p> <pre><code># tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n^C\n0 packets captured\n0 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-1 ~]# exit\n[root@pc-node-1 ~]# ssh pc-node-2\nLast login: Thu Feb 23 09:21:08 2023 from 10.5.32.51\n[root@pc-node-2 ~]# ip netns exec ovnext bash\n[root@pc-node-2 ~]# tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n^C\n0 packets captured\n0 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-2 ~]# exit\n[root@pc-node-2 ~]# logout\nConnection to pc-node-2 closed.\n[root@pc-node-1 ~]# ssh pc-node-3\nLast login: Thu Feb 23 08:32:41 2023 from 10.5.32.51\n[root@pc-node-3 ~]#  ip netns exec ovnext bash\n[root@pc-node-3 ~]# tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n00:00:00:2d:f8:ce &gt; 00:00:00:fd:b2:a4, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 63, id 57978, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.204.102 &gt; 223.5.5.5: ICMP echo request, id 22, seq 71, length 64\n00:00:00:fd:b2:a4 &gt; dc:ef:80:5a:44:1a, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 62, id 57978, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.204.102 &gt; 223.5.5.5: ICMP echo request, id 22, seq 71, length 64\n^C\n2 packets captured\n2 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-3 ~]#\n\n# \u200b\u53ef\u4ee5\u200b\u5728\u200b\u8be5\u200b\u8282\u70b9\u200b down \u200b\u6389\u200b\u51fa\u53bb\u200b\u7684\u200b\u7f51\u5361\u200b\uff0c\u200b\u7136\u540e\u200b\u770b\u200b pod \u200b\u51fa\u53bb\u200b\u7684\u200b\u5305\u200b\u5728\u200b\u7f51\u7edc\u200b\u4e2d\u65ad\u200b\u4e2d\u200b\u4f1a\u200b\u51fa\u73b0\u200b\u51e0\u4e2a\u200b\u5305\u200b\n# \u200b\u4e00\u822c\u200b\u90fd\u200b\u4f1a\u200b\u770b\u5230\u200b\u4e22\u200b 3 \u200b\u4e2a\u200b\u5305\u200b\n</code></pre>"},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#3-bfd","title":"3. \u200b\u5173\u95ed\u200b bfd \u200b\u6a21\u5f0f","text":"<p>\u200b\u5728\u200b\u67d0\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u53ef\u80fd\u200b\u60f3\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\uff08\u200b\u96c6\u4e2d\u5f0f\u200b\uff09\u200b\u5355\u4e2a\u200b\u7f51\u5173\u200b\u76f4\u63a5\u200b\u51fa\u200b\u516c\u7f51\u200b\uff0c\u200b\u8fd9\u4e2a\u200b\u65f6\u5019\u200b\u548c\u200b\u9ed8\u8ba4\u200b vpc enable_eip_snat \u200b\u7684\u200b\u4f7f\u7528\u200b\u6a21\u5f0f\u200b\u662f\u200b\u4e00\u81f4\u200b\u7684\u200b</p> <pre><code># cat 01-vpc-ecmp-enable-external-bfd.yml\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc2\nspec:\n  namespaces:\n  - vpc2\n  enableExternal: true\n  #enableBfd: true\n  enableBfd: false\n\n## \u200b\u5c06\u200b bfd \u200b\u529f\u80fd\u200b\u76f4\u63a5\u200b\u7981\u7528\u200b\u5373\u53ef\u200b\n\n# k ko nbctl lr-route-list vpc2\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0              10.5.204.254 dst-ip\n\n# \u200b\u5e94\u7528\u200b\u540e\u200b\u8def\u7531\u200b\u4f1a\u200b\u5207\u6362\u200b\u56de\u200b\u6b63\u5e38\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u9759\u6001\u200b\u8def\u7531\u200b\n# \u200b\u540c\u65f6\u200b nbctl list bfd  \u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b lrp \u200b\u5173\u8054\u200b\u7684\u200b bfd \u200b\u4f1a\u8bdd\u200b\u5df2\u7ecf\u200b\u79fb\u9664\u200b\n# \u200b\u800c\u4e14\u200b ovnext ns \u200b\u4e2d\u200b\u7684\u200b\u5bf9\u200b\u7aef\u200b bfd \u200b\u4f1a\u8bdd\u200b\u4e5f\u200b\u81ea\u52a8\u200b\u79fb\u9664\u200b\n# \u200b\u8be5\u200b\u5207\u6362\u200b\u8fc7\u7a0b\u200b\u4fdd\u6301\u200b vpc subnet \u200b\u5185\u200b\u4fdd\u6301\u200b ping \u200b\u672a\u200b\u770b\u5230\u200b(\u200b\u79d2\u7ea7\u200b)\u200b\u4e22\u5305\u200b\n# \u200b\u518d\u200b\u5207\u6362\u200b\u56de\u53bb\u200b \u200b\u4e5f\u200b\u672a\u200b\u770b\u5230\u200b(\u200b\u79d2\u7ea7\u200b)\u200b\u4e22\u5305\u200b\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/ovn-remote-port-mirroring/","title":"OVN \u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"<p>\u200b\u6b64\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u6307\u5b9a\u200b Pod\u3001\u200b\u6307\u5b9a\u200b\u65b9\u5411\u200b\u7684\u200b\u6d41\u91cf\u200b\uff0c\u200b\u901a\u8fc7\u200b GRE/ERSPAN \u200b\u5c01\u88c5\u200b\u540e\u200b\uff0c\u200b\u4f20\u8f93\u200b\u5230\u200b\u8fdc\u7aef\u200b\u3002</p> <p>\u200b\u6b64\u200b\u529f\u80fd\u200b\u8981\u6c42\u200b Kube-OVN \u200b\u7248\u672c\u200b\u4e0d\u200b\u4f4e\u4e8e\u200b v1.12\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#multus-cni","title":"\u90e8\u7f72\u200b Multus-CNI","text":"<p>\u200b\u53c2\u8003\u200b Multus-CNI \u200b\u6587\u6863\u200b \u200b\u90e8\u7f72\u200b Multus\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#_1","title":"\u521b\u5efa\u200b\u9644\u5c5e\u200b\u7f51\u7edc","text":"<p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u5185\u5bb9\u200b\u521b\u5efa\u200b\u9644\u5c5e\u200b\u7f51\u7edc\u200b\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: attachnet\n  namespace: default\nspec:\n  config: |\n    {\n      \"cniVersion\": \"0.3.1\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"attachnet.default.ovn\"\n    }\n</code></pre> <p>\u200b\u5176\u4e2d\u200b <code>provider</code> \u200b\u5b57\u200b\u6bb5\u200b\u683c\u5f0f\u200b\u4e3a\u200b <code>&lt;NAME&gt;.&lt;NAMESPACE&gt;.ovn</code>\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#underlay","title":"\u521b\u5efa\u200b Underlay \u200b\u7f51\u7edc","text":"<p>\u200b\u955c\u50cf\u200b\u6d41\u91cf\u200b\u662f\u200b\u5c01\u88c5\u200b\u540e\u200b\u8fdb\u884c\u200b\u4f20\u8f93\u200b\u7684\u200b\uff0c\u200b\u56e0\u6b64\u200b\u7528\u4e8e\u200b\u4f20\u8f93\u200b\u7684\u200b\u7f51\u7edc\u200b\uff0cMTU \u200b\u9700\u8981\u200b\u5927\u4e8e\u200b\u88ab\u200b\u955c\u50cf\u200b\u7684\u200b LSP/Pod\u3002\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b Underlay \u200b\u4f5c\u4e3a\u200b\u4f20\u8f93\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u5185\u5bb9\u200b\u521b\u5efa\u200b Underlay \u200b\u7f51\u7edc\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: net1\nspec:\n  defaultInterface: eth1\n---\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan1\nspec:\n  id: 0\n  provider: net1\n---\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 172.19.0.0/16\n  excludeIps:\n  - 172.19.0.2..172.19.0.20\n  gateway: 172.19.0.1\n  vlan: vlan1\n  provider: attachnet.default.ovn\n</code></pre> <p>\u200b\u5176\u4e2d\u200b\uff0c\u200b\u5b50\u7f51\u200b\u7684\u200b <code>provider</code> \u200b\u5fc5\u987b\u200b\u4e0e\u200b\u9644\u5c5e\u200b\u7f51\u7edc\u200b\u7684\u200b <code>provider</code> \u200b\u76f8\u540c\u200b\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#pod","title":"\u521b\u5efa\u200b\u6d41\u91cf\u200b\u63a5\u6536\u200b Pod","text":"<p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u5185\u5bb9\u200b\u521b\u5efa\u200b\u7528\u4e8e\u200b\u63a5\u6536\u200b\u955c\u50cf\u200b\u6d41\u91cf\u200b\u7684\u200b Pod\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: pod1\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\nspec:\n  containers:\n  - name: bash\n    image: docker.io/kubeovn/kube-ovn:v1.13.0\n    args:\n    - bash\n    - -c\n    - sleep infinity\n    securityContext:\n      privileged: true\n</code></pre> <p>\u200b\u521b\u5efa\u200b\u5b8c\u6210\u200b\u540e\u200b\uff0c\u200b\u67e5\u770b\u200b Pod \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff1a</p> <pre><code>$ kubectl get ips | grep pod1\npod1.default                        10.16.0.12   00:00:00:FF:34:24  kube-ovn-worker  ovn-default\npod1.default.attachnet.default.ovn  172.19.0.21  00:00:00:A0:30:68  kube-ovn-worker  subnet1\n</code></pre> <p>\u200b\u8bb0\u4f4f\u200b\u7b2c\u4e8c\u200b\u7f51\u5361\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b <code>172.19.0.21</code>\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#ovn_1","title":"\u521b\u5efa\u200b OVN \u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"<p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\u521b\u5efa\u200b OVN \u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\uff1a</p> <pre><code>kubectl ko nbctl mirror-add mirror1 gre 99 from-lport 172.19.0.21\nkubectl ko nbctl lsp-attach-mirror coredns-787d4945fb-gpnkb.kube-system mirror1\n</code></pre> <p>\u200b\u5176\u4e2d\u200b <code>coredns-787d4945fb-gpnkb.kube-system</code> \u200b\u662f\u200b OVN LSP \u200b\u7684\u200b\u540d\u79f0\u200b\uff0c\u200b\u683c\u5f0f\u200b\u901a\u5e38\u200b\u4e3a\u200b <code>&lt;POD_NAME&gt;.&lt;POD_NAMESPACE&gt;</code>\u3002</p> <p>\u200b\u76f8\u5173\u200b\u7684\u200b OVN \u200b\u547d\u4ee4\u200b\u4f7f\u7528\u200b\u65b9\u6cd5\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>ovn-nbctl mirror-add &lt;NAME&gt; &lt;TYPE&gt; &lt;INDEX&gt; &lt;FILTER&gt; &lt;IP&gt;\n\nNAME   - add a mirror with given name\nTYPE   - specify TYPE 'gre' or 'erspan'\nINDEX  - specify the tunnel INDEX value\n         (indicates key if GRE, erpsan_idx if ERSPAN)\nFILTER - specify FILTER for mirroring selection\n         ('to-lport' / 'from-lport')\nIP     - specify Sink / Destination i.e. Remote IP\n\novn-nbctl mirror-del [NAME]         remove mirrors\novn-nbctl mirror-list               print mirrors\n\novn-nbctl lsp-attach-mirror PORT MIRROR   attach source PORT to MIRROR\novn-nbctl lsp-detach-mirror PORT MIRROR   detach source PORT from MIRROR\n</code></pre>"},{"location":"advance/ovn-remote-port-mirroring/#pod_1","title":"\u914d\u7f6e\u200b\u6d41\u91cf\u200b\u63a5\u6536\u200b Pod","text":"<p>\u200b\u5728\u200b\u524d\u9762\u200b\u521b\u5efa\u200b\u7684\u200b Pod \u200b\u4e2d\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>root@pod1:/kube-ovn# ip link add mirror1 type gretap local 172.19.0.21 key 99 dev net1\nroot@pod1:/kube-ovn# ip link set mirror1 up\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u5c31\u200b\u53ef\u4ee5\u200b\u5728\u200b\u63a5\u6536\u200b\u6d41\u91cf\u200b\u7684\u200b Pod \u200b\u4e2d\u200b\u8fdb\u884c\u200b\u6293\u5305\u200b\u9a8c\u8bc1\u200b\uff1a</p> <pre><code>root@pod1:/kube-ovn# tcpdump -i mirror1 -nnve\ntcpdump: listening on mirror1, link-type EN10MB (Ethernet), snapshot length 262144 bytes\n05:13:30.328808 00:00:00:a3:f5:e2 &gt; 00:00:00:97:0f:6e, ethertype ARP (0x0806), length 42: Ethernet (len 6), IPv4 (len 4), Request who-has 10.16.0.7 tell 10.16.0.4, length 28\n05:13:30.559167 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 212: (tos 0x0, ttl 64, id 57364, offset 0, flags [DF], proto UDP (17), length 198)\n    10.16.0.4.53 &gt; 10.16.0.6.50472: 34511 NXDomain*- 0/1/1 (170)\n05:13:30.559343 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 212: (tos 0x0, ttl 64, id 57365, offset 0, flags [DF], proto UDP (17), length 198)\n    10.16.0.4.53 &gt; 10.16.0.6.45177: 1659 NXDomain*- 0/1/1 (170)\n05:13:30.560625 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 200: (tos 0x0, ttl 64, id 57367, offset 0, flags [DF], proto UDP (17), length 186)\n    10.16.0.4.53 &gt; 10.16.0.6.43848: 2636*- 0/1/1 (158)\n05:13:30.562774 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 191: (tos 0x0, ttl 64, id 57368, offset 0, flags [DF], proto UDP (17), length 177)\n    10.16.0.4.53 &gt; 10.16.0.6.37755: 48737 NXDomain*- 0/1/1 (149)\n05:13:30.563523 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 187: (tos 0x0, ttl 64, id 57369, offset 0, flags [DF], proto UDP (17), length 173)\n    10.16.0.4.53 &gt; 10.16.0.6.53887: 45519 NXDomain*- 0/1/1 (145)\n05:13:30.564940 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 201: (tos 0x0, ttl 64, id 57370, offset 0, flags [DF], proto UDP (17), length 187)\n    10.16.0.4.53 &gt; 10.16.0.6.40846: 25745 NXDomain*- 0/1/1 (159)\n05:13:30.565140 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 201: (tos 0x0, ttl 64, id 57371, offset 0, flags [DF], proto UDP (17), length 187)\n    10.16.0.4.53 &gt; 10.16.0.6.45214: 61875 NXDomain*- 0/1/1 (159)\n05:13:30.566023 00:00:00:a3:f5:e2 &gt; 00:00:00:55:e4:4e, ethertype IPv4 (0x0800), length 80: (tos 0x0, ttl 64, id 45937, offset 0, flags [DF], proto UDP (17), length 66)\n    10.16.0.4.44116 &gt; 172.18.0.1.53: 16025+ [1au] AAAA? alauda.cn. (38)\n</code></pre>"},{"location":"advance/ovn-remote-port-mirroring/#_2","title":"\u6ce8\u610f\u4e8b\u9879","text":"<ol> <li>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b ERSPAN \u200b\u4f5c\u4e3a\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\uff0cOVN \u200b\u8282\u70b9\u200b\u53ca\u200b\u8fdc\u7aef\u200b\u8bbe\u5907\u200b\u7684\u200b Linux \u200b\u5185\u6838\u200b\u7248\u672c\u200b\u4e0d\u5f97\u200b\u4f4e\u4e8e\u200b 4.14\u3002\u200b\u82e5\u200b\u4f7f\u7528\u200b ERSPAN \u200b\u4f5c\u4e3a\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\u4e14\u200b\u4f7f\u7528\u200b IPv6 \u200b\u4f5c\u4e3a\u200b\u4f20\u8f93\u200b\u7f51\u7edc\u200b\uff0cLinux \u200b\u5185\u6838\u200b\u7248\u672c\u200b\u4e0d\u5f97\u200b\u4f4e\u4e8e\u200b 4.16\u3002</li> <li>\u200b\u955c\u50cf\u200b\u6d41\u91cf\u200b\u7684\u200b\u4f20\u8f93\u200b\u662f\u200b\u5355\u5411\u200b\u7684\u200b\uff0c\u200b\u53ea\u200b\u9700\u200b\u4fdd\u8bc1\u200b OVN \u200b\u8282\u70b9\u200b\u80fd\u591f\u200b\u8bbf\u95ee\u200b\u8fdc\u7aef\u200b\u8bbe\u5907\u200b\u5373\u53ef\u200b\u3002</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/performance-tuning/","title":"\u6027\u80fd\u200b\u8c03\u4f18","text":"<p>\u200b\u4e3a\u4e86\u200b\u4fdd\u6301\u200b\u5b89\u88c5\u200b\u7684\u200b\u7b80\u5355\u200b\u548c\u200b\u529f\u80fd\u200b\u7684\u200b\u5b8c\u5907\u200b\uff0cKube-OVN \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u5e76\u200b\u6ca1\u6709\u200b\u5bf9\u200b\u6027\u80fd\u200b\u9488\u5bf9\u6027\u200b\u7684\u200b\u4f18\u5316\u200b\u3002\u200b\u5982\u679c\u200b\u5e94\u7528\u200b\u5bf9\u200b\u5ef6\u8fdf\u200b\u548c\u200b\u541e\u5410\u91cf\u200b\u654f\u611f\u200b\uff0c \u200b\u7ba1\u7406\u5458\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u672c\u200b\u6587\u6863\u200b\u5bf9\u200b\u6027\u80fd\u200b\u8fdb\u884c\u200b\u9488\u5bf9\u6027\u200b\u4f18\u5316\u200b\u3002</p> <p>\u200b\u793e\u533a\u200b\u4f1a\u200b\u4e0d\u65ad\u200b\u8fed\u4ee3\u200b\u63a7\u5236\u9762\u677f\u200b\u548c\u200b\u4f18\u5316\u200b\u9762\u200b\u7684\u200b\u6027\u80fd\u200b\uff0c\u200b\u90e8\u5206\u200b\u901a\u7528\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u5df2\u7ecf\u200b\u96c6\u6210\u200b\u5230\u200b\u6700\u65b0\u200b\u7248\u672c\u200b\uff0c\u200b\u5efa\u8bae\u200b\u4f7f\u7528\u200b\u6700\u65b0\u200b\u7248\u672c\u200b\u83b7\u5f97\u200b\u66f4\u597d\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u6027\u80fd\u200b\u3002</p> <p>\u200b\u66f4\u200b\u591a\u200b\u5173\u4e8e\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u7684\u200b\u8fc7\u7a0b\u200b\u548c\u200b\u65b9\u6cd5\u8bba\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u89c2\u770b\u200b\u89c6\u9891\u200b\u5206\u4eab\u200b\uff1aKube-OVN \u200b\u5bb9\u5668\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u4e4b\u65c5\u200b\u3002</p>"},{"location":"advance/performance-tuning/#_2","title":"\u57fa\u51c6\u200b\u6d4b\u8bd5","text":"<p>\u200b\u7531\u4e8e\u200b\u8f6f\u786c\u4ef6\u200b\u73af\u5883\u200b\u7684\u200b\u5dee\u5f02\u200b\u6781\u5927\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u63d0\u4f9b\u200b\u7684\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u6570\u636e\u200b\u53ea\u80fd\u200b\u4f5c\u4e3a\u200b\u53c2\u8003\u200b\uff0c\u200b\u5b9e\u9645\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b\u4f1a\u200b\u548c\u200b\u672c\u200b\u6587\u6863\u200b\u4e2d\u200b\u7684\u200b\u7ed3\u679c\u200b\u5b58\u5728\u200b\u8f83\u5927\u200b\u5dee\u5f02\u200b\u3002 \u200b\u5efa\u8bae\u200b\u6bd4\u8f83\u200b\u4f18\u5316\u200b\u524d\u540e\u200b\u7684\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b\uff0c\u200b\u548c\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u548c\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u200b\u6bd4\u8f83\u200b\u3002</p>"},{"location":"advance/performance-tuning/#overlay","title":"Overlay \u200b\u4f18\u5316\u200b\u524d\u540e\u200b\u6027\u80fd\u200b\u5bf9\u6bd4","text":"<p>\u200b\u73af\u5883\u200b\u4fe1\u606f\u200b\uff1a</p> <ul> <li>Kubernetes: 1.22.0</li> <li>OS: CentOS 7</li> <li>Kube-OVN: 1.8.0 Overlay \u200b\u6a21\u5f0f\u200b</li> <li>CPU: Intel(R) Xeon(R) E-2278G</li> <li>Network: 2*10Gbps, xmit_hash_policy=layer3+4</li> </ul> <p>\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b <code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1 -vu tcp_lat tcp_bw udp_lat udp_bw</code> \u200b\u6d4b\u8bd5\u200b  1 \u200b\u5b57\u8282\u200b\u5c0f\u5305\u200b\u4e0b\u200b tcp/udp \u200b\u7684\u200b\u5e26\u5bbd\u200b\u548c\u200b\u5ef6\u8fdf\u200b\uff0c\u200b\u5206\u522b\u200b\u6d4b\u8bd5\u200b\u4f18\u5316\u200b\u524d\u200b\uff0c\u200b\u4f18\u5316\u200b\u540e\u200b\u4ee5\u53ca\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u200b\uff1a</p> Type tcp_lat (us) udp_lat (us) tcp_bw (Mb/s) udp_bw(Mb/s) Kube-OVN Default 25.7 22.9 27.1 1.59 Kube-OVN Optimized 13.9 12.9 27.6 5.57 HOST Network 13.1 12.4 28.2 6.02"},{"location":"advance/performance-tuning/#overlay-underlay-calico","title":"Overlay\uff0c Underlay \u200b\u4ee5\u53ca\u200b Calico \u200b\u4e0d\u540c\u200b\u6a21\u5f0f\u200b\u6027\u80fd\u200b\u5bf9\u6bd4","text":"<p>\u200b\u4e0b\u9762\u200b\u6211\u4eec\u200b\u4f1a\u200b\u6bd4\u8f83\u200b\u4f18\u5316\u200b\u540e\u200b Kube-OVN \u200b\u5728\u200b\u4e0d\u540c\u200b\u5305\u200b\u5927\u5c0f\u200b\u4e0b\u200b\u7684\u200b Overlay \u200b\u548c\u200b Underlay \u200b\u6027\u80fd\u200b\uff0c\u200b\u5e76\u200b\u548c\u200b Calico \u200b\u7684\u200b <code>IPIP Always</code>, <code>IPIP never</code> \u200b\u4ee5\u53ca\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u505a\u200b\u6bd4\u8f83\u200b\u3002</p> <p>Environment:</p> <ul> <li>Kubernetes: 1.22.0</li> <li>OS: CentOS 7</li> <li>Kube-OVN: 1.8.0</li> <li>CPU: AMD EPYC 7402P 24-Core Processor</li> <li>Network: Intel Corporation Ethernet Controller XXV710 for 25GbE SFP28</li> </ul> <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1 -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Mb/s) udp_bw(Mb/s) Kube-OVN Overlay 15.2 14.6 23.6 2.65 Kube-OVN Underlay 14.3 13.8 24.2 3.46 Calico IPIP 21.4 20.2 23.6 1.18 Calico NoEncap 19.3 16.9 23.6 1.76 HOST Network 16.6 15.4 24.8 2.64 <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1K -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Gb/s) udp_bw(Gb/s) Kube-OVN Overlay 16.5 15.8 10.2 2.77 Kube-OVN Underlay 15.9 14.5 9.6 3.22 Calico IPIP 22.5 21.5 1.45 1.14 Calico NoEncap 19.4 18.3 3.76 1.63 HOST Network 18.1 16.6 9.32 2.66 <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:4K -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Gb/s) udp_bw(Gb/s) Kube-OVN Overlay 34.7 41.6 16.0 9.23 Kube-OVN Underlay 32.6 44 15.1 6.71 Calico IPIP 44.8 52.9 2.94 3.26 Calico NoEncap 40 49.6 6.56 4.19 HOST Network 35.9 45.9 14.6 5.59 <p>\u200b\u5728\u200b\u90e8\u5206\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u200b\u4f1a\u200b\u4f18\u4e8e\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\uff0c\u200b\u8fd9\u662f\u200b\u4f18\u4e8e\u200b\u7ecf\u8fc7\u200b\u4f18\u5316\u200b\u540e\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u8def\u5f84\u200b\u5b8c\u5168\u200b\u7ed5\u8fc7\u200b\u4e86\u200b netfilter\uff0c \u200b\u800c\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7531\u4e8e\u200b <code>kube-proxy</code> \u200b\u7684\u200b\u5b58\u5728\u200b\u6240\u6709\u200b\u6570\u636e\u5305\u200b\u5747\u200b\u9700\u200b\u7ecf\u8fc7\u200b netfilter\uff0c\u200b\u4f1a\u200b\u5bfc\u81f4\u200b\u5728\u200b\u4e00\u4e9b\u200b\u73af\u5883\u200b\u4e0b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b \u200b\u7684\u200b\u6d88\u8017\u200b\u76f8\u5bf9\u200b\u66f4\u200b\u5c0f\u200b\uff0c\u200b\u56e0\u6b64\u200b\u4f1a\u200b\u6709\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u8868\u73b0\u200b\u3002</p>"},{"location":"advance/performance-tuning/#_3","title":"\u6570\u636e\u200b\u5e73\u9762\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u65b9\u6cd5","text":"<p>\u200b\u8fd9\u91cc\u200b\u4ecb\u7ecd\u200b\u7684\u200b\u4f18\u5316\u200b\u65b9\u6cd5\u200b\u548c\u200b\u8f6f\u786c\u4ef6\u200b\u73af\u5883\u200b\u4ee5\u53ca\u200b\u6240\u200b\u9700\u8981\u200b\u7684\u200b\u529f\u80fd\u200b\u76f8\u5173\u200b\uff0c\u200b\u8bf7\u200b\u4ed4\u7ec6\u200b\u4e86\u89e3\u200b\u4f18\u5316\u200b\u7684\u200b\u524d\u63d0\u6761\u4ef6\u200b\u518d\u200b\u8fdb\u884c\u200b\u5c1d\u8bd5\u200b\u3002</p>"},{"location":"advance/performance-tuning/#cpu","title":"CPU \u200b\u6027\u80fd\u200b\u6a21\u5f0f\u200b\u8c03\u6574","text":"<p>\u200b\u90e8\u5206\u200b\u73af\u5883\u200b\u4e0b\u200b CPU \u200b\u8fd0\u884c\u200b\u5728\u200b\u8282\u80fd\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u6027\u80fd\u200b\u8868\u73b0\u200b\u5c06\u4f1a\u200b\u4e0d\u200b\u7a33\u5b9a\u200b\uff0c\u200b\u5ef6\u8fdf\u200b\u4f1a\u200b\u51fa\u73b0\u200b\u660e\u663e\u589e\u52a0\u200b\uff0c\u200b\u5efa\u8bae\u200b\u4f7f\u7528\u200b CPU \u200b\u7684\u200b\u6027\u80fd\u200b\u6a21\u5f0f\u200b\u83b7\u5f97\u200b\u66f4\u200b\u7a33\u5b9a\u200b\u7684\u200b\u6027\u80fd\u200b\u8868\u73b0\u200b\uff1a</p> <pre><code>cpupower frequency-set -g performance\n</code></pre>"},{"location":"advance/performance-tuning/#_4","title":"\u7f51\u5361\u200b\u786c\u4ef6\u200b\u961f\u5217\u200b\u8c03\u6574","text":"<p>\u200b\u5728\u200b\u6d41\u91cf\u200b\u589e\u5927\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7f13\u51b2\u200b\u961f\u5217\u200b\u8fc7\u200b\u77ed\u200b\u53ef\u80fd\u200b\u5bfc\u81f4\u200b\u8f83\u200b\u9ad8\u200b\u7684\u200b\u4e22\u200b\u5305\u7387\u200b\u5bfc\u81f4\u200b\u6027\u80fd\u200b\u663e\u8457\u200b\u4e0b\u964d\u200b\uff0c\u200b\u9700\u8981\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b</p> <p>\u200b\u68c0\u67e5\u200b\u5f53\u524d\u200b\u7f51\u5361\u200b\u961f\u5217\u200b\u957f\u5ea6\u200b\uff1a</p> <pre><code># ethtool -g eno1\n Ring parameters for eno1:\n Pre-set maximums:\n RX:             4096\n RX Mini:        0\n RX Jumbo:       0\n TX:             4096\n Current hardware settings:\n RX:             255\n RX Mini:        0\n RX Jumbo:       0\n TX:             255\n</code></pre> <p>\u200b\u589e\u52a0\u200b\u961f\u5217\u200b\u957f\u5ea6\u200b\u81f3\u200b\u6700\u5927\u503c\u200b\uff1a</p> <pre><code>ethtool -G eno1 rx 4096\nethtool -G eno1 tx 4096\n</code></pre>"},{"location":"advance/performance-tuning/#tuned","title":"\u4f7f\u7528\u200b tuned \u200b\u4f18\u5316\u200b\u7cfb\u7edf\u200b\u53c2\u6570","text":"<p>tuned \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e00\u7cfb\u5217\u200b\u9884\u7f6e\u200b\u7684\u200b profile \u200b\u6587\u4ef6\u200b\u4fdd\u5b58\u200b\u4e86\u200b\u9488\u5bf9\u200b\u7279\u5b9a\u200b\u573a\u666f\u200b\u7684\u200b\u4e00\u7cfb\u5217\u200b\u7cfb\u7edf\u4f18\u5316\u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u9488\u5bf9\u200b\u5ef6\u8fdf\u200b\u4f18\u5148\u200b\u573a\u666f\u200b\uff1a</p> <pre><code>tuned-adm profile network-latency\n</code></pre> <p>\u200b\u9488\u5bf9\u200b\u541e\u5410\u91cf\u200b\u4f18\u5148\u200b\u573a\u666f\u200b\uff1a</p> <pre><code>tuned-adm profile network-throughput\n</code></pre>"},{"location":"advance/performance-tuning/#_5","title":"\u4e2d\u65ad\u200b\u7ed1\u5b9a","text":"<p>\u200b\u6211\u4eec\u200b\u63a8\u8350\u200b\u7981\u7528\u200b <code>irqbalance</code> \u200b\u5e76\u200b\u5c06\u200b\u7f51\u5361\u200b\u4e2d\u65ad\u200b\u548c\u200b\u7279\u5b9a\u200b CPU \u200b\u8fdb\u884c\u200b\u7ed1\u5b9a\u200b\uff0c\u200b\u6765\u200b\u907f\u514d\u200b\u5728\u200b\u591a\u4e2a\u200b CPU \u200b\u4e4b\u95f4\u200b\u5207\u6362\u200b\u5bfc\u81f4\u200b\u7684\u200b\u6027\u80fd\u200b\u6ce2\u52a8\u200b\u3002</p>"},{"location":"advance/performance-tuning/#ovn-lb","title":"\u5173\u95ed\u200b OVN LB","text":"<p>OVN \u200b\u7684\u200b L2 LB \u200b\u5b9e\u73b0\u200b\u8fc7\u7a0b\u200b\u4e2d\u200b\u9700\u8981\u200b\u8c03\u7528\u200b\u5185\u6838\u200b\u7684\u200b <code>conntrack</code> \u200b\u6a21\u5757\u200b\u5e76\u200b\u8fdb\u884c\u200b recirculate \u200b\u5bfc\u81f4\u200b\u5927\u91cf\u200b\u7684\u200b CPU \u200b\u5f00\u9500\u200b\uff0c\u200b\u7ecf\u200b\u6d4b\u8bd5\u200b\u8be5\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5e26\u6765\u200b 20% \u200b\u5de6\u53f3\u200b\u7684\u200b CPU \u200b\u5f00\u9500\u200b\uff0c \u200b\u5728\u200b Overlay \u200b\u7f51\u7edc\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b <code>kube-proxy</code> \u200b\u5b8c\u6210\u200b Service \u200b\u8f6c\u53d1\u200b\u529f\u80fd\u200b\uff0c\u200b\u83b7\u5f97\u200b\u66f4\u597d\u200b\u7684\u200b Pod-to-Pod \u200b\u6027\u80fd\u200b\u3002\u200b\u53ef\u4ee5\u200b\u5728\u200b <code>kube-ovn-controller</code> \u200b\u4e2d\u200b\u5173\u95ed\u200b\u8be5\u200b\u529f\u80fd\u200b\uff1a</p> <pre><code>command:\n- /kube-ovn/start-controller.sh\nargs:\n...\n- --enable-lb=false\n...\n</code></pre> <p>Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b <code>kube-proxy</code> \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b iptables \u200b\u6216\u200b ipvs \u200b\u63a7\u5236\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u6d41\u91cf\u200b\uff0c\u200b\u5982\u9700\u200b\u5173\u95ed\u200b LB \u200b\u529f\u80fd\u200b\u9700\u8981\u200b\u786e\u8ba4\u200b\u662f\u5426\u200b\u4e0d\u200b\u9700\u8981\u200b Service \u200b\u529f\u80fd\u200b\u3002</p>"},{"location":"advance/performance-tuning/#fastpath","title":"\u5185\u6838\u200b FastPath \u200b\u6a21\u5757","text":"<p>\u200b\u7531\u4e8e\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u548c\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u5728\u200b\u4e0d\u540c\u200b\u7684\u200b network ns\uff0c\u200b\u6570\u636e\u5305\u200b\u5728\u200b\u8de8\u200b\u5bbf\u4e3b\u673a\u200b\u4f20\u8f93\u200b\u65f6\u4f1a\u200b\u591a\u6b21\u200b\u7ecf\u8fc7\u200b netfilter \u200b\u6a21\u5757\u200b\uff0c\u200b\u4f1a\u200b\u5e26\u6765\u200b\u8fd1\u200b 20% \u200b\u7684\u200b CPU \u200b\u5f00\u9500\u200b\u3002\u200b\u7531\u4e8e\u200b\u5927\u90e8\u5206\u200b\u60c5\u51b5\u200b\u4e0b\u200b \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u5185\u200b\u5e94\u7528\u200b\u65e0\u987b\u200b\u4f7f\u7528\u200b netfilter \u200b\u6a21\u5757\u200b\u7684\u200b\u529f\u80fd\u200b\uff0c<code>FastPath</code> \u200b\u6a21\u5757\u200b\u53ef\u4ee5\u200b\u7ed5\u8fc7\u200b netfilter \u200b\u964d\u4f4e\u200b CPU \u200b\u5f00\u9500\u200b\u3002</p> <p>\u200b\u5982\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u5185\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b netfilter \u200b\u63d0\u4f9b\u200b\u7684\u200b\u529f\u80fd\u200b\u5982\u200b iptables\uff0cipvs\uff0cnftables \u200b\u7b49\u200b\uff0c\u200b\u8be5\u200b\u6a21\u5757\u200b\u4f1a\u200b\u4f7f\u200b\u76f8\u5173\u200b\u529f\u80fd\u200b\u5931\u6548\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u5185\u6838\u6a21\u5757\u200b\u548c\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u76f8\u5173\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u63d0\u4f9b\u200b\u4e00\u4e2a\u200b\u5355\u4e00\u200b\u9002\u5e94\u200b\u6240\u6709\u200b\u5185\u6838\u200b\u7684\u200b\u5185\u6838\u6a21\u5757\u200b\u5236\u54c1\u200b\u3002\u200b\u6211\u4eec\u200b\u9884\u5148\u200b\u7f16\u8bd1\u200b\u4e86\u200b\u90e8\u5206\u200b\u5185\u6838\u200b\u7684\u200b <code>FastPath</code> \u200b\u6a21\u5757\u200b\uff0c \u200b\u53ef\u4ee5\u200b\u524d\u5f80\u200b tunning-package \u200b\u8fdb\u884c\u200b\u4e0b\u8f7d\u200b\u3002</p> <p>\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u624b\u52a8\u200b\u8fdb\u884c\u200b\u7f16\u8bd1\u200b\uff0c\u200b\u65b9\u6cd5\u200b\u53c2\u8003\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b FastPath \u200b\u6a21\u5757\u200b</p> <p>\u200b\u83b7\u5f97\u200b\u5185\u6838\u6a21\u5757\u200b\u540e\u200b\u53ef\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4f7f\u7528\u200b <code>insmod kube_ovn_fastpath.ko</code> \u200b\u52a0\u8f7d\u200b <code>FastPath</code> \u200b\u6a21\u5757\u200b\uff0c\u200b\u5e76\u200b\u4f7f\u7528\u200b <code>dmesg</code> \u200b\u9a8c\u8bc1\u200b\u6a21\u5757\u200b\u52a0\u8f7d\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># dmesg\n...\n[619631.323788] init_module,kube_ovn_fastpath_local_out\n[619631.323798] init_module,kube_ovn_fastpath_post_routing\n[619631.323800] init_module,kube_ovn_fastpath_pre_routing\n[619631.323801] init_module,kube_ovn_fastpath_local_in\n...\n</code></pre>"},{"location":"advance/performance-tuning/#ovs","title":"OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u4f18\u5316","text":"<p>OVS \u200b\u7684\u200b flow \u200b\u5904\u7406\u200b\u5305\u62ec\u200b\u54c8\u5e0c\u200b\u8ba1\u7b97\u200b\uff0c\u200b\u5339\u914d\u200b\u7b49\u200b\u64cd\u4f5c\u200b\u4f1a\u200b\u6d88\u8017\u200b\u5927\u7ea6\u200b 10% \u200b\u5de6\u53f3\u200b\u7684\u200b CPU \u200b\u8d44\u6e90\u200b\u3002\u200b\u73b0\u4ee3\u200b x86 CPU \u200b\u4e0a\u200b\u7684\u200b\u4e00\u4e9b\u200b\u6307\u4ee4\u96c6\u200b\u4f8b\u5982\u200b <code>popcnt</code> \u200b\u548c\u200b <code>sse4.2</code> \u200b\u53ef\u4ee5\u200b \u200b\u52a0\u901f\u200b\u76f8\u5173\u200b\u8ba1\u7b97\u200b\u8fc7\u7a0b\u200b\uff0c\u200b\u4f46\u200b\u5185\u6838\u200b\u9ed8\u8ba4\u200b\u7f16\u8bd1\u200b\u672a\u200b\u5f00\u542f\u200b\u76f8\u5173\u200b\u9009\u9879\u200b\u3002\u200b\u7ecf\u200b\u6d4b\u8bd5\u200b\u5728\u200b\u5f00\u542f\u200b\u76f8\u5e94\u200b\u6307\u4ee4\u96c6\u200b\u4f18\u5316\u200b\u540e\u200b\uff0cflow \u200b\u76f8\u5173\u200b\u64cd\u4f5c\u200b CPU \u200b\u6d88\u8017\u200b\u5c06\u4f1a\u200b\u964d\u81f3\u200b 5% \u200b\u5de6\u53f3\u200b\u3002</p> <p>\u200b\u548c\u200b <code>FastPath</code> \u200b\u6a21\u5757\u200b\u7684\u200b\u7f16\u8bd1\u200b\u7c7b\u4f3c\u200b\uff0c\u200b\u7531\u4e8e\u200b\u5185\u6838\u6a21\u5757\u200b\u548c\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u76f8\u5173\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u63d0\u4f9b\u200b\u4e00\u4e2a\u200b\u5355\u4e00\u200b\u9002\u5e94\u200b\u6240\u6709\u200b\u5185\u6838\u200b\u7684\u200b\u5185\u6838\u6a21\u5757\u200b\u5236\u54c1\u200b\u3002\u200b\u7528\u6237\u200b\u9700\u8981\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b\u6216\u8005\u200b \u200b\u524d\u5f80\u200b tunning-package \u200b\u67e5\u770b\u200b\u662f\u5426\u200b\u6709\u200b\u5df2\u200b\u7f16\u8bd1\u200b\u597d\u200b\u7684\u200b\u5236\u54c1\u200b\u8fdb\u884c\u200b\u4e0b\u8f7d\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u8be5\u200b\u5185\u6838\u6a21\u5757\u200b\u524d\u200b\u8bf7\u200b\u5148\u200b\u786e\u8ba4\u200b CPU \u200b\u662f\u5426\u200b\u652f\u6301\u200b\u76f8\u5173\u200b\u6307\u4ee4\u96c6\u200b\uff1a</p> <pre><code>cat /proc/cpuinfo  | grep popcnt\ncat /proc/cpuinfo  | grep sse4_2\n</code></pre>"},{"location":"advance/performance-tuning/#centos","title":"CentOS \u200b\u4e0b\u200b\u7f16\u8bd1\u200b\u5b89\u88c5","text":"<p>\u200b\u5b89\u88c5\u200b\u76f8\u5173\u200b\u7f16\u8bd1\u200b\u4f9d\u8d56\u200b\u548c\u200b\u5185\u6838\u200b\u5934\u6587\u4ef6\u200b\uff1a</p> <pre><code>yum install -y gcc kernel-devel-$(uname -r) python3 autoconf automake libtool rpm-build openssl-devel\n</code></pre> <p>\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u5e76\u200b\u751f\u6210\u200b\u5bf9\u5e94\u200b RPM \u200b\u6587\u4ef6\u200b:</p> <pre><code>git clone -b branch-2.17 --depth=1 https://github.com/openvswitch/ovs.git\ncd ovs\ncurl -s  https://github.com/kubeovn/ovs/commit/2d2c83c26d4217446918f39d5cd5838e9ac27b32.patch |  git apply\n./boot.sh\n./configure --with-linux=/lib/modules/$(uname -r)/build CFLAGS=\"-g -O2 -mpopcnt -msse4.2\"\nmake rpm-fedora-kmod\ncd rpm/rpmbuild/RPMS/x86_64/\n</code></pre> <p>\u200b\u590d\u5236\u200b RPM \u200b\u5230\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u5e76\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a</p> <pre><code>rpm -i openvswitch-kmod-2.15.2-1.el7.x86_64.rpm\n</code></pre> <p>\u200b\u82e5\u200b\u4e4b\u524d\u200b\u5df2\u7ecf\u200b\u542f\u52a8\u200b\u8fc7\u200b Kube-OVN\uff0c\u200b\u65e7\u7248\u672c\u200b OVS \u200b\u6a21\u5757\u200b\u5df2\u200b\u52a0\u8f7d\u200b\u81f3\u200b\u5185\u6838\u200b\uff0c\u200b\u5efa\u8bae\u200b\u91cd\u542f\u200b\u673a\u5668\u200b\u91cd\u65b0\u200b\u52a0\u8f7d\u200b\u65b0\u7248\u200b\u5185\u6838\u6a21\u5757\u200b\u3002</p>"},{"location":"advance/performance-tuning/#ubuntu","title":"Ubuntu \u200b\u4e0b\u200b\u7f16\u8bd1\u200b\u5b89\u88c5","text":"<p>\u200b\u5b89\u88c5\u200b\u76f8\u5173\u200b\u7f16\u8bd1\u200b\u4f9d\u8d56\u200b\u548c\u200b\u5185\u6838\u200b\u5934\u6587\u4ef6\u200b\uff1a</p> <pre><code>apt install -y autoconf automake libtool gcc build-essential libssl-dev\n</code></pre> <p>\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u5e76\u200b\u5b89\u88c5\u200b\uff1a</p> <pre><code>apt install -y autoconf automake libtool gcc build-essential libssl-dev\n\ngit clone -b branch-2.17 --depth=1 https://github.com/openvswitch/ovs.git\ncd ovs\ncurl -s  https://github.com/kubeovn/ovs/commit/2d2c83c26d4217446918f39d5cd5838e9ac27b32.patch |  git apply\n./boot.sh\n./configure --prefix=/usr/ --localstatedir=/var --enable-ssl --with-linux=/lib/modules/$(uname -r)/build\nmake -j `nproc`\nmake install\nmake modules_install\n\ncat &gt; /etc/depmod.d/openvswitch.conf &lt;&lt; EOF\noverride openvswitch * extra\noverride vport-* * extra\nEOF\n\ndepmod -a\ncp debian/openvswitch-switch.init /etc/init.d/openvswitch-switch\n/etc/init.d/openvswitch-switch force-reload-kmod\n</code></pre> <p>\u200b\u82e5\u200b\u4e4b\u524d\u200b\u5df2\u7ecf\u200b\u542f\u52a8\u200b\u8fc7\u200b Kube-OVN\uff0c\u200b\u65e7\u7248\u672c\u200b OVS \u200b\u6a21\u5757\u200b\u5df2\u200b\u52a0\u8f7d\u200b\u81f3\u200b\u5185\u6838\u200b\uff0c\u200b\u5efa\u8bae\u200b\u91cd\u542f\u200b\u673a\u5668\u200b\u91cd\u65b0\u200b\u52a0\u8f7d\u200b\u65b0\u7248\u200b\u5185\u6838\u6a21\u5757\u200b\u3002</p>"},{"location":"advance/performance-tuning/#stt","title":"\u4f7f\u7528\u200b STT \u200b\u7c7b\u578b\u200b\u96a7\u9053","text":"<p>\u200b\u5e38\u89c1\u200b\u7684\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\u4f8b\u5982\u200b Geneve \u200b\u548c\u200b Vxlan \u200b\u4f7f\u7528\u200b UDP \u200b\u534f\u8bae\u200b\u5bf9\u200b\u6570\u636e\u5305\u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u5728\u200b\u5185\u6838\u200b\u4e2d\u6709\u200b\u826f\u597d\u200b\u7684\u200b\u652f\u6301\u200b\u3002\u200b\u4f46\u662f\u200b\u5f53\u200b\u4f7f\u7528\u200b UDP \u200b\u5c01\u88c5\u200b TCP \u200b\u6570\u636e\u5305\u200b\u65f6\u200b\uff0c \u200b\u73b0\u4ee3\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u548c\u200b\u7f51\u5361\u200b\u9488\u5bf9\u200b TCP \u200b\u534f\u8bae\u200b\u7684\u200b\u4f18\u5316\u200b\u548c\u200b offload \u200b\u529f\u80fd\u200b\u5c06\u200b\u65e0\u6cd5\u200b\u987a\u5229\u200b\u5de5\u4f5c\u200b\uff0c\u200b\u5bfc\u81f4\u200b TCP \u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u51fa\u73b0\u200b\u663e\u8457\u200b\u4e0b\u964d\u200b\u3002\u200b\u5728\u200b\u865a\u62df\u5316\u200b\u573a\u666f\u200b\u4e0b\u200b\u7531\u4e8e\u200b CPU \u200b\u7684\u200b\u9650\u5236\u200b\uff0c TCP \u200b\u5927\u5305\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u751a\u81f3\u200b\u53ef\u80fd\u200b\u53ea\u6709\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7684\u200b\u5341\u5206\u4e4b\u4e00\u200b\u3002</p> <p>STT \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u79cd\u200b\u521b\u65b0\u200b\u5f0f\u200b\u7684\u200b\u4f7f\u7528\u200b TCP \u200b\u683c\u5f0f\u200b\u6570\u636e\u5305\u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\u7684\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\uff0c\u200b\u8be5\u200b\u5c01\u88c5\u200b\u53ea\u662f\u200b\u6a21\u62df\u200b\u4e86\u200b TCP \u200b\u534f\u8bae\u200b\u7684\u200b\u5934\u90e8\u200b\u683c\u5f0f\u200b\uff0c\u200b\u5e76\u200b\u6ca1\u6709\u200b\u771f\u6b63\u200b\u5efa\u7acb\u200b TCP \u200b\u8fde\u63a5\u200b\uff0c\u200b\u4f46\u662f\u200b\u53ef\u4ee5\u200b \u200b\u5145\u5206\u5229\u7528\u200b\u73b0\u4ee3\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u548c\u200b\u7f51\u5361\u200b\u7684\u200b TCP \u200b\u4f18\u5316\u200b\u80fd\u529b\u200b\u3002\u200b\u5728\u200b\u6211\u4eec\u200b\u7684\u200b\u6d4b\u8bd5\u200b\u4e2d\u200b TCP \u200b\u5927\u5305\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u80fd\u200b\u6709\u200b\u6570\u500d\u200b\u7684\u200b\u63d0\u5347\u200b\uff0c\u200b\u8fbe\u5230\u200b\u63a5\u8fd1\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u200b\u6c34\u5e73\u200b\u3002</p> <p>STT \u200b\u96a7\u9053\u200b\u5e76\u200b\u6ca1\u6709\u200b\u9884\u200b\u5b89\u88c5\u200b\u5728\u200b\u5185\u6838\u200b\u5185\u200b\uff0c\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u6765\u200b\u5b89\u88c5\u200b\uff0cOVS \u200b\u5185\u6838\u6a21\u5757\u200b\u7684\u200b\u7f16\u8bd1\u200b\u65b9\u6cd5\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u4e0a\u200b\u4e00\u8282\u200b\u3002</p> <p>STT \u200b\u96a7\u9053\u200b\u5f00\u542f\u200b\uff1a</p> <pre><code>kubectl set env daemonset/ovs-ovn -n kube-system TUNNEL_TYPE=stt\n\nkubectl delete pod -n kube-system -lapp=ovs\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/security-group/","title":"SecurityGroup \u200b\u4f7f\u7528","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u4e86\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u914d\u7f6e\u200b\uff0c\u200b\u914d\u7f6e\u200b\u5b89\u5168\u200b\u7ec4\u200b\u4f7f\u7528\u200b\u7684\u200b CRD \u200b\u4e3a\u200b SecurityGroup\u3002</p>"},{"location":"advance/security-group/#_1","title":"\u5b89\u5168\u200b\u7ec4\u200b\u793a\u4f8b","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: SecurityGroup\nmetadata:\n  name: sg-example\nspec:\n  allowSameGroupTraffic: true\n  egressRules:\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: all\n    remoteAddress: 10.16.0.13 # 10.16.0.0/16 \u200b\u914d\u7f6e\u200b\u7f51\u6bb5\u200b\n    remoteType: address\n  ingressRules:\n  - ipVersion: ipv4\n    policy: deny\n    priority: 1\n    protocol: icmp\n    remoteAddress: 10.16.0.14\n    remoteType: address\n</code></pre> <p>\u200b\u5b89\u5168\u200b\u7ec4\u5404\u5b57\u200b\u6bb5\u200b\u7684\u200b\u5177\u4f53\u200b\u542b\u4e49\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u63a5\u53e3\u200b\u89c4\u8303\u200b\u3002</p> <p>Pod \u200b\u901a\u8fc7\u200b\u6dfb\u52a0\u200b annotation \u200b\u6765\u200b\u7ed1\u5b9a\u200b\u5b89\u5168\u200b\u7ec4\u200b\uff0c\u200b\u4f7f\u7528\u200b\u7684\u200b annotation \u200b\u6709\u200b\u4e24\u4e2a\u200b\uff1a</p> <pre><code>    ovn.kubernetes.io/port_security: \"true\"\n    ovn.kubernetes.io/security_groups: sg-example\n</code></pre>"},{"location":"advance/security-group/#_2","title":"\u6ce8\u610f\u4e8b\u9879","text":"<ul> <li> <p>\u200b\u5b89\u5168\u200b\u7ec4\u200b\u6700\u540e\u200b\u662f\u200b\u901a\u8fc7\u200b\u8bbe\u7f6e\u200b ACL \u200b\u89c4\u5219\u200b\u6765\u200b\u9650\u5236\u200b\u8bbf\u95ee\u200b\u7684\u200b\uff0cOVN \u200b\u6587\u6863\u200b\u4e2d\u200b\u63d0\u5230\u200b\uff0c\u200b\u5982\u679c\u200b\u5339\u914d\u200b\u5230\u200b\u7684\u200b\u4e24\u4e2a\u200b ACL \u200b\u89c4\u5219\u200b\u62e5\u6709\u200b\u76f8\u540c\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u5b9e\u9645\u200b\u8d77\u200b\u4f5c\u7528\u200b\u7684\u200b\u662f\u200b\u54ea\u4e2a\u200b ACL \u200b\u662f\u200b\u4e0d\u200b\u786e\u5b9a\u200b\u7684\u200b\u3002\u200b\u56e0\u6b64\u200b\u8bbe\u7f6e\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u533a\u5206\u200b\u4f18\u5148\u7ea7\u200b\u3002</p> </li> <li> <p>\u200b\u5f53\u200b\u6dfb\u52a0\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u8981\u200b\u6e05\u695a\u200b\u7684\u200b\u77e5\u9053\u200b\u662f\u200b\u5728\u200b\u6dfb\u52a0\u200b\u4ec0\u4e48\u200b\u9650\u5236\u200b\u3002Kube-OVN \u200b\u4f5c\u4e3a\u200b CNI\uff0c\u200b\u521b\u5efa\u200b Pod \u200b\u540e\u200b\u4f1a\u200b\u8fdb\u884c\u200b Pod \u200b\u5230\u200b\u7f51\u5173\u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u5982\u679c\u200b\u8bbf\u95ee\u200b\u4e0d\u901a\u200b\u7f51\u5173\u200b\uff0c\u200b\u5c31\u200b\u4f1a\u200b\u5bfc\u81f4\u200b Pod \u200b\u4e00\u76f4\u200b\u5904\u4e8e\u200b ContainerCreating \u200b\u72b6\u6001\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u987a\u5229\u200b\u5207\u6362\u200b\u5230\u200b Running \u200b\u72b6\u6001\u200b\u3002</p> </li> </ul>"},{"location":"advance/security-group/#_3","title":"\u5b9e\u9645\u200b\u6d4b\u8bd5","text":"<p>\u200b\u5229\u7528\u200b\u4ee5\u4e0b\u200b yaml \u200b\u521b\u5efa\u200b Pod\uff0c\u200b\u5728\u200b annotation \u200b\u4e2d\u200b\u6307\u5b9a\u200b\u7ed1\u5b9a\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u7684\u200b\u5b89\u5168\u200b\u7ec4\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  labels:\n    app: static\n  annotations:\n    ovn.kubernetes.io/port_security: 'true'\n    ovn.kubernetes.io/security_groups: 'sg-example'\n  name: sg-test-pod\n  namespace: default\nspec:\n  nodeName: kube-ovn-worker\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>\u200b\u5b9e\u9645\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u663e\u793a\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># kubectl get pod -o wide\nNAME                   READY   STATUS              RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES\nsg-test-pod            0/1     ContainerCreating   0          5h32m   &lt;none&gt;       kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\ntest-99fff7f86-52h9r   1/1     Running             0          5h41m   10.16.0.14   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\ntest-99fff7f86-qcgjw   1/1     Running             0          5h43m   10.16.0.13   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>\u200b\u6267\u884c\u200b kubectl describe pod \u200b\u67e5\u770b\u200b Pod \u200b\u7684\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u62a5\u9519\u200b\u63d0\u793a\u200b\uff1a</p> <pre><code># kubectl describe pod sg-test-pod\nName:         sg-test-pod\nNamespace:    default\nPriority:     0\nNode:         kube-ovn-worker/172.18.0.2\nStart Time:   Tue, 28 Feb 2023 10:29:36 +0800\nLabels:       app=static\nAnnotations:  ovn.kubernetes.io/allocated: true\n              ovn.kubernetes.io/cidr: 10.16.0.0/16\n              ovn.kubernetes.io/gateway: 10.16.0.1\n              ovn.kubernetes.io/ip_address: 10.16.0.15\n              ovn.kubernetes.io/logical_router: ovn-cluster\n              ovn.kubernetes.io/logical_switch: ovn-default\n              ovn.kubernetes.io/mac_address: 00:00:00:FA:17:97\n              ovn.kubernetes.io/pod_nic_type: veth-pair\n              ovn.kubernetes.io/port_security: true\n              ovn.kubernetes.io/routed: true\n              ovn.kubernetes.io/security_groups: sg-allow-reject\nStatus:       Pending\nIP:\nIPs:          &lt;none&gt;\n\u00b7\n\u00b7\n\u00b7\nEvents:\n  Type     Reason                  Age                    From     Message\n  ----     ------                  ----                   ----     -------\n  Warning  FailedCreatePodSandBox  5m3s (x70 over 4h59m)  kubelet  (combined from similar events): Failed to create pod sandbox: rpc error: code = Unknown desc = failed to setup network for sandbox \"40636e0c7f1ade5500fa958486163d74f2e2300051a71522a9afd7ba0538afb6\": plugin type=\"kube-ovn\" failed (add): RPC failed; request ip return 500 configure nic failed 10.16.0.15 network not ready after 200 ping 10.16.0.1\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u89c4\u5219\u200b\uff0c\u200b\u6dfb\u52a0\u200b\u5230\u200b\u7f51\u5173\u200b\u7684\u200b\u8bbf\u95ee\u200b\u89c4\u5219\u200b\uff0c\u200b\u53c2\u8003\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SecurityGroup\nmetadata:\n  name: sg-gw-both\nspec:\n  allowSameGroupTraffic: true\n  egressRules:\n  - ipVersion: ipv4\n    policy: allow\n    priority: 2\n    protocol: all\n    remoteAddress: 10.16.0.13\n    remoteType: address\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: all\n    remoteAddress: 10.16.0.1\n    remoteType: address\n  ingressRules:\n  - ipVersion: ipv4\n    policy: deny\n    priority: 2\n    protocol: icmp\n    remoteAddress: 10.16.0.14\n    remoteType: address\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: icmp\n    remoteAddress: 10.16.0.1\n    remoteType: address\n</code></pre> <p>\u200b\u5206\u522b\u200b\u5728\u200b\u5165\u200b\u65b9\u5411\u200b\u548c\u200b\u51fa\u200b\u65b9\u5411\u200b\u89c4\u5219\u200b\u4e2d\u200b\uff0c\u200b\u6dfb\u52a0\u200b\u5141\u8bb8\u200b\u5230\u200b\u7f51\u5173\u200b\u7684\u200b\u8bbf\u95ee\u200b\u89c4\u5219\u200b\uff0c\u200b\u5e76\u4e14\u200b\u8bbe\u7f6e\u200b\u8be5\u200b\u89c4\u5219\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\u6700\u9ad8\u200b\u3002</p> <p>\u200b\u5229\u7528\u200b\u4ee5\u4e0b\u200b yaml \u200b\u7ed1\u5b9a\u200b\u5b89\u5168\u200b\u7ec4\u200b\uff0c\u200b\u90e8\u7f72\u200b Pod \u200b\u540e\u200b\uff0c\u200b\u786e\u8ba4\u200b Pod \u200b\u53ef\u4ee5\u200b\u6b63\u5e38\u200b\u8fd0\u884c\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  labels:\n    app: static\n  annotations:\n    ovn.kubernetes.io/port_security: 'true'\n    ovn.kubernetes.io/security_groups: 'sg-gw-both'\n  name: sg-gw-both\n  namespace: default\nspec:\n  nodeName: kube-ovn-worker\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>\u200b\u90e8\u7f72\u200b\u540e\u200b\u67e5\u770b\u200b Pod \u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get pod -o wide\nNAME                   READY   STATUS              RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES\nsg-test-pod            0/1     ContainerCreating   0          5h41m   &lt;none&gt;       kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\nsg-gw-both             1/1     Running             0          5h37m   10.16.0.19   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>\u200b\u56e0\u6b64\u200b\u5bf9\u4e8e\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u4f7f\u7528\u200b\uff0c\u200b\u8981\u200b\u7279\u522b\u200b\u660e\u786e\u200b\u6dfb\u52a0\u200b\u7684\u200b\u9650\u5236\u200b\u89c4\u5219\u200b\u7684\u200b\u4f5c\u7528\u200b\u3002\u200b\u5982\u679c\u200b\u5355\u7eaf\u200b\u662f\u200b\u9650\u5236\u200b\u6d41\u91cf\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u8003\u8651\u200b\u4f7f\u7528\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u5b9e\u73b0\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/vip/","title":"VIP \u200b\u9884\u7559\u200b IP","text":"<p>VIP \u200b\u5373\u200b\u865a\u62df\u200b IP\uff0c \u200b\u7528\u4e8e\u200b\u9884\u7559\u200b IP \u200b\u8d44\u6e90\u200b\u3002\u200b\u4e4b\u6240\u4ee5\u200b\u8bbe\u8ba1\u200b VIP \u200b\u662f\u56e0\u4e3a\u200b kube-ovn \u200b\u7684\u200b IP \u200b\u548c\u200b POD \u200b\u5728\u200b\u547d\u540d\u200b\u4e0a\u200b\u76f4\u63a5\u200b\u5173\u8054\u200b\uff0c\u200b\u6240\u4ee5\u200b\u65e0\u6cd5\u200b\u57fa\u4e8e\u200b IP \u200b\u5b9e\u73b0\u200b\u76f4\u63a5\u200b\u5b9e\u73b0\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u529f\u80fd\u200b\u3002 VIP \u200b\u8bbe\u8ba1\u200b\u4e4b\u521d\u200b\u53c2\u8003\u200b\u4e86\u200b Openstack neutron Allowed-Address-Pairs\uff08AAP\uff09 \u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u7528\u4e8e\u200b Openstack octavia \u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u9879\u76ee\u200b\u3002 \u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u7528\u4e8e\u200b\u63d0\u4f9b\u200b\u865a\u62df\u673a\u200b\u5185\u90e8\u200b\u7684\u200b\u5e94\u7528\u200b\uff08POD\uff09IP\uff0c\u200b\u8fd9\u70b9\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b aliyun terway \u200b\u9879\u76ee\u200b\u3002 \u200b\u53e6\u5916\u200b\uff0c\u200b\u7531\u4e8e\u200b neutron \u200b\u6709\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u6240\u4ee5\u200b\u5bf9\u200b VIP \u200b\u8fdb\u884c\u200b\u4e86\u200b\u4e00\u5b9a\u200b\u6269\u5c55\u200b\uff0c\u200b\u4f7f\u5f97\u200b VIP \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u7528\u4e8e\u200b\u4e3a\u200b POD \u200b\u9884\u7559\u200b IP\uff0c\u200b\u4f46\u200b\u7531\u4e8e\u200b\u8fd9\u79cd\u200b\u8bbe\u8ba1\u200b\u4f1a\u200b\u5bfc\u81f4\u200b VIP \u200b\u548c\u200b IP \u200b\u7684\u200b\u529f\u80fd\u200b\u53d8\u5f97\u200b\u6a21\u7cca\u200b\uff0c\u200b\u5728\u200b\u5b9e\u73b0\u200b\u4e0a\u200b\u5e76\u200b\u4e0d\u662f\u200b\u4e00\u4e2a\u200b\u4f18\u96c5\u200b\u7684\u200b\u65b9\u5f0f\u200b\uff0c\u200b\u6240\u4ee5\u200b\u4e0d\u200b\u63a8\u8350\u200b\u5728\u200b\u751f\u4ea7\u200b\u4f7f\u7528\u200b\u3002 \u200b\u800c\u4e14\u200b\uff0c \u200b\u7531\u4e8e\u200b OVN \u200b\u7684\u200b Switch LB \u200b\u53ef\u4ee5\u200b\u63d0\u4f9b\u200b\u4e00\u79cd\u200b\u4ee5\u200b\u5b50\u7f51\u200b\u5185\u90e8\u200b IP \u200b\u4e3a\u200b LB \u200b\u524d\u7aef\u200b VIP \u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u6240\u4ee5\u200b\u53c8\u200b\u5bf9\u200b VIP \u200b\u5728\u200b\u5b50\u7f51\u200b\u5185\u200b\u4f7f\u7528\u200b OVN Switch LB Rule \u200b\u573a\u666f\u200b\u8fdb\u884c\u200b\u4e86\u200b\u6269\u5c55\u200b\u3002 \u200b\u603b\u4e4b\u200b\uff0c\u200b\u76ee\u524d\u200b VIP \u200b\u5728\u200b\u8bbe\u8ba1\u200b\u4e0a\u200b\u53ea\u6709\u200b\u4e09\u79cd\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\uff1a</p> <ul> <li>Allowed-Address-Pairs VIP</li> <li>Switch LB rule VIP</li> <li>Pod \u200b\u4f7f\u7528\u200b VIP \u200b\u6765\u200b\u56fa\u5b9a\u200b IP</li> </ul>"},{"location":"advance/vip/#1-allowed-address-pairs-vip","title":"1. Allowed-Address-Pairs VIP","text":"<p>\u200b\u5728\u200b\u8be5\u200b\u573a\u666f\u200b\u4e0b\u200b\u6211\u4eec\u200b\u5e0c\u671b\u200b\u52a8\u6001\u200b\u7684\u200b\u9884\u7559\u200b\u4e00\u90e8\u5206\u200b IP \u200b\u4f46\u662f\u200b\u5e76\u200b\u4e0d\u200b\u5206\u914d\u200b\u7ed9\u200b Pod \u200b\u800c\u662f\u200b\u5206\u914d\u200b\u7ed9\u200b\u5176\u4ed6\u200b\u7684\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u542f\u7528\u200b\uff0c\u200b\u4f8b\u5982\u200b\uff1a</p> <ul> <li>Kubernetes \u200b\u5d4c\u5957\u200b Kubernetes \u200b\u7684\u200b\u573a\u666f\u200b\u4e2d\u4e0a\u5c42\u200b Kubernetes \u200b\u4f7f\u7528\u200b Underlay \u200b\u7f51\u7edc\u200b\u4f1a\u200b\u5360\u7528\u200b\u5e95\u5c42\u200b Subnet \u200b\u53ef\u7528\u200b\u5730\u5740\u200b\u3002</li> <li>LB \u200b\u6216\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u4e00\u4e2a\u200b Subnet \u200b\u5185\u200b\u7684\u200b IP\uff0c\u200b\u4f46\u200b\u4e0d\u4f1a\u200b\u5355\u72ec\u200b\u8d77\u200b Pod\u3002</li> </ul> <p>\u200b\u6b64\u5916\u200b\uff0cVIP \u200b\u8fd8\u200b\u53ef\u4ee5\u200b\u4e3a\u200b Allowed-Address-Pairs \u200b\u9884\u7559\u200b IP \u200b\u7528\u6765\u200b\u652f\u6301\u200b\u5355\u4e2a\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b\u591a\u4e2a\u200b IP \u200b\u7684\u200b\u573a\u666f\u200b\uff0c\u200b\u4f8b\u5982\u200b\uff1a</p> <ul> <li>Keepalived \u200b\u901a\u8fc7\u200b\u914d\u7f6e\u200b\u989d\u5916\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u5bf9\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u5b9e\u73b0\u200b\u5feb\u901f\u200b\u6545\u969c\u200b\u5207\u6362\u200b\u548c\u200b\u7075\u6d3b\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u67b6\u6784\u200b</li> </ul>"},{"location":"advance/vip/#11-vip","title":"1.1 \u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u5730\u5740\u200b VIP","text":"<p>\u200b\u5982\u679c\u200b\u53ea\u662f\u200b\u4e3a\u4e86\u200b\u9884\u7559\u200b\u82e5\u5e72\u200b IP \u200b\u800c\u200b\u5bf9\u200b IP \u200b\u5730\u5740\u200b\u672c\u8eab\u200b\u6ca1\u6709\u200b\u8981\u6c42\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u521b\u5efa\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: vip-dynamic-01\nspec:\n  subnet: ovn-default\n  type: \"\"\n</code></pre> <ul> <li><code>subnet</code>: \u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b Subnet \u200b\u4e2d\u200b\u9884\u7559\u200b IP\u3002</li> <li><code>type</code>: \u200b\u76ee\u524d\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u7c7b\u578b\u200b\uff0c\u200b\u4e3a\u7a7a\u200b\u8868\u793a\u200b\u4ec5\u200b\u7528\u4e8e\u200b ipam ip \u200b\u5360\u4f4d\u200b\uff0c<code>switch_lb_vip</code> \u200b\u8868\u793a\u200b\u8be5\u200b vip \u200b\u4ec5\u200b\u7528\u4e8e\u200b switch lb \u200b\u524d\u7aef\u200b vip \u200b\u548c\u200b\u540e\u200b\u7aef\u200b ip \u200b\u9700\u200b\u5904\u4e8e\u200b\u540c\u4e00\u200b\u5b50\u7f51\u200b\u3002</li> </ul> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b VIP\uff1a</p> <pre><code># kubectl get vip\nNAME             V4IP         PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET        READY\nvip-dynamic-01   10.16.0.12           00:00:00:F0:DB:25                         ovn-default   true\n</code></pre> <p>\u200b\u53ef\u89c1\u200b\u8be5\u200b VIP \u200b\u88ab\u200b\u5206\u914d\u200b\u4e86\u200b <code>10.16.0.12</code> \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u53ef\u4ee5\u200b\u4e4b\u540e\u200b\u4f9b\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u4f7f\u7528\u200b\u3002</p>"},{"location":"advance/vip/#12-vip","title":"1.2 \u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b VIP","text":"<p>\u200b\u5982\u5bf9\u200b\u9884\u7559\u200b\u7684\u200b VIP \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u6709\u200b\u9700\u6c42\u200b\u53ef\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u56fa\u5b9a\u200b\u5206\u914d\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: static-vip01\nspec:\n  subnet: ovn-default \n  v4ip: \"10.16.0.121\"\n</code></pre> <ul> <li><code>subnet</code>: \u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b Subnet \u200b\u4e2d\u200b\u9884\u7559\u200b IP\u3002</li> <li><code>v4ip</code>: \u200b\u56fa\u5b9a\u200b\u5206\u914d\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u9700\u5728\u200b <code>subnet</code> \u200b\u7684\u200b CIDR \u200b\u8303\u56f4\u200b\u5185\u200b\u3002</li> </ul> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b VIP\uff1a</p> <pre><code># kubectl get vip\nNAME             V4IP         PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET        READY\nstatic-vip01   10.16.0.121           00:00:00:F0:DB:26                         ovn-default   true\n</code></pre> <p>\u200b\u53ef\u89c1\u200b\u8be5\u200b VIP \u200b\u88ab\u200b\u5206\u914d\u200b\u4e86\u200b\u6240\u200b\u9884\u671f\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</p>"},{"location":"advance/vip/#13-pod-vip-aap","title":"1.3 Pod \u200b\u4f7f\u7528\u200b VIP \u200b\u5f00\u542f\u200b AAP","text":"<p>Pod \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b annotation \u200b\u6307\u5b9a\u200b VIP \u200b\u5f00\u542f\u200b AAP \u200b\u529f\u80fd\u200b\uff0clabels \u200b\u9700\u8981\u200b\u6ee1\u8db3\u200b VIP \u200b\u4e2d\u200b\u8282\u70b9\u200b\u9009\u62e9\u5668\u200b\u7684\u200b\u6761\u4ef6\u200b\u3002</p> <p>Pod annotation \u200b\u652f\u6301\u200b\u6307\u5b9a\u200b\u591a\u4e2a\u200b VIP\uff0c\u200b\u914d\u7f6e\u200b\u683c\u5f0f\u200b\u4e3a\u200b\uff1aovn.kubernetes.io/aaps: vip-aap,vip-aap2,vip-aap3</p> <p>AAP \u200b\u529f\u80fd\u200b\u652f\u6301\u200b\u591a\u200b\u7f51\u5361\u200b\u573a\u666f\u200b\uff0c\u200b\u82e5\u200b Pod \u200b\u914d\u7f6e\u200b\u4e86\u200b\u591a\u200b\u7f51\u5361\u200b\uff0cAAP \u200b\u4f1a\u200b\u5bf9\u200b Pod \u200b\u4e2d\u200b\u548c\u200b VIP \u200b\u540c\u4e00\u200b subnet \u200b\u7684\u200b\u5bf9\u5e94\u200b Port \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b</p>"},{"location":"advance/vip/#131-vip-aap","title":"1.3.1 \u200b\u521b\u5efa\u200b VIP \u200b\u652f\u6301\u200b AAP","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: vip-aap\nspec:\n  subnet: ovn-default\n  namespace: default\n  selector:\n    - \"app: aap1\"\n</code></pre> <p>VIP \u200b\u540c\u6837\u200b\u652f\u6301\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u548c\u200b\u968f\u673a\u200b\u5730\u5740\u200b\u7684\u200b\u5206\u914d\u200b\uff0c\u200b\u5206\u914d\u200b\u65b9\u5f0f\u200b\u5982\u4e0a\u200b\u6587\u200b\u6240\u8ff0\u200b\u3002</p> <ul> <li><code>namespace</code>: AAP \u200b\u573a\u666f\u200b\u4e0b\u200b\uff0cVIP \u200b\u9700\u663e\u5f0f\u200b\u5730\u200b\u6307\u5b9a\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\uff0cVIP \u200b\u4ec5\u200b\u5141\u8bb8\u200b\u76f8\u540c\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u7684\u200b\u8d44\u6e90\u200b\u5f00\u542f\u200b AAP \u200b\u529f\u80fd\u200b\u3002</li> <li><code>selector</code>: AAP \u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u7528\u4e8e\u200b\u9009\u62e9\u200b VIP \u200b\u6240\u200b\u9644\u5c5e\u200b\u7684\u200b Pod \u200b\u7684\u200b\u8282\u70b9\u200b\u9009\u62e9\u5668\u200b\uff0c\u200b\u683c\u5f0f\u200b\u548c\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b NodeSelector \u200b\u683c\u5f0f\u200b\u76f8\u540c\u200b\u3002</li> </ul> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b VIP \u200b\u5bf9\u5e94\u200b\u7684\u200b Port\uff1a</p> <pre><code># kubectl ko nbctl show ovn-default\nswitch e32e1d3b-c539-45f4-ab19-be4e33a061f6 (ovn-default)\n    port aap-vip\n        type: virtual\n</code></pre> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: busybox\n  annotations:\n    ovn.kubernetes.io/aaps: vip-aap\n  labels:\n    app: aap1\nspec:\n  containers:\n    - name: busybox\n      image: busybox\n      command: [\"sleep\", \"3600\"]\n      securityContext: \n        capabilities:\n          add:\n            - NET_ADMIN\n</code></pre> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b AAP \u200b\u5bf9\u5e94\u200b\u7684\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code># kubectl ko nbctl list logical_switch_port aap-vip\n_uuid               : cd930750-0533-4f06-a6c0-217ddac73272\naddresses           : []\ndhcpv4_options      : []\ndhcpv6_options      : []\ndynamic_addresses   : []\nenabled             : []\nexternal_ids        : {ls=ovn-default, vendor=kube-ovn}\nha_chassis_group    : []\nmirror_rules        : []\nname                : aap-vip\noptions             : {virtual-ip=\"10.16.0.100\", virtual-parents=\"busybox.default\"}\nparent_name         : []\nport_security       : []\ntag                 : []\ntag_request         : []\ntype                : virtual\nup                  : false\n</code></pre> <p>virtual-ip \u200b\u88ab\u200b\u914d\u7f6e\u200b\u4e3a\u200b VIP \u200b\u9884\u7559\u200b\u7684\u200b IP\uff0cvirtual-parents \u200b\u914d\u7f6e\u200b\u4e3a\u200b\u5f00\u542f\u200b AAP \u200b\u529f\u80fd\u200b\u7684\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b Port\u3002</p> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code># kubectl exec -it busybox -- ip addr add 10.16.0.100/16 dev eth0\n# kubectl exec -it busybox01 -- ip addr show eth0\n35: eth0@if36: &lt;BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN&gt; mtu 1400 qdisc noqueue \n    link/ether 00:00:00:e2:ab:0c brd ff:ff:ff:ff:ff:ff\n    inet 10.16.0.7/16 brd 10.16.255.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet 10.16.0.100/16 scope global secondary eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fee2:ab0c/64 scope link \n       valid_lft forever preferred_lft forever\n</code></pre> <p>\u200b\u9664\u200b Pod \u200b\u521b\u5efa\u200b\u65f6\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u7684\u200b IP\uff0cVIP \u200b\u7684\u200b IP \u200b\u4e5f\u200b\u88ab\u200b\u6210\u529f\u200b\u7ed1\u5b9a\u200b\uff0c\u200b\u5e76\u4e14\u200b\u5f53\u524d\u200b subnet \u200b\u5185\u200b\u7684\u200b\u5176\u5b83\u200b Pod \u200b\u80fd\u200b\u548c\u200b\u8fd9\u200b\u4e24\u4e2a\u200b IP \u200b\u8fdb\u884c\u200b\u901a\u4fe1\u200b\u3002</p>"},{"location":"advance/vip/#2-switch-lb-rule-vip","title":"2. Switch LB rule vip","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: slr-01\nspec:\n  subnet: ovn-default\n  type: switch_lb_vip\n</code></pre> <ul> <li><code>subnet</code>: \u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b Subnet \u200b\u4e2d\u200b\u9884\u7559\u200b IP\u3002</li> <li><code>type</code>: \u200b\u76ee\u524d\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u7c7b\u578b\u200b\uff0c\u200b\u4e3a\u7a7a\u200b\u8868\u793a\u200b\u4ec5\u200b\u7528\u4e8e\u200b ipam ip \u200b\u5360\u4f4d\u200b\uff0c<code>switch_lb_vip</code> \u200b\u8868\u793a\u200b\u8be5\u200b vip \u200b\u4ec5\u200b\u7528\u4e8e\u200b switch lb \u200b\u524d\u7aef\u200b vip \u200b\u548c\u200b\u540e\u200b\u7aef\u200b ip \u200b\u9700\u200b\u5904\u4e8e\u200b\u540c\u4e00\u200b\u5b50\u7f51\u200b\u3002</li> </ul>"},{"location":"advance/vip/#3-pod-vip-ip","title":"3. Pod \u200b\u4f7f\u7528\u200b VIP \u200b\u6765\u200b\u56fa\u5b9a\u200b IP","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4ece\u200b v1.12 \u200b\u5f00\u59cb\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u8be5\u200b\u529f\u80fd\u200b\u548c\u200b IP \u200b\u529f\u80fd\u200b\u754c\u9650\u200b\u4e0d\u200b\u6e05\u6670\u200b\uff0c\u200b\u4e0d\u200b\u63a8\u8350\u200b\u5728\u200b\u751f\u4ea7\u200b\u4f7f\u7528\u200b</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: pod-use-vip\nspec:\n  subnet: ovn-default\n  type: \"\"\n</code></pre> <p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b annotation \u200b\u5c06\u200b\u67d0\u4e2a\u200b VIP \u200b\u5206\u914d\u200b\u7ed9\u200b\u4e00\u4e2a\u200b Pod\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: static-ip\n  annotations:\n    ovn.kubernetes.io/vip: pod-use-vip # \u200b\u6307\u5b9a\u200b vip\n  namespace: default\nspec:\n  containers:\n    - name: static-ip\n      image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"advance/vip/#31-statefulset-kubevirt-vm-vip","title":"3.1 StatefulSet \u200b\u548c\u200b Kubevirt VM \u200b\u4fdd\u7559\u200b VIP","text":"<p>\u200b\u9488\u5bf9\u200b <code>StatefulSet</code> \u200b\u548c\u200b <code>VM</code> \u200b\u7684\u200b\u7279\u6b8a\u6027\u200b\uff0c\u200b\u5728\u200b\u4ed6\u4eec\u200b\u7684\u200b Pod \u200b\u9500\u6bc1\u200b\u518d\u62c9\u8d77\u200b\u8d77\u540e\u200b\u4f1a\u200b\u91cd\u65b0\u200b\u4f7f\u7528\u200b\u4e4b\u524d\u200b\u8bbe\u7f6e\u200b\u7684\u200b VIP\u3002</p> <p>VM \u200b\u4fdd\u7559\u200b VIP \u200b\u9700\u8981\u200b\u786e\u4fdd\u200b <code>kube-ovn-controller</code> \u200b\u7684\u200b <code>keep-vm-ip</code> \u200b\u53c2\u6570\u200b\u4e3a\u200b <code>true</code>\u3002\u200b\u8bf7\u200b\u53c2\u8003\u200b Kubevirt VM \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u5f00\u542f\u200b\u8bbe\u7f6e\u200b</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/vpc-internal-dns/","title":"\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b DNS","text":"<p>\u200b\u7531\u4e8e\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u548c\u200b \u200b\u9ed8\u8ba4\u200b VPC \u200b\u7f51\u7edc\u200b\u76f8\u4e92\u200b\u9694\u79bb\u200b\uff0c\u200b\u81ea\u200b\u5b9a\u200b VPC \u200b\u5185\u200b\u65e0\u6cd5\u8bbf\u95ee\u200b\u5230\u200b\u90e8\u7f72\u200b\u5728\u200b\u9ed8\u8ba4\u200b VPC \u200b\u5185\u200b\u7684\u200b coredns\u3002 \u200b\u5982\u679c\u200b\u7528\u6237\u200b\u5e0c\u671b\u200b\u5728\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u4f7f\u7528\u200b Kubernetes \u200b\u63d0\u4f9b\u200b\u7684\u200b\u96c6\u7fa4\u200b\u5185\u200b\u57df\u540d\u89e3\u6790\u200b\u80fd\u529b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u672c\u200b\u6587\u6863\u200b\uff0c\u200b\u5229\u7528\u200b <code>vpc-dns</code> CRD \u200b\u6765\u200b\u5b9e\u73b0\u200b\u3002</p> <p>\u200b\u8be5\u200b CRD \u200b\u6700\u7ec8\u200b\u4f1a\u200b\u90e8\u7f72\u200b\u4e00\u4e2a\u200b coredns\uff0c\u200b\u8be5\u200b Pod \u200b\u6709\u200b\u4e24\u4e2a\u200b\u7f51\u5361\u200b\uff0c\u200b\u4e00\u4e2a\u200b\u7f51\u5361\u200b\u5728\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC\uff0c\u200b\u53e6\u200b\u4e00\u4e2a\u200b\u7f51\u5361\u200b\u5728\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4ece\u800c\u200b\u5b9e\u73b0\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\uff0c\u200b\u540c\u65f6\u200b\u901a\u8fc7\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u63d0\u4f9b\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u3002</p>"},{"location":"advance/vpc-internal-dns/#vpc-dns_1","title":"\u90e8\u7f72\u200b vpc-dns \u200b\u6240\u200b\u4f9d\u8d56\u200b\u7684\u200b\u8d44\u6e90","text":"<pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: system:vpc-dns\nrules:\n  - apiGroups:\n    - \"\"\n    resources:\n    - endpoints\n    - services\n    - pods\n    - namespaces\n    verbs:\n    - list\n    - watch\n  - apiGroups:\n    - discovery.k8s.io\n    resources:\n    - endpointslices\n    verbs:\n    - list\n    - watch\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  annotations:\n    rbac.authorization.kubernetes.io/autoupdate: \"true\"\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: vpc-dns\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: system:vpc-dns\nsubjects:\n- kind: ServiceAccount\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-corefile\n  namespace: kube-system\ndata:\n  Corefile: |\n    .:53 {\n        errors\n        health {\n          lameduck 5s\n        }\n        ready\n        kubernetes cluster.local in-addr.arpa ip6.arpa {\n          pods insecure\n          fallthrough in-addr.arpa ip6.arpa\n        }\n        prometheus :9153\n        forward . /etc/resolv.conf {\n          prefer_udp\n        }\n        cache 30\n        loop\n        reload\n        loadbalance\n    }\n</code></pre> <p>\u200b\u9664\u4e86\u200b\u4ee5\u4e0a\u200b\u8d44\u6e90\u200b\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u8fd8\u200b\u4f9d\u8d56\u200b nat-gw-pod \u200b\u955c\u50cf\u200b\u8fdb\u884c\u200b\u8def\u7531\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"advance/vpc-internal-dns/#_1","title":"\u914d\u7f6e\u200b\u9644\u52a0\u200b\u7f51\u5361","text":"<pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-nad\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"ovn-nad.default.ovn\"\n    }'\n</code></pre>"},{"location":"advance/vpc-internal-dns/#vpc-dns-configmap","title":"\u914d\u7f6e\u200b vpc-dns \u200b\u7684\u200b Configmap","text":"<p>\u200b\u5728\u200b kube-system \u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u4e0b\u200b\u521b\u5efa\u200b configmap\uff0c\u200b\u914d\u7f6e\u200b vpc-dns \u200b\u4f7f\u7528\u200b\u53c2\u6570\u200b\uff0c\u200b\u7528\u4e8e\u200b\u540e\u9762\u200b\u542f\u52a8\u200b vpc-dns \u200b\u529f\u80fd\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-config\n  namespace: kube-system\ndata:\n  coredns-vip: 10.96.0.3\n  enable-vpc-dns: \"true\"\n  nad-name: ovn-nad\n  nad-provider: ovn-nad.default.ovn\n</code></pre> <ul> <li><code>enable-vpc-dns</code>\uff1a\u200b\u662f\u5426\u200b\u542f\u7528\u200b\u529f\u80fd\u200b\uff0c\u200b\u9ed8\u8ba4\u200b <code>true</code>\u3002</li> <li><code>coredns-image</code>\uff1adns \u200b\u90e8\u7f72\u200b\u955c\u50cf\u200b\u3002\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b coredns \u200b\u90e8\u7f72\u200b\u7248\u672c\u200b\u3002</li> <li><code>coredns-vip</code>\uff1a\u200b\u4e3a\u200b coredns \u200b\u63d0\u4f9b\u200b lb \u200b\u670d\u52a1\u200b\u7684\u200b vip\u3002</li> <li><code>coredns-template</code>\uff1acoredns \u200b\u90e8\u7f72\u200b\u6a21\u677f\u200b\u6240\u5728\u200b\u7684\u200b URL\u3002\u200b\u9ed8\u8ba4\u200b\u83b7\u53d6\u200b\u5f53\u524d\u200b\u7248\u672c\u200b ovn \u200b\u76ee\u5f55\u200b\u4e0b\u200b <code>coredns-template.yaml</code> \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>https://raw.githubusercontent.com/kubeovn/kube-ovn/\u200b\u5f53\u524d\u200b\u7248\u672c\u200b/yamls/coredns-template.yaml</code> \u3002</li> <li><code>nad-name</code>\uff1a\u200b\u914d\u7f6e\u200b\u7684\u200b <code>network-attachment-definitions</code> \u200b\u8d44\u6e90\u200b\u540d\u79f0\u200b\u3002</li> <li><code>nad-provider</code>\uff1a\u200b\u4f7f\u7528\u200b\u7684\u200b provider \u200b\u540d\u79f0\u200b\u3002</li> <li><code>k8s-service-host</code>\uff1a\u200b\u7528\u4e8e\u200b coredns \u200b\u8bbf\u95ee\u200b k8s apiserver \u200b\u670d\u52a1\u200b\u7684\u200b ip\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u5185\u200b apiserver \u200b\u5730\u5740\u200b\u3002</li> <li><code>k8s-service-port</code>\uff1a\u200b\u7528\u4e8e\u200b coredns \u200b\u8bbf\u95ee\u200b k8s apiserver \u200b\u670d\u52a1\u200b\u7684\u200b port\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u5185\u200b apiserver \u200b\u7aef\u53e3\u200b\u3002</li> </ul>"},{"location":"advance/vpc-internal-dns/#vpc-dns_2","title":"\u90e8\u7f72\u200b vpc-dns","text":"<p>\u200b\u914d\u7f6e\u200b vpc-dns yaml\uff1a</p> <pre><code>kind: VpcDns\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-cjh1\nspec:\n  vpc: cjh-vpc-1\n  subnet: cjh-subnet-1\n  replicas: 2\n</code></pre> <ul> <li><code>vpc</code> \uff1a \u200b\u7528\u4e8e\u200b\u90e8\u7f72\u200b dns \u200b\u7ec4\u4ef6\u200b\u7684\u200b vpc \u200b\u540d\u79f0\u200b\u3002</li> <li><code>subnet</code>\uff1a\u200b\u7528\u4e8e\u200b\u90e8\u7f72\u200b dns \u200b\u7ec4\u4ef6\u200b\u7684\u200b\u5b50\u200b\u540d\u79f0\u200b\u3002</li> <li><code>replicas</code>: vpc dns deployment replicas</li> </ul> <p>\u200b\u67e5\u770b\u200b\u90e8\u7f72\u200b\u8d44\u6e90\u200b\u7684\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get vpc-dns\nNAME        ACTIVE   VPC         SUBNET   \ntest-cjh1   false    cjh-vpc-1   cjh-subnet-1   \ntest-cjh2   true     cjh-vpc-1   cjh-subnet-2 \n</code></pre> <p><code>ACTIVE</code> : <code>true</code> \u200b\u90e8\u7f72\u200b\u4e86\u200b\u81ea\u5b9a\u4e49\u200b dns \u200b\u7ec4\u4ef6\u200b\uff0c<code>false</code> \u200b\u65e0\u200b\u90e8\u7f72\u200b\u3002</p> <p>\u200b\u9650\u5236\u200b\uff1a\u200b\u4e00\u4e2a\u200b VPC \u200b\u4e0b\u200b\u53ea\u4f1a\u200b\u90e8\u7f72\u200b\u4e00\u4e2a\u200b\u81ea\u5b9a\u4e49\u200b dns \u200b\u7ec4\u4ef6\u200b;</p> <ul> <li>\u200b\u5f53\u200b\u4e00\u4e2a\u200b VPC \u200b\u4e0b\u200b\u914d\u7f6e\u200b\u591a\u4e2a\u200b vpc-dns \u200b\u8d44\u6e90\u200b\uff08\u200b\u5373\u200b\u540c\u4e00\u4e2a\u200b VPC \u200b\u4e0d\u540c\u200b\u7684\u200b subnet\uff09\uff0c\u200b\u53ea\u6709\u200b\u4e00\u4e2a\u200b vpc-dns \u200b\u8d44\u6e90\u200b\u72b6\u6001\u200b <code>true</code>\uff0c\u200b\u5176\u4ed6\u200b\u4e3a\u200b <code>fasle</code>;</li> <li>\u200b\u5f53\u200b <code>true</code> \u200b\u7684\u200b vpc-dns \u200b\u88ab\u200b\u5220\u9664\u200b\u6389\u200b\uff0c\u200b\u4f1a\u200b\u83b7\u53d6\u200b\u5176\u4ed6\u200b <code>false</code> \u200b\u7684\u200b vpc-dns \u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\u3002</li> </ul>"},{"location":"advance/vpc-internal-dns/#_2","title":"\u9a8c\u8bc1\u200b\u90e8\u7f72\u200b\u7ed3\u679c","text":"<p>\u200b\u67e5\u770b\u200b vpc-dns Pod \u200b\u72b6\u6001\u200b\uff0c\u200b\u4f7f\u7528\u200b label <code>app=vpc-dns</code>\uff0c\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b\u6240\u6709\u200b vpc-dns pod \u200b\u72b6\u6001\u200b\uff1a</p> <pre><code># kubectl -n kube-system get pods -l app=vpc-dns\nNAME                                 READY   STATUS    RESTARTS   AGE\nvpc-dns-test-cjh1-7b878d96b4-g5979   1/1     Running   0          28s\nvpc-dns-test-cjh1-7b878d96b4-ltmf9   1/1     Running   0          28s\n</code></pre> <p>\u200b\u67e5\u770b\u200b slr \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl -n kube-system get slr\nNAME                VIP         PORT(S)                  SERVICE                             AGE\nvpc-dns-test-cjh1   10.96.0.3   53/UDP,53/TCP,9153/TCP   kube-system/slr-vpc-dns-test-cjh1   113s\n</code></pre> <p>\u200b\u8fdb\u5165\u200b\u8be5\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Pod\uff0c\u200b\u6d4b\u8bd5\u200b dns \u200b\u89e3\u6790\u200b:</p> <pre><code>nslookup kubernetes.default.svc.cluster.local 10.96.0.3\n</code></pre> <p>\u200b\u8be5\u200b VPC \u200b\u4e0b\u200b\u7684\u200b switch lb rule \u200b\u6240\u5728\u200b\u7684\u200b\u5b50\u7f51\u200b\u4ee5\u53ca\u200b\u540c\u4e00\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u5176\u4ed6\u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b pod \u200b\u90fd\u200b\u53ef\u4ee5\u200b\u89e3\u6790\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/vpc-internal-lb/","title":"\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861","text":"<p>Kubernetes \u200b\u63d0\u4f9b\u200b\u7684\u200b Service \u200b\u53ef\u4ee5\u200b\u7528\u4f5c\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\uff0c \u200b\u4f46\u662f\u200b\u5728\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c \u200b\u4f7f\u7528\u200b Service \u200b\u4f5c\u4e3a\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u5b58\u5728\u200b\u5982\u4e0b\u200b\u51e0\u4e2a\u200b\u95ee\u9898\u200b\uff1a</p> <ol> <li>Service IP \u200b\u8303\u56f4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u8d44\u6e90\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5171\u4eab\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u91cd\u53e0\u200b\u3002</li> <li>\u200b\u7528\u6237\u200b\u65e0\u6cd5\u200b\u6309\u7167\u200b\u81ea\u5df1\u200b\u610f\u613f\u200b\u8bbe\u7f6e\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</li> </ol> <p>\u200b\u4e3a\u4e86\u200b\u89e3\u51b3\u200b\u4e0a\u8ff0\u200b\u95ee\u9898\u200b\uff0cKube-OVN \u200b\u5728\u200b 1.11 \u200b\u5f15\u5165\u200b <code>SwitchLBRule</code> CRD\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u8bbe\u7f6e\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u7684\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\u3002</p> <p><code>SwitchLBRule</code> \u200b\u652f\u6301\u200b\u4ee5\u4e0b\u200b\u4e24\u79cd\u200b\u65b9\u5f0f\u200b\u8bbe\u7f6e\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u7684\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\u3002</p>"},{"location":"advance/vpc-internal-lb/#selector","title":"<code>Selector</code> \u200b\u81ea\u52a8\u200b\u751f\u6210\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219","text":"<p>\u200b\u901a\u8fc7\u200b <code>selector</code> \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b <code>label</code> \u200b\u81ea\u52a8\u200b\u5173\u8054\u200b <code>pod</code> \u200b\u914d\u7f6e\u200b\u751f\u6210\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\u3002</p> <p><code>SwitchLBRule</code> \u200b\u6837\u200b\u4f8b\u5982\u200b\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  cjh-slr-nginx\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  selector:\n    - app:nginx\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\n</code></pre> <ul> <li> <p><code>selector</code>, <code>sessionAffinity</code> \u200b\u548c\u200b <code>port</code> \u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u540c\u200b Kubernetes Service\u3002</p> </li> <li> <p><code>vip</code>\uff1a\u200b\u81ea\u5b9a\u4e49\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</p> </li> <li> <p><code>namespace</code>\uff1a<code>selector</code> \u200b\u6240\u200b\u9009\u62e9\u200b Pod \u200b\u6240\u5728\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u3002</p> </li> </ul> <p>Kube-OVN \u200b\u4f1a\u200b\u6839\u636e\u200b <code>SwitchLBRule</code> \u200b\u5b9a\u4e49\u200b\u9009\u62e9\u200b\u7684\u200b Pod \u200b\u5f97\u51fa\u200b Pod \u200b\u6240\u5728\u200b VPC \u200b\u5e76\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b L2 LB\u3002</p>"},{"location":"advance/vpc-internal-lb/#endpoints","title":"<code>Endpoints</code> \u200b\u81ea\u5b9a\u4e49\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219","text":"<p>\u200b\u901a\u8fc7\u200b <code>endpoints</code> \u200b\u53ef\u4ee5\u200b\u81ea\u5b9a\u4e49\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\uff0c\u200b\u7528\u4ee5\u200b\u652f\u6301\u200b\u65e0\u6cd5\u200b\u901a\u8fc7\u200b <code>selector</code> \u200b\u81ea\u52a8\u200b\u751f\u6210\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\u7684\u200b\u573a\u666f\u200b\uff0c\u200b\u6bd4\u5982\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u540e\u7aef\u200b\u662f\u200b <code>kubevirt</code> \u200b\u521b\u5efa\u200b\u7684\u200b <code>vm</code> \u3002</p> <p><code>SwitchLBRule</code> \u200b\u6837\u200b\u4f8b\u5982\u200b\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  cjh-slr-nginx\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  endpoints:\n    - 192.168.0.101\n    - 192.168.0.102\n    - 192.168.0.103\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\n</code></pre> <ul> <li><code>sessionAffinity</code> \u200b\u548c\u200b <code>port</code> \u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u540c\u200b Kubernetes Service\u3002</li> <li><code>vip</code>\uff1a\u200b\u81ea\u5b9a\u4e49\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</li> <li><code>namespace</code>\uff1a<code>selector</code> \u200b\u6240\u200b\u9009\u62e9\u200b Pod \u200b\u6240\u5728\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u3002</li> <li><code>endpoints</code>\uff1a\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u540e\u200b\u7aef\u200b IP \u200b\u5217\u8868\u200b\u3002</li> </ul> <p>\u200b\u5982\u679c\u200b\u540c\u65f6\u200b\u914d\u7f6e\u200b\u4e86\u200b <code>selector</code> \u200b\u548c\u200b <code>endpoints</code>, \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5ffd\u7565\u200b <code>selector</code> \u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"advance/vpc-internal-lb/#_1","title":"\u5065\u5eb7\u68c0\u67e5","text":"<p><code>OVN</code> \u200b\u652f\u6301\u200b <code>IPv4</code> \u200b\u7684\u200b\u8d1f\u8f7d\u5e73\u8861\u200b\u5668\u200b\u670d\u52a1\u200b\u7ec8\u7aef\u200b\u7684\u200b\u8fd0\u884c\u72b6\u51b5\u200b\u68c0\u67e5\u200b\u3002 \u200b\u542f\u7528\u200b\u8fd0\u884c\u72b6\u51b5\u200b\u68c0\u67e5\u200b\u540e\u200b\uff0c\u200b\u8d1f\u8f7d\u5e73\u8861\u200b\u5668\u4f1a\u200b\u5bf9\u200b\u670d\u52a1\u200b\u7ec8\u7aef\u200b\u7684\u200b\u72b6\u6001\u200b\u8fdb\u884c\u200b\u68c0\u6d4b\u200b\u7ef4\u62a4\u200b\uff0c\u200b\u5e76\u200b\u4ec5\u200b\u4f7f\u7528\u200b\u8fd0\u884c\u72b6\u51b5\u200b\u826f\u597d\u200b\u7684\u200b\u670d\u52a1\u200b\u7ec8\u7aef\u200b\u3002</p> <p>[Health Checks](https://www.ovn.org/support/dist-docs/ovn-nb.5.html)</p> <p>\u200b\u6839\u636e\u200b <code>ovn</code> \u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u7684\u200b\u8fd0\u884c\u72b6\u51b5\u200b\u68c0\u67e5\u200b\uff0c\u200b\u5bf9\u200b <code>SwitchLBRule</code> \u200b\u6dfb\u52a0\u200b\u5065\u5eb7\u68c0\u67e5\u200b\u3002\u200b\u5728\u200b\u521b\u5efa\u200b <code>SwitchLBRule</code> \u200b\u7684\u200b\u540c\u65f6\u200b\uff0c\u200b\u4ece\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>VPC</code> \u200b\u548c\u200b <code>subnet</code> \u200b\u4e2d\u200b\u83b7\u53d6\u200b\u4e00\u4e2a\u200b\u53ef\u200b\u590d\u7528\u200b\u7684\u200b <code>vip</code> \u200b\u4f5c\u4e3a\u200b\u68c0\u6d4b\u200b\u7aef\u70b9\u200b\uff0c\u200b\u5e76\u200b\u6dfb\u52a0\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>ip_port_mappings</code> \u200b\u548c\u200b <code>load_balancer_health_check</code> \u200b\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u4e0a\u200b\u3002</p> <ul> <li>\u200b\u68c0\u6d4b\u200b\u7aef\u70b9\u200b <code>vip</code> \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5728\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>subnet</code> \u200b\u4e2d\u200b\u5224\u65ad\u200b\u662f\u5426\u200b\u5b58\u5728\u200b\uff0c\u200b\u5e76\u4e14\u200b\u4e0e\u200b <code>subnet</code> \u200b\u540c\u540d\u200b\uff0c\u200b\u5982\u679c\u200b\u4e0d\u200b\u5b58\u5728\u200b\u5219\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u521b\u5efa\u200b\uff0c\u200b\u5e76\u4e14\u200b\u5728\u200b\u6240\u6709\u200b\u5173\u8054\u200b\u7684\u200b <code>SwitchLBRule</code> \u200b\u88ab\u200b\u5220\u9664\u200b\u540e\u200b\u81ea\u52a8\u200b\u88ab\u200b\u5220\u9664\u200b\u3002</li> <li>\u200b\u6682\u65f6\u200b\u53ea\u200b\u652f\u6301\u200b\u901a\u8fc7\u200b <code>Selector</code> \u200b\u81ea\u52a8\u200b\u751f\u6210\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b</li> </ul>"},{"location":"advance/vpc-internal-lb/#_2","title":"\u521b\u5efa\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219","text":"<pre><code>root@server:~# kubectl get po -o wide -n vulpecula\nNAME                     READY   STATUS    RESTARTS   AGE     IP          NODE     NOMINATED NODE   READINESS GATES\nnginx-78d9578975-f4qn4   1/1     Running   3          4d16h   10.16.0.4   worker   &lt;none&gt;           &lt;none&gt;\nnginx-78d9578975-t8tm5   1/1     Running   3          4d16h   10.16.0.6   worker   &lt;none&gt;           &lt;none&gt;\n\n# \u200b\u521b\u5efa\u200b slr\nroot@server:~# cat &lt;&lt; END &gt; slr.yaml\napiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  nginx\n  namespace:  vulpecula\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  selector:\n    - app:nginx\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\nEND\nroot@server:~# kubectl apply -f slr.yaml\nroot@server:~# kubectl get slr\nNAME              VIP       PORT(S)    SERVICE                       AGE\nvulpecula-nginx   1.1.1.1   8888/TCP   default/slr-vulpecula-nginx   3d21h\n</code></pre> <p>\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u4e0e\u200b <code>subnet</code> \u200b\u540c\u540d\u200b\u7684\u200b <code>vip</code> \u200b\u5df2\u7ecf\u200b\u88ab\u200b\u521b\u5efa\u200b\u3002</p> <pre><code># \u200b\u67e5\u770b\u200b\u68c0\u6d4b\u200b\u7aef\u70b9\u200b vip\n\nroot@server:~# kubectl get vip\nNAME          NS    V4IP        MAC                 V6IP    PMAC   SUBNET        READY   TYPE\nvulpecula-subnet    10.16.0.2   00:00:00:39:95:C1   &lt;nil&gt;          vulpecula-subnet   true   \n</code></pre> <p>\u200b\u901a\u8fc7\u200b\u547d\u4ee4\u200b\u53ef\u4ee5\u200b\u67e5\u8be2\u200b\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>Load_Balancer_Health_Check</code> \u200b\u548c\u200b <code>Service_Monitor</code>\u3002</p> <pre><code>root@server:~# kubectl ko nbctl list Load_Balancer\n_uuid               : 3cbb6d43-44aa-4028-962f-30d2dba9f0b8\nexternal_ids        : {}\nhealth_check        : [5bee3f12-6b54-411c-9cc8-c9def8f67356]\nip_port_mappings    : {\"10.16.0.4\"=\"nginx-78d9578975-f4qn4.default:10.16.0.2\", \"10.16.0.6\"=\"nginx-78d9578975-t8tm5.default:10.16.0.2\"}\nname                : cluster-tcp-session-loadbalancer\noptions             : {affinity_timeout=\"10800\"}\nprotocol            : tcp\nselection_fields    : [ip_src]\nvips                : {\"1.1.1.1:8888\"=\"10.16.0.4:80,10.16.0.6:80\"}\n\nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\n_uuid               : 5bee3f12-6b54-411c-9cc8-c9def8f67356\nexternal_ids        : {switch_lb_subnet=vulpecula-subnet}\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nvip                 : \"1.1.1.1:8888\"\n\nroot@server:~# kubectl ko sbctl list Service_Monitor\n_uuid               : 1bddc541-cc49-44ea-9935-a4208f627a91\nexternal_ids        : {}\nip                  : \"10.16.0.4\"\nlogical_port        : nginx-78d9578975-f4qn4.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n\n_uuid               : 84dd24c5-e1b4-4e97-9daa-13687ed59785\nexternal_ids        : {}\nip                  : \"10.16.0.6\"\nlogical_port        : nginx-78d9578975-t8tm5.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n</code></pre> <p>\u200b\u6b64\u65f6\u200b\u901a\u8fc7\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b <code>vip</code> \u200b\u53ef\u4ee5\u200b\u6210\u529f\u200b\u5f97\u5230\u200b\u670d\u52a1\u200b\u54cd\u5e94\u200b\u3002</p> <pre><code>root@server:~# kubectl exec -it -n vulpecula nginx-78d9578975-t8tm5 -- curl 1.1.1.1:8888\n&lt;!DOCTYPE html&gt;\n&lt;html&gt;\n&lt;head&gt;\n&lt;title&gt;Welcome to nginx!&lt;/title&gt;\n&lt;p&gt;&lt;em&gt;Thank you for using nginx.&lt;/em&gt;&lt;/p&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre>"},{"location":"advance/vpc-internal-lb/#_3","title":"\u66f4\u65b0\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u670d\u52a1\u200b\u7ec8\u7aef","text":"<p>\u200b\u901a\u8fc7\u200b\u5220\u9664\u200b <code>pod</code> \u200b\u66f4\u65b0\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u7684\u200b\u670d\u52a1\u200b\u7ec8\u7aef\u200b\u3002</p> <pre><code>kubectl delete po nginx-78d9578975-f4qn4\nkubectl get po -o wide -n vulpecula\nNAME                     READY   STATUS    RESTARTS   AGE     IP          NODE     NOMINATED NODE   READINESS GATES\nnginx-78d9578975-lxmvh   1/1     Running   0          31s     10.16.0.8   worker   &lt;none&gt;           &lt;none&gt;\nnginx-78d9578975-t8tm5   1/1     Running   3          4d16h   10.16.0.6   worker   &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>\u200b\u901a\u8fc7\u200b\u547d\u4ee4\u200b\u53ef\u4ee5\u200b\u67e5\u8be2\u200b\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>Load_Balancer_Health_Check</code> \u200b\u548c\u200b <code>Service_Monitor</code> \u200b\u5df2\u7ecf\u200b\u53d1\u751f\u200b\u4e86\u200b\u54cd\u5e94\u200b\u7684\u200b\u53d8\u5316\u200b\u3002</p> <pre><code>root@server:~# kubectl ko nbctl list Load_Balancer\n_uuid               : 3cbb6d43-44aa-4028-962f-30d2dba9f0b8\nexternal_ids        : {}\nhealth_check        : [5bee3f12-6b54-411c-9cc8-c9def8f67356]\nip_port_mappings    : {\"10.16.0.4\"=\"nginx-78d9578975-f4qn4.default:10.16.0.2\", \"10.16.0.6\"=\"nginx-78d9578975-t8tm5.default:10.16.0.2\", \"10.16.0.8\"=\"nginx-78d9578975-lxmvh.default:10.16.0.2\"}\nname                : cluster-tcp-session-loadbalancer\noptions             : {affinity_timeout=\"10800\"}\nprotocol            : tcp\nselection_fields    : [ip_src]\nvips                : {\"1.1.1.1:8888\"=\"10.16.0.6:80,10.16.0.8:80\"}\n\nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\n_uuid               : 5bee3f12-6b54-411c-9cc8-c9def8f67356\nexternal_ids        : {switch_lb_subnet=vulpecula-subnet}\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nvip                 : \"1.1.1.1:8888\"\n\nroot@server:~# kubectl ko sbctl list Service_Monitor\n_uuid               : 84dd24c5-e1b4-4e97-9daa-13687ed59785\nexternal_ids        : {}\nip                  : \"10.16.0.6\"\nlogical_port        : nginx-78d9578975-t8tm5.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n\n_uuid               : 5917b7b7-a999-49f2-a42d-da81f1eeb28f\nexternal_ids        : {}\nip                  : \"10.16.0.8\"\nlogical_port        : nginx-78d9578975-lxmvh.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n</code></pre> <p>\u200b\u5220\u9664\u200b <code>SwitchLBRule</code>\uff0c\u200b\u5e76\u200b\u786e\u8ba4\u200b\u8d44\u6e90\u200b\u72b6\u6001\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b <code>Load_Balancer_Health_Check</code> \u200b\u548c\u200b <code>Service_Monitor</code> \u200b\u90fd\u200b\u5df2\u7ecf\u200b\u88ab\u200b\u5220\u9664\u200b\uff0c\u200b\u5e76\u4e14\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>vip</code> \u200b\u4e5f\u200b\u88ab\u200b\u5220\u9664\u200b\u3002</p> <pre><code>root@server:~# kubectl delete -f slr.yaml \nswitchlbrule.kubeovn.io \"vulpecula-nginx\" deleted\nroot@server:~# kubectl get vip\nNo resources found\nroot@server:~# kubectl ko sbctl list Service_Monitor\nroot@server:~# \nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\nroot@server:~# \n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/vpc-peering/","title":"VPC \u200b\u4e92\u8054","text":"<p>VPC \u200b\u4e92\u8054\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u79cd\u200b\u5c06\u200b\u4e24\u4e2a\u200b VPC \u200b\u7f51\u7edc\u200b\u901a\u8fc7\u200b\u903b\u8f91\u200b\u8def\u7531\u200b\u6253\u901a\u200b\u7684\u200b\u673a\u5236\u200b\uff0c\u200b\u4ece\u800c\u200b\u4f7f\u200b\u4e24\u4e2a\u200b VPC \u200b\u5185\u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u53ef\u4ee5\u200b\u50cf\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u79c1\u6709\u200b\u7f51\u7edc\u200b\u4e00\u6837\u200b\uff0c \u200b\u901a\u8fc7\u200b\u79c1\u6709\u200b\u5730\u5740\u200b\u76f8\u4e92\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u65e0\u9700\u200b\u901a\u8fc7\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u8fdb\u884c\u200b NAT \u200b\u8f6c\u53d1\u200b\u3002</p>"},{"location":"advance/vpc-peering/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ol> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ea\u200b\u9002\u7528\u200b\u4e8e\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC\u3002</li> <li>\u200b\u4e3a\u4e86\u200b\u907f\u514d\u200b\u8def\u7531\u200b\u91cd\u53e0\u200b\u4e24\u4e2a\u200b VPC \u200b\u5185\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u80fd\u200b\u91cd\u53e0\u200b\u3002</li> <li>\u200b\u76ee\u524d\u200b\u53ea\u200b\u652f\u6301\u200b\u4e24\u4e2a\u200b VPC \u200b\u7684\u200b\u4e92\u8054\u200b\uff0c\u200b\u66f4\u200b\u591a\u7ec4\u200b VPC \u200b\u4e4b\u95f4\u200b\u7684\u200b\u4e92\u8054\u200b\u6682\u200b\u4e0d\u200b\u652f\u6301\u200b\u3002</li> </ol>"},{"location":"advance/vpc-peering/#_2","title":"\u4f7f\u7528\u200b\u65b9\u5f0f","text":"<p>\u200b\u9996\u5148\u200b\u521b\u5efa\u200b\u4e24\u4e2a\u200b\u4e0d\u200b\u4e92\u8054\u200b\u7684\u200b VPC\uff0c\u200b\u6bcf\u4e2a\u200b VPC \u200b\u4e0b\u200b\u5404\u6709\u200b\u4e00\u4e2a\u200b Subnet\uff0cSubnet \u200b\u7684\u200b CIDR \u200b\u4e92\u4e0d\u200b\u91cd\u53e0\u200b\u3002</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-1\nspec: {}\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net1\nspec:\n  vpc: vpc-1\n  cidrBlock: 10.0.0.0/16\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-2\nspec: {}\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: vpc-2\n  cidrBlock: 172.31.0.0/16\n</code></pre> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b VPC \u200b\u5185\u200b\u5206\u522b\u200b\u589e\u52a0\u200b <code>vpcPeerings</code> \u200b\u548c\u200b\u5bf9\u5e94\u200b\u7684\u200b\u9759\u6001\u200b\u8def\u7531\u200b\uff1a</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-1\nspec: \n  vpcPeerings:\n    - remoteVpc: vpc-2\n      localConnectIP: 169.254.0.1/30\n  staticRoutes:\n    - cidr: 172.31.0.0/16\n      nextHopIP: 169.254.0.2\n      policy: policyDst\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-2\nspec:\n  vpcPeerings:\n    - remoteVpc: vpc-1\n      localConnectIP: 169.254.0.2/30\n  staticRoutes:\n    - cidr: 10.0.0.0/16\n      nextHopIP: 169.254.0.1\n      policy: policyDst\n</code></pre> <ul> <li><code>remoteVpc</code>: \u200b\u4e92\u8054\u200b\u7684\u200b\u53e6\u200b\u4e00\u4e2a\u200b VPC \u200b\u7684\u200b\u540d\u5b57\u200b\u3002</li> <li><code>localConnectIP</code>: \u200b\u4f5c\u4e3a\u200b\u4e92\u8054\u200b\u7aef\u70b9\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u548c\u200b CIDR\uff0c\u200b\u6ce8\u610f\u200b\u4e24\u7aef\u200b IP \u200b\u5e94\u200b\u5c5e\u4e8e\u200b\u540c\u4e00\u200b CIDR\uff0c\u200b\u4e14\u200b\u4e0d\u80fd\u200b\u548c\u200b\u5df2\u6709\u200b\u5b50\u7f51\u200b\u51b2\u7a81\u200b\u3002</li> <li><code>cidr</code>\uff1a\u200b\u53e6\u4e00\u7aef\u200b Subnet \u200b\u7684\u200b CIDR\u3002</li> <li><code>nextHopIP</code>\uff1a\u200b\u4e92\u8054\u200b VPC \u200b\u53e6\u4e00\u7aef\u200b\u7684\u200b <code>localConnectIP</code>\u3002</li> </ul> <p>\u200b\u5206\u522b\u200b\u5728\u200b\u4e24\u4e2a\u200b Subnet \u200b\u4e0b\u200b\u521b\u5efa\u200b Pod</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net1\n  name: vpc-1-pod\nspec:\n  containers:\n    - name: vpc-1-pod\n      image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net2\n  name: vpc-2-pod\nspec:\n  containers:\n    - name: vpc-2-pod\n      image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u6d4b\u8bd5\u200b\u7f51\u7edc\u200b\u8fde\u901a\u6027\u200b</p> <pre><code># kubectl exec -it vpc-1-pod -- ping $(kubectl get pod vpc-2-pod -o jsonpath='{.status.podIP}')\nPING 172.31.0.2 (172.31.0.2): 56 data bytes\n64 bytes from 172.31.0.2: seq=0 ttl=62 time=0.655 ms\n64 bytes from 172.31.0.2: seq=1 ttl=62 time=0.086 ms\n64 bytes from 172.31.0.2: seq=2 ttl=62 time=0.098 ms\n^C\n--- 172.31.0.2 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.086/0.279/0.655 ms\n# kubectl exec -it vpc-2-pod -- ping $(kubectl get pod vpc-1-pod -o jsonpath='{.status.podIP}')\nPING 10.0.0.2 (10.0.0.2): 56 data bytes\n64 bytes from 10.0.0.2: seq=0 ttl=62 time=0.594 ms\n64 bytes from 10.0.0.2: seq=1 ttl=62 time=0.093 ms\n64 bytes from 10.0.0.2: seq=2 ttl=62 time=0.088 ms\n^C\n--- 10.0.0.2 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.088/0.258/0.594 ms\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/windows/","title":"Windows \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u5305\u542b\u200b Windows \u200b\u7cfb\u7edf\u200b\u8282\u70b9\u200b\u7684\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5c06\u200b Windows \u200b\u5bb9\u5668\u200b\u7684\u200b\u7f51\u7edc\u200b\u7edf\u4e00\u200b\u63a5\u5165\u200b\u8fdb\u884c\u200b\u7ba1\u7406\u200b\u3002</p>"},{"location":"advance/windows/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ul> <li>\u200b\u53c2\u8003\u200b Adding Windows nodes \u200b\u589e\u52a0\u200b Windows \u200b\u8282\u70b9\u200b\u3002</li> <li>Windows \u200b\u8282\u70b9\u200b\u5fc5\u987b\u200b\u5b89\u88c5\u200b KB4489899 \u200b\u8865\u4e01\u200b\u4ee5\u200b\u4f7f\u200b Overlay/VXLAN \u200b\u7f51\u7edc\u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\uff0c\u200b\u5efa\u8bae\u200b\u66f4\u65b0\u200b\u7cfb\u7edf\u200b\u81f3\u200b\u6700\u65b0\u200b\u7248\u672c\u200b\u3002</li> <li>Windows \u200b\u8282\u70b9\u200b\u5fc5\u987b\u200b\u5b89\u88c5\u200b Hyper-V \u200b\u53ca\u200b\u7ba1\u7406\u5de5\u5177\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b Windows \u200b\u9650\u5236\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u53ea\u80fd\u200b\u4f7f\u7528\u200b Vxlan \u200b\u6a21\u5f0f\u200b\u3002</li> <li>\u200b\u6682\u200b\u4e0d\u200b\u652f\u6301\u200b SSL\uff0cIPv6\uff0c\u200b\u53cc\u6808\u200b\uff0cQoS \u200b\u529f\u80fd\u200b\u3002</li> <li>\u200b\u6682\u200b\u4e0d\u200b\u652f\u6301\u200b\u52a8\u6001\u200b\u5b50\u7f51\u200b\uff0c\u200b\u52a8\u6001\u200b\u96a7\u9053\u200b\u63a5\u53e3\u200b\u529f\u80fd\u200b\uff0c\u200b\u9700\u5728\u200b\u5b89\u88c5\u200b Windows \u200b\u8282\u70b9\u200b\u524d\u200b\u5b8c\u6210\u200b\u5b50\u7f51\u200b\u521b\u5efa\u200b\uff0c\u200b\u5e76\u200b\u56fa\u5b9a\u200b\u7f51\u7edc\u63a5\u53e3\u200b\u3002</li> <li>\u200b\u4e0d\u200b\u652f\u6301\u200b\u591a\u4e2a\u200b <code>ProviderNetwork</code>\uff0c\u200b\u4e14\u200b\u65e0\u6cd5\u200b\u52a8\u6001\u200b\u8c03\u6574\u200b\u6865\u63a5\u200b\u63a5\u53e3\u200b\u914d\u7f6e\u200b\u3002</li> </ul>"},{"location":"advance/windows/#ovs","title":"\u5b89\u88c5\u200b OVS","text":"<p>\u200b\u7531\u4e8e\u200b\u4e0a\u6e38\u200b OVN \u200b\u548c\u200b OVS \u200b\u5bf9\u200b Windows \u200b\u5bb9\u5668\u200b\u652f\u6301\u200b\u5b58\u5728\u200b\u4e00\u4e9b\u200b\u95ee\u9898\u200b\uff0c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u63d0\u4f9b\u200b\u7684\u200b\u7ecf\u8fc7\u200b\u4fee\u6539\u200b\u7684\u200b\u5b89\u88c5\u5305\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\u6253\u5f00\u200b Windows \u200b\u8282\u70b9\u200b\u7684\u200b <code>TESTSIGNING</code> \u200b\u542f\u52a8\u9879\u200b\uff0c\u200b\u6267\u884c\u200b\u6210\u529f\u200b\u540e\u200b\u9700\u8981\u200b\u91cd\u542f\u200b\u7cfb\u7edf\u200b\u751f\u6548\u200b\uff1a</p> <pre><code>bcdedit /set LOADOPTIONS DISABLE_INTEGRITY_CHECKS\nbcdedit /set TESTSIGNING ON\nbcdedit /set nointegritychecks ON\n</code></pre> <p>\u200b\u5728\u200b Windows \u200b\u8282\u70b9\u200b\u4e0b\u8f7d\u200b Windows \u200b\u5b89\u88c5\u5305\u200b\u5e76\u200b\u89e3\u538b\u200b\u5b89\u88c5\u200b\u3002</p> <p>\u200b\u5b89\u88c5\u200b\u5b8c\u6210\u200b\u540e\u200b\u786e\u8ba4\u200b\u670d\u52a1\u200b\u6b63\u5e38\u200b\u8fd0\u884c\u200b\uff1a</p> <pre><code>PS &gt; Get-Service | findstr ovs\nRunning  ovsdb-server  Open vSwitch DB Service\nRunning  ovs-vswitchd  Open vSwitch Service\n</code></pre>"},{"location":"advance/windows/#kube-ovn","title":"\u5b89\u88c5\u200b Kube-OVN","text":"<p>\u200b\u5728\u200b Windows \u200b\u8282\u70b9\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b install.ps1\u3002</p> <p>\u200b\u8865\u5145\u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\u5e76\u200b\u6267\u884c\u200b\uff1a</p> <pre><code>.\\install.ps1 -KubeConfig C:\\k\\admin.conf -ApiServer https://192.168.140.180:6443 -ServiceCIDR 10.96.0.0/12\n</code></pre> <p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b, Kube-OVN \u200b\u4f7f\u7528\u200b\u8282\u70b9\u200b IP \u200b\u6240\u5728\u200b\u7684\u200b\u7f51\u5361\u200b\u4f5c\u4e3a\u200b\u96a7\u9053\u200b\u63a5\u53e3\u200b\u3002 \u200b\u5982\u679c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u5176\u5b83\u200b\u7f51\u5361\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u524d\u200b\u7ed9\u200b\u8282\u70b9\u200b\u6dfb\u52a0\u200b\u6307\u5b9a\u200b\u7684\u200b Annotation\uff0c\u200b\u5982\u200b <code>ovn.kubernetes.io/tunnel_interface=Ethernet1</code>\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-bgp/","title":"BGP \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u5c06\u200b Pod \u200b\u6216\u200b Subnet \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u901a\u8fc7\u200b BGP \u200b\u534f\u8bae\u200b\u5411\u200b\u5916\u90e8\u200b\u8fdb\u884c\u200b\u8def\u7531\u200b\u5e7f\u64ad\u200b\uff0c\u200b\u4ece\u800c\u200b\u4f7f\u5f97\u200b Pod IP \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b\u3002 \u200b\u5982\u679c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u8be5\u200b\u529f\u80fd\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u7279\u5b9a\u200b\u8282\u70b9\u200b\u5b89\u88c5\u200b <code>kube-ovn-speaker</code> \u200b\u5e76\u200b\u5bf9\u200b\u9700\u8981\u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b\u7684\u200b Pod \u200b\u6216\u200b Subnet \u200b\u589e\u52a0\u200b\u5bf9\u5e94\u200b\u7684\u200b annotation\u3002</p>"},{"location":"advance/with-bgp/#kube-ovn-speaker","title":"\u5b89\u88c5\u200b kube-ovn-speaker","text":"<p><code>kube-ovn-speaker</code> \u200b\u5185\u200b\u4f7f\u7528\u200b GoBGP \u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u8def\u7531\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u8bbf\u95ee\u200b\u66b4\u9732\u200b\u5730\u5740\u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u8def\u7531\u200b\u6307\u5411\u200b\u81ea\u8eab\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u90e8\u7f72\u200b <code>kube-ovn-speaker</code> \u200b\u7684\u200b\u8282\u70b9\u200b\u9700\u8981\u200b\u627f\u62c5\u200b\u56de\u7a0b\u200b\u6d41\u91cf\u200b\uff0c\u200b\u56e0\u6b64\u200b\u9700\u8981\u200b\u9009\u62e9\u200b\u7279\u5b9a\u200b\u8282\u70b9\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>kubectl label nodes speaker-node-1 ovn.kubernetes.io/bgp=true\nkubectl label nodes speaker-node-2 ovn.kubernetes.io/bgp=true\n</code></pre> <p>\u200b\u5f53\u200b\u5b58\u5728\u200b\u591a\u4e2a\u200b kube-ovn-speaker \u200b\u5b9e\u4f8b\u200b\u65f6\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u5b9e\u4f8b\u200b\u90fd\u200b\u4f1a\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u8def\u7531\u200b\uff0c\u200b\u4e0a\u6e38\u200b\u8def\u7531\u5668\u200b\u9700\u8981\u200b\u652f\u6301\u200b\u591a\u8def\u5f84\u200b ECMP\u3002</p> <p>\u200b\u4e0b\u8f7d\u200b\u5bf9\u5e94\u200b yaml:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/yamls/speaker.yaml\n</code></pre> <p>\u200b\u4fee\u6539\u200b yaml \u200b\u5185\u200b\u76f8\u5e94\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>--neighbor-address=10.32.32.1\n--neighbor-as=65030\n--cluster-as=65000\n</code></pre> <ul> <li><code>neighbor-address</code>: BGP Peer \u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u901a\u5e38\u200b\u4e3a\u200b\u8def\u7531\u5668\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\u3002</li> <li><code>neighbor-as</code>: BGP Peer \u200b\u7684\u200b AS \u200b\u53f7\u200b\u3002</li> <li><code>cluster-as</code>: \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b AS \u200b\u53f7\u200b\u3002</li> </ul> <p>\u200b\u90e8\u7f72\u200b yaml:</p> <pre><code>kubectl apply -f speaker.yaml\n</code></pre>"},{"location":"advance/with-bgp/#podsubnet","title":"\u53d1\u5e03\u200b Pod/Subnet \u200b\u8def\u7531","text":"<p>\u200b\u5982\u9700\u200b\u4f7f\u7528\u200b BGP \u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u8def\u7531\u200b\uff0c\u200b\u9996\u5148\u200b\u9700\u8981\u200b\u5c06\u200b\u5bf9\u5e94\u200b Subnet \u200b\u7684\u200b <code>natOutgoing</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code>\uff0c\u200b\u4f7f\u5f97\u200b Pod IP \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u589e\u52a0\u200b annotation \u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\uff1a</p> <pre><code>kubectl annotate pod sample ovn.kubernetes.io/bgp=true\nkubectl annotate subnet ovn-default ovn.kubernetes.io/bgp=true\n</code></pre> <p>\u200b\u5220\u9664\u200b annotation \u200b\u53d6\u6d88\u200b\u53d1\u5e03\u200b\uff1a</p> <pre><code>kubectl annotate pod perf-ovn-xzvd4 ovn.kubernetes.io/bgp-\nkubectl annotate subnet ovn-default ovn.kubernetes.io/bgp-\n</code></pre>"},{"location":"advance/with-bgp/#bgp_1","title":"BGP \u200b\u9ad8\u7ea7\u200b\u9009\u9879","text":"<p><code>kube-ovn-speaker</code> \u200b\u652f\u6301\u200b\u66f4\u200b\u591a\u200b BGP \u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u9ad8\u7ea7\u200b\u914d\u7f6e\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u200b\u6839\u636e\u200b\u81ea\u5df1\u200b\u7f51\u7edc\u200b\u73af\u5883\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <ul> <li><code>announce-cluster-ip</code>: \u200b\u662f\u5426\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b Service \u200b\u8def\u7531\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>false</code>\u3002</li> <li><code>auth-password</code>: BGP peer \u200b\u7684\u200b\u8bbf\u95ee\u200b\u5bc6\u7801\u200b\u3002</li> <li><code>holdtime</code>: BGP \u200b\u90bb\u5c45\u200b\u95f4\u200b\u7684\u200b\u5fc3\u8df3\u200b\u63a2\u6d4b\u200b\u65f6\u95f4\u200b\uff0c\u200b\u8d85\u8fc7\u200b\u6539\u200b\u65f6\u95f4\u200b\u6ca1\u6709\u200b\u6d88\u606f\u200b\u7684\u200b\u90bb\u5c45\u200b\u5c06\u4f1a\u200b\u88ab\u200b\u79fb\u9664\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 90 \u200b\u79d2\u200b\u3002</li> <li><code>graceful-restart</code>: \u200b\u662f\u5426\u200b\u542f\u7528\u200b BGP Graceful Restart\u3002</li> <li><code>graceful-restart-time</code>: BGP Graceful restart time \u200b\u53ef\u200b\u53c2\u8003\u200b RFC4724 3\u3002</li> <li><code>graceful-restart-deferral-time</code>: BGP Graceful restart deferral time \u200b\u53ef\u200b\u53c2\u8003\u200b RFC4724 4.1\u3002</li> <li><code>passivemode</code>: Speaker \u200b\u8fd0\u884c\u200b\u5728\u200b passive \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u4e0d\u200b\u4e3b\u52a8\u200b\u8fde\u63a5\u200b peer\u3002</li> <li><code>ebgp-multihop</code>: ebgp ttl \u200b\u9ed8\u8ba4\u503c\u200b\u4e3a\u200b 1\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-cilium/","title":"Cilium \u200b\u96c6\u6210","text":"<p>Cilium \u200b\u662f\u200b\u4e00\u6b3e\u200b\u57fa\u4e8e\u200b eBPF \u200b\u7684\u200b\u7f51\u7edc\u200b\u548c\u200b\u5b89\u5168\u200b\u7ec4\u4ef6\u200b\uff0cKube-OVN \u200b\u5229\u7528\u200b\u5176\u4e2d\u200b\u7684\u200b CNI Chaining \u200b\u6a21\u5f0f\u200b\u6765\u200b\u5bf9\u200b\u5df2\u6709\u200b\u529f\u80fd\u200b\u8fdb\u884c\u200b\u589e\u5f3a\u200b\u3002 \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u540c\u65f6\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u4e30\u5bcc\u200b\u7684\u200b\u7f51\u7edc\u200b\u62bd\u8c61\u200b\u80fd\u529b\u200b\u548c\u200b eBPF \u200b\u5e26\u6765\u200b\u7684\u200b\u76d1\u63a7\u200b\u548c\u200b\u5b89\u5168\u200b\u80fd\u529b\u200b\u3002</p> <p>\u200b\u901a\u8fc7\u200b\u96c6\u6210\u200b Cilium\uff0cKube-OVN \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u83b7\u5f97\u200b\u5982\u4e0b\u200b\u589e\u76ca\u200b\uff1a</p> <ul> <li>\u200b\u66f4\u200b\u4e30\u5bcc\u200b\u9ad8\u6548\u200b\u7684\u200b\u5b89\u5168\u7b56\u7565\u200b\u3002</li> <li>\u200b\u57fa\u4e8e\u200b Hubble \u200b\u7684\u200b\u76d1\u63a7\u200b\u89c6\u56fe\u200b\u3002</li> </ul> <p></p>"},{"location":"advance/with-cilium/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ol> <li>Linux \u200b\u5185\u6838\u200b\u7248\u672c\u200b\u9ad8\u4e8e\u200b 4.19 \u200b\u6216\u200b\u5176\u4ed6\u200b\u517c\u5bb9\u200b\u5185\u6838\u200b\u4ee5\u200b\u83b7\u5f97\u200b\u5b8c\u6574\u200b eBPF \u200b\u80fd\u529b\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u63d0\u524d\u200b\u90e8\u7f72\u200b Helm \u200b\u4e3a\u200b\u5b89\u88c5\u200b Cilium \u200b\u505a\u200b\u51c6\u5907\u200b\uff0c\u200b\u90e8\u7f72\u200b Helm \u200b\u8bf7\u200b\u53c2\u8003\u200b Installing Helm\u3002</li> </ol>"},{"location":"advance/with-cilium/#kube-ovn","title":"\u914d\u7f6e\u200b Kube-OVN","text":"<p>\u200b\u4e3a\u4e86\u200b\u5145\u5206\u200b\u4f7f\u7528\u200b Cilium \u200b\u7684\u200b\u5b89\u5168\u200b\u80fd\u529b\u200b\uff0c\u200b\u9700\u8981\u200b\u5173\u95ed\u200b Kube-OVN \u200b\u5185\u200b\u7684\u200b <code>networkpolicy</code> \u200b\u529f\u80fd\u200b\uff0c\u200b\u5e76\u200b\u8c03\u6574\u200b CNI \u200b\u914d\u7f6e\u200b\u4f18\u5148\u7ea7\u200b\u3002</p> <p>\u200b\u5728\u200b <code>install.sh</code> \u200b\u811a\u672c\u200b\u91cc\u200b\u4fee\u6539\u200b\u4e0b\u5217\u200b\u53d8\u91cf\u200b\uff1a</p> <pre><code>ENABLE_NP=false\nCNI_CONFIG_PRIORITY=10\n</code></pre> <p>\u200b\u82e5\u200b\u5df2\u200b\u90e8\u7f72\u200b\u5b8c\u6210\u200b\uff0c\u200b\u53ef\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> \u200b\u7684\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b <code>networkpolicy</code>\uff1a</p> <pre><code>args:\n- --enable-np=false\n</code></pre> <p>\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> \u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u8c03\u6574\u200b CNI \u200b\u914d\u7f6e\u200b\u4f18\u5148\u7ea7\u200b\uff1a</p> <pre><code>args:\n- --cni-conf-name=10-kube-ovn.conflist\n</code></pre> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u8c03\u6574\u200b Kube-OVN \u200b\u914d\u7f6e\u6587\u4ef6\u200b\u540d\u79f0\u200b\uff0c\u200b\u4ee5\u4fbf\u200b\u4f18\u5148\u200b\u4f7f\u7528\u200b Cilium \u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff1a</p> <pre><code>mv /etc/cni/net.d/01-kube-ovn.conflist /etc/cni/net.d/10-kube-ovn.conflist\n</code></pre>"},{"location":"advance/with-cilium/#cilium_1","title":"\u90e8\u7f72\u200b Cilium","text":"<p>\u200b\u521b\u5efa\u200b <code>chaining.yaml</code> \u200b\u914d\u7f6e\u6587\u4ef6\u200b\uff0c\u200b\u4f7f\u7528\u200b Cilium \u200b\u7684\u200b generic-veth \u200b\u6a21\u5f0f\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: cni-configuration\n  namespace: kube-system\ndata:\n  cni-config: |-\n    {\n      \"name\": \"generic-veth\",\n      \"cniVersion\": \"0.3.1\",\n      \"plugins\": [\n        {\n          \"type\": \"kube-ovn\",\n          \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n          \"ipam\": {\n              \"type\": \"kube-ovn\",\n              \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\"\n          }\n        },\n        {\n          \"type\": \"portmap\",\n          \"snat\": true,\n          \"capabilities\": {\"portMappings\": true}\n        },\n        {\n          \"type\": \"cilium-cni\"\n        }\n      ]\n    }\n</code></pre> <p>\u200b\u5b89\u88c5\u200b\u914d\u7f6e\u6587\u4ef6\u200b\uff1a</p> <pre><code>kubectl apply -f chaining.yaml\n</code></pre> <p>\u200b\u4f7f\u7528\u200b Helm \u200b\u90e8\u7f72\u200b Cilium\uff1a</p> <pre><code>helm repo add cilium https://helm.cilium.io/\nhelm install cilium cilium/cilium --version 1.11.6 \\\n    --namespace kube-system \\\n    --set cni.chainingMode=generic-veth \\\n    --set cni.customConf=true \\\n    --set cni.configMap=cni-configuration \\\n    --set tunnel=disabled \\\n    --set enableIPv4Masquerade=false \\\n    --set enableIdentityMark=false \n</code></pre> <p>\u200b\u786e\u8ba4\u200b Cilium \u200b\u5b89\u88c5\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># cilium  status\n    /\u00af\u00af\\\n /\u00af\u00af\\__/\u00af\u00af\\    Cilium:         OK\n \\__/\u00af\u00af\\__/    Operator:       OK\n /\u00af\u00af\\__/\u00af\u00af\\    Hubble:         disabled\n \\__/\u00af\u00af\\__/    ClusterMesh:    disabled\n    \\__/\n\nDaemonSet         cilium             Desired: 2, Ready: 2/2, Available: 2/2\nDeployment        cilium-operator    Desired: 2, Ready: 2/2, Available: 2/2\nContainers:       cilium             Running: 2\n                  cilium-operator    Running: 2\nCluster Pods:     8/11 managed by Cilium\nImage versions    cilium             quay.io/cilium/cilium:v1.10.5@sha256:0612218e28288db360c63677c09fafa2d17edda4f13867bcabf87056046b33bb: 2\n                  cilium-operator    quay.io/cilium/operator-generic:v1.10.5@sha256:2d2f730f219d489ff0702923bf24c0002cd93eb4b47ba344375566202f56d972: 2\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-openstack/","title":"OpenStack \u200b\u96c6\u6210","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7528\u6237\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b OpenStack \u200b\u8fd0\u884c\u200b\u865a\u62df\u673a\u200b\uff0c\u200b\u4f7f\u7528\u200b Kubernetes \u200b\u8fd0\u884c\u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u9700\u8981\u200b\u5bb9\u5668\u200b\u548c\u200b\u865a\u673a\u200b\u4e4b\u95f4\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\u5e76\u200b\u5904\u4e8e\u200b\u7edf\u4e00\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u4e0b\u200b\u3002\u200b\u5982\u679c\u200b OpenStack Neutron \u200b\u4fa7\u200b\u540c\u6837\u200b\u4f7f\u7528\u200b OVN \u200b\u4f5c\u4e3a\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u200b\u63a7\u5236\u200b\uff0c\u200b\u90a3\u4e48\u200b Kube-OVN \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u548c\u200b\u5171\u4eab\u200b\u5e95\u5c42\u200b OVN \u200b\u4e24\u79cd\u200b\u65b9\u5f0f\u200b\u6253\u901a\u200b OpenStack \u200b\u548c\u200b Kubernetes \u200b\u7684\u200b\u7f51\u7edc\u200b\u3002</p>"},{"location":"advance/with-openstack/#_1","title":"\u96c6\u7fa4\u200b\u4e92\u8054","text":"<p>\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u548c\u200b\u4f7f\u7528\u200b OVN-IC \u200b\u8fdb\u884c\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u6253\u901a\u200b\u4e24\u4e2a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u65b9\u5f0f\u200b\u7c7b\u4f3c\u200b\uff0c\u200b\u53ea\u4e0d\u8fc7\u200b\u5c06\u200b\u96c6\u7fa4\u200b\u4e24\u7aef\u200b\u6362\u6210\u200b OpenStack \u200b\u548c\u200b Kubernetes\u3002</p>"},{"location":"advance/with-openstack/#_2","title":"\u524d\u63d0\u6761\u4ef6","text":"<ol> <li>\u200b\u81ea\u52a8\u200b\u4e92\u8054\u200b\u6a21\u5f0f\u200b\u4e0b\u200b OpenStack \u200b\u548c\u200b Kubernetes \u200b\u5185\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u80fd\u200b\u76f8\u4e92\u200b\u91cd\u53e0\u200b\u3002</li> <li>\u200b\u9700\u8981\u200b\u5b58\u5728\u200b\u4e00\u7ec4\u200b\u673a\u5668\u200b\u53ef\u4ee5\u200b\u88ab\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u901a\u8fc7\u200b\u7f51\u7edc\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u7528\u6765\u200b\u90e8\u7f72\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u7684\u200b\u63a7\u5236\u5668\u200b\u3002</li> <li>\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u9700\u8981\u200b\u6709\u200b\u4e00\u7ec4\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b IP \u200b\u8fdb\u884c\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8bbf\u200b\u7684\u200b\u673a\u5668\u200b\u4f5c\u4e3a\u200b\u4e4b\u540e\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u3002</li> <li>\u200b\u8be5\u200b\u65b9\u6848\u200b\u53ea\u200b\u6253\u901a\u200b Kubernetes \u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u548c\u200b OpenStack \u200b\u7684\u200b\u9009\u5b9a\u200b VPC\u3002</li> </ol>"},{"location":"advance/with-openstack/#ovn-ic","title":"\u90e8\u7f72\u200b OVN-IC \u200b\u6570\u636e\u5e93","text":"<p>\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u542f\u52a8\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\uff1a</p> <pre><code>docker run --name=ovn-ic-db -d --network=host -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre>"},{"location":"advance/with-openstack/#kubernetes","title":"Kubernetes \u200b\u4fa7\u200b\u64cd\u4f5c","text":"<p>\u200b\u5728\u200b <code>kube-system</code> Namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b <code>ovn-ic-config</code> ConfigMap\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre> <ul> <li><code>enable-ic</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u3002</li> <li><code>az-name</code>: \u200b\u533a\u5206\u200b\u4e0d\u540c\u200b\u96c6\u7fa4\u200b\u7684\u200b\u96c6\u7fa4\u200b\u540d\u79f0\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u4e92\u8054\u200b\u96c6\u7fa4\u200b\u9700\u200b\u4e0d\u540c\u200b\u3002</li> <li><code>ic-db-host</code>: \u200b\u90e8\u7f72\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</li> <li><code>ic-nb-port</code>: <code>OVN-IC</code> \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 6645\u3002</li> <li><code>ic-sb-port</code>: <code>OVN-IC</code> \u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 6646\u3002</li> <li><code>gw-nodes</code>: \u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u4e2d\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u5de5\u4f5c\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u200b\uff0c\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u3002</li> <li><code>auto-route</code>: \u200b\u662f\u5426\u200b\u81ea\u52a8\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u548c\u200b\u5b66\u4e60\u200b\u8def\u7531\u200b\u3002</li> </ul>"},{"location":"advance/with-openstack/#openstack_1","title":"OpenStack \u200b\u4fa7\u200b\u64cd\u4f5c","text":"<p>\u200b\u521b\u5efa\u200b\u548c\u200b Kubernetes \u200b\u4e92\u8054\u200b\u7684\u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\uff1a</p> <pre><code># openstack router create router0\n# openstack router list\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| ID                                   | Name    | Status | State | Project                          |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| d5b38655-249a-4192-8046-71aa4d2b4af1 | router0 | ACTIVE | UP    | 98a29ab7388347e7b5ff8bdd181ba4f9 |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n</code></pre> <p>\u200b\u5728\u200b OpenStack \u200b\u5185\u200b\u7684\u200b OVN \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u4e2d\u200b\u8bbe\u7f6e\u200b\u53ef\u7528\u200b\u533a\u200b\u540d\u5b57\u200b\uff0c\u200b\u8be5\u200b\u540d\u79f0\u200b\u9700\u200b\u548c\u200b\u5176\u4ed6\u200b\u4e92\u8054\u200b\u96c6\u7fa4\u200b\u4e0d\u540c\u200b\uff1a</p> <pre><code>ovn-nbctl set NB_Global . name=op-az\n</code></pre> <p>\u200b\u5728\u200b\u53ef\u200b\u8bbf\u95ee\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u8282\u70b9\u200b\u542f\u52a8\u200b <code>OVN-IC</code> \u200b\u63a7\u5236\u5668\u200b\uff1a</p> <pre><code>/usr/share/ovn/scripts/ovn-ctl --ovn-ic-nb-db=tcp:192.168.65.3:6645 \\\n  --ovn-ic-sb-db=tcp:192.168.65.3:6646 \\\n  --ovn-northd-nb-db=unix:/run/ovn/ovnnb_db.sock \\\n  --ovn-northd-sb-db=unix:/run/ovn/ovnsb_db.sock \\\n  start_ic\n</code></pre> <ul> <li><code>ovn-ic-nb-db</code>\uff0c<code>ovn-ic-sb-db</code>: OVN-IC \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u548c\u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b\u5730\u5740\u200b\u3002</li> <li><code>ovn-northd-nb-db</code>\uff0c <code>ovn-northd-sb-db</code>: \u200b\u5f53\u524d\u200b\u96c6\u7fa4\u200b OVN \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u548c\u200b\u5357\u5411\u200b\u6570\u636e\u200b\u5730\u5740\u200b\u3002</li> </ul> <p>\u200b\u914d\u7f6e\u200b\u4e92\u8054\u7f51\u200b\u5173\u8282\u70b9\u200b\uff1a</p> <pre><code>ovs-vsctl set open_vswitch . external_ids:ovn-is-interconn=true\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u9700\u8981\u200b\u5728\u200b OpenStack \u200b\u7684\u200b OVN \u200b\u5185\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\u521b\u5efa\u200b\u903b\u8f91\u200b\u62d3\u6251\u200b\u3002</p> <p>\u200b\u8fde\u63a5\u200b <code>ts</code> \u200b\u4e92\u8054\u200b\u4ea4\u6362\u673a\u200b\u548c\u200b <code>router0</code> \u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\uff0c\u200b\u5e76\u200b\u8bbe\u7f6e\u200b\u76f8\u5173\u200b\u89c4\u5219\u200b\uff1a</p> <pre><code>ovn-nbctl lrp-add router0 lrp-router0-ts 00:02:ef:11:39:4f 169.254.100.73/24\novn-nbctl lsp-add ts lsp-ts-router0 -- lsp-set-addresses lsp-ts-router0 router \\\n  -- lsp-set-type lsp-ts-router0 router \\\n  -- lsp-set-options lsp-ts-router0  router-port=lrp-router0-ts\novn-nbctl lrp-set-gateway-chassis lrp-router0-ts {gateway chassis} 1000\novn-nbctl set NB_Global . options:ic-route-adv=true options:ic-route-learn=true\n</code></pre> <p>\u200b\u9a8c\u8bc1\u200b\u5df2\u200b\u5b66\u4e60\u200b\u5230\u200b Kubernetes \u200b\u8def\u7531\u200b\u89c4\u5219\u200b\uff1a</p> <pre><code># ovn-nbctl lr-route-list router0\nIPv4 Routes\n                10.0.0.22            169.254.100.34 dst-ip (learned)\n             10.16.0.0/16            169.254.100.34 dst-ip (learned)\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u5728\u200b <code>router0</code> \u200b\u7f51\u7edc\u200b\u4e0b\u200b\u521b\u5efa\u200b\u865a\u673a\u200b\u9a8c\u8bc1\u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u548c\u200b Kubernetes \u200b\u4e0b\u200b Pod \u200b\u4e92\u901a\u200b\u3002</p>"},{"location":"advance/with-openstack/#ovn","title":"\u5171\u4eab\u200b\u5e95\u5c42\u200b OVN","text":"<p>\u200b\u5728\u200b\u8be5\u200b\u65b9\u6848\u200b\u4e0b\u200b\uff0cOpenStack \u200b\u548c\u200b Kubernetes \u200b\u5171\u4eab\u200b\u4f7f\u7528\u200b\u540c\u4e00\u4e2a\u200b OVN\uff0c\u200b\u56e0\u6b64\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u4e24\u8005\u200b\u7684\u200b VPC \u200b\u548c\u200b Subnet \u200b\u7b49\u200b\u6982\u5ff5\u200b\u62c9\u9f50\u200b\uff0c\u200b\u5b9e\u73b0\u200b\u66f4\u597d\u200b\u7684\u200b\u63a7\u5236\u200b\u548c\u200b\u4e92\u8054\u200b\u3002</p> <p>\u200b\u5728\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u6211\u4eec\u200b\u6b63\u5e38\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u90e8\u7f72\u200b OVN\uff0cOpenStack \u200b\u4fee\u6539\u200b Neutron \u200b\u914d\u7f6e\u200b\u5b9e\u73b0\u200b\u8fde\u63a5\u200b\u540c\u4e00\u4e2a\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u3002OpenStack \u200b\u9700\u200b\u4f7f\u7528\u200b networking-ovn \u200b\u4f5c\u4e3a\u200b Neutron \u200b\u540e\u200b\u7aef\u200b\u5b9e\u73b0\u200b\u3002</p>"},{"location":"advance/with-openstack/#neutron","title":"Neutron \u200b\u914d\u7f6e\u200b\u4fee\u6539","text":"<p>\u200b\u4fee\u6539\u200b Neutron \u200b\u914d\u7f6e\u6587\u4ef6\u200b <code>/etc/neutron/plugins/ml2/ml2_conf.ini</code>\uff1a</p> <pre><code>[ovn]\n...\novn_nb_connection = tcp:[192.168.137.176]:6641,tcp:[192.168.137.177]:6641,tcp:[192.168.137.178]:6641\novn_sb_connection = tcp:[192.168.137.176]:6642,tcp:[192.168.137.177]:6642,tcp:[192.168.137.178]:6642\novn_l3_scheduler = OVN_L3_SCHEDULER\n</code></pre> <ul> <li><code>ovn_nb_connection</code>\uff0c <code>ovn_sb_connection</code>: \u200b\u5730\u5740\u200b\u9700\u200b\u4fee\u6539\u200b\u4e3a\u200b Kube-OVN \u200b\u90e8\u7f72\u200b <code>ovn-central</code> \u200b\u8282\u70b9\u200b\u7684\u200b\u5730\u5740\u200b\u3002</li> </ul> <p>\u200b\u4fee\u6539\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u7684\u200b OVS \u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ovs-vsctl set open . external-ids:ovn-remote=tcp:[192.168.137.176]:6642,tcp:[192.168.137.177]:6642,tcp:[192.168.137.178]:6642\novs-vsctl set open . external-ids:ovn-encap-type=geneve\novs-vsctl set open . external-ids:ovn-encap-ip=192.168.137.200\n</code></pre> <ul> <li><code>external-ids:ovn-remote</code>: \u200b\u5730\u5740\u200b\u9700\u200b\u4fee\u6539\u200b\u4e3a\u200b Kube-OVN \u200b\u90e8\u7f72\u200b <code>ovn-central</code> \u200b\u8282\u70b9\u200b\u7684\u200b\u5730\u5740\u200b\u3002</li> <li><code>ovn-encap-ip</code>: \u200b\u4fee\u6539\u200b\u4e3a\u200b\u5f53\u524d\u200b\u8282\u70b9\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</li> </ul>"},{"location":"advance/with-openstack/#kubernetes-openstack","title":"\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u4f7f\u7528\u200b OpenStack \u200b\u5185\u200b\u8d44\u6e90","text":"<p>\u200b\u63a5\u4e0b\u6765\u200b\u4ecb\u7ecd\u200b\u5982\u4f55\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u67e5\u8be2\u200b OpenStack \u200b\u7684\u200b\u7f51\u7edc\u8d44\u6e90\u200b\u5e76\u200b\u5728\u200b OpenStack \u200b\u7684\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u521b\u5efa\u200b Pod\u3002</p> <p>\u200b\u67e5\u8be2\u200b OpenStack \u200b\u4e2d\u200b\u5df2\u6709\u200b\u7684\u200b\u7f51\u7edc\u8d44\u6e90\u200b\uff0c\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\u5df2\u7ecf\u200b\u9884\u5148\u200b\u521b\u5efa\u200b\u5b8c\u6210\u200b\uff1a</p> <pre><code># openstack router list\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| ID                                   | Name    | Status | State | Project                          |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| 22040ed5-0598-4f77-bffd-e7fd4db47e93 | router0 | ACTIVE | UP    | 62381a21d569404aa236a5dd8712449c |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n# openstack network list\n+--------------------------------------+----------+--------------------------------------+\n| ID                                   | Name     | Subnets                              |\n+--------------------------------------+----------+--------------------------------------+\n| cd59e36a-37db-4c27-b709-d35379a7920f | provider | 01d73d9f-fdaa-426c-9b60-aa34abbfacae |\n+--------------------------------------+----------+--------------------------------------+\n# openstack subnet list\n+--------------------------------------+-------------+--------------------------------------+----------------+\n| ID                                   | Name        | Network                              | Subnet         |\n+--------------------------------------+-------------+--------------------------------------+----------------+\n| 01d73d9f-fdaa-426c-9b60-aa34abbfacae | provider-v4 | cd59e36a-37db-4c27-b709-d35379a7920f | 192.168.1.0/24 |\n+--------------------------------------+-------------+--------------------------------------+----------------+\n# openstack server list\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n| ID                                   | Name              | Status | Networks              | Image  | Flavor |\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n| 8433d622-a8d6-41a7-8b31-49abfd64f639 | provider-instance | ACTIVE | provider=192.168.1.61 | ubuntu | m1     |\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n</code></pre> <p>\u200b\u5728\u200b Kubernetes \u200b\u4fa7\u200b\uff0c\u200b\u67e5\u8be2\u200b VPC \u200b\u8d44\u6e90\u200b\uff1a</p> <pre><code># kubectl get vpc\nNAME                                           STANDBY   SUBNETS\nneutron-22040ed5-0598-4f77-bffd-e7fd4db47e93   true      [\"neutron-cd59e36a-37db-4c27-b709-d35379a7920f\"]\novn-cluster                                    true      [\"join\",\"ovn-default\"]\n</code></pre> <p><code>neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93</code> \u200b\u4e3a\u200b\u4ece\u200b OpenStack \u200b\u540c\u6b65\u200b\u8fc7\u6765\u200b\u7684\u200b VPC \u200b\u8d44\u6e90\u200b\u3002</p> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u6309\u7167\u200b Kube-OVN \u200b\u539f\u751f\u200b\u7684\u200b VPC \u200b\u548c\u200b Subnet \u200b\u64cd\u4f5c\u200b\u521b\u5efa\u200b Pod \u200b\u5e76\u200b\u8fd0\u884c\u200b\u3002</p> <p>VPC, Subnet \u200b\u7ed1\u5b9a\u200b Namespace <code>net2</code>\uff0c\u200b\u5e76\u200b\u521b\u5efa\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Namespace\nmetadata:\n  name: net2\n---\napiVersion: kubeovn.io/v1\nkind: Vpc\nmetadata:\n  creationTimestamp: \"2021-06-20T13:34:11Z\"\n  generation: 2\n  labels:\n    ovn.kubernetes.io/vpc_external: \"true\"\n  name: neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93\n  resourceVersion: \"583728\"\n  uid: 18d4c654-f511-4def-a3a0-a6434d237c1e\nspec:\n  namespaces:\n  - net2\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93\n  namespaces:\n    - net2\n  cidrBlock: 12.0.1.0/24\n  natOutgoing: false\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: ubuntu\n  namespace: net2\nspec:\n  containers:\n    - image: docker.io/kubeovn/kube-ovn:v1.8.0\n      command:\n        - \"sleep\"\n        - \"604800\"\n      imagePullPolicy: IfNotPresent\n      name: ubuntu\n  restartPolicy: Always\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-ovn-ic/","title":"\u4f7f\u7528\u200b OVN-IC \u200b\u8fdb\u884c\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u901a\u8fc7\u200b OVN-IC \u200b\u5c06\u200b\u4e24\u4e2a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b Pod \u200b\u7f51\u7edc\u200b\u6253\u901a\u200b\uff0c\u200b\u6253\u901a\u200b\u540e\u200b\u7684\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b Pod \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Pod IP \u200b\u8fdb\u884c\u200b\u76f4\u63a5\u200b\u901a\u4fe1\u200b\u3002 Kube-OVN \u200b\u4f7f\u7528\u200b\u96a7\u9053\u200b\u5bf9\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u4e4b\u95f4\u200b\u53ea\u8981\u200b\u5b58\u5728\u200b\u4e00\u7ec4\u200b IP \u200b\u53ef\u8fbe\u200b\u7684\u200b\u673a\u5668\u200b\u5373\u53ef\u200b\u5b8c\u6210\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u4e92\u901a\u200b\u3002</p> <p>\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u7684\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u4e3a\u200b Overlay \u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\uff0cUnderlay \u200b\u7f51\u7edc\u200b\u5982\u679c\u200b\u60f3\u8981\u200b\u5b9e\u73b0\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u9700\u8981\u200b\u5e95\u5c42\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u505a\u200b\u7f51\u7edc\u200b\u6253\u901a\u200b\u3002</p> <p></p>"},{"location":"advance/with-ovn-ic/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ol> <li> <p>1.11.16 \u200b\u4e4b\u540e\u200b\u7248\u672c\u200b\u90e8\u7f72\u200b\u7684\u200b\u96c6\u7fa4\u200b\u9ed8\u8ba4\u200b\u5173\u95ed\u200b\u4e86\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u7684\u200b\u5f00\u5173\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u90e8\u7f72\u200b\u811a\u672c\u200b <code>install.sh</code> \u200b\u91cc\u200b\u4fee\u6539\u200b\u4e0b\u5217\u200b\u53d8\u91cf\u200b\uff1a</p> <pre><code>ENABLE_IC=true\n</code></pre> <p>\u200b\u6253\u5f00\u200b\u5f00\u5173\u200b\u540e\u200b\u90e8\u7f72\u200b\u96c6\u7fa4\u200b\uff0c\u200b\u4f1a\u200b\u51fa\u73b0\u200b\u7ec4\u4ef6\u200b deployment ovn-ic-controller\u3002 2. \u200b\u81ea\u52a8\u200b\u4e92\u8054\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u4e0d\u540c\u200b\u96c6\u7fa4\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u80fd\u200b\u76f8\u4e92\u200b\u91cd\u53e0\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u9700\u5728\u200b\u5b89\u88c5\u200b\u65f6\u200b\u914d\u7f6e\u200b\u4e3a\u200b\u4e0d\u200b\u91cd\u53e0\u200b\u7684\u200b\u7f51\u6bb5\u200b\u3002\u200b\u82e5\u200b\u5b58\u5728\u200b\u91cd\u53e0\u200b\u9700\u200b\u53c2\u8003\u200b\u540e\u7eed\u200b\u624b\u52a8\u200b\u4e92\u8054\u200b\u8fc7\u7a0b\u200b\uff0c\u200b\u53ea\u80fd\u200b\u5c06\u200b\u4e0d\u200b\u91cd\u53e0\u200b\u7f51\u6bb5\u200b\u6253\u901a\u200b\u3002 3. \u200b\u9700\u8981\u200b\u5b58\u5728\u200b\u4e00\u7ec4\u200b\u673a\u5668\u200b\u53ef\u4ee5\u200b\u88ab\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u7684\u200b <code>kube-ovn-controller</code> \u200b\u901a\u8fc7\u200b IP \u200b\u8bbf\u95ee\u200b\uff0c\u200b\u7528\u6765\u200b\u90e8\u7f72\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u7684\u200b\u63a7\u5236\u5668\u200b\u3002 4. \u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u9700\u8981\u200b\u6709\u200b\u4e00\u7ec4\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b IP \u200b\u8fdb\u884c\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8bbf\u200b\u7684\u200b\u673a\u5668\u200b\u4f5c\u4e3a\u200b\u4e4b\u540e\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u3002 5. \u200b\u8be5\u200b\u529f\u80fd\u200b\u53ea\u200b\u5bf9\u200b\u9ed8\u8ba4\u200b VPC \u200b\u751f\u6548\u200b\uff0c\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u4e92\u8054\u200b\u529f\u80fd\u200b\u3002</p> </li> </ol>"},{"location":"advance/with-ovn-ic/#ovn-ic_1","title":"\u90e8\u7f72\u200b\u5355\u200b\u8282\u70b9\u200b OVN-IC \u200b\u6570\u636e\u5e93","text":""},{"location":"advance/with-ovn-ic/#1","title":"\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 1","text":"<p>\u200b\u4f18\u5148\u200b\u63a8\u8350\u200b\u65b9\u6848\u200b 1\uff0cKube-OVN v1.11.16 \u200b\u4e4b\u540e\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u8be5\u200b\u65b9\u6cd5\u200b\u4e0d\u200b\u533a\u522b\u200b \"\u200b\u5355\u200b\u8282\u70b9\u200b\" \u200b\u6216\u8005\u200b \"\u200b\u591a\u200b\u8282\u70b9\u200b\u9ad8\u200b\u53ef\u7528\u200b\" \u200b\u90e8\u7f72\u200b\uff0c\u200b\u63a7\u5236\u5668\u200b\u4f1a\u4ee5\u200b Deployment \u200b\u7684\u200b\u5f62\u5f0f\u200b\u90e8\u7f72\u200b\u5728\u200b master \u200b\u8282\u70b9\u200b\u4e0a\u200b\uff0c\u200b\u96c6\u7fa4\u200b master \u200b\u8282\u70b9\u200b\u4e3a\u200b 1\uff0c\u200b\u5373\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\uff0cmaster \u200b\u8282\u70b9\u200b\u4e3a\u200b\u591a\u4e2a\u200b\uff0c\u200b\u5373\u200b\u591a\u200b\u8282\u70b9\u200b\u9ad8\u200b\u53ef\u7528\u200b\u90e8\u7f72\u200b\u3002</p> <p>\u200b\u5148\u200b\u83b7\u53d6\u200b\u811a\u672c\u200b <code>install-ovn-ic.sh</code>\uff0c\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install-ic-server.sh\n</code></pre> <p>\u200b\u6267\u884c\u547d\u4ee4\u200b\u5b89\u88c5\u200b\uff0c\u200b\u5176\u4e2d\u200b <code>TS_NUM</code> \u200b\u8868\u793a\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u7684\u200b ECMP Path \u200b\u6570\u91cf\u200b\uff1a</p> <pre><code>sed 's/VERSION=.*/VERSION=v1.13.0/' dist/images/install-ic-server.sh | TS_NUM=3 bash\n</code></pre> <p>\u200b\u6267\u884c\u200b\u6210\u529f\u200b\u8f93\u51fa\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>deployment.apps/ovn-ic-server created\nWaiting for deployment spec update to be observed...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 0 out of 3 new replicas have been updated...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 0 of 3 updated replicas are available...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"ovn-ic-server\" successfully rolled out\nOVN IC Server installed Successfully\n</code></pre> <p>\u200b\u901a\u8fc7\u200b <code>kubectl ko icsbctl show</code> \u200b\u547d\u4ee4\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b\u5f53\u524d\u200b\u4e92\u8054\u200b\u63a7\u5236\u5668\u200b\u7684\u200b\u72b6\u6001\u200b\uff0c\u200b\u547d\u4ee4\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kubectl ko icsbctl show\navailability-zone az0\n    gateway 059b5c54-c540-4d77-b009-02d65f181a02\n        hostname: kube-ovn-worker\n        type: geneve\n            ip: 172.18.0.3\n        port ts-az0\n            transit switch: ts\n            address: [\"00:00:00:B4:8E:BE 169.254.100.97/24\"]\n    gateway 74ee4b9a-ba48-4a07-861e-1a8e4b9f905f\n        hostname: kube-ovn-worker2\n        type: geneve\n            ip: 172.18.0.2\n        port ts1-az0\n            transit switch: ts1\n            address: [\"00:00:00:19:2E:F7 169.254.101.90/24\"]\n    gateway 7e2428b6-344c-4dd5-a0d5-972c1ccec581\n        hostname: kube-ovn-control-plane\n        type: geneve\n            ip: 172.18.0.4\n        port ts2-az0\n            transit switch: ts2\n            address: [\"00:00:00:EA:32:BA 169.254.102.103/24\"]\navailability-zone az1\n    gateway 034da7cb-3826-4318-81ce-6a877a9bf285\n        hostname: kube-ovn1-worker\n        type: geneve\n            ip: 172.18.0.6\n        port ts-az1\n            transit switch: ts\n            address: [\"00:00:00:25:3A:B9 169.254.100.51/24\"]\n    gateway 2531a683-283e-4fb8-a619-bdbcb33539b8\n        hostname: kube-ovn1-worker2\n        type: geneve\n            ip: 172.18.0.5\n        port ts1-az1\n            transit switch: ts1\n            address: [\"00:00:00:52:87:F4 169.254.101.118/24\"]\n    gateway b0efb0be-e5a7-4323-ad4b-317637a757c4\n        hostname: kube-ovn1-control-plane\n        type: geneve\n            ip: 172.18.0.8\n        port ts2-az1\n            transit switch: ts2\n            address: [\"00:00:00:F6:93:1A 169.254.102.17/24\"]\n</code></pre>"},{"location":"advance/with-ovn-ic/#2","title":"\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 2","text":"<p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b <code>kube-ovn-controller</code> \u200b\u53ef\u200b\u901a\u8fc7\u200b IP \u200b\u8bbf\u95ee\u200b\u7684\u200b\u673a\u5668\u200b\u4e0a\u200b\u90e8\u7f72\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\uff0c\u200b\u8be5\u200b\u8282\u70b9\u200b\u5c06\u200b\u4fdd\u5b58\u200b\u5404\u4e2a\u200b\u96c6\u7fa4\u200b\u540c\u6b65\u200b\u4e0a\u6765\u200b\u7684\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u3002</p> <p>\u200b\u90e8\u7f72\u200b <code>docker</code> \u200b\u7684\u200b\u73af\u5883\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u542f\u52a8\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\uff1a</p> <pre><code>docker run --name=ovn-ic-db -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --network=host --privileged  -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>\u200b\u5bf9\u4e8e\u200b\u90e8\u7f72\u200b <code>containerd</code> \u200b\u53d6\u4ee3\u200b <code>docker</code> \u200b\u7684\u200b\u73af\u5883\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>ctr -n k8s.io run -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre>"},{"location":"advance/with-ovn-ic/#_2","title":"\u81ea\u52a8\u200b\u8def\u7531\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5728\u200b\u81ea\u52a8\u200b\u8def\u7531\u200b\u8bbe\u7f6e\u200b\u4e0b\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u4f1a\u200b\u5c06\u200b\u81ea\u5df1\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b Subnet \u200b\u7684\u200b CIDR \u200b\u4fe1\u606f\u200b\u540c\u6b65\u200b\u7ed9\u200b <code>OVN-IC</code>\uff0c\u200b\u56e0\u6b64\u200b\u8981\u200b\u786e\u4fdd\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u7684\u200b Subnet CIDR \u200b\u4e0d\u200b\u5b58\u5728\u200b\u91cd\u53e0\u200b\u3002</p> <p>\u200b\u5728\u200b <code>kube-system</code> Namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b <code>ovn-ic-config</code> ConfigMap\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre> <ul> <li><code>enable-ic</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u3002</li> <li><code>az-name</code>: \u200b\u533a\u5206\u200b\u4e0d\u540c\u200b\u96c6\u7fa4\u200b\u7684\u200b\u96c6\u7fa4\u200b\u540d\u79f0\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u4e92\u8054\u200b\u96c6\u7fa4\u200b\u9700\u200b\u4e0d\u540c\u200b\u3002</li> <li><code>ic-db-host</code>: \u200b\u90e8\u7f72\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</li> <li><code>ic-nb-port</code>: <code>OVN-IC</code> \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 6645\u3002</li> <li><code>ic-sb-port</code>: <code>OVN-IC</code> \u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 6646\u3002</li> <li><code>gw-nodes</code>: \u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u4e2d\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u5de5\u4f5c\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u200b\uff0c\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u3002</li> <li><code>auto-route</code>: \u200b\u662f\u5426\u200b\u81ea\u52a8\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u548c\u200b\u5b66\u4e60\u200b\u8def\u7531\u200b\u3002</li> </ul> <p>\u200b\u6ce8\u610f\u200b\uff1a \u200b\u4e3a\u4e86\u200b\u4fdd\u8bc1\u200b\u64cd\u4f5c\u200b\u7684\u200b\u6b63\u786e\u6027\u200b\uff0c<code>ovn-ic-config</code> \u200b\u8fd9\u4e2a\u200b ConfigMap \u200b\u4e0d\u200b\u5141\u8bb8\u200b\u4fee\u6539\u200b\u3002\u200b\u5982\u200b\u6709\u200b\u53c2\u6570\u200b\u9700\u8981\u200b\u53d8\u66f4\u200b\uff0c\u200b\u8bf7\u200b\u5220\u9664\u200b\u8be5\u200b ConfigMap\uff0c\u200b\u4fee\u6539\u200b\u540e\u200b\u518d\u200b\u5e94\u7528\u200b\u6b64\u200b ConfigMap\u3002</p> <p>\u200b\u5728\u200b <code>ovn-ic</code> \u200b\u5bb9\u5668\u200b\u5185\u200b\u901a\u8fc7\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u67e5\u770b\u200b\u662f\u5426\u200b\u5df2\u200b\u5efa\u7acb\u200b\u4e92\u8054\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b <code>ts</code>\uff1a</p> <pre><code># ovn-ic-sbctl show\navailability-zone az1\n    gateway deee03e0-af16-4f45-91e9-b50c3960f809\n        hostname: az1-gw\n        type: geneve\n            ip: 192.168.42.145\n        port ts-az1\n            transit switch: ts\n            address: [\"00:00:00:50:AC:8C 169.254.100.45/24\"]\navailability-zone az2\n    gateway e94cc831-8143-40e3-a478-90352773327b\n        hostname: az2-gw\n        type: geneve\n            ip: 192.168.42.149\n        port ts-az2\n            transit switch: ts\n            address: [\"00:00:00:07:4A:59 169.254.100.63/24\"]\n</code></pre> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u89c2\u5bdf\u200b\u903b\u8f91\u200b\u8def\u7531\u200b\u662f\u5426\u200b\u6709\u200b\u5b66\u4e60\u200b\u5230\u200b\u7684\u200b\u5bf9\u200b\u7aef\u200b\u8def\u7531\u200b\uff1a</p> <pre><code># kubectl ko nbctl lr-route-list ovn-cluster\nIPv4 Routes\n                10.42.1.1            169.254.100.45 dst-ip (learned)\n                10.42.1.3                100.64.0.2 dst-ip\n                10.16.0.2                100.64.0.2 src-ip\n                10.16.0.3                100.64.0.2 src-ip\n                10.16.0.4                100.64.0.2 src-ip\n                10.16.0.6                100.64.0.2 src-ip\n             10.17.0.0/16            169.254.100.45 dst-ip (learned)\n            100.65.0.0/16            169.254.100.45 dst-ip (learned)\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u5c1d\u8bd5\u200b\u5728\u200b\u96c6\u7fa4\u200b 1 \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b Pod \u200b\u5185\u200b\u76f4\u63a5\u200b <code>ping</code> \u200b\u96c6\u7fa4\u200b 2 \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b Pod IP \u200b\u89c2\u5bdf\u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u8054\u901a\u200b\u3002</p> <p>\u200b\u5bf9\u4e8e\u200b\u67d0\u4e2a\u200b\u4e0d\u60f3\u200b\u5bf9\u5916\u200b\u81ea\u52a8\u200b\u53d1\u5e03\u200b\u8def\u7531\u200b\u7684\u200b\u5b50\u7f51\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b Subnet \u200b\u91cc\u200b\u7684\u200b <code>disableInterConnection</code> \u200b\u6765\u200b\u7981\u6b62\u200b\u8def\u7531\u200b\u5e7f\u64ad\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: no-advertise\nspec:\n  cidrBlock: 10.199.0.0/16\n  disableInterConnection: true\n</code></pre>"},{"location":"advance/with-ovn-ic/#_3","title":"\u624b\u52a8\u200b\u8def\u7531\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5bf9\u4e8e\u200b\u96c6\u7fa4\u200b\u95f4\u200b\u5b58\u5728\u200b\u91cd\u53e0\u200b CIDR \u200b\u53ea\u200b\u5e0c\u671b\u200b\u505a\u200b\u90e8\u5206\u200b\u5b50\u7f51\u200b\u6253\u901a\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u624b\u52a8\u200b\u53d1\u5e03\u200b\u5b50\u200b\u7f51\u8def\u200b\u7531\u200b\u3002</p> <p>\u200b\u5728\u200b <code>kube-system</code> Namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b <code>ovn-ic-config</code> ConfigMap\uff0c\u200b\u5e76\u200b\u5c06\u200b <code>auto-route</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"false\"\n</code></pre> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u5206\u522b\u200b\u67e5\u770b\u200b\u8fdc\u7aef\u200b\u903b\u8f91\u200b\u7aef\u53e3\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u7528\u4e8e\u200b\u4e4b\u540e\u200b\u624b\u52a8\u200b\u914d\u7f6e\u200b\u8def\u7531\u200b\uff1a</p> <pre><code>[root@az1 ~]# kubectl ko nbctl show\nswitch a391d3a1-14a0-4841-9836-4bd930c447fb (ts)\n    port ts-az1\n        type: router\n        router-port: az1-ts\n    port ts-az2\n        type: remote\n        addresses: [\"00:00:00:4B:E2:9F 169.254.100.31/24\"]\n\n[root@az2 ~]# kubectl ko nbctl show\nswitch da6138b8-de81-4908-abf9-b2224ec4edf3 (ts)\n    port ts-az2\n        type: router\n        router-port: az2-ts\n    port ts-az1\n        type: remote\n        addresses: [\"00:00:00:FB:2A:F7 169.254.100.79/24\"]        \n</code></pre> <p>\u200b\u7531\u200b\u4e0a\u200b\u8f93\u51fa\u200b\u53ef\u77e5\u200b\uff0c\u200b\u96c6\u7fa4\u200b <code>az1</code> \u200b\u5230\u200b \u200b\u96c6\u7fa4\u200b <code>az2</code> \u200b\u7684\u200b\u8fdc\u7aef\u200b\u5730\u5740\u200b\u4e3a\u200b <code>169.254.100.31</code>\uff0c<code>az2</code> \u200b\u5230\u200b <code>az1</code> \u200b\u7684\u200b\u8fdc\u7aef\u200b\u5730\u5740\u200b\u4e3a\u200b <code>169.254.100.79</code>\u3002</p> <p>\u200b\u4e0b\u9762\u200b\u624b\u52a8\u200b\u8bbe\u7f6e\u200b\u8def\u7531\u200b\uff0c\u200b\u5728\u200b\u8be5\u200b\u4f8b\u5b50\u200b\u4e2d\u200b\uff0c\u200b\u96c6\u7fa4\u200b <code>az1</code> \u200b\u5185\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>10.16.0.0/24</code>\uff0c\u200b\u96c6\u7fa4\u200b <code>az2</code> \u200b\u5185\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>10.17.0.0/24</code>\u3002</p> <p>\u200b\u5728\u200b\u96c6\u7fa4\u200b <code>az1</code> \u200b\u8bbe\u7f6e\u200b\u5230\u200b\u96c6\u7fa4\u200b <code>az2</code> \u200b\u7684\u200b\u8def\u7531\u200b:</p> <pre><code>kubectl ko nbctl lr-route-add ovn-cluster 10.17.0.0/24 169.254.100.31\n</code></pre> <p>\u200b\u5728\u200b\u96c6\u7fa4\u200b <code>az2</code> \u200b\u8bbe\u7f6e\u200b\u5230\u200b\u96c6\u7fa4\u200b <code>az1</code> \u200b\u7684\u200b\u8def\u7531\u200b:</p> <pre><code>kubectl ko nbctl lr-route-add ovn-cluster 10.16.0.0/24 169.254.100.79\n</code></pre>"},{"location":"advance/with-ovn-ic/#ovn-ic_2","title":"\u9ad8\u200b\u53ef\u7528\u200b OVN-IC \u200b\u6570\u636e\u5e93\u200b\u90e8\u7f72","text":""},{"location":"advance/with-ovn-ic/#1_1","title":"\u9ad8\u200b\u53ef\u7528\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 1","text":"<p>\u200b\u4f18\u5148\u200b\u63a8\u8350\u200b\u65b9\u6848\u200b 1\uff0cKube-OVN v1.11.16 \u200b\u4e4b\u540e\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u65b9\u6cd5\u200b\u540c\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 1</p>"},{"location":"advance/with-ovn-ic/#2_1","title":"\u9ad8\u200b\u53ef\u7528\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 2","text":"<p><code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u4e4b\u95f4\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Raft \u200b\u534f\u8bae\u200b\u7ec4\u6210\u200b\u4e00\u4e2a\u200b\u9ad8\u200b\u53ef\u7528\u200b\u96c6\u7fa4\u200b\uff0c\u200b\u8be5\u200b\u90e8\u7f72\u200b\u6a21\u5f0f\u200b\u9700\u8981\u200b\u81f3\u5c11\u200b 3 \u200b\u4e2a\u200b\u8282\u70b9\u200b\u3002</p> <p>\u200b\u9996\u5148\u200b\u5728\u200b\u7b2c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u542f\u52a8\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b leader\u3002</p> <p>\u200b\u90e8\u7f72\u200b <code>docker</code> \u200b\u73af\u5883\u200b\u7684\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>docker run --name=ovn-ic-db -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --network=host --privileged -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn -e LOCAL_IP=\"192.168.65.3\"  -e NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"   kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>\u200b\u5982\u679c\u200b\u662f\u200b\u90e8\u7f72\u200b <code>containerd</code> \u200b\u7684\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>ctr -n k8s.io run -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\"  --env=\"NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"\" --env=\"LOCAL_IP=\"192.168.65.3\"\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre> <ul> <li><code>LOCAL_IP</code>\uff1a \u200b\u5f53\u524d\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740\u200b\u3002</li> <li><code>NODE_IPS</code>\uff1a \u200b\u8fd0\u884c\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u4e09\u4e2a\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u4f7f\u7528\u200b\u9017\u53f7\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b\u3002</li> </ul> <p>\u200b\u63a5\u4e0b\u6765\u200b\uff0c\u200b\u5728\u200b\u53e6\u5916\u200b\u4e24\u4e2a\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b follower\u3002</p> <p>\u200b\u90e8\u7f72\u200b <code>docker</code> \u200b\u73af\u5883\u200b\u7684\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>docker run --name=ovn-ic-db -d --network=host --privileged -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn -e LOCAL_IP=\"192.168.65.2\"  -e NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\" -e LEADER_IP=\"192.168.65.3\"  kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>\u200b\u5982\u679c\u200b\u662f\u200b\u90e8\u7f72\u200b <code>containerd</code> \u200b\u7684\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>ctr -n k8s.io run -d --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\"  --env=\"NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"\" --env=\"LOCAL_IP=\"192.168.65.2\"\" --env=\"LEADER_IP=\"192.168.65.3\"\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre> <ul> <li><code>LOCAL_IP</code>\uff1a \u200b\u5f53\u524d\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740\u200b\u3002</li> <li><code>NODE_IPS</code>\uff1a \u200b\u8fd0\u884c\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u4e09\u4e2a\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u4f7f\u7528\u200b\u9017\u53f7\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b\u3002</li> <li><code>LEADER_IP</code>: \u200b\u8fd0\u884c\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b leader \u200b\u8282\u70b9\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</li> </ul> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u521b\u5efa\u200b <code>ovn-ic-config</code> \u200b\u65f6\u200b\u6307\u5b9a\u200b\u591a\u4e2a\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3,192.168.65.2,192.168.65.1\"\n  ic-nb-port: \"6645\"\n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre>"},{"location":"advance/with-ovn-ic/#ecmp","title":"\u652f\u6301\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b ECMP","text":"<p>\u200b\u524d\u63d0\u200b\u63a7\u5236\u5668\u200b\u662f\u200b\u6309\u7167\u200b\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 1\u200b\u90e8\u7f72\u200b</p> <p>\u200b\u8be5\u200b\u65b9\u6848\u200b\u9ed8\u8ba4\u200b\u652f\u6301\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b ECMP\uff0cECMP path \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 3\uff0c\u200b\u540c\u65f6\u200b\u4e5f\u200b\u652f\u6301\u200b\u4fee\u6539\u200b ECMP path \u200b\u6761\u6570\u200b\uff0c\u200b\u4f7f\u7528\u200b\u547d\u4ee4\u200b:</p> <pre><code>kubectl edit deployment ovn-ic-server -n kube-system\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u73af\u5883\u53d8\u91cf\u200b 'TS_NUM' \u200b\u6570\u503c\u200b\u5373\u53ef\u200b\uff0c<code>TS_NUM</code> \u200b\u8868\u793a\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u4e4b\u95f4\u200b\u8bbf\u95ee\u200b\u7684\u200b ECMP Path \u200b\u6761\u6570\u200b\u3002</p>"},{"location":"advance/with-ovn-ic/#_4","title":"\u624b\u52a8\u200b\u91cd\u7f6e","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7531\u4e8e\u200b\u914d\u7f6e\u200b\u9519\u8bef\u200b\u9700\u8981\u200b\u5bf9\u200b\u6574\u4e2a\u200b\u4e92\u8054\u200b\u914d\u7f6e\u200b\u8fdb\u884c\u200b\u6e05\u7406\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u6e05\u7406\u200b\u73af\u5883\u200b\u3002</p> <p>\u200b\u5220\u9664\u200b\u5f53\u524d\u200b\u7684\u200b <code>ovn-ic-config</code> Configmap\uff1a</p> <pre><code>kubectl -n kube-system delete cm ovn-ic-config\n</code></pre> <p>\u200b\u5220\u9664\u200b <code>ts</code> \u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\uff1a</p> <pre><code>kubectl ko nbctl ls-del ts\n</code></pre> <p>\u200b\u5728\u200b\u5bf9\u200b\u7aef\u200b\u96c6\u7fa4\u200b\u91cd\u590d\u200b\u540c\u6837\u200b\u7684\u200b\u6b65\u9aa4\u200b\u3002</p>"},{"location":"advance/with-ovn-ic/#az-name","title":"\u4fee\u6539\u200b az-name","text":"<p>\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b <code>kubectl edit</code> \u200b\u7684\u200b\u65b9\u5f0f\u200b\u5bf9\u200b <code>ovn-ic-config</code> \u200b\u8fd9\u4e2a\u200b configmap \u200b\u4e2d\u200b\u7684\u200b <code>az-name</code> \u200b\u5b57\u200b\u6bb5\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002 \u200b\u4f46\u662f\u200b\u9700\u8981\u200b\u5728\u200b\u6bcf\u4e2a\u200b ovn-cni pod \u200b\u4e0a\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff0c\u200b\u5426\u5219\u200b\u53ef\u80fd\u200b\u51fa\u73b0\u200b\u6700\u957f\u200b 10 \u200b\u5206\u949f\u200b\u7684\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u4e2d\u65ad\u200b\u3002</p> <pre><code>ovn-appctl -t ovn-controller inc-engine/recompute\n</code></pre>"},{"location":"advance/with-ovn-ic/#_5","title":"\u6e05\u7406\u200b\u96c6\u7fa4\u200b\u4e92\u8054","text":"<p>\u200b\u5220\u9664\u200b\u6240\u6709\u200b\u96c6\u7fa4\u200b\u7684\u200b <code>ovn-ic-config</code> Configmap\uff1a</p> <pre><code>kubectl -n kube-system delete cm ovn-ic-config\n</code></pre> <p>\u200b\u5220\u9664\u200b\u6240\u6709\u200b\u96c6\u7fa4\u200b\u7684\u200b <code>ts</code> \u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\uff1a</p> <pre><code>kubectl ko nbctl ls-del ts\n</code></pre> <p>\u200b\u5220\u9664\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u63a7\u5236\u5668\u200b\uff0c\u200b\u5982\u679c\u200b\u662f\u200b\u9ad8\u200b\u53ef\u7528\u200b OVN-IC \u200b\u6570\u636e\u5e93\u200b\u90e8\u7f72\u200b\uff0c\u200b\u9700\u8981\u200b\u90fd\u200b\u6e05\u7406\u200b\u6389\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u63a7\u5236\u5668\u200b\u662f\u200b <code>docker</code> \u200b\u90e8\u7f72\u200b\u6267\u884c\u547d\u4ee4\u200b\uff1a</p> <pre><code>docker stop ovn-ic-db \ndocker rm ovn-ic-db\n</code></pre> <p>\u200b\u5982\u679c\u200b\u63a7\u5236\u5668\u200b\u662f\u200b <code>containerd</code> \u200b\u90e8\u7f72\u200b\u6267\u884c\u547d\u4ee4\u200b\uff1a</p> <pre><code>ctr -n k8s.io task kill ovn-ic-db\nctr -n k8s.io containers rm ovn-ic-db\n</code></pre> <p>\u200b\u5982\u679c\u200b\u63a7\u5236\u5668\u200b\u662f\u200b\u4f7f\u7528\u200b deployment <code>ovn-ic-server</code> \u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>kubectl delete deployment ovn-ic-server -n kube-system\n</code></pre> <p>\u200b\u7136\u540e\u200b\u5728\u200b\u6bcf\u4e2a\u200b master \u200b\u8282\u70b9\u200b\u4e0a\u200b\u6e05\u7406\u200b\u4e92\u8054\u200b\u76f8\u5173\u200b\u7684\u200b DB\uff0c\u200b\u547d\u4ee4\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>rm -f /etc/origin/ovn/ovn_ic_nb_db.db\nrm -f /etc/origin/ovn/ovn_ic_sb_db.db\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-submariner/","title":"\u4f7f\u7528\u200b Submariner \u200b\u8fdb\u884c\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054","text":"<p>Submariner \u200b\u4f5c\u4e3a\u200b\u53ef\u4ee5\u200b\u6253\u901a\u200b\u591a\u4e2a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b Pod \u200b\u548c\u200b Service \u200b\u7f51\u7edc\u200b\u7684\u200b\u5f00\u6e90\u200b\u7f51\u7edc\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u80fd\u591f\u200b\u5e2e\u52a9\u200b  Kube-OVN \u200b\u5b9e\u73b0\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u3002</p> <p>\u200b\u76f8\u6bd4\u200b\u901a\u8fc7\u200b OVN-IC \u200b\u6253\u901a\u200b\u591a\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u7684\u200b\u65b9\u5f0f\u200b\uff0cSubmariner \u200b\u53ef\u4ee5\u200b\u6253\u901a\u200b Kube-OVN \u200b\u548c\u200b\u975e\u200b Kube-OVN \u200b\u7684\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e76\u200b \u200b\u80fd\u200b\u63d0\u4f9b\u200b Service \u200b\u7684\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u80fd\u529b\u200b\u3002\u200b\u4f46\u662f\u200b Submariner \u200b\u76ee\u524d\u200b\u53ea\u80fd\u200b\u5b9e\u73b0\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u7684\u200b\u6253\u901a\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u5b9e\u73b0\u200b\u591a\u5b50\u200b\u7f51\u200b\u9009\u62e9\u6027\u200b\u6253\u901a\u200b\u3002</p>"},{"location":"advance/with-submariner/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ul> <li>\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u7684\u200b Service CIDR \u200b\u548c\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u4e0d\u80fd\u200b\u91cd\u53e0\u200b\u3002</li> </ul>"},{"location":"advance/with-submariner/#submariner_1","title":"\u90e8\u7f72\u200b Submariner","text":"<p>\u200b\u4e0b\u8f7d\u200b <code>subctl</code> \u200b\u4e8c\u8fdb\u5236\u200b\u6587\u4ef6\u200b\uff0c\u200b\u5e76\u200b\u90e8\u7f72\u200b\u5230\u200b\u76f8\u5e94\u200b\u8def\u5f84\u200b\uff1a</p> <pre><code>curl -Ls https://get.submariner.io | bash\nexport PATH=$PATH:~/.local/bin\necho export PATH=\\$PATH:~/.local/bin &gt;&gt; ~/.profile\n</code></pre> <p>\u200b\u5207\u6362\u200b <code>kubeconfig</code> \u200b\u81f3\u200b\u5e0c\u671b\u200b\u90e8\u7f72\u200b <code>submariner-broker</code> \u200b\u7684\u200b\u96c6\u7fa4\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>subctl deploy-broker\n</code></pre> <p>\u200b\u5728\u200b\u672c\u200b\u6587\u6863\u200b\u4e2d\u200b <code>cluster0</code> \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>10.16.0.0/16</code>\uff0cjoin \u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>100.64.0.0/16</code>\uff0c<code>cluster1</code> \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>11.16.0.0/16</code>\uff0cjoin \u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b '100.68.0.0/16'\u3002</p> <p>\u200b\u5207\u6362\u200b <code>kubeconfig</code> \u200b\u81f3\u200b <code>cluster0</code> \u200b\u6ce8\u518c\u200b\u96c6\u7fa4\u200b\u81f3\u200b broker\uff0c\u200b\u5e76\u200b\u6ce8\u518c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b:</p> <pre><code>subctl  join broker-info.subm --clusterid  cluster0 --clustercidr 100.64.0.0/16,10.16.0.0/16  --natt=false --cable-driver vxlan --health-check=false\nkubectl label nodes cluster0 submariner.io/gateway=true\n</code></pre> <p>\u200b\u5207\u6362\u200b <code>kubeconfig</code> \u200b\u81f3\u200b <code>cluster1</code> \u200b\u6ce8\u518c\u200b\u96c6\u7fa4\u200b\u81f3\u200b broker\uff0c\u200b\u5e76\u200b\u6ce8\u518c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b:</p> <pre><code>subctl  join broker-info.subm --clusterid  cluster1 --clustercidr 100.68.0.0/16,11.16.0.0/16  --natt=false --cable-driver vxlan --health-check=false\nkubectl label nodes cluster1 submariner.io/gateway=true\n</code></pre> <p>\u200b\u5982\u679c\u200b\u6267\u884c\u200b <code>join</code> \u200b\u547d\u4ee4\u200b\u4e4b\u540e\u200b\u6ca1\u6709\u200b\u65b0\u200b\u7684\u200b <code>gateway, routeagent</code>pod \u200b\u51fa\u73b0\u200b\u7684\u8bdd\u200b, \u200b\u8bf7\u200b\u4e3a\u200b <code>submariner-operator</code> \u200b\u8fd9\u4e2a\u200b <code>clusterrole</code> \u200b\u589e\u52a0\u200b\u4ee5\u4e0b\u200b\u6743\u9650\u200b:</p> <pre><code>- apiGroups:\n  - \"apps\"\n  resources:\n  - daemonsets\n  verbs:\n  - create\n  - get\n  - list\n  - watch\n  - update\n</code></pre> <p>\u200b\u5bf9\u4e8e\u200b\u591a\u200b\u8282\u70b9\u200b\u7684\u200b\u96c6\u7fa4\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b\u9ed8\u8ba4\u200b\u7684\u200b <code>subnet</code> <code>ovn-default</code> \u200b\u7684\u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b\u6539\u4e3a\u200b <code>centralized</code>\u3002\u200b\u4e3a\u200b submariner \u200b\u914d\u7f6e\u200b\u7684\u200b <code>gateway</code> \u200b\u8282\u70b9\u200b\u9700\u8981\u200b\u548c\u200b <code>subnet</code> \u200b\u8282\u70b9\u200b\u5b8c\u5168\u76f8\u540c\u200b\u3002</p> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u5728\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u5185\u200b\u5206\u522b\u200b\u542f\u52a8\u200b Pod \u200b\u5e76\u200b\u5c1d\u8bd5\u200b\u4f7f\u7528\u200b IP \u200b\u8fdb\u884c\u200b\u76f8\u4e92\u200b\u8bbf\u95ee\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u51fa\u73b0\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\u95ee\u9898\u200b\u53ef\u200b\u901a\u8fc7\u200b <code>subctl</code> \u200b\u547d\u4ee4\u200b\u8fdb\u884c\u200b\u8bca\u65ad\u200b\uff1a</p> <pre><code>subctl show all\nsubctl diagnose all\n</code></pre> <p>\u200b\u66f4\u200b\u591a\u200b Submariner \u200b\u76f8\u5173\u200b\u64cd\u4f5c\u200b\u8bf7\u200b\u67e5\u770b\u200b Submariner \u200b\u7528\u6237\u624b\u518c\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/custom-routes/","title":"\u81ea\u5b9a\u4e49\u200b\u8def\u7531","text":"<p>\u200b\u53ef\u4ee5\u200b\u5728\u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\u901a\u8fc7\u200b Annotations \u200b\u6765\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b\u7684\u200b\u8def\u7531\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: custom-routes\n  annotations:\n    ovn.kubernetes.io/routes: |\n      [{\n        \"dst\": \"192.168.0.101/24\",\n        \"gw\": \"10.16.0.254\"\n      }, {\n        \"gw\": \"10.16.0.254\"\n      }]\nspec:\n  containers:\n  - name: nginx\n    image: docker.io/library/nginx:alpine\n</code></pre> <p><code>dst</code> \u200b\u5b57\u6bb5\u200b\u4e3a\u200b\u7a7a\u200b\u8868\u793a\u200b\u4fee\u6539\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u4e3a\u200b Deployment\u3001DaemonSet \u200b\u6216\u200b StatefulSet\uff0c\u200b\u5bf9\u5e94\u200b\u7684\u200b Annotation \u200b\u9700\u8981\u200b\u914d\u7f6e\u200b\u5728\u200b\u8d44\u6e90\u200b\u7684\u200b <code>.spec.template.metadata.annotations</code> \u200b\u4e2d\u200b\uff0c\u200b\u793a\u4f8b\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: custom-routes\n  labels:\n    app: nginx\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: nginx\n  template:\n    metadata:\n      labels:\n        app: nginx\n      annotations:\n        ovn.kubernetes.io/routes: |\n          [{\n            \"dst\": \"192.168.0.101/24\",\n            \"gw\": \"10.16.0.254\"\n          }, {\n            \"gw\": \"10.16.0.254\"\n          }]\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/library/nginx:alpine\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/dual-stack/","title":"\u53cc\u6808\u200b\u4f7f\u7528","text":"<p>Kube-OVN \u200b\u4e2d\u200b\u4e0d\u540c\u200b\u7684\u200b\u5b50\u7f51\u200b\u53ef\u4ee5\u200b\u652f\u6301\u200b\u4e0d\u540c\u200b\u7684\u200b\u534f\u8bae\u200b\uff0c\u200b\u4e00\u4e2a\u200b\u96c6\u7fa4\u200b\u5185\u200b\u53ef\u4ee5\u200b\u540c\u65f6\u200b\u5b58\u5728\u200b IPv4\uff0cIPv6 \u200b\u548c\u200b\u53cc\u6808\u200b\u7c7b\u578b\u200b\u7684\u200b\u5b50\u7f51\u200b\u3002 \u200b\u6211\u4eec\u200b\u63a8\u8350\u200b\u4e00\u4e2a\u200b\u96c6\u7fa4\u200b\u5185\u200b\u4f7f\u7528\u200b\u7edf\u4e00\u200b\u7684\u200b\u534f\u8bae\u200b\u7c7b\u578b\u200b\u4ee5\u200b\u7b80\u5316\u200b\u4f7f\u7528\u200b\u548c\u200b\u7ef4\u62a4\u200b\u3002</p> <p>\u200b\u4e3a\u4e86\u200b\u652f\u6301\u200b\u53cc\u6808\u200b\uff0c\u200b\u9700\u8981\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u6ee1\u8db3\u200b\u53cc\u6808\u200b\u8981\u6c42\u200b\uff0c\u200b\u540c\u65f6\u200b\u9700\u8981\u200b\u5bf9\u200b Kubernetes \u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\u505a\u200b\u8c03\u6574\u200b\uff0c \u200b\u8bf7\u200b\u53c2\u8003\u200b Kubernetes \u200b\u7684\u200b\u53cc\u6808\u200b\u5b98\u65b9\u200b\u6307\u5bfc\u200b\u3002</p>"},{"location":"guide/dual-stack/#_2","title":"\u521b\u5efa\u200b\u53cc\u6808\u200b\u5b50\u7f51","text":"<p>\u200b\u5728\u200b\u914d\u7f6e\u200b\u53cc\u6808\u200b\u65f6\u200b\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u5b50\u7f51\u200b CIDR \u200b\u683c\u5f0f\u200b\u4e3a\u200b <code>cidr=&lt;IPv4 CIDR&gt;,&lt;IPv6 CIDR&gt;</code> \u200b\u5373\u53ef\u200b\u3002 CIDR \u200b\u987a\u5e8f\u200b\u8981\u6c42\u200b IPv4 \u200b\u5728\u200b\u524d\u200b\uff0cIPv6 \u200b\u5728\u200b\u540e\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata: \n  name: ovn-test\nspec:\n  cidrBlock: 10.16.0.0/16,fd00:10:16::/64\n  excludeIps:\n  - 10.16.0.1\n  - fd00:10:16::1\n  gateway: 10.16.0.1,fd00:10:16::1\n</code></pre> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u65f6\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b\u53cc\u6808\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u4fee\u6539\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>POD_CIDR=\"10.16.0.0/16,fd00:10:16::/64\"\nJOIN_CIDR=\"100.64.0.0/16,fd00:100:64::/64\"\n</code></pre>"},{"location":"guide/dual-stack/#pod","title":"\u67e5\u770b\u200b Pod \u200b\u5730\u5740","text":"<p>\u200b\u914d\u7f6e\u200b\u53cc\u6808\u200b\u7f51\u7edc\u200b\u7684\u200b Pod \u200b\u5c06\u4f1a\u200b\u4ece\u200b\u8be5\u200b\u5b50\u7f51\u200b\u540c\u65f6\u200b\u5206\u914d\u200b IPv4 \u200b\u548c\u200b IPv6 \u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u5206\u914d\u200b\u7ed3\u679c\u200b\u4f1a\u200b\u663e\u793a\u200b\u5728\u200b Pod \u200b\u7684\u200b annotation \u200b\u4e2d\u200b:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/allocated: \"true\"\n    ovn.kubernetes.io/cidr: 10.16.0.0/16,fd00:10:16::/64\n    ovn.kubernetes.io/gateway: 10.16.0.1,fd00:10:16::1\n    ovn.kubernetes.io/ip_address: 10.16.0.9,fd00:10:16::9\n    ovn.kubernetes.io/logical_switch: ovn-default\n    ovn.kubernetes.io/mac_address: 00:00:00:14:88:09\n    ovn.kubernetes.io/network_types: geneve\n    ovn.kubernetes.io/routed: \"true\"\n...\npodIP: 10.16.0.9\n  podIPs:\n  - ip: 10.16.0.9\n  - ip: fd00:10:16::9\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/eip-snat/","title":"EIP \u200b\u548c\u200b SNAT \u200b\u914d\u7f6e","text":"<p>\u200b\u8be5\u200b\u914d\u7f6e\u200b\u9488\u5bf9\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u8bf7\u200b\u53c2\u8003\u200b VPC \u200b\u7f51\u5173\u200b</p> <p>Kube-OVN \u200b\u652f\u6301\u200b\u5229\u7528\u200b OVN \u200b\u4e2d\u200b\u7684\u200b L3 Gateway \u200b\u529f\u80fd\u200b\u6765\u200b\u5b9e\u73b0\u200b Pod \u200b\u7ea7\u522b\u200b\u7684\u200b SNAT \u200b\u548c\u200b EIP \u200b\u529f\u80fd\u200b\u3002 \u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b SNAT\uff0c\u200b\u4e00\u7ec4\u200b Pod \u200b\u53ef\u4ee5\u200b\u5171\u4eab\u200b\u4e00\u4e2a\u200b IP \u200b\u5730\u5740\u200b\u5bf9\u5916\u200b\u8fdb\u884c\u200b\u8bbf\u95ee\u200b\u3002 \u200b\u901a\u8fc7\u200b EIP \u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u4e00\u4e2a\u200b Pod \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u548c\u200b\u4e00\u4e2a\u200b\u5916\u90e8\u200b IP \u200b\u5173\u8054\u200b\uff0c \u200b\u5916\u90e8\u200b\u670d\u52a1\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b EIP \u200b\u76f4\u63a5\u200b\u8bbf\u95ee\u200b Pod\uff0cPod \u200b\u4e5f\u200b\u5c06\u200b\u901a\u8fc7\u200b\u8fd9\u4e2a\u200b EIP \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u670d\u52a1\u200b\u3002</p> <p></p>"},{"location":"guide/eip-snat/#_1","title":"\u51c6\u5907\u200b\u5de5\u4f5c","text":"<ul> <li>\u200b\u4e3a\u4e86\u200b\u4f7f\u7528\u200b OVN \u200b\u7684\u200b L3 Gateway \u200b\u80fd\u529b\u200b\uff0c\u200b\u5fc5\u987b\u200b\u5c06\u200b\u4e00\u4e2a\u200b\u5355\u72ec\u200b\u7684\u200b\u7f51\u5361\u200b\u63a5\u5165\u200b OVS \u200b\u7f51\u6865\u200b\u4e2d\u200b\u8fdb\u884c\u200b Overlay \u200b\u548c\u200b Underlay \u200b\u7f51\u7edc\u200b\u7684\u200b\u6253\u901a\u200b\uff0c \u200b\u4e3b\u673a\u200b\u5fc5\u987b\u200b\u6709\u200b\u5176\u4ed6\u200b\u7684\u200b\u7f51\u5361\u200b\u7528\u4e8e\u200b\u8fd0\u7ef4\u200b\u7ba1\u7406\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u7ecf\u8fc7\u200b NAT \u200b\u540e\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u4f1a\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b Underlay \u200b\u7f51\u7edc\u200b\uff0c\u200b\u5fc5\u987b\u200b\u786e\u8ba4\u200b\u5f53\u524d\u200b\u7684\u200b\u7f51\u7edc\u200b\u67b6\u6784\u200b\u4e0b\u200b\u6b64\u7c7b\u200b\u6570\u636e\u5305\u200b\u53ef\u4ee5\u200b\u5b89\u5168\u200b\u901a\u8fc7\u200b\u3002</li> <li>\u200b\u76ee\u524d\u200b EIP \u200b\u548c\u200b SNAT \u200b\u5730\u5740\u200b\u6ca1\u6709\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\uff0c\u200b\u9700\u8981\u200b\u7ba1\u7406\u5458\u200b\u624b\u52a8\u200b\u5206\u914d\u200b\u907f\u514d\u200b\u5730\u5740\u200b\u51b2\u7a81\u200b\u3002</li> </ul>"},{"location":"guide/eip-snat/#_2","title":"\u521b\u5efa\u200b\u914d\u7f6e\u6587\u4ef6","text":"<p>\u200b\u5728\u200b <code>kube-system</code> \u200b\u4e0b\u200b\u521b\u5efa\u200b ConfigMap <code>ovn-external-gw-config</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-external-gw-config\n  namespace: kube-system\ndata:\n  enable-external-gw: \"true\"\n  external-gw-nodes: \"kube-ovn-worker\"\n  external-gw-nic: \"eth1\"\n  external-gw-addr: \"172.56.0.1/16\"\n  nic-ip: \"172.56.0.254/16\"\n  nic-mac: \"16:52:f3:13:6a:25\"\n</code></pre> <ul> <li><code>enable-external-gw</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b SNAT \u200b\u548c\u200b EIP \u200b\u529f\u80fd\u200b\u3002</li> <li><code>type</code>: <code>centrailized</code> \u200b\u6216\u200b <code>distributed</code>\uff0c \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>centralized</code> \u200b\u5982\u679c\u200b\u4f7f\u7528\u200b <code>distributed</code>\uff0c\u200b\u5219\u200b\u96c6\u7fa4\u200b\u6240\u6709\u200b\u8282\u70b9\u200b\u90fd\u200b\u9700\u8981\u200b\u6709\u200b\u540c\u540d\u200b\u7f51\u5361\u200b\u6765\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u529f\u80fd\u200b\u3002</li> <li><code>external-gw-nodes</code>: <code>centralized</code> \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u4f5c\u7528\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u200b\uff0c\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u3002</li> <li><code>external-gw-nic</code>: \u200b\u8282\u70b9\u200b\u4e0a\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u4f5c\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\u540d\u200b\u3002</li> <li><code>external-gw-addr</code>: \u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u7f51\u5173\u200b\u7684\u200b IP \u200b\u548c\u200b\u63a9\u7801\u200b\u3002</li> <li><code>nic-ip</code>,<code>nic-mac</code>: \u200b\u5206\u914d\u200b\u7ed9\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\u7aef\u53e3\u200b\u7684\u200b IP \u200b\u548c\u200b Mac\uff0c\u200b\u9700\u4e3a\u200b\u7269\u7406\u200b\u6bb5\u200b\u672a\u200b\u88ab\u200b\u5360\u7528\u200b\u7684\u200b IP \u200b\u548c\u200b Mac\u3002</li> </ul>"},{"location":"guide/eip-snat/#ovn-ovs","title":"\u89c2\u5bdf\u200b OVN \u200b\u548c\u200b OVS \u200b\u72b6\u6001\u200b\u786e\u8ba4\u200b\u914d\u7f6e\u200b\u751f\u6548","text":"<p>\u200b\u68c0\u67e5\u200b OVN-NB \u200b\u72b6\u6001\u200b, \u200b\u786e\u8ba4\u200b <code>ovn-external</code> \u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u5b58\u5728\u200b\uff0c\u200b\u5e76\u4e14\u200b <code>ovn-cluster-ovn-external</code> \u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\u7aef\u53e3\u200b\u4e0a\u200b \u200b\u7ed1\u5b9a\u200b\u4e86\u200b\u6b63\u786e\u200b\u7684\u200b\u5730\u5740\u200b\u548c\u200b chassis\u3002</p> <pre><code># kubectl ko nbctl show\nswitch 3de4cea7-1a71-43f3-8b62-435a57ef16a6 (ovn-external)\n    port ln-ovn-external\n        type: localnet\n        addresses: [\"unknown\"]\n    port ovn-external-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-external\nrouter e1eb83ad-34be-4ed5-9a02-fcc8b1d357c4 (ovn-cluster)\n    port ovn-cluster-ovn-external\n        mac: \"ac:1f:6b:2d:33:f1\"\n        networks: [\"172.56.0.100/16\"]\n        gateway chassis: [a5682814-2e2c-46dd-9c1c-6803ef0dab66]\n</code></pre> <p>\u200b\u68c0\u67e5\u200b OVS \u200b\u72b6\u6001\u200b\uff0c\u200b\u786e\u8ba4\u200b\u76f8\u5e94\u200b\u7684\u200b\u7f51\u5361\u200b\u5df2\u7ecf\u200b\u6865\u63a5\u200b\u8fdb\u200b <code>br-external</code> \u200b\u7f51\u6865\u200b\uff1a</p> <pre><code># kubectl ko vsctl ${gateway node name} show\ne7d81150-7743-4d6e-9e6f-5c688232e130\n    Bridge br-external\n        Port br-external\n            Interface br-external\n                type: internal\n        Port eno2\n            Interface eno2\n        Port patch-ln-ovn-external-to-br-int\n            Interface patch-ln-ovn-external-to-br-int\n                type: patch\n                options: {peer=patch-br-int-to-ln-ovn-external}\n</code></pre>"},{"location":"guide/eip-snat/#pod-eip-snat","title":"Pod \u200b\u914d\u7f6e\u200b EIP \u200b\u548c\u200b SNAT","text":"<p>\u200b\u53ef\u200b\u901a\u8fc7\u200b\u5728\u200b Pod \u200b\u4e0a\u200b\u589e\u52a0\u200b <code>ovn.kubernetes.io/snat</code> \u200b\u6216\u200b <code>ovn.kubernetes.io/eip</code> annotation \u200b\u6765\u200b\u5206\u522b\u200b\u914d\u7f6e\u200b SNAT \u200b\u548c\u200b EIP\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: pod-gw\n  annotations:\n    ovn.kubernetes.io/snat: 172.56.0.200\nspec:\n  containers:\n  - name: snat-pod\n    image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: pod-gw\n  annotations:\n    ovn.kubernetes.io/eip: 172.56.0.233\nspec:\n  containers:\n  - name: eip-pod\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u53ef\u200b\u901a\u8fc7\u200b kubectl \u200b\u6216\u200b\u5176\u4ed6\u200b\u5de5\u5177\u200b\u52a8\u6001\u200b\u8c03\u6574\u200b Pod \u200b\u6240\u200b\u914d\u7f6e\u200b\u7684\u200b EIP \u200b\u6216\u200b SNAT \u200b\u89c4\u5219\u200b\uff0c\u200b\u66f4\u6539\u200b\u65f6\u8bf7\u200b\u6ce8\u610f\u200b\u8981\u200b\u540c\u65f6\u200b\u5220\u9664\u200b <code>ovn.kubernetes.io/routed</code> annotation \u200b\u89e6\u53d1\u200b\u8def\u7531\u200b\u7684\u200b\u53d8\u66f4\u200b\uff1a</p> <pre><code>kubectl annotate pod pod-gw ovn.kubernetes.io/eip=172.56.0.221 --overwrite\nkubectl annotate pod pod-gw ovn.kubernetes.io/routed-\n</code></pre> <p>\u200b\u5f53\u200b EIP \u200b\u6216\u200b SNAT \u200b\u89c4\u5219\u200b\u751f\u6548\u200b\u540e\u200b\uff0c<code>ovn.kubernetes.io/routed</code> annotation \u200b\u4f1a\u200b\u88ab\u200b\u91cd\u65b0\u200b\u6dfb\u52a0\u200b\u3002</p>"},{"location":"guide/eip-snat/#_3","title":"\u9ad8\u7ea7\u200b\u914d\u7f6e","text":"<p><code>kube-ovn-controller</code> \u200b\u7684\u200b\u90e8\u5206\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u53ef\u200b\u5bf9\u200b SNAT \u200b\u548c\u200b EIP \u200b\u529f\u80fd\u200b\u8fdb\u884c\u200b\u9ad8\u9636\u200b\u914d\u7f6e\u200b\uff1a</p> <ul> <li><code>--external-gateway-config-ns</code>: Configmap <code>ovn-external-gw-config</code> \u200b\u6240\u5c5e\u200b Namespace\uff0c \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>kube-system</code>\u3002</li> <li><code>--external-gateway-net</code>: \u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u6240\u200b\u6865\u63a5\u200b\u7684\u200b\u7f51\u6865\u200b\u540d\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>external</code>\u3002</li> <li><code>--external-gateway-vlanid</code>: \u200b\u7269\u7406\u200b\u7f51\u7edc\u200b Vlan Tag \u200b\u53f7\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 0\uff0c \u200b\u5373\u200b\u4e0d\u200b\u4f7f\u7528\u200b Vlan\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/ip/","title":"\u6307\u5b9a\u200b\u8d44\u6e90\u200b\u9884\u7559\u200b IP","text":"<p>IP \u200b\u7528\u4e8e\u200b\u7ef4\u62a4\u200b Pod \u200b\u6216\u8005\u200b VirtualMachine(VM) \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002IP \u200b\u7684\u200b\u751f\u547d\u5468\u671f\u200b\u7ef4\u62a4\u200b\u5305\u62ec\u200b\u4ee5\u4e0b\u200b\u4e1a\u52a1\u200b\u573a\u666f\u200b\uff1a</p> <ul> <li> <ol> <li>IP \u200b\u968f\u200b Pod \u200b\u521b\u5efa\u200b\uff0c\u200b\u4e5f\u200b\u968f\u200b Pod \u200b\u5220\u9664\u200b\u3002</li> </ol> </li> <li> <ol> <li>VM IP \u200b\u901a\u8fc7\u200b\u914d\u7f6e\u200b ENABLE_KEEP_VM_IP \u200b\u6765\u200b\u4fdd\u7559\u200b VM IP \u200b\u8d44\u6e90\u200b\uff0c\u200b\u8fd9\u79cd\u200b IP \u200b\u968f\u200b VM Pod \u200b\u521b\u5efa\u200b\uff0c\u200b\u4f46\u662f\u200b\u4e0d\u968f\u200b VM Pod \u200b\u5220\u9664\u200b\u3002</li> </ol> </li> <li> <ol> <li>Statefulset Pod IP \u200b\u4f1a\u200b\u6839\u636e\u200b Statefulset \u200b\u7684\u200b\u5bb9\u91cf\u200b\u4ee5\u53ca\u200b Pod \u200b\u5e8f\u5217\u53f7\u200b\u81ea\u52a8\u200b\u9009\u62e9\u200b\u662f\u5426\u200b\u4fdd\u7559\u200b Pod IP\u3002</li> </ol> </li> </ul> <p>\u200b\u5b9e\u9645\u4e0a\u200b\u5728\u200b\u4e1a\u52a1\u200b\u4f7f\u7528\u200b\u4e2d\u200b\uff0c\u200b\u5f80\u5f80\u200b\u9700\u8981\u200b\u63d0\u524d\u200b\u9884\u7559\u200b IP \u200b\u8d44\u6e90\u200b\uff0c \u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u4e1a\u52a1\u200b\u573a\u666f\u200b\u5305\u62ec\u200b\u5982\u4e0b\u200b\u4e24\u79cd\u200b\uff1a</p> <ul> <li> <ol> <li>Pod \u200b\u6216\u8005\u200b VM \u200b\u5df2\u7ecf\u200b\u521b\u5efa\u200b\uff0c\u200b\u9700\u8981\u200b\u9884\u7559\u200b IP</li> </ol> </li> <li> <ol> <li>Pod \u200b\u6216\u8005\u200b VM \u200b\u5c1a\u672a\u200b\u521b\u5efa\u200b\uff0c\u200b\u9700\u8981\u200b\u9884\u7559\u200b IP</li> </ol> </li> </ul> <p>\u200b\u4ee5\u4e0a\u200b\u8fd9\u200b\u51e0\u79cd\u200b\u573a\u666f\u200b\uff0cIP \u200b\u548c\u200b Pod \u200b\u5728\u200b\u547d\u540d\u200b\u4e0a\u200b\u7684\u200b\u5bf9\u5e94\u200b\u5173\u7cfb\u200b\u4fdd\u6301\u4e00\u81f4\u200b:</p> <ul> <li>Pod IP \u200b\u7684\u200b\u547d\u540d\u200b\u683c\u5f0f\u200b: Pod-name.Pod-namespace(.subnet-provider)</li> <li>VM Pod IP \u200b\u7684\u200b\u547d\u540d\u200b\u683c\u5f0f\u200b: vm-name.Pod-namespace.(subnet-provider)</li> </ul> <p>\u200b\u5982\u679c\u200b\u4e0d\u200b\u786e\u5b9a\u200b\u8fd9\u4e9b\u200b\u53c2\u6570\u200b\uff0c\u200b\u53ea\u662f\u200b\u60f3\u200b\u7b80\u5355\u200b\u9884\u7559\u200b IP\uff0c\u200b\u8bf7\u200b\u4f7f\u7528\u200b IP Pool\u3002</p> <p>\u200b\u5177\u4f53\u6765\u8bf4\u200b\uff0c\u200b\u8fd9\u4e2a\u200b\u529f\u80fd\u200b\u662f\u200b\u6307\u5b9a\u200b Pod \u200b\u6216\u8005\u200b VM \u200b\u9884\u7559\u200b IP\uff0c \u200b\u5728\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u521b\u5efa\u200b\u6d41\u7a0b\u200b\u4e2d\u200b\uff0c\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b\u8d44\u6e90\u200b\u540d\u200b\uff0c\u200b\u8d44\u6e90\u7c7b\u578b\u200b\uff0c\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\uff0c\u200b\u5b50\u7f51\u200b\u7b49\u200b\u5fc5\u8981\u200b\u53c2\u6570\u200b\u3002\u200b\u56fa\u5b9a\u200b IP \u200b\u9884\u7559\u200b\uff0c\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b ip \u200b\u5730\u5740\u200b\uff0cMAC \u200b\u5730\u5740\u200b\uff08\u200b\u5982\u200b\u6709\u200b\u9700\u8981\u200b\uff09\u3002</p> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u4e4b\u524d\u200b\u5b9e\u73b0\u200b\u7684\u200b Pod \u200b\u4f7f\u7528\u200b vip \u200b\u5360\u7528\u200b IP \u200b\u7684\u200b\u65b9\u5f0f\u200b\u5f03\u7528\u200b\u3002\uff08\u200b\u8fd9\u200b\u4e24\u79cd\u200b\u529f\u80fd\u200b\u91cd\u53e0\u200b\uff09</p>"},{"location":"guide/ip/#ip_1","title":"\u4e00\u200b\u3001\u200b\u521b\u5efa\u200b\u9884\u7559\u200b IP","text":"<ul> <li>Pod \u200b\u6216\u8005\u200b VM \u200b\u5df2\u7ecf\u200b\u521b\u5efa\u200b\uff0c\u200b\u9700\u8981\u200b\u9884\u7559\u200b IP</li> <li>Pod \u200b\u6216\u8005\u200b VM \u200b\u5c1a\u672a\u200b\u521b\u5efa\u200b\uff0c\u200b\u9700\u8981\u200b\u9884\u7559\u200b IP</li> </ul> <p>\u200b\u9884\u7559\u200b IP \u200b\u53ea\u662f\u200b\u4e00\u4e2a\u200b\u6269\u5c55\u200b\u529f\u80fd\u200b\uff0c\u200b\u652f\u6301\u200b Pod \u200b\u4f7f\u7528\u200b\u9884\u7559\u200b\u7684\u200b IP\uff0c\u200b\u4f46\u662f\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\uff0c\u200b\u547d\u540d\u200b\u89c4\u5219\u200b\u548c\u200b IP \u200b\u968f\u200b Pod \u200b\u800c\u200b\u521b\u5efa\u200b\u7684\u200b\u4e1a\u52a1\u200b\u903b\u8f91\u200b\u4e00\u81f4\u200b\u3002 \u200b\u6240\u4ee5\u200b\u9884\u7559\u200b IP \u200b\u521b\u5efa\u200b\u65f6\u200b\u9700\u8981\u200b\u660e\u786e\u200b\u8be5\u200b IP \u200b\u540e\u7eed\u200b\u88ab\u200b\u4ec0\u4e48\u200b\u8d44\u6e90\u200b\u4f7f\u7528\u200b\uff0c\u200b\u5fc5\u987b\u200b\u51c6\u786e\u200b\u586b\u5199\u200b\u7c7b\u578b\u200b\uff0cPod \u200b\u540d\u200b\u6216\u8005\u200b VM \u200b\u540d\u200b\uff0cnamespace\uff0c\u200b\u5b50\u7f51\u200b\u7b49\u200b\u4fe1\u606f\u200b\u3002 \u200b\u5f53\u200b\u4f7f\u7528\u200b\u8fd9\u4e2a\u200b IP \u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u4e1a\u52a1\u200b\u9700\u8981\u200b\u6821\u9a8c\u200b IP \u200b\u7ed1\u5b9a\u200b\u5230\u200b\u7684\u200b Pod \u200b\u548c\u200b VM \u200b\u662f\u5426\u200b\u548c\u200b IP \u200b\u672c\u8eab\u200b\u7684\u200b\u5c5e\u6027\u200b\u4e00\u81f4\u200b\uff0c\u200b\u5426\u5219\u200b Pod \u200b\u6216\u8005\u200b VM \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u8be5\u200b IP\u3002</p> <p>IP CR \u200b\u63a7\u5236\u5668\u200b\u7684\u200b\u521b\u5efa\u200b\u8fc7\u7a0b\u200b\u4ec5\u200b\u5904\u7406\u200b\u9884\u7559\u200b IP \u200b\u4e1a\u52a1\u200b\u573a\u666f\u200b\uff0c\u200b\u4e0d\u200b\u5904\u7406\u200b\u968f\u200b Pod \u200b\u521b\u5efa\u200b\u7684\u200b IP \u200b\u8d44\u6e90\u200b\u3002 \u200b\u968f\u200b Pod \u200b\u521b\u5efa\u200b\u7684\u200b IP \u200b\u8d44\u6e90\u200b\u6d41\u7a0b\u200b\u4e2d\u200b\uff0cLSP \u200b\u7684\u200b\u521b\u5efa\u200b\u5728\u200b IP CR \u200b\u7684\u200b\u521b\u5efa\u200b\u4e4b\u524d\u200b\uff0c\u200b\u6240\u4ee5\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b LSP \u200b\u6709\u65e0\u200b\u6765\u200b\u5224\u65ad\u200b\uff0c\u200b\u5728\u200b IP CR \u200b\u63a7\u5236\u5668\u200b\u7684\u200b\u5904\u7406\u8fc7\u7a0b\u200b\u4e2d\u200b\uff0c\u200b\u4f1a\u5148\u200b\u5224\u65ad\u200b\u662f\u5426\u200b\u5b58\u5728\u200b LSP\uff0c\u200b\u5982\u679c\u200b\u5b58\u5728\u200b\u5219\u200b\u4e0d\u200b\u5904\u7406\u200b\u8be5\u200b\u4e1a\u52a1\u200b\u903b\u8f91\u200b\uff1aIP \u200b\u968f\u200b Pod \u200b\u521b\u5efa\u200b\u7684\u200b\u4e1a\u52a1\u200b\u903b\u8f91\u200b\u3002 \u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u521b\u5efa\u200b\u652f\u6301\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b IP \u200b\u4ee5\u53ca\u200b\u624b\u52a8\u200b\u6307\u5b9a\u200b IP\uff0cIP \u200b\u7684\u200b\u521b\u5efa\u200b\u8fc7\u7a0b\u200b\u4e2d\u200b\u53ea\u4f1a\u200b\u5b9e\u73b0\u200b IP \u200b\u5360\u4f4d\u200b\uff0c\u200b\u800c\u200b\u4e0d\u4f1a\u200b\u521b\u5efa\u200b LSP\u3002 LSP \u200b\u7684\u200b\u521b\u5efa\u200b\u8fd8\u662f\u200b\u7ef4\u62a4\u200b\u5728\u200b Pod \u200b\u521b\u5efa\u200b\u6d41\u7a0b\u200b\u4e2d\u200b\u3002 IP CR \u200b\u7684\u200b\u521b\u5efa\u200b\u8fc7\u7a0b\u200b\u4e5f\u200b\u5c31\u662f\u200b\u4ec5\u200b\u5b9e\u73b0\u200b IP \u200b\u7684\u200b\u9884\u7559\u200b\uff0c\u200b\u8fd9\u79cd\u200b IP \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u6dfb\u52a0\u200b\u4e00\u4e2a\u200b keep-ip \u200b\u7684\u200b label\uff0c\u200b\u8868\u660e\u200b\u6c38\u4e45\u200b\u9884\u7559\u200b\u4e0d\u4f1a\u200b\u968f\u200b Pod \u200b\u5220\u9664\u200b\u800c\u200b\u6e05\u7406\u200b\u3002\u200b\u9700\u8981\u200b\u4e1a\u52a1\u200b\u6216\u8005\u200b\u7ba1\u7406\u5458\u200b\u6765\u200b\u7ba1\u7406\u200b\u8fd9\u79cd\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u6e05\u7406\u200b\uff0cGC \u200b\u4e0d\u4f1a\u200b\u81ea\u52a8\u200b\u5904\u7406\u200b\u8be5\u200b IP\u3002</p>"},{"location":"guide/ip/#11-ip","title":"1.1 \u200b\u9884\u7559\u200b IP \u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u5730\u5740","text":"<p>\u200b\u5982\u679c\u200b\u53ea\u662f\u200b\u4e3a\u4e86\u200b\u9884\u7559\u200b\u82e5\u5e72\u200b IP \u200b\u800c\u200b\u5bf9\u200b IP \u200b\u5730\u5740\u200b\u672c\u8eab\u200b\u6ca1\u6709\u200b\u8981\u6c42\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u521b\u5efa\u200b\uff1a</p> <pre><code># cat 01-dynamic.yaml\n\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  name: vm-dynamic-01.default\nspec:\n  subnet: ovn-default\n  podType: \"VirtualMachine\"\n  namespace: default\n  podName: vm-dynamic-01\n</code></pre> <ul> <li><code>subnet</code>: \u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b Subnet \u200b\u4e2d\u200b\u9884\u7559\u200b IP\u3002</li> <li><code>podType</code>: \u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b Pod \u200b\u7684\u200b Owner \u200b\u7c7b\u578b\u200b: \"StatefulSet\", \"VirtualMachine\"\u3002</li> <li><code>podName</code>: IP \u200b\u5c5e\u6027\u200b\u4e2d\u200b\u7684\u200b podName \u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b\u4f7f\u7528\u200b\u8be5\u200b IP \u200b\u8d44\u6e90\u200b\u7684\u200b\u540d\u5b57\u200b\uff0cPod \u200b\u6216\u8005\u200b VirtualMachine \u200b\u7684\u200b\u540d\u5b57\u200b\u3002</li> <li><code>namespace</code>: \u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b\u4f7f\u7528\u200b\u8be5\u200b IP \u200b\u8d44\u6e90\u200b\u6240\u5728\u200b\u7684\u200b namespace\uff0cPod \u200b\u6216\u8005\u200b VirtualMachine namespace\u3002</li> </ul> <p>\u200b\u6ce8\u610f\u200b\uff1a \u200b\u8fd9\u4e9b\u200b IP \u200b\u5c5e\u6027\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u53d8\u66f4\u200b</p> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b IP\uff1a</p> <pre><code># kubectl get subnet ovn-default\nNAME          PROVIDER   VPC           PROTOCOL   CIDR           PRIVATE   NAT    DEFAULT   GATEWAYTYPE   V4USED   V4AVAILABLE   V6USED   V6AVAILABLE   EXCLUDEIPS      U2OINTERCONNECTIONIP\novn-default   ovn        ovn-cluster   IPv4       10.16.0.0/16   false     true   true      distributed   7        65526         0        0             [\"10.16.0.1\"]\n\n# kubectl get ip vm-dynamic-01.default -o yaml\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  annotations:\n    kubectl.kubernetes.io/last-applied-configuration: |\n      {\"apiVersion\":\"kubeovn.io/v1\",\"kind\":\"IP\",\"metadata\":{\"annotations\":{},\"name\":\"vm-dynamic-01.default\"},\"spec\":{\"namespace\":\"default\",\"podName\":\"vm-dynamic-01\",\"podType\":\"VirtualMachine\",\"subnet\":\"ovn-default\"}}\n  creationTimestamp: \"2024-01-29T03:05:40Z\"\n  finalizers:\n  - kube-ovn-controller\n  generation: 2\n  labels:\n    ovn.kubernetes.io/ip_reserved: \"true\" # \u200b\u9884\u7559\u200b IP \u200b\u6807\u8bc6\u200b\n    ovn.kubernetes.io/node-name: \"\"\n    ovn.kubernetes.io/subnet: ovn-default\n  name: vm-dynamic-01.default\n  resourceVersion: \"1571\"\n  uid: 89d05a26-294a-450b-ab63-1eaa957984d7\nspec:\n  attachIps: []\n  attachMacs: []\n  attachSubnets: []\n  containerID: \"\"\n  ipAddress: 10.16.0.13\n  macAddress: 00:00:00:86:C6:36\n  namespace: default\n  nodeName: \"\"\n  podName: vm-dynamic-01\n  podType: VirtualMachine\n  subnet: ovn-default\n  v4IpAddress: 10.16.0.13\n  v6IpAddress: \"\"\n\n# kubectl ko nbctl show ovn-default | grep vm-dynamic-01.default\n# \u200b\u9884\u7559\u200b IP\uff0c\u200b\u4ec5\u200b\u5728\u200b IPAM \u200b\u4e2d\u200b\u5206\u914d\u200b\u5730\u5740\u200b\uff0c\u200b\u4e0d\u200b\u521b\u5efa\u200b LSP\uff0c\u200b\u6240\u4ee5\u200b\u67e5\u770b\u200b\u4e0d\u5230\u200b\n</code></pre>"},{"location":"guide/ip/#12-ip","title":"1.2 \u200b\u6307\u5b9a\u200b\u5730\u5740\u200b\u9884\u7559\u200b IP","text":"<p>\u200b\u5982\u5bf9\u200b\u9884\u7559\u200b\u7684\u200b IP \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u6709\u200b\u9700\u6c42\u200b\u53ef\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u56fa\u5b9a\u200b\u5206\u914d\u200b\uff1a</p> <pre><code># cat  02-static.yaml\n\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  name: pod-static-01.default\nspec:\n  subnet: ovn-default\n  podType: \"\"\n  namespace: default\n  podName: pod-static-01\n  v4IpAddress: 10.16.0.3\n  v6IpAddress:\n\n# kubectl get ip pod-static-01.default -o yaml\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  annotations:\n    kubectl.kubernetes.io/last-applied-configuration: |\n      {\"apiVersion\":\"kubeovn.io/v1\",\"kind\":\"IP\",\"metadata\":{\"annotations\":{},\"name\":\"pod-static-01.default\"},\"spec\":{\"namespace\":\"default\",\"podName\":\"pod-static-01\",\"podType\":\"\",\"subnet\":\"ovn-default\",\"v4IpAddress\":\"10.16.0.3\",\"v6IpAddress\":null}}\n  creationTimestamp: \"2024-01-29T03:08:28Z\"\n  finalizers:\n  - kube-ovn-controller\n  generation: 2\n  labels:\n    ovn.kubernetes.io/ip_reserved: \"true\"\n    ovn.kubernetes.io/node-name: \"\"\n    ovn.kubernetes.io/subnet: ovn-default\n  name: pod-static-01.default\n  resourceVersion: \"1864\"\n  uid: 11fc767d-f57d-4520-89f9-448f9b272bca\nspec:\n  attachIps: []\n  attachMacs: []\n  attachSubnets: []\n  containerID: \"\"\n  ipAddress: 10.16.0.3\n  macAddress: 00:00:00:4D:B4:36\n  namespace: default\n  nodeName: \"\"\n  podName: pod-static-01\n  podType: \"\"\n  subnet: ovn-default\n  v4IpAddress: 10.16.0.3\n  v6IpAddress: \"\"\n</code></pre> <ul> <li><code>v4IpAddress</code>: \u200b\u6307\u5b9a\u200b IPv4 \u200b\u5730\u5740\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u9700\u5728\u200b <code>subnet</code> \u200b\u7684\u200b CIDR \u200b\u8303\u56f4\u200b\u5185\u200b\u3002</li> <li><code>v6IpAddress</code>: \u200b\u6307\u5b9a\u200b IPv6 \u200b\u5730\u5740\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u9700\u5728\u200b <code>subnet</code> \u200b\u7684\u200b CIDR \u200b\u8303\u56f4\u200b\u5185\u200b\u3002</li> </ul>"},{"location":"guide/ip/#pod-ip","title":"Pod \u200b\u4f7f\u7528\u200b\u9884\u7559\u200b IP","text":"<p>\u200b\u6ce8\u610f\u200b: Pod \u200b\u7684\u200b\u540d\u5b57\u200b\u4ee5\u53ca\u200b namespace \u200b\u5fc5\u987b\u200b\u548c\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u5c5e\u6027\u200b\u4e00\u81f4\u200b\uff0c\u200b\u5426\u5219\u200b Pod \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u8be5\u200b IP\u3002VM \u200b\u4e5f\u200b\u662f\u200b\u5982\u6b64\u200b\u3002</p> <p>\u200b\u5220\u9664\u200b Pod \u200b\u6216\u8005\u200b VM \u200b\u540e\u200b\uff0c \u200b\u8be5\u200b IP CR \u200b\u4f9d\u7136\u200b\u4fdd\u7559\u200b\u3002</p> <pre><code>root@base:~/test/ip# kubectl get po -n default -o wide\nNAME            READY   STATUS    RESTARTS   AGE   IP          NODE              NOMINATED NODE   READINESS GATES\npod-static-01   1/1     Running   0          30s   10.16.0.3   kube-ovn-worker   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"guide/ip/#_1","title":"\u4e8c\u200b\u3001\u200b\u5220\u9664","text":"<p>kube-ovn-controller GC \u200b\u6d41\u7a0b\u200b\u4e0d\u4f1a\u200b\u6e05\u7406\u200b\u72ec\u7acb\u200b\u7684\u200b IP \u200b\u8d44\u6e90\u200b\u3002\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u6e05\u7406\u200b IP \u200b\u4ee5\u53ca\u200b\u5b83\u200b\u7684\u200b LSP\uff0c\u200b\u8bf7\u200b\u76f4\u63a5\u200b\u5220\u9664\u200b IP CR \u200b\u8d44\u6e90\u200b\u3002</p> <p>IP \u200b\u7684\u200b\u5220\u9664\u200b\u6d41\u7a0b\u200b\u4f1a\u200b\u57fa\u4e8e\u200b IP \u200b\u5c5e\u6027\u200b\u4e2d\u200b\u7684\u200b podName \u200b\u548c\u200b namespace \u200b\u4ee5\u53ca\u200b subnet provider \u200b\u683c\u5f0f\u5316\u200b\u51fa\u200b ipam key\uff0cLSP \u200b\u540d\u200b\uff0c\u200b\u91ca\u653e\u200b IPAM \u200b\u5360\u4f4d\u200b\uff0c\u200b\u5220\u9664\u200b LSP\uff0c\u200b\u4ee5\u53ca\u200b\u6e05\u7406\u200b IP \u200b\u672c\u8eab\u200b\u7684\u200b Finalizer\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/ippool/","title":"IP \u200b\u6c60\u200b\u4f7f\u7528","text":"<p>IP \u200b\u6c60\u200b\uff08IPPool\uff09\u200b\u662f\u200b\u6bd4\u200b\u5b50\u7f51\u200b\uff08Subnet\uff09\u200b\u66f4\u7ec6\u200b\u529b\u5ea6\u200b\u7684\u200b IPAM \u200b\u7ba1\u7406\u200b\u5355\u5143\u200b\u3002\u200b\u4f60\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b IP \u200b\u6c60\u5c06\u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b\u7ec6\u5206\u200b\u4e3a\u200b\u591a\u4e2a\u200b\u5355\u5143\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u5355\u5143\u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b\u6216\u200b\u591a\u4e2a\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\uff08Namespace\uff09\u3002</p>"},{"location":"guide/ippool/#_1","title":"\u4f7f\u7528\u200b\u65b9\u6cd5","text":"<p>\u200b\u4f7f\u7528\u200b\u793a\u4f8b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: IPPool\nmetadata:\n  name: pool-1\nspec:\n  subnet: ovn-default\n  ips:\n  - \"10.16.0.201\"\n  - \"10.16.0.210/30\"\n  - \"10.16.0.220..10.16.0.230\"\n  namespaces:\n  - ns-1\n</code></pre> <p>\u200b\u5b57\u200b\u6bb5\u200b\u8bf4\u660e\u200b\uff1a</p> \u200b\u540d\u79f0\u200b \u200b\u7528\u9014\u200b \u200b\u5907\u6ce8\u200b subnet \u200b\u6307\u5b9a\u200b\u6240\u5c5e\u200b\u5b50\u7f51\u200b \u200b\u5fc5\u586b\u200b ips \u200b\u6307\u5b9a\u200b\u5305\u542b\u200b\u7684\u200b IP \u200b\u8303\u56f4\u200b \u200b\u652f\u6301\u200b \u3001 \u200b\u4ee5\u53ca\u200b .. \u200b\u4e09\u79cd\u200b\u683c\u5f0f\u200b\uff0c\u200b\u652f\u6301\u200b IPv6\u3002 namespaces \u200b\u7ed1\u5b9a\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b \u200b\u53ef\u200b\u9009"},{"location":"guide/ippool/#_2","title":"\u6ce8\u610f\u4e8b\u9879","text":"<ol> <li>\u200b\u4e3a\u200b\u4fdd\u8bc1\u200b\u4e0e\u200b Workload \u200b\u901a\u7528\u200b IP Pool \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b \u200b\u7684\u200b\u517c\u5bb9\u6027\u200b\uff0cIP \u200b\u6c60\u200b\u7684\u200b\u540d\u79f0\u200b\u4e0d\u80fd\u200b\u662f\u200b\u4e00\u4e2a\u200b IP \u200b\u5730\u5740\u200b\uff1b</li> <li>IP \u200b\u6c60\u200b\u7684\u200b <code>.spec.ips</code> \u200b\u53ef\u200b\u6307\u5b9a\u200b\u8d85\u51fa\u200b\u5b50\u7f51\u200b\u8303\u56f4\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u4f46\u200b\u5b9e\u9645\u200b\u6709\u6548\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u662f\u200b <code>.spec.ips</code> \u200b\u4e0e\u200b\u5b50\u7f51\u200b CIDR \u200b\u7684\u200b\u4ea4\u96c6\u200b\uff1b</li> <li>\u200b\u540c\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b\u4e0d\u540c\u200b IP \u200b\u6c60\u200b\uff0c\u200b\u4e0d\u80fd\u200b\u5305\u542b\u200b\u76f8\u540c\u200b\u7684\u200b\uff08\u200b\u6709\u6548\u200b\uff09IP \u200b\u5730\u5740\u200b\uff1b</li> <li>IP \u200b\u6c60\u200b\u7684\u200b <code>.spec.ips</code> \u200b\u53ef\u200b\u52a8\u6001\u200b\u4fee\u6539\u200b\uff1b</li> <li>IP \u200b\u6c60\u4f1a\u200b\u7ee7\u627f\u200b\u5b50\u7f51\u200b\u7684\u200b\u4fdd\u7559\u200b IP\uff0c\u200b\u4ece\u200b IP \u200b\u6c60\u200b\u968f\u673a\u200b\u5206\u914d\u200b IP \u200b\u5730\u5740\u200b\u65f6\u200b\uff0c\u200b\u4f1a\u200b\u8df3\u200b\u8fc7\u200b\u5305\u542b\u200b\u5728\u200b IP \u200b\u6c60\u4e2d\u200b\u7684\u200b\u4fdd\u7559\u200b IP\uff1b</li> <li>\u200b\u4ece\u200b\u5b50\u7f51\u200b\u968f\u673a\u200b\u5206\u914d\u200b IP \u200b\u5730\u5740\u200b\u65f6\u200b\uff0c\u200b\u53ea\u4f1a\u200b\u4ece\u200b\u5b50\u7f51\u200b\u6240\u6709\u200b IP \u200b\u6c60\u200b\u4ee5\u5916\u200b\u7684\u200b\u8303\u56f4\u200b\u5206\u914d\u200b\u3002</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/loadbalancer-service/","title":"LoadBalancer \u200b\u7c7b\u578b\u200b Service","text":"<p>Kube-OVN \u200b\u5df2\u7ecf\u200b\u652f\u6301\u200b\u4e86\u200b VPC \u200b\u548c\u200b VPC \u200b\u7f51\u5173\u200b\u7684\u200b\u5b9e\u73b0\u200b\uff0c\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b VPC \u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b VPC \u200b\u7f51\u5173\u200b\u7684\u200b\u4f7f\u7528\u200b\u6bd4\u8f83\u590d\u6742\u200b\uff0c\u200b\u57fa\u4e8e\u200b VPC \u200b\u7f51\u5173\u200b\u7684\u200b\u5b9e\u73b0\u200b\u505a\u200b\u4e86\u200b\u7b80\u5316\u200b\uff0c\u200b\u652f\u6301\u200b\u5728\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u521b\u5efa\u200b <code>LoadBalancer</code> \u200b\u7c7b\u578b\u200b\u7684\u200b Service\uff0c\u200b\u5b9e\u73b0\u200b\u901a\u8fc7\u200b LoadBalancerIP \u200b\u6765\u200b\u8bbf\u95ee\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Service\u3002</p> <p>\u200b\u9996\u5148\u200b\u786e\u8ba4\u200b\u73af\u5883\u200b\u4e0a\u200b\u6ee1\u8db3\u200b\u4ee5\u4e0b\u200b\u6761\u4ef6\u200b\uff1a</p> <ol> <li>\u200b\u5b89\u88c5\u200b\u4e86\u200b <code>multus-cni</code> \u200b\u548c\u200b <code>macvlan cni</code>\u3002</li> <li>LoadBalancer Service \u200b\u7684\u200b\u652f\u6301\u200b\uff0c\u200b\u662f\u200b\u5bf9\u200b VPC \u200b\u7f51\u5173\u200b\u4ee3\u7801\u200b\u8fdb\u884c\u200b\u7b80\u5316\u200b\u5b9e\u73b0\u200b\u7684\u200b\uff0c\u200b\u4ecd\u7136\u200b\u4f7f\u7528\u200b <code>vpc-nat-gw</code> \u200b\u7684\u200b\u955c\u50cf\u200b\uff0c\u200b\u4f9d\u8d56\u200b macvlan \u200b\u63d0\u4f9b\u200b\u591a\u200b\u7f51\u5361\u200b\u529f\u80fd\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u76ee\u524d\u200b\u53ea\u200b\u652f\u6301\u200b\u5728\u200b<code>\u200b\u9ed8\u8ba4\u200b VPC</code> \u200b\u914d\u7f6e\u200b\uff0c\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e0b\u200b\u7684\u200b LoadBalancer \u200b\u652f\u6301\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b VPC \u200b\u7684\u200b\u6587\u6863\u200b VPC \u200b\u914d\u7f6e\u200b\u3002</li> </ol>"},{"location":"guide/loadbalancer-service/#vpc-loadbalancer-service","title":"\u9ed8\u8ba4\u200b VPC LoadBalancer Service \u200b\u914d\u7f6e\u200b\u6b65\u9aa4","text":""},{"location":"guide/loadbalancer-service/#_1","title":"\u5f00\u542f\u200b\u7279\u6027\u200b\u5f00\u5173","text":"<p>\u200b\u4fee\u6539\u200b kube-system namespace \u200b\u4e0b\u200b\u7684\u200b deployment <code>kube-ovn-controller</code>\uff0c\u200b\u5728\u200b <code>args</code> \u200b\u4e2d\u200b\u589e\u52a0\u200b\u53c2\u6570\u200b  <code>--enable-lb-svc=true</code>\uff0c\u200b\u5f00\u542f\u200b\u529f\u80fd\u200b\u5f00\u5173\u200b\uff0c\u200b\u8be5\u200b\u53c2\u6570\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b false\u3002</p> <pre><code>containers:\n- args:\n  - /kube-ovn/start-controller.sh\n  - --default-cidr=10.16.0.0/16\n  - --default-gateway=10.16.0.1\n  - --default-gateway-check=true\n  - --enable-lb-svc=true                  // \u200b\u53c2\u6570\u8bbe\u7f6e\u200b\u4e3a\u200b true\n</code></pre>"},{"location":"guide/loadbalancer-service/#networkattachmentdefinition-crd","title":"\u521b\u5efa\u200b NetworkAttachmentDefinition CRD \u200b\u8d44\u6e90","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b <code>net-attach-def</code> \u200b\u8d44\u6e90\u200b:</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: lb-svc-attachment\n  namespace: kube-system\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth0\",                         //\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\uff0c\u200b\u6839\u636e\u200b\u5b9e\u9645\u200b\u60c5\u51b5\u200b\u914d\u7f6e\u200b\n      \"mode\": \"bridge\"\n    }'\n</code></pre> <p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u901a\u8fc7\u200b\u7269\u7406\u200b\u7f51\u5361\u200b <code>eth0</code> \u200b\u6765\u200b\u5b9e\u73b0\u200b\u591a\u200b\u7f51\u5361\u200b\u529f\u80fd\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u5176\u4ed6\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>master</code> \u200b\u53d6\u503c\u200b\uff0c\u200b\u6307\u5b9a\u200b\u4f7f\u7528\u200b\u7684\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u540d\u79f0\u200b\u3002</p>"},{"location":"guide/loadbalancer-service/#subnet","title":"\u521b\u5efa\u200b Subnet","text":"<p>\u200b\u521b\u5efa\u200b\u7684\u200b Subnet\uff0c\u200b\u7528\u4e8e\u200b\u7ed9\u200b LoadBalancer Service \u200b\u5206\u914d\u200b LoadBalancerIP\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u6b63\u5e38\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5916\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u8bbf\u95ee\u200b\u5230\u200b\u3002\u200b\u53ef\u4ee5\u200b\u914d\u7f6e\u200b Underlay Subnet \u200b\u7528\u4e8e\u200b\u5730\u5740\u200b\u5206\u914d\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b\u65b0\u200b\u5b50\u7f51\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attach-subnet\nspec:\n  protocol: IPv4\n  provider: lb-svc-attachment.kube-system    # provider \u200b\u683c\u5f0f\u200b\u56fa\u5b9a\u200b\uff0c\u200b\u7531\u200b\u4e0a\u200b\u4e00\u6b65\u200b\u521b\u5efa\u200b\u7684\u200b net-attach-def \u200b\u8d44\u6e90\u200b\u7684\u200b Name.Namespace \u200b\u7ec4\u6210\u200b\n  cidrBlock: 172.18.0.0/16\n  gateway: 172.18.0.1\n  excludeIps:\n  - 172.18.0.0..172.18.0.10\n</code></pre> <p>Subnet \u200b\u4e2d\u200b <code>provider</code> \u200b\u53c2\u6570\u200b\u4ee5\u200b <code>ovn</code> \u200b\u6216\u8005\u200b\u4ee5\u200b <code>.ovn</code> \u200b\u4e3a\u200b\u540e\u7f00\u200b\u7ed3\u675f\u200b\uff0c\u200b\u8868\u793a\u200b\u8be5\u200b\u5b50\u7f51\u200b\u662f\u200b\u7531\u200b Kube-OVN \u200b\u7ba1\u7406\u200b\u4f7f\u7528\u200b\uff0c\u200b\u9700\u8981\u200b\u5bf9\u5e94\u200b\u521b\u5efa\u200b <code>logical switch</code> \u200b\u8bb0\u5f55\u200b\u3002</p> <p><code>provider</code> \u200b\u975e\u200b <code>ovn</code> \u200b\u6216\u8005\u200b\u975e\u200b <code>.ovn</code> \u200b\u4e3a\u200b\u540e\u7f00\u200b\u7ed3\u675f\u200b\uff0c\u200b\u5219\u200b Kube-OVN \u200b\u53ea\u200b\u63d0\u4f9b\u200b IPAM \u200b\u529f\u80fd\u200b\uff0c\u200b\u8bb0\u5f55\u200b IP \u200b\u5730\u5740\u200b\u5206\u914d\u60c5\u51b5\u200b\uff0c\u200b\u4e0d\u200b\u5bf9\u200b\u5b50\u7f51\u200b\u505a\u200b\u4e1a\u52a1\u200b\u903b\u8f91\u200b\u5904\u7406\u200b\u3002</p>"},{"location":"guide/loadbalancer-service/#loadbalancer-service_1","title":"\u521b\u5efa\u200b LoadBalancer Service","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b LoadBalancer Service\uff1a</p> <pre><code>apiVersion: v1\nkind: Service\nmetadata:\n  annotations:\n    lb-svc-attachment.kube-system.kubernetes.io/logical_switch: attach-subnet   #\u200b\u53ef\u200b\u9009\u200b\n    ovn.kubernetes.io/attachmentprovider: lb-svc-attachment.kube-system          #\u200b\u5fc5\u987b\u200b\n  labels:\n    app: dynamic\n  name: test-service\n  namespace: default\nspec:\n  loadBalancerIP: 172.18.0.18                                                   #\u200b\u53ef\u200b\u9009\u200b\n  ports:\n    - name: test\n      protocol: TCP\n      port: 80\n      targetPort: 80\n  selector:\n    app: dynamic\n  sessionAffinity: None\n  type: LoadBalancer\n</code></pre> <p>\u200b\u5728\u200b yaml \u200b\u4e2d\u200b\uff0cannotation <code>ovn.kubernetes.io/attachmentprovider</code>  \u200b\u4e3a\u200b\u5fc5\u586b\u200b\u9879\u200b\uff0c\u200b\u53d6\u503c\u200b\u7531\u200b\u7b2c\u4e00\u6b65\u200b\u521b\u5efa\u200b\u7684\u200b <code>net-attach-def</code> \u200b\u8d44\u6e90\u200b\u7684\u200b Name.Namespace \u200b\u7ec4\u6210\u200b\u3002\u200b\u8be5\u200b annotation \u200b\u7528\u4e8e\u200b\u5728\u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\uff0c\u200b\u67e5\u627e\u200b <code>net-attach-def</code> \u200b\u8d44\u6e90\u200b\u3002</p> <p>\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b annotation \u200b\u6307\u5b9a\u200b\u591a\u200b\u7f51\u5361\u200b\u5730\u5740\u200b\u5206\u914d\u200b\u4f7f\u7528\u200b\u7684\u200b\u5b50\u7f51\u200b\u3002annotation key \u200b\u683c\u5f0f\u200b\u4e3a\u200b net-attach-def \u200b\u8d44\u6e90\u200b\u7684\u200b <code>Name.Namespace.kubernetes.io/logical_switch</code>\u3002\u200b\u8be5\u200b\u914d\u7f6e\u200b\u4e3a\u200b<code>\u200b\u53ef\u200b\u9009\u200b</code>\u200b\u9009\u9879\u200b\uff0c\u200b\u5728\u200b\u6ca1\u6709\u200b\u6307\u5b9a\u200b LoadBalancerIP \u200b\u5730\u5740\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b\u5b50\u7f51\u200b\u52a8\u6001\u5206\u914d\u200b\u5730\u5740\u200b\uff0c\u200b\u586b\u5145\u200b\u5230\u200b LoadBalancerIP \u200b\u5b57\u200b\u6bb5\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u9759\u6001\u200b\u914d\u7f6e\u200b LoadBalancerIP \u200b\u5730\u5740\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u914d\u7f6e\u200b <code>spec.loadBalancerIP</code> \u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u9700\u8981\u200b\u5728\u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\u5185\u200b\u3002</p> <p>\u200b\u5728\u200b\u6267\u884c\u200b yaml \u200b\u521b\u5efa\u200b Service \u200b\u540e\u200b\uff0c\u200b\u5728\u200b Service \u200b\u540c\u200b Namespace \u200b\u4e0b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b Pod \u200b\u542f\u52a8\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get pod\nNAME                                      READY   STATUS    RESTARTS   AGE\nlb-svc-test-service-6869d98dd8-cjvll      1/1     Running   0          107m\n# kubectl get svc\nNAME              TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE\ntest-service      LoadBalancer   10.109.201.193   172.18.0.18   80:30056/TCP   107m\n</code></pre> <p>\u200b\u6307\u5b9a\u200b <code>service.spec.loadBalancerIP</code> \u200b\u53c2\u6570\u200b\u65f6\u200b\uff0c\u200b\u6700\u7ec8\u200b\u5c06\u200b\u8be5\u200b\u53c2\u6570\u200b\u8d4b\u503c\u200b\u7ed9\u200b service external-ip \u200b\u5b57\u200b\u6bb5\u200b\u3002\u200b\u4e0d\u200b\u6307\u5b9a\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u8be5\u200b\u53c2\u6570\u200b\u4e3a\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u503c\u200b\u3002</p> <p>\u200b\u67e5\u770b\u200b\u6d4b\u8bd5\u200b Pod \u200b\u7684\u200b yaml \u200b\u8f93\u51fa\u200b\uff0c\u200b\u5b58\u5728\u200b\u591a\u200b\u7f51\u5361\u200b\u5206\u914d\u200b\u7684\u200b\u5730\u5740\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get pod -o yaml lb-svc-test-service-6869d98dd8-cjvll\napiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    k8s.v1.cni.cncf.io/network-status: |-\n      [{\n          \"name\": \"kube-ovn\",\n          \"ips\": [\n              \"10.16.0.2\"\n          ],\n          \"default\": true,\n          \"dns\": {}\n      },{\n          \"name\": \"default/test-service\",\n          \"interface\": \"net1\",\n          \"mac\": \"ba:85:f7:02:9f:42\",\n          \"dns\": {}\n      }]\n    k8s.v1.cni.cncf.io/networks: default/test-service\n    k8s.v1.cni.cncf.io/networks-status: |-\n      [{\n          \"name\": \"kube-ovn\",\n          \"ips\": [\n              \"10.16.0.2\"\n          ],\n          \"default\": true,\n          \"dns\": {}\n      },{\n          \"name\": \"default/test-service\",\n          \"interface\": \"net1\",\n          \"mac\": \"ba:85:f7:02:9f:42\",\n          \"dns\": {}\n      }]\n    ovn.kubernetes.io/allocated: \"true\"\n    ovn.kubernetes.io/cidr: 10.16.0.0/16\n    ovn.kubernetes.io/gateway: 10.16.0.1\n    ovn.kubernetes.io/ip_address: 10.16.0.2\n    ovn.kubernetes.io/logical_router: ovn-cluster\n    ovn.kubernetes.io/logical_switch: ovn-default\n    ovn.kubernetes.io/mac_address: 00:00:00:45:F4:29\n    ovn.kubernetes.io/pod_nic_type: veth-pair\n    ovn.kubernetes.io/routed: \"true\"\n    test-service.default.kubernetes.io/allocated: \"true\"\n    test-service.default.kubernetes.io/cidr: 172.18.0.0/16\n    test-service.default.kubernetes.io/gateway: 172.18.0.1\n    test-service.default.kubernetes.io/ip_address: 172.18.0.18\n    test-service.default.kubernetes.io/logical_switch: attach-subnet\n    test-service.default.kubernetes.io/mac_address: 00:00:00:AF:AA:BF\n    test-service.default.kubernetes.io/pod_nic_type: veth-pair\n</code></pre> <p>\u200b\u67e5\u770b\u200b Service \u200b\u7684\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get svc -o yaml test-service\napiVersion: v1\nkind: Service\nmetadata:\n  annotations:\n    kubectl.kubernetes.io/last-applied-configuration: |\n      {\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{\"test-service.default.kubernetes.io/logical_switch\":\"attach-subnet\"},\"labels\":{\"app\":\"dynamic\"},\"name\":\"test-service\",\"namespace\":\"default\"},\"spec\":{\"ports\":[{\"name\":\"test\",\"port\":80,\"protocol\":\"TCP\",\"targetPort\":80}],\"selector\":{\"app\":\"dynamic\"},\"sessionAffinity\":\"None\",\"type\":\"LoadBalancer\"}}\n    ovn.kubernetes.io/vpc: ovn-cluster\n    test-service.default.kubernetes.io/logical_switch: attach-subnet\n  creationTimestamp: \"2022-06-15T09:01:58Z\"\n  labels:\n    app: dynamic\n  name: test-service\n  namespace: default\n  resourceVersion: \"38485\"\n  uid: 161edee1-7f6e-40f5-9e09-5a52c44267d0\nspec:\n  allocateLoadBalancerNodePorts: true\n  clusterIP: 10.109.201.193\n  clusterIPs:\n  - 10.109.201.193\n  externalTrafficPolicy: Cluster\n  internalTrafficPolicy: Cluster\n  ipFamilies:\n  - IPv4\n  ipFamilyPolicy: SingleStack\n  ports:\n  - name: test\n    nodePort: 30056\n    port: 80\n    protocol: TCP\n    targetPort: 80\n  selector:\n    app: dynamic\n  sessionAffinity: None\n  type: LoadBalancer\nstatus:\n  loadBalancer:\n    ingress:\n    - ip: 172.18.0.18\n</code></pre>"},{"location":"guide/loadbalancer-service/#loadbalancerip","title":"\u6d4b\u8bd5\u200b LoadBalancerIP \u200b\u8bbf\u95ee","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml, \u200b\u521b\u5efa\u200b\u6d4b\u8bd5\u200b Pod\uff0c\u200b\u4f5c\u4e3a\u200b Service \u200b\u7684\u200b Endpoints \u200b\u63d0\u4f9b\u200b\u670d\u52a1\u200b:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: dynamic\n  name: dynamic\n  namespace: default\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: dynamic\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      creationTimestamp: null\n      labels:\n        app: dynamic\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n      dnsPolicy: ClusterFirst\n      restartPolicy: Always\n</code></pre> <p>\u200b\u6b63\u5e38\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u63d0\u4f9b\u200b\u7684\u200b\u5b50\u7f51\u200b\u5730\u5740\u200b\uff0c\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5916\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u8bbf\u95ee\u200b\u5230\u200b\u3002\u200b\u4e3a\u4e86\u200b\u7b80\u5355\u200b\u9a8c\u8bc1\u200b\uff0c\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\u8bbf\u95ee\u200b Service \u200b\u7684\u200b <code>LoadBalancerIP:Port</code>\uff0c\u200b\u67e5\u770b\u200b\u662f\u5426\u200b\u6b63\u5e38\u200b\u8bbf\u95ee\u200b\u6210\u529f\u200b\u3002</p> <pre><code># curl 172.18.0.11:80\n&lt;html&gt;\n&lt;head&gt;\n        &lt;title&gt;Hello World!&lt;/title&gt;\n        &lt;link href='//fonts.googleapis.com/css?family=Open+Sans:400,700' rel='stylesheet' type='text/css'&gt;\n        &lt;style&gt;\n        body {\n                background-color: white;\n                text-align: center;\n                padding: 50px;\n                font-family: \"Open Sans\",\"Helvetica Neue\",Helvetica,Arial,sans-serif;\n        }\n        #logo {\n                margin-bottom: 40px;\n        }\n        &lt;/style&gt;\n&lt;/head&gt;\n&lt;body&gt;\n                &lt;h1&gt;Hello World!&lt;/h1&gt;\n                                &lt;h3&gt;Links found&lt;/h3&gt;\n        &lt;h3&gt;I am on  dynamic-7d8d7874f5-hsgc4&lt;/h3&gt;\n        &lt;h3&gt;Cookie                  =&lt;/h3&gt;\n                                        &lt;b&gt;KUBERNETES&lt;/b&gt; listening in 443 available at tcp://10.96.0.1:443&lt;br /&gt;\n                                                &lt;h3&gt;my name is hanhouchao!&lt;/h3&gt;\n                        &lt;h3&gt; RequestURI='/'&lt;/h3&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre> <p>\u200b\u8fdb\u5165\u200b Service \u200b\u521b\u5efa\u200b\u7684\u200b Pod\uff0c\u200b\u67e5\u770b\u200b\u7f51\u7edc\u200b\u7684\u200b\u4fe1\u606f\u200b</p> <pre><code># ip a\n4: net1@if62: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether ba:85:f7:02:9f:42 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 172.18.0.18/16 scope global net1\n       valid_lft forever preferred_lft forever\n    inet6 fe80::b885:f7ff:fe02:9f42/64 scope link\n       valid_lft forever preferred_lft forever\n36: eth0@if37: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1400 qdisc noqueue state UP group default\n    link/ether 00:00:00:45:f4:29 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 10.16.0.2/16 brd 10.16.255.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe45:f429/64 scope link\n       valid_lft forever preferred_lft forever\n\n# ip rule\n0: from all lookup local\n32764: from all iif eth0 lookup 100\n32765: from all iif net1 lookup 100\n32766: from all lookup main\n32767: from all lookup default\n\n# ip route show table 100\ndefault via 172.18.0.1 dev net1\n10.109.201.193 via 10.16.0.1 dev eth0\n172.18.0.0/16 dev net1 scope link\n\n# iptables -t nat -L -n -v\nChain PREROUTING (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            172.18.0.18          tcp dpt:80 to:10.109.201.193:80\n\nChain INPUT (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n\nChain OUTPUT (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n\nChain POSTROUTING (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n    0     0 MASQUERADE  all  --  *      *       0.0.0.0/0            10.109.201.193\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/mirror/","title":"\u6d41\u91cf\u200b\u955c\u50cf","text":"<p>\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u8fdb\u51fa\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u8fdb\u884c\u200b\u590d\u5236\u5230\u200b\u4e3b\u673a\u200b\u7684\u200b\u7279\u5b9a\u200b\u7f51\u5361\u200b\u3002\u200b\u7ba1\u7406\u5458\u200b\u6216\u200b\u5f00\u53d1\u8005\u200b \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u76d1\u542c\u200b\u8fd9\u5757\u200b\u7f51\u5361\u200b\u83b7\u5f97\u200b\u5b8c\u6574\u200b\u7684\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u6765\u200b\u8fdb\u4e00\u6b65\u200b\u8fdb\u884c\u200b\u5206\u6790\u200b\uff0c\u200b\u76d1\u63a7\u200b\uff0c\u200b\u5b89\u5168\u200b\u5ba1\u8ba1\u200b\u7b49\u200b\u64cd\u4f5c\u200b\u3002 \u200b\u4e5f\u200b\u53ef\u200b\u548c\u200b\u4f20\u7edf\u200b\u7684\u200b NPM \u200b\u5bf9\u63a5\u200b\u83b7\u53d6\u200b\u66f4\u200b\u7ec6\u7c92\u5ea6\u200b\u7684\u200b\u6d41\u91cf\u200b\u76d1\u63a7\u200b\u3002</p> <p>\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5e26\u6765\u200b\u4e00\u5b9a\u200b\u7684\u200b\u6027\u80fd\u200b\u635f\u5931\u200b\uff0c\u200b\u6839\u636e\u200b CPU \u200b\u6027\u80fd\u200b\u4ee5\u53ca\u200b\u6d41\u91cf\u200b\u7684\u200b\u7279\u5f81\u200b\uff0c\u200b\u4f1a\u200b\u6709\u200b 5%~10% \u200b\u7684\u200b \u200b\u989d\u5916\u200b CPU \u200b\u6d88\u8017\u200b\u3002</p> <p></p>"},{"location":"guide/mirror/#_2","title":"\u5168\u5c40\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u914d\u7f6e","text":"<p>\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u529f\u80fd\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u5173\u95ed\u200b\u72b6\u6001\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u5f00\u542f\u200b\u8bf7\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\uff1a</p> <ul> <li><code>--enable-mirror=true</code>\uff1a \u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u3002</li> <li><code>--mirror-iface=mirror0</code>: \u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u6240\u200b\u590d\u5236\u5230\u200b\u7684\u200b\u7f51\u5361\u200b\u540d\u200b\u3002\u200b\u8be5\u200b\u7f51\u5361\u200b\u53ef\u200b\u4e3a\u4e3b\u200b\u673a\u4e0a\u200b\u5df2\u200b\u5b58\u5728\u200b\u7684\u200b\u4e00\u5757\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\uff0c \u200b\u6b64\u65f6\u200b\u8be5\u200b\u7f51\u5361\u200b\u4f1a\u200b\u88ab\u200b\u6865\u63a5\u200b\u8fdb\u200b br-int \u200b\u7f51\u6865\u200b\uff0c\u200b\u955c\u50cf\u200b\u6d41\u91cf\u200b\u4f1a\u200b\u76f4\u63a5\u200b\u63a5\u5165\u200b\u5e95\u5c42\u200b\u4ea4\u6362\u673a\u200b\u3002\u200b\u82e5\u200b\u7f51\u5361\u200b\u540d\u200b\u4e0d\u200b\u5b58\u5728\u200b\uff0cKube-OVN \u200b\u4f1a\u200b\u81ea\u52a8\u200b \u200b\u521b\u5efa\u200b\u4e00\u5757\u200b\u540c\u540d\u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u5361\u200b\uff0c\u200b\u7ba1\u7406\u5458\u200b\u6216\u200b\u5f00\u53d1\u8005\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5bbf\u4e3b\u673a\u200b\u4e0a\u200b\u901a\u8fc7\u200b\u8be5\u200b\u7f51\u5361\u200b\u83b7\u53d6\u200b\u5f53\u524d\u200b\u8282\u70b9\u200b\u6240\u6709\u200b\u6d41\u91cf\u200b\u3002\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>mirror0</code>\u3002</li> </ul> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u7528\u200b tcpdump \u200b\u6216\u200b\u5176\u4ed6\u200b\u6d41\u91cf\u200b\u5206\u6790\u200b\u5de5\u5177\u200b\u76d1\u542c\u200b <code>mirror0</code> \u200b\u4e0a\u200b\u7684\u200b\u6d41\u91cf\u200b\uff1a</p> <pre><code>tcpdump -ni mirror0\n</code></pre>"},{"location":"guide/mirror/#pod","title":"Pod \u200b\u7ea7\u522b\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u914d\u7f6e","text":"<p>\u200b\u5982\u679c\u200b\u53ea\u200b\u9700\u200b\u5bf9\u200b\u90e8\u5206\u200b Pod \u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b\u955c\u50cf\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u5173\u95ed\u200b\u5168\u5c40\u200b\u7684\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u529f\u80fd\u200b\uff0c\u200b\u7136\u540e\u200b\u5728\u200b\u7279\u5b9a\u200b Pod \u200b\u4e0a\u200b\u589e\u52a0\u200b <code>ovn.kubernetes.io/mirror</code> annotation \u200b\u6765\u200b\u5f00\u542f\u200b Pod \u200b\u7ea7\u522b\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u3002</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: mirror-pod\n  namespace: ls1\n  annotations:\n    ovn.kubernetes.io/mirror: \"true\"\nspec:\n  containers:\n  - name: mirror-pod\n    image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"guide/mirror/#_3","title":"\u6027\u80fd\u200b\u6d4b\u8bd5","text":"<p>\u200b\u5728\u200b\u76f8\u540c\u200b\u73af\u5883\u200b\u4e0a\u200b\uff0c\u200b\u5206\u522b\u200b\u5f00\u542f\u200b\u548c\u200b\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u5f00\u5173\u200b\uff0c\u200b\u8fdb\u884c\u200b\u6d4b\u8bd5\u200b</p>"},{"location":"guide/mirror/#1-pod-to-pod-in-the-same-nodes","title":"1. Pod to Pod in the same Nodes","text":""},{"location":"guide/mirror/#_4","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 12.7 us 289 Mbits/sec 12.6 us (1.8%) 77.9 Mbits/sec 128 15.5 us 517 Mbits/sec 12.7 us (0%) 155 Mbits/sec 512 12.2 us 1.64 Gbits/sec 12.4 us (0%) 624 Mbits/sec 1k 13 us 2.96 Gbits/sec 11.4 us (0.53%) 1.22 Gbits/sec 4k 18 us 7.67 Gbits/sec 25.7 us (0.41%) 1.50 Gbits/sec"},{"location":"guide/mirror/#_5","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 11.9 us 324 Mbits/sec 12.2 us (0.22%) 102 Mbits/sec 128 10.5 us 582 Mbits/sec 9.5 us (0.21%) 198 Mbits/sec 512 11.6 us 1.84 Gbits/sec 9.32 us (0.091%) 827 Mbits/sec 1k 10.5 us 3.44 Gbits/sec 10 us (1.2%) 1.52 Gbits/sec 4k 16.7 us 8.52 Gbits/sec 18.2 us (1.3%) 2.42 Gbits/sec"},{"location":"guide/mirror/#2-pod-to-pod-in-the-different-nodes","title":"2. Pod to Pod in the different Nodes","text":""},{"location":"guide/mirror/#_6","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 258 us 143 Mbits/sec 237 us (61%) 28.5 Mbits/sec 128 240 us 252 Mbits/sec 231 us (64%) 54.9 Mbits/sec 512 236 us 763 Mbits/sec 256 us (68%) 194 Mbits/sec 1k 242 us 969 Mbits/sec 225 us (62%) 449 Mbits/sec 4k 352 us 1.12 Gbits/sec 382 us (0.71%) 21.4 Mbits/sec"},{"location":"guide/mirror/#_7","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 278 us 140 Mbits/sec 227 us (24%) 59.6 Mbits/sec 128 249 us 265 Mbits/sec 265 us (23%) 114 Mbits/sec 512 233 us 914 Mbits/sec 235 us (21%) 468 Mbits/sec 1k 238 us 1.14 Gbits/sec 240 us (15%) 891 Mbits/sec 4k 370 us 1.25 Gbits/sec 361 us (0.43%) 7.54 Mbits/sec"},{"location":"guide/mirror/#3-node-to-node","title":"3. Node to Node","text":""},{"location":"guide/mirror/#_8","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 205 us 162 Mbits/sec 183 us (11%) 74.2 Mbits/sec 128 222 us 280 Mbits/sec 206 us (6.3%) 155 Mbits/sec 512 220 us 1.04 Gbits/sec 177 us (20%) 503 Mbits/sec 1k 213 us 2.06 Gbits/sec 201 us (8.6%) 1.14 Gbits/sec 4k 280 us 5.01 Gbits/sec 315 us (37%) 1.20 Gbits/sec"},{"location":"guide/mirror/#_9","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 204 us 157 Mbits/sec 204 us (8.8%) 81.9 Mbits/sec 128 213 us 262 Mbits/sec 225 us (19%) 136 Mbits/sec 512 220 us 1.02 Gbits/sec 227 us (21%) 486 Mbits/sec 1k 217 us 1.79 Gbits/sec 218 us (29%) 845 Mbits/sec 4k 275 us 5.27 Gbits/sec 336 us (34%) 1.21 Gbits/sec"},{"location":"guide/mirror/#4-pod-to-the-node-where-the-pod-is-located","title":"4. Pod to the Node where the Pod is located","text":""},{"location":"guide/mirror/#_10","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 12.2 us 295 Mbits/sec 12.7 us (0.27%) 74.1 Mbits/sec 128 14.1 us 549 Mbits/sec 10.6 us (0.41%) 153 Mbits/sec 512 13.5 us 1.83 Gbits/sec 12.7 us (0.23%) 586 Mbits/sec 1k 12 us 2.69 Gbits/sec 13 us (1%) 1.16 Gbits/sec 4k 18.9 us 4.51 Gbits/sec 21.8 us (0.42%) 1.81 Gbits/sec"},{"location":"guide/mirror/#_11","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 10.4 us 335 Mbits/sec 12.2 us (0.75%) 95.4 Mbits/sec 128 12.1 us 561 Mbits/sec 11.3 us (0.25%) 194 Mbits/sec 512 11.6 us 1.87 Gbits/sec 10.7 us (0.66%) 745 Mbits/sec 1k 12.7 us 3.12 Gbits/sec 10.9 us (1.2%) 1.46 Gbits/sec 4k 16.5 us 8.23 Gbits/sec 17.9 us (1.5%) 2.51 Gbits/sec"},{"location":"guide/mirror/#5-pod-to-the-node-where-the-pod-is-not-located","title":"5. Pod to the Node where the Pod is not located","text":""},{"location":"guide/mirror/#_12","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 234 us 153 Mbits/sec 232 us (63%) 29.4 Mbits/sec 128 237 us 261 Mbits/sec 238 us (49%) 76.1 Mbits/sec 512 231 us 701 Mbits/sec 238 us (57%) 279 Mbits/sec 1k 256 us 1.05 Gbits/sec 228 us (56%) 524 Mbits/sec 4k 330 us 1.08 Gbits/sec 359 us (1.5%) 35.7 Mbits/sec"},{"location":"guide/mirror/#_13","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 283 us 141 Mbits/sec 230 us (26%) 55.8 Mbits/sec 128 234 us 255 Mbits/sec 234 us (25%) 113 Mbits/sec 512 246 us 760 Mbits/sec 234 us (22%) 458 Mbits/sec 1k 268 us 1.23 Gbits/sec 242 us (20%) 879 Mbits/sec 4k 326 us 1.20 Gbits/sec 369 us (0.5%) 7.87 Mbits/sec"},{"location":"guide/mirror/#6-pod-to-the-cluster-ip-service","title":"6. Pod to the cluster ip service","text":""},{"location":"guide/mirror/#_14","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 237 us 133 Mbits/sec 213 us (65%) 25.5 Mbits/sec 128 232 us 271 Mbits/sec 222 us (62%) 54.8 Mbits/sec 512 266 us 800 Mbits/sec 234 us (60%) 232 Mbits/sec 1k 248 us 986 Mbits/sec 239 us (50%) 511 Mbits/sec 4k 314 us 1.03 Gbits/sec 367 us (0.6%) 13.2 Mbits/sec TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14305.17 0.87ms 1.48ms 24.46ms 100 29082.07 3.87ms 4.35ms 102.85ms"},{"location":"guide/mirror/#_15","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 241 us 145 Mbits/sec 225 us (19%) 60.2 Mbits/sec 128 245 us 261 Mbits/sec 212 us (15%) 123 Mbits/sec 512 252 us 821 Mbits/sec 219 us (14%) 499 Mbits/sec 1k 253 us 1.08 Gbits/sec 242 us (16%) 852 Mbits/sec 4k 320 us 1.32 Gbits/sec 360 us (0.47%) 6.70 Mbits/sec TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 13634.07 0.96ms 1.72ms 30.07ms 100 30215.23 3.59ms 3.20ms 77.56ms"},{"location":"guide/mirror/#7-host-to-the-node-port-service-where-the-pod-is-not-located-on-the-target-node","title":"7. Host to the Node port service where the Pod is not located on the target Node","text":""},{"location":"guide/mirror/#_16","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14802.73 0.88ms 1.66ms 31.49ms 100 29809.58 3.78ms 4.12ms 105.34ms"},{"location":"guide/mirror/#_17","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14273.33 0.90ms 1.60ms 37.16ms 100 30757.81 3.62ms 3.41ms 59.78ms"},{"location":"guide/mirror/#8-host-to-the-node-port-service-where-the-pod-is-located-on-the-target-node","title":"8. Host to the Node port service where the Pod is located on the target Node","text":""},{"location":"guide/mirror/#_18","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 15402.39 802.50us 1.42ms 30.91ms 100 29424.66 4.05ms 4.31ms 90.60ms"},{"location":"guide/mirror/#_19","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14649.21 0.91ms 1.72ms 43.92ms 100 32143.61 3.66ms 3.76ms 67.02ms <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/networkpolicy-log/","title":"NetworkPolicy \u200b\u65e5\u5fd7","text":"<p>NetworkPolicy \u200b\u4e3a\u200b Kubernetes \u200b\u63d0\u4f9b\u200b\u7684\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u63a5\u53e3\u200b\uff0cKube-OVN \u200b\u901a\u8fc7\u200b OVN \u200b\u7684\u200b ACL \u200b\u8fdb\u884c\u200b\u4e86\u200b\u5b9e\u73b0\u200b\u3002 \u200b\u4f7f\u7528\u200b\u4e86\u200b NetworkPolicy \u200b\u540e\u200b\u5982\u679c\u200b\u51fa\u73b0\u200b\u7f51\u7edc\u200b\u4e0d\u901a\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0c\u200b\u96be\u4ee5\u200b\u5224\u65ad\u200b\u662f\u200b\u7f51\u7edc\u6545\u969c\u200b\u95ee\u9898\u200b\u8fd8\u662f\u200b NetworkPolicy \u200b\u89c4\u5219\u200b\u8bbe\u7f6e\u200b\u95ee\u9898\u200b\u5bfc\u81f4\u200b\u7684\u200b\u7f51\u7edc\u200b\u4e2d\u65ad\u200b\u3002 Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b NetworkPolicy \u200b\u65e5\u5fd7\u200b\u529f\u80fd\u200b\uff0c\u200b\u5e2e\u52a9\u200b\u7ba1\u7406\u5458\u200b\u5feb\u901f\u200b\u5b9a\u4f4d\u200b NetworkPolicy Drop \u200b\u89c4\u5219\u200b\u662f\u5426\u200b\u547d\u4e2d\u200b\uff0c\u200b\u5e76\u200b\u8bb0\u5f55\u200b\u6709\u200b\u54ea\u4e9b\u200b\u975e\u6cd5\u200b\u8bbf\u95ee\u200b\u3002</p> <p>NetworkPolicy \u200b\u65e5\u5fd7\u200b\u529f\u80fd\u200b\u4e00\u65e6\u200b\u5f00\u542f\u200b\uff0c\u200b\u5bf9\u200b\u6bcf\u4e2a\u200b\u547d\u4e2d\u200b Drop \u200b\u89c4\u5219\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u90fd\u200b\u9700\u8981\u200b\u6253\u5370\u200b\u65e5\u5fd7\u200b\uff0c\u200b\u4f1a\u200b\u5e26\u6765\u200b\u989d\u5916\u200b\u6027\u80fd\u200b\u5f00\u9500\u200b\u3002 \u200b\u5728\u200b\u6076\u610f\u200b\u653b\u51fb\u200b\u4e0b\u200b\uff0c\u200b\u77ed\u65f6\u95f4\u200b\u5927\u91cf\u200b\u65e5\u5fd7\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u8017\u5c3d\u200b CPU\u3002\u200b\u6211\u4eec\u200b\u5efa\u8bae\u200b\u5728\u200b\u751f\u4ea7\u200b\u73af\u5883\u200b\u9ed8\u8ba4\u200b\u5173\u95ed\u200b\u65e5\u5fd7\u200b\u529f\u80fd\u200b\uff0c\u200b\u5728\u200b\u9700\u8981\u200b\u6392\u67e5\u200b\u95ee\u9898\u200b\u65f6\u200b\uff0c\u200b\u52a8\u6001\u200b\u5f00\u542f\u200b\u65e5\u5fd7\u200b\u3002</p>"},{"location":"guide/networkpolicy-log/#networkpolicy_1","title":"\u5f00\u542f\u200b NetworkPolicy \u200b\u65e5\u5fd7","text":"<p>\u200b\u5728\u200b\u9700\u8981\u200b\u5f00\u542f\u200b\u65e5\u5fd7\u200b\u8bb0\u5f55\u200b\u7684\u200b NetworkPolicy \u200b\u4e2d\u200b\u589e\u52a0\u200b annotation <code>ovn.kubernetes.io/enable_log</code>\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: networking.k8s.io/v1\nkind: NetworkPolicy\nmetadata:\n  name: default-deny-ingress\n  namespace: kube-system\n  annotations:\n    ovn.kubernetes.io/enable_log: \"true\"\nspec:\n  podSelector: {}\n  policyTypes:\n  - Ingress\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5bf9\u5e94\u200b Pod \u200b\u6240\u5728\u200b\u4e3b\u673a\u200b\u7684\u200b <code>/var/log/ovn/ovn-controller.log</code> \u200b\u4e2d\u200b\u89c2\u5bdf\u200b\u5230\u200b\u88ab\u200b\u4e22\u5f03\u200b\u6570\u636e\u5305\u200b\u7684\u200b\u65e5\u5fd7\u200b\uff1a</p> <pre><code># tail -f /var/log/ovn/ovn-controller.log\n2022-07-20T05:55:03.229Z|00394|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=54343,tp_dst=53\n2022-07-20T05:55:06.229Z|00395|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=44187,tp_dst=53\n2022-07-20T05:55:08.230Z|00396|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=54274,tp_dst=53\n2022-07-20T05:55:11.231Z|00397|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=32778,tp_dst=53\n2022-07-20T05:55:11.231Z|00398|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=34188,tp_dst=53\n2022-07-20T05:55:13.231Z|00399|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=43290,tp_dst=53\n2022-07-20T05:55:22.096Z|00400|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n2022-07-20T05:55:22.097Z|00401|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n2022-07-20T05:55:22.098Z|00402|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n</code></pre>"},{"location":"guide/networkpolicy-log/#networkpolicy_2","title":"\u5173\u95ed\u200b NetworkPolicy \u200b\u65e5\u5fd7","text":"<p>\u200b\u5c06\u200b\u5bf9\u5e94\u200b NetworkPolicy \u200b\u4e2d\u200b\u7684\u200b annotation <code>ovn.kubernetes.io/enable_log</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code> \u200b\u5373\u53ef\u200b\u5173\u95ed\u200b NetworkPolicy \u200b\u65e5\u5fd7\u200b\uff1a</p> <pre><code>kubectl annotate networkpolicy -n kube-system default-deny-ingress ovn.kubernetes.io/enable_log=false --overwrite\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/prometheus-grafana/","title":"\u914d\u7f6e\u200b\u76d1\u63a7\u200b\u548c\u200b\u9762\u677f","text":"<p>Kube-OVN \u200b\u53ef\u4ee5\u200b\u5c06\u200b\u7f51\u7edc\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u4fe1\u606f\u200b\u4ee5\u53ca\u200b\u7f51\u7edc\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u8d28\u91cf\u200b\u4fe1\u606f\u200b\u6307\u6807\u200b\u4ee5\u200b Prometheus \u200b\u6240\u200b\u652f\u6301\u200b\u7684\u200b\u683c\u5f0f\u200b\u5bf9\u5916\u200b\u8f93\u51fa\u200b\u3002</p> <p>\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b kube-prometheus \u200b\u6240\u200b\u63d0\u4f9b\u200b\u7684\u200b CRD \u200b\u6765\u200b\u5b9a\u4e49\u200b\u76f8\u5e94\u200b\u7684\u200b Prometheus \u200b\u76d1\u63a7\u200b\u89c4\u5219\u200b\u3002 \u200b\u7528\u6237\u200b\u9700\u8981\u200b\u9884\u5148\u200b\u5b89\u88c5\u200b kube-prometheus \u200b\u6765\u200b\u542f\u7528\u200b\u76f8\u5173\u200b\u7684\u200b CRD\u3002Kube-OVN \u200b\u6240\u200b\u652f\u6301\u200b\u7684\u200b\u5168\u90e8\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u8bf7\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b\u539f\u751f\u200b Prometheus \u200b\u8bf7\u200b\u53c2\u8003\u200b\u914d\u7f6e\u200b\u539f\u751f\u200b Prometheus \u200b\u83b7\u53d6\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"guide/prometheus-grafana/#prometheus-monitor","title":"\u5b89\u88c5\u200b Prometheus Monitor","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b Prometheus Monitor CRD \u200b\u6765\u200b\u7ba1\u7406\u200b\u76d1\u63a7\u200b\u8f93\u51fa\u200b\uff1a</p> <pre><code># \u200b\u7f51\u54af\u200b\u8d28\u91cf\u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/pinger-monitor.yaml\n# kube-ovn-controller \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/controller-monitor.yaml\n# kube-ovn-cni \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/cni-monitor.yaml\n# ovn \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovn-monitor.yaml\n</code></pre> <p>Prometheus \u200b\u62c9\u53d6\u200b\u76d1\u63a7\u200b\u65f6\u95f4\u200b\u95f4\u9694\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 15s\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u8c03\u6574\u200b\u9700\u8981\u200b\u4fee\u6539\u200b yaml \u200b\u4e2d\u200b\u7684\u200b <code>interval</code> \u200b\u5b57\u200b\u6bb5\u200b\u3002</p>"},{"location":"guide/prometheus-grafana/#grafana","title":"\u52a0\u8f7d\u200b Grafana \u200b\u9762\u677f","text":"<p>Kube-OVN \u200b\u8fd8\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u9884\u5148\u200b\u5b9a\u4e49\u200b\u597d\u200b\u7684\u200b Grafana Dashboard \u200b\u5c55\u793a\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u548c\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u76f8\u5173\u200b\u4fe1\u606f\u200b\u3002</p> <p>\u200b\u4e0b\u8f7d\u200b\u5bf9\u5e94\u200b Dashboard \u200b\u6a21\u677f\u200b\uff1a</p> <pre><code># \u200b\u7f51\u7edc\u200b\u8d28\u91cf\u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/pinger-grafana.json\n# kube-ovn-controller \u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/controller-grafana.json\n# kube-ovn-cni \u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/cni-grafana.json\n# ovn \u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovn-grafana.json\n# ovs \u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovs-grafana.json\n</code></pre> <p>\u200b\u5728\u200b Grafana \u200b\u4e2d\u200b\u5bfc\u5165\u200b\u6a21\u677f\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u6570\u636e\u6e90\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b Prometheus \u200b\u5373\u53ef\u200b\u770b\u5230\u200b\u5982\u4e0b\u200b Dashboard\uff1a</p> <p><code>kube-ovn-controller</code> \u200b\u8fd0\u884c\u72b6\u51b5\u200b\u76f8\u5173\u200b\u9762\u677f\u200b\uff1a</p> <p></p> <p><code>kube-ovn-pinger</code> \u200b\u7f51\u7edc\u200b\u8d28\u91cf\u200b\u76f8\u5173\u200b\u9762\u677f\u200b\uff1a</p> <p></p> <p><code>kube-ovn-cni</code> \u200b\u8fd0\u884c\u72b6\u51b5\u200b\u76f8\u5173\u200b\u9762\u677f\u200b\uff1a</p> <p></p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/prometheus/","title":"\u914d\u7f6e\u200b\u539f\u751f\u200b Prometheus \u200b\u83b7\u53d6\u200b\u76d1\u63a7\u200b\u6570\u636e","text":"<p>Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e30\u5bcc\u200b\u7684\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\uff0c\u200b\u7528\u4e8e\u200b OVN/OVS \u200b\u5065\u5eb7\u200b\u72b6\u6001\u200b\u68c0\u67e5\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u548c\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u68c0\u67e5\u200b\u3002Kube-OVN \u200b\u914d\u7f6e\u200b\u4e86\u200b ServiceMonitor\uff0c\u200b\u53ef\u4ee5\u200b\u7528\u4e8e\u200b Prometheus \u200b\u52a8\u6001\u200b\u83b7\u53d6\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p> <p>\u200b\u5728\u200b\u67d0\u4e9b\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u53ea\u200b\u5b89\u88c5\u200b\u4e86\u200b Prometheus Server\uff0c\u200b\u6ca1\u6709\u200b\u5b89\u88c5\u200b\u5176\u4ed6\u200b\u7684\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b Prometheus \u200b\u7684\u200b\u914d\u7f6e\u200b\uff0c\u200b\u52a8\u6001\u200b\u83b7\u53d6\u200b\u96c6\u7fa4\u200b\u73af\u5883\u200b\u7684\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\u3002</p>"},{"location":"guide/prometheus/#prometheus_1","title":"Prometheus \u200b\u914d\u7f6e","text":"<p>\u200b\u4ee5\u4e0b\u200b\u7684\u200b\u914d\u7f6e\u200b\u6587\u6863\u200b\uff0c\u200b\u53c2\u8003\u200b\u81ea\u200b Prometheus \u200b\u670d\u52a1\u200b\u53d1\u73b0\u200b\u3002</p>"},{"location":"guide/prometheus/#_1","title":"\u6743\u9650\u200b\u914d\u7f6e","text":"<p>Prometheus \u200b\u90e8\u7f72\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\uff0c\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b k8s apiserver \u200b\u6765\u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b\u8d44\u6e90\u200b\uff0c\u200b\u4ece\u800c\u200b\u5b9e\u73b0\u200b\u67e5\u8be2\u200b\u4e1a\u52a1\u200b\u7684\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u914d\u7f6e\u200b Prometheus \u200b\u9700\u8981\u200b\u7684\u200b\u6743\u9650\u200b\uff1a</p> <pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  name: prometheus\nrules:\n- apiGroups: [\"\"]\n  resources:\n  - nodes\n  - nodes/proxy\n  - services\n  - endpoints\n  - pods\n  verbs: [\"get\", \"list\", \"watch\"]\n- apiGroups:\n  - extensions\n  resources:\n  - ingresses\n  verbs: [\"get\", \"list\", \"watch\"]\n- nonResourceURLs: [\"/metrics\"]\n  verbs: [\"get\"]\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: prometheus\n  namespace: default\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  name: prometheus\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: prometheus\nsubjects:\n- kind: ServiceAccount\n  name: prometheus\n  namespace: default\n</code></pre>"},{"location":"guide/prometheus/#prometheus_2","title":"Prometheus \u200b\u914d\u7f6e\u6587\u4ef6","text":"<p>Prometheus \u200b\u7684\u200b\u542f\u52a8\u200b\uff0c\u200b\u4f9d\u8d56\u4e8e\u200b\u914d\u7f6e\u6587\u4ef6\u200b prometheus.yml\uff0c\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u8be5\u200b\u6587\u4ef6\u200b\u5185\u5bb9\u200b\u914d\u7f6e\u200b\u5728\u200b ConfigMap \u200b\u5185\u200b\uff0c\u200b\u52a8\u6001\u200b\u6302\u8f7d\u200b\u5230\u200b Pod \u200b\u4e2d\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b Prometheus \u200b\u4f7f\u7528\u200b\u7684\u200b ConfigMap \u200b\u6587\u4ef6\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: prometheus-config\ndata:\n  prometheus.yml: |-\n    global:\n      scrape_interval:     15s \n      evaluation_interval: 15s\n    scrape_configs:\n    - job_name: 'prometheus'\n      static_configs:\n      - targets: ['localhost:9090']\n\n    - job_name: 'kubernetes-nodes'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: node\n\n    - job_name: 'kubernetes-service'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: service\n\n    - job_name: 'kubernetes-endpoints'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: endpoints\n\n    - job_name: 'kubernetes-ingress'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: ingress\n\n    - job_name: 'kubernetes-pods'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: pod\n</code></pre> <p>Prometheus \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u57fa\u4e8e\u200b\u89d2\u8272\u200b\u67e5\u8be2\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u76d1\u63a7\u200b\u7684\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b kubernetes_sd_config\u3002</p> <p>\u200b\u5728\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u4e2d\u200b\uff0cPrometheus \u200b\u652f\u6301\u200b\u67e5\u8be2\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u7684\u200b\u89d2\u8272\u200b\u5305\u542b\u200b node\u3001service\u3001pod\u3001endpoints \u200b\u548c\u200b ingress\u3002\u200b\u5728\u200b ConfigMap \u200b\u914d\u7f6e\u6587\u4ef6\u200b\u4e2d\u200b\u7ed9\u51fa\u200b\u4e86\u200b\u4ee5\u4e0a\u200b\u5168\u90e8\u200b\u8d44\u6e90\u200b\u7684\u200b\u76d1\u63a7\u200b\u67e5\u8be2\u200b\u914d\u7f6e\u200b\u793a\u4f8b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u6839\u636e\u200b\u9700\u8981\u200b\u9009\u62e9\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"guide/prometheus/#prometheus_3","title":"Prometheus \u200b\u90e8\u7f72","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml \u200b\u6587\u4ef6\u200b\uff0c\u200b\u90e8\u7f72\u200b Prometheus Server\uff1a</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: prometheus\n  name: prometheus\n  namespace: default\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: prometheus\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      labels:\n        app: prometheus\n    spec:\n      serviceAccountName: prometheus\n      serviceAccount: prometheus\n      containers:\n      - image: docker.io/prom/prometheus:latest\n        imagePullPolicy: IfNotPresent\n        name: prometheus\n        command:\n        - \"/bin/prometheus\"\n        args:\n        - \"--config.file=/etc/prometheus/prometheus.yml\"\n        ports:\n        - containerPort: 9090\n          protocol: TCP\n        volumeMounts:\n        - mountPath: \"/etc/prometheus\"\n          name: prometheus-config\n      volumes:\n      - name: prometheus-config\n        configMap:\n          name: prometheus-config\n</code></pre> <p>\u200b\u5728\u200b\u90e8\u7f72\u200b\u5b8c\u200b Prometheus \u200b\u4e4b\u540e\u200b\uff0c\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml \u200b\u6587\u4ef6\u200b\uff0c\u200b\u90e8\u7f72\u200b Prometheus Service\uff1a</p> <pre><code>kind: Service\napiVersion: v1\nmetadata:\n  name: prometheus\n  namespace: default\n  labels:\n    name: prometheus\nspec:\n  ports:\n    - name: test\n      protocol: TCP\n      port: 9090\n      targetPort: 9090\n  type: NodePort\n  selector:\n    app: prometheus\n  sessionAffinity: None\n</code></pre> <p>\u200b\u5c06\u200b Prometheus \u200b\u901a\u8fc7\u200b NodePort \u200b\u66b4\u9732\u200b\u540e\u200b\uff0c\u200b\u5373\u53ef\u200b\u901a\u8fc7\u200b\u8282\u70b9\u200b\u6765\u200b\u8bbf\u95ee\u200b Prometheus\u3002</p>"},{"location":"guide/prometheus/#prometheus_4","title":"Prometheus \u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\u9a8c\u8bc1","text":"<p>\u200b\u67e5\u770b\u200b\u73af\u5883\u200b\u4e0a\u200b Prometheus \u200b\u76f8\u5173\u200b\u7684\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get svc \nNAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE\nkubernetes   ClusterIP   10.4.0.1       &lt;none&gt;        443/TCP          8d\nprometheus   NodePort    10.4.102.222   &lt;none&gt;        9090:32611/TCP   8d\n# kubectl get pod -o wide\nNAME                          READY   STATUS    RESTARTS   AGE    IP          NODE              NOMINATED NODE   READINESS GATES\nprometheus-7544b6b84d-v9m8s   1/1     Running   0          3d5h   10.3.0.7    192.168.137.219   &lt;none&gt;           &lt;none&gt;\n# kubectl get endpoints -o wide\nNAME         ENDPOINTS                                                        AGE\nkubernetes   192.168.136.228:6443,192.168.136.232:6443,192.168.137.219:6443   8d\nprometheus   10.3.0.7:9090                                                    8d\n</code></pre> <p>\u200b\u901a\u8fc7\u200b NodePort \u200b\u8bbf\u95ee\u200b Prometheus\uff0c\u200b\u67e5\u770b\u200b Status/Service Discovery \u200b\u52a8\u6001\u200b\u67e5\u8be2\u200b\u5230\u200b\u7684\u200b\u6570\u636e\u200b\uff1a</p> <p></p> <p>\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5f53\u524d\u200b\u53ef\u4ee5\u200b\u67e5\u8be2\u200b\u5230\u200b\u96c6\u7fa4\u200b\u4e0a\u200b\u5168\u90e8\u200b\u7684\u200b Service \u200b\u6570\u636e\u200b\u4fe1\u606f\u200b\u3002</p>"},{"location":"guide/prometheus/#_2","title":"\u914d\u7f6e\u200b\u67e5\u8be2\u200b\u6307\u5b9a\u200b\u7684\u200b\u8d44\u6e90","text":"<p>\u200b\u4ee5\u4e0a\u200b\u7684\u200b ConfigMap \u200b\u914d\u7f6e\u200b\u4e2d\u200b\uff0c\u200b\u6ca1\u6709\u200b\u6dfb\u52a0\u200b\u8fc7\u6ee4\u200b\u6761\u4ef6\u200b\uff0c\u200b\u67e5\u8be2\u200b\u4e86\u200b\u6240\u6709\u200b\u7684\u200b\u8d44\u6e90\u200b\u6570\u636e\u200b\u3002\u200b\u5982\u679c\u200b\u53ea\u200b\u9700\u8981\u200b\u67d0\u4e2a\u200b\u89d2\u8272\u200b\u7684\u200b\u8d44\u6e90\u200b\u6570\u636e\u200b\uff0c\u200b\u5219\u200b\u53ef\u4ee5\u200b\u6dfb\u52a0\u200b\u8fc7\u6ee4\u200b\u6761\u4ef6\u200b\u3002</p> <p>\u200b\u4ee5\u200b Service \u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u4fee\u6539\u200b ConfigMap \u200b\u5185\u5bb9\u200b\uff0c\u200b\u53ea\u200b\u67e5\u8be2\u200b\u5173\u5fc3\u200b\u7684\u200b Service \u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\u3002</p> <pre><code>    - job_name: 'kubernetes-service'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: service\n      relabel_configs:\n      - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape]\n        action: \"keep\"\n        regex: \"true\"\n      - action: labelmap\n        regex: __meta_kubernetes_service_label_(.+)\n      - source_labels: [__meta_kubernetes_namespace]\n        target_label: kubernetes_namespace\n      - source_labels: [__meta_kubernetes_service_name]\n        target_label: kubernetes_service_name\n      - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_path]\n        action: replace\n        target_label: __metrics_path__\n        regex: \"(.+)\"\n</code></pre> <p>Service \u200b\u9ed8\u8ba4\u200b\u76d1\u63a7\u200b\u8def\u5f84\u200b\u4e3a\u200b /metrics\u3002\u200b\u5982\u679c\u200b Service \u200b\u63d0\u4f9b\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u662f\u200b\u5176\u4ed6\u200b\u7684\u200b\u8def\u5f84\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u7ed9\u200b Service \u200b\u6dfb\u52a0\u200b annotation <code>prometheus.io/path</code> \u200b\u6765\u200b\u6307\u5b9a\u200b\u91c7\u96c6\u200b\u8def\u5f84\u200b\u3002</p> <p>\u200b\u5e94\u7528\u200b\u4ee5\u4e0a\u200b yaml\uff0c\u200b\u66f4\u65b0\u200b ConfigMap \u200b\u4fe1\u606f\u200b\uff0c\u200b\u91cd\u5efa\u200b Prometheus Pod\uff0c\u200b\u4f7f\u200b\u914d\u7f6e\u200b\u751f\u6548\u200b\u3002</p> <p>\u200b\u67e5\u770b\u200b kube-system Namespace \u200b\u4e0b\u200b\u7684\u200b Service \u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get svc -n kube-system\nNAME                  TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)                  AGE\nkube-dns              ClusterIP   10.4.0.10      &lt;none&gt;        53/UDP,53/TCP,9153/TCP   13d\nkube-ovn-cni          ClusterIP   10.4.228.60    &lt;none&gt;        10665/TCP                13d\nkube-ovn-controller   ClusterIP   10.4.172.213   &lt;none&gt;        10660/TCP                13d\nkube-ovn-monitor      ClusterIP   10.4.242.9     &lt;none&gt;        10661/TCP                13d\nkube-ovn-pinger       ClusterIP   10.4.122.52    &lt;none&gt;        8080/TCP                 13d\novn-nb                ClusterIP   10.4.80.213    &lt;none&gt;        6641/TCP                 13d\novn-northd            ClusterIP   10.4.126.234   &lt;none&gt;        6643/TCP                 13d\novn-sb                ClusterIP   10.4.216.249   &lt;none&gt;        6642/TCP                 13d\n</code></pre> <p>\u200b\u7ed9\u200b Service \u200b\u6dfb\u52a0\u200b annotation <code>prometheus.io/scrape=\"true\"</code>\uff1a</p> <pre><code># kubectl annotate svc -n kube-system kube-ovn-cni  prometheus.io/scrape=true\nservice/kube-ovn-cni annotated\n# kubectl annotate svc -n kube-system kube-ovn-controller  prometheus.io/scrape=true\nservice/kube-ovn-controller annotated\n# kubectl annotate svc -n kube-system kube-ovn-monitor  prometheus.io/scrape=true\nservice/kube-ovn-monitor annotated\n# kubectl annotate svc -n kube-system kube-ovn-pinger  prometheus.io/scrape=true\nservice/kube-ovn-pinger annotated\n</code></pre> <p>\u200b\u67e5\u770b\u200b\u914d\u7f6e\u200b\u540e\u200b\u7684\u200b Service \u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get svc -o yaml -n kube-system kube-ovn-controller\napiVersion: v1\nkind: Service\nmetadata:\n  annotations:\n    helm.sh/chart-version: v3.10.0-alpha.55\n    helm.sh/original-name: kube-ovn-controller\n    ovn.kubernetes.io/vpc: ovn-cluster\n    prometheus.io/scrape: \"true\"                        // \u200b\u6dfb\u52a0\u200b\u7684\u200b annotation\n  labels:\n    app: kube-ovn-controller\n  name: kube-ovn-controller\n  namespace: kube-system\nspec:\n  clusterIP: 10.4.172.213\n  clusterIPs:\n  - 10.4.172.213\n  internalTrafficPolicy: Cluster\n  ipFamilies:\n  - IPv4\n  ipFamilyPolicy: SingleStack\n  ports:\n  - name: metrics\n    port: 10660\n    protocol: TCP\n    targetPort: 10660\n  selector:\n    app: kube-ovn-controller\n  sessionAffinity: None\n  type: ClusterIP\nstatus:\n  loadBalancer: {}\n</code></pre> <p>\u200b\u67e5\u770b\u200b Prometheus Status Targets \u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u53ea\u6709\u200b\u6dfb\u52a0\u200b\u4e86\u200b annotation \u200b\u7684\u200b Service \u200b\u88ab\u200b\u8fc7\u6ee4\u51fa\u6765\u200b\uff1a </p> <p>\u200b\u66f4\u200b\u591a\u200b\u5173\u4e8e\u200b relabel \u200b\u6dfb\u52a0\u200b\u8fc7\u6ee4\u200b\u53c2\u6570\u200b\u7684\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Prometheus-Relabel\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/qos/","title":"\u5bb9\u5668\u200b\u7f51\u7edc\u200b QoS \u200b\u914d\u7f6e","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u57fa\u4e8e\u200b\u5355\u4e2a\u200b Pod \u200b\u7684\u200b\u4e24\u79cd\u200b\u4e0d\u540c\u200b\u7c7b\u578b\u200b\u7684\u200b QoS\uff1a</p> <ul> <li>\u200b\u6700\u5927\u200b\u5e26\u5bbd\u200b\u9650\u5236\u200b QoS\u3002</li> <li><code>linux-netem</code>\uff0c\u200b\u6a21\u62df\u200b\u8bbe\u5907\u200b\u5e72\u6270\u200b\u4e22\u5305\u200b\u7b49\u200b\u7684\u200b QoS\uff0c\u200b\u53ef\u200b\u7528\u4e8e\u200b\u6a21\u62df\u200b\u6d4b\u8bd5\u200b\u3002</li> </ul> <p>\u200b\u76ee\u524d\u200b\u53ea\u200b\u652f\u6301\u200b Pod \u200b\u7ea7\u522b\u200b QoS \u200b\u4e0d\u200b\u652f\u6301\u200b Namespace \u200b\u6216\u200b Subnet \u200b\u7ea7\u522b\u200b\u7684\u200b QoS \u200b\u9650\u5236\u200b\u3002</p>"},{"location":"guide/qos/#qos_1","title":"\u57fa\u4e8e\u200b\u6700\u5927\u200b\u5e26\u5bbd\u200b\u9650\u5236\u200b\u7684\u200b QoS","text":"<p>\u200b\u8be5\u200b\u7c7b\u578b\u200b\u7684\u200b QoS \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Pod annotation \u200b\u52a8\u6001\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u4e0d\u200b\u4e2d\u65ad\u200b Pod \u200b\u8fd0\u884c\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\u3002 \u200b\u5e26\u5bbd\u200b\u9650\u901f\u200b\u7684\u200b\u5355\u4f4d\u200b\u4e3a\u200b <code>Mbit/s</code>\u3002</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: qos\n  namespace: ls1\n  annotations:\n    ovn.kubernetes.io/ingress_rate: \"3\"\n    ovn.kubernetes.io/egress_rate: \"1\"\nspec:\n  containers:\n  - name: qos\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u4f7f\u7528\u200b annotation \u200b\u52a8\u6001\u200b\u8c03\u6574\u200b QoS\uff1a</p> <pre><code>kubectl annotate --overwrite  pod nginx-74d5899f46-d7qkn ovn.kubernetes.io/ingress_rate=3\n</code></pre>"},{"location":"guide/qos/#qos_2","title":"\u6d4b\u8bd5\u200b QoS \u200b\u8c03\u6574","text":"<p>\u200b\u90e8\u7f72\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b\u9700\u8981\u200b\u7684\u200b\u5bb9\u5668\u200b\uff1a</p> <pre><code>kind: DaemonSet\napiVersion: apps/v1\nmetadata:\n  name: perf\n  namespace: ls1\n  labels:\n    app: perf\nspec:\n  selector:\n    matchLabels:\n      app: perf\n  template:\n    metadata:\n      labels:\n        app: perf\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/kubeovn/perf\n</code></pre> <p>\u200b\u8fdb\u5165\u200b\u5176\u4e2d\u200b\u4e00\u4e2a\u200b Pod \u200b\u5e76\u200b\u5f00\u542f\u200b iperf3 server\uff1a</p> <pre><code># kubectl exec -it perf-4n4gt -n ls1 sh\n# iperf3 -s\n-----------------------------------------------------------\nServer listening on 5201\n-----------------------------------------------------------\n</code></pre> <p>\u200b\u8fdb\u5165\u200b\u53e6\u200b\u4e00\u4e2a\u200b Pod \u200b\u8bf7\u6c42\u200b\u4e4b\u524d\u200b\u7684\u200b Pod\uff1a</p> <pre><code># kubectl exec -it perf-d4mqc -n ls1 sh\n# iperf3 -c 10.66.0.12\nConnecting to host 10.66.0.12, port 5201\n[  4] local 10.66.0.14 port 51544 connected to 10.66.0.12 port 5201\n[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd\n[  4]   0.00-1.00   sec  86.4 MBytes   725 Mbits/sec    3    350 KBytes\n[  4]   1.00-2.00   sec  89.9 MBytes   754 Mbits/sec  118    473 KBytes\n[  4]   2.00-3.00   sec   101 MBytes   848 Mbits/sec  184    586 KBytes\n[  4]   3.00-4.00   sec   104 MBytes   875 Mbits/sec  217    671 KBytes\n[  4]   4.00-5.00   sec   111 MBytes   935 Mbits/sec  175    772 KBytes\n[  4]   5.00-6.00   sec   100 MBytes   840 Mbits/sec  658    598 KBytes\n[  4]   6.00-7.00   sec   106 MBytes   890 Mbits/sec  742    668 KBytes\n[  4]   7.00-8.00   sec   102 MBytes   857 Mbits/sec  764    724 KBytes\n[  4]   8.00-9.00   sec  97.4 MBytes   817 Mbits/sec  1175    764 KBytes\n[  4]   9.00-10.00  sec   111 MBytes   934 Mbits/sec  1083    838 KBytes\n- - - - - - - - - - - - - - - - - - - - - - - - -\n[ ID] Interval           Transfer     Bandwidth       Retr\n[  4]   0.00-10.00  sec  1010 MBytes   848 Mbits/sec  5119             sender\n[  4]   0.00-10.00  sec  1008 MBytes   846 Mbits/sec                  receiver\n\niperf Done.\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u7b2c\u4e00\u4e2a\u200b Pod \u200b\u7684\u200b\u5165\u53e3\u200b\u5e26\u5bbd\u200b QoS\uff1a</p> <pre><code>kubectl annotate --overwrite  pod perf-4n4gt -n ls1 ovn.kubernetes.io/ingress_rate=30\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u4ece\u200b\u7b2c\u4e8c\u4e2a\u200b Pod \u200b\u6d4b\u8bd5\u200b\u7b2c\u4e00\u4e2a\u200b Pod \u200b\u5e26\u5bbd\u200b\uff1a</p> <pre><code># iperf3 -c 10.66.0.12\nConnecting to host 10.66.0.12, port 5201\n[  4] local 10.66.0.14 port 52372 connected to 10.66.0.12 port 5201\n[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd\n[  4]   0.00-1.00   sec  3.66 MBytes  30.7 Mbits/sec    2   76.1 KBytes\n[  4]   1.00-2.00   sec  3.43 MBytes  28.8 Mbits/sec    0    104 KBytes\n[  4]   2.00-3.00   sec  3.50 MBytes  29.4 Mbits/sec    0    126 KBytes\n[  4]   3.00-4.00   sec  3.50 MBytes  29.3 Mbits/sec    0    144 KBytes\n[  4]   4.00-5.00   sec  3.43 MBytes  28.8 Mbits/sec    0    160 KBytes\n[  4]   5.00-6.00   sec  3.43 MBytes  28.8 Mbits/sec    0    175 KBytes\n[  4]   6.00-7.00   sec  3.50 MBytes  29.3 Mbits/sec    0    212 KBytes\n[  4]   7.00-8.00   sec  3.68 MBytes  30.9 Mbits/sec    0    294 KBytes\n[  4]   8.00-9.00   sec  3.74 MBytes  31.4 Mbits/sec    0    398 KBytes\n[  4]   9.00-10.00  sec  3.80 MBytes  31.9 Mbits/sec    0    526 KBytes\n- - - - - - - - - - - - - - - - - - - - - - - - -\n[ ID] Interval           Transfer     Bandwidth       Retr\n[  4]   0.00-10.00  sec  35.7 MBytes  29.9 Mbits/sec    2             sender\n[  4]   0.00-10.00  sec  34.5 MBytes  29.0 Mbits/sec                  receiver\n\niperf Done.\n</code></pre>"},{"location":"guide/qos/#linux-netem-qos","title":"linux-netem QoS","text":"<p>RHEL \u200b\u7cfb\u5217\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u9700\u8981\u200b\u5b89\u88c5\u200b netem \u200b\u76f8\u5173\u200b\u6a21\u5757\u200b\uff1a yum install -y kernel-modules-extra &amp;&amp; modprobe sch_netem</p> <p>Pod \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b annotation \u200b\u914d\u7f6e\u200b <code>linux-netem</code> \u200b\u7c7b\u578b\u200b QoS\uff1a <code>ovn.kubernetes.io/latency</code>\u3001<code>ovn.kubernetes.io/limit</code> \u200b\u548c\u200b <code>ovn.kubernetes.io/loss</code>\u3002</p> <ul> <li><code>ovn.kubernetes.io/latency</code>\uff1a\u200b\u8bbe\u7f6e\u200b Pod \u200b\u6d41\u91cf\u200b\u5ef6\u8fdf\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b\u6574\u6570\u200b\uff0c\u200b\u5355\u4f4d\u200b\u4e3a\u200b ms\u3002</li> <li><code>ovn.kubernetes.io/limit</code>\uff1a \u200b\u4e3a\u200b <code>qdisc</code> \u200b\u961f\u5217\u200b\u53ef\u200b\u5bb9\u7eb3\u200b\u7684\u200b\u6700\u5927\u200b\u6570\u636e\u5305\u200b\u6570\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b\u6574\u5f62\u200b\u6570\u503c\u200b\uff0c\u200b\u4f8b\u5982\u200b 1000\u3002</li> <li><code>ovn.kubernetes.io/loss</code>\uff1a \u200b\u4e3a\u200b\u8bbe\u7f6e\u200b\u7684\u200b\u62a5\u6587\u200b\u4e22\u5305\u200b\u6982\u7387\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b float \u200b\u7c7b\u578b\u200b\uff0c\u200b\u4f8b\u5982\u200b\u53d6\u503c\u200b\u4e3a\u200b 20\uff0c\u200b\u5219\u200b\u4e3a\u200b\u8bbe\u7f6e\u200b 20% \u200b\u7684\u200b\u4e22\u200b\u5305\u200b\u6982\u7387\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/setup-options/","title":"\u5b89\u88c5\u200b\u548c\u200b\u914d\u7f6e\u200b\u9009\u9879","text":"<p>\u200b\u5728\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u4e2d\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u914d\u7f6e\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff0cKube-OVN \u200b\u8fd8\u200b\u652f\u6301\u200b\u66f4\u200b\u591a\u200b \u200b\u81ea\u5b9a\u4e49\u200b\u914d\u7f6e\u200b\uff0c\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff0c\u200b\u6216\u8005\u200b\u4e4b\u540e\u200b\u66f4\u6539\u200b\u5404\u4e2a\u200b\u7ec4\u4ef6\u200b\u7684\u200b\u53c2\u6570\u200b\u6765\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u4f1a\u200b\u4ecb\u7ecd\u200b\u8fd9\u4e9b\u200b\u81ea\u5b9a\u4e49\u200b\u9009\u9879\u200b \u200b\u7684\u200b\u4f5c\u7528\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5982\u4f55\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"guide/setup-options/#_2","title":"\u5185\u7f6e\u200b\u7f51\u7edc\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u5728\u200b\u5b89\u88c5\u200b\u65f6\u4f1a\u200b\u914d\u7f6e\u200b\u4e24\u4e2a\u200b\u5185\u7f6e\u200b\u5b50\u7f51\u200b\uff1a</p> <ol> <li><code>default</code> \u200b\u5b50\u7f51\u200b\uff0c\u200b\u4f5c\u4e3a\u200b Pod \u200b\u5206\u914d\u200b IP \u200b\u4f7f\u7528\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u9ed8\u8ba4\u200b CIDR \u200b\u4e3a\u200b <code>10.16.0.0/16</code>\uff0c\u200b\u7f51\u5173\u200b\u4e3a\u200b <code>10.16.0.1</code>\u3002</li> <li><code>join</code> \u200b\u5b50\u7f51\u200b\uff0c\u200b\u4f5c\u4e3a\u200b Node \u200b\u548c\u200b Pod \u200b\u4e4b\u95f4\u200b\u8fdb\u884c\u200b\u7f51\u7edc\u901a\u4fe1\u200b\u7684\u200b\u7279\u6b8a\u200b\u5b50\u7f51\u200b, \u200b\u9ed8\u8ba4\u200b CIDR \u200b\u4e3a\u200b <code>100.64.0.0/16</code>\uff0c\u200b\u7f51\u5173\u200b\u4e3a\u200b <code>100.64.0.1</code>\u3002</li> </ol> <p>\u200b\u5728\u200b\u5b89\u88c5\u200b\u65f6\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u5185\u200b\u7684\u200b\u914d\u7f6e\u200b\u8fdb\u884c\u200b\u66f4\u6539\u200b\uff1a</p> <pre><code>POD_CIDR=\"10.16.0.0/16\"\nPOD_GATEWAY=\"10.16.0.1\"\nJOIN_CIDR=\"100.64.0.0/16\"\nEXCLUDE_IPS=\"\"\n</code></pre> <p><code>EXCLUDE_IP</code> \u200b\u53ef\u200b\u8bbe\u7f6e\u200b <code>POD_CIDR</code> \u200b\u4e0d\u200b\u8fdb\u884c\u200b\u5206\u914d\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\uff0c\u200b\u683c\u5f0f\u200b\u4e3a\u200b\uff1a<code>192.168.10.20..192.168.10.30</code>\u3002</p> <p>\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b Overlay \u200b\u60c5\u51b5\u200b\u4e0b\u200b\u8fd9\u200b\u4e24\u4e2a\u200b\u7f51\u7edc\u200b\u4e0d\u80fd\u200b\u548c\u200b\u5df2\u6709\u200b\u7684\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u548c\u200b Service CIDR \u200b\u51b2\u7a81\u200b\u3002</p> <p>\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u53ef\u4ee5\u200b\u5bf9\u200b\u8fd9\u200b\u4e24\u4e2a\u200b\u7f51\u7edc\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u8bf7\u200b\u53c2\u8003\u200b\u4fee\u6539\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u548c\u200b\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b\u3002</p>"},{"location":"guide/setup-options/#service","title":"Service \u200b\u7f51\u6bb5\u200b\u914d\u7f6e","text":"<p>\u200b\u7531\u4e8e\u200b\u90e8\u5206\u200b <code>kube-proxy</code> \u200b\u8bbe\u7f6e\u200b\u7684\u200b iptables \u200b\u548c\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u4f1a\u200b\u548c\u200b Kube-OVN \u200b\u8bbe\u7f6e\u200b\u7684\u200b\u89c4\u5219\u200b\u4ea7\u751f\u200b\u4ea4\u96c6\u200b\uff0c\u200b\u56e0\u6b64\u200b Kube-OVN \u200b\u9700\u8981\u200b\u77e5\u9053\u200b Service \u200b\u7684\u200b CIDR \u200b\u6765\u200b\u6b63\u786e\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b\u89c4\u5219\u200b\u3002</p> <p>\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b\uff1a</p> <pre><code>SVC_CIDR=\"10.96.0.0/12\"  \n</code></pre> <p>\u200b\u6765\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --service-cluster-ip-range=10.96.0.0/12\n</code></pre> <p>\u200b\u6765\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002</p>"},{"location":"guide/setup-options/#overlay","title":"Overlay \u200b\u7f51\u5361\u200b\u9009\u62e9","text":"<p>\u200b\u5728\u200b\u8282\u70b9\u200b\u5b58\u5728\u200b\u591a\u5757\u200b\u7f51\u5361\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0cKube-OVN \u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u9009\u62e9\u200b Kubernetes Node IP \u200b\u5bf9\u5e94\u200b\u7684\u200b\u7f51\u5361\u200b\u4f5c\u4e3a\u200b\u5bb9\u5668\u200b\u95f4\u200b\u8de8\u200b\u8282\u70b9\u200b\u901a\u4fe1\u200b\u7684\u200b\u7f51\u5361\u200b\u5e76\u200b\u5efa\u7acb\u200b\u5bf9\u5e94\u200b\u7684\u200b\u96a7\u9053\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u9009\u62e9\u200b\u5176\u4ed6\u200b\u7684\u200b\u7f51\u5361\u200b\u5efa\u7acb\u200b\u5bb9\u5668\u200b\u96a7\u9053\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u4fee\u6539\u200b\uff1a</p> <pre><code>IFACE=eth1\n</code></pre> <p>\u200b\u8be5\u200b\u9009\u9879\u200b\u652f\u6301\u200b\u4ee5\u200b\u9017\u53f7\u200b\u6240\u200b\u5206\u9694\u200b\u6b63\u5219\u8868\u8fbe\u5f0f\u200b,\u200b\u4f8b\u5982\u200b <code>ens[a-z0-9]*,eth[a-z0-9]*</code>\u3002</p> <p>\u200b\u5b89\u88c5\u200b\u540e\u200b\u4e5f\u200b\u53ef\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <pre><code>args:\n- --iface=eth1\n</code></pre> <p>\u200b\u5982\u679c\u200b\u6bcf\u53f0\u200b\u673a\u5668\u200b\u7684\u200b\u7f51\u5361\u200b\u540d\u5747\u200b\u4e0d\u540c\u200b\uff0c\u200b\u4e14\u200b\u6ca1\u6709\u200b\u56fa\u5b9a\u200b\u89c4\u5f8b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u8282\u70b9\u200b annotation <code>ovn.kubernetes.io/tunnel_interface</code> \u200b\u8fdb\u884c\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u7684\u200b\u9010\u4e00\u200b\u914d\u7f6e\u200b\uff0c\u200b\u62e5\u6709\u200b\u8be5\u200b annotation \u200b\u8282\u70b9\u200b\u4f1a\u200b\u8986\u76d6\u200b <code>iface</code> \u200b\u7684\u200b\u914d\u7f6e\u200b\uff0c\u200b\u4f18\u5148\u200b\u4f7f\u7528\u200b annotation\u3002</p> <pre><code>kubectl annotate node no1 ovn.kubernetes.io/tunnel_interface=ethx\n</code></pre>"},{"location":"guide/setup-options/#mtu","title":"MTU \u200b\u8bbe\u7f6e","text":"<p>\u200b\u7531\u4e8e\u200b Overlay \u200b\u5c01\u88c5\u200b\u9700\u8981\u200b\u5360\u636e\u200b\u989d\u5916\u200b\u7684\u200b\u7a7a\u95f4\u200b\uff0cKube-OVN \u200b\u5728\u200b\u521b\u5efa\u200b\u5bb9\u5668\u200b\u7f51\u5361\u200b\u65f6\u4f1a\u200b\u6839\u636e\u200b\u9009\u62e9\u200b\u7f51\u5361\u200b\u7684\u200b MTU \u200b\u8fdb\u884c\u200b\u5bb9\u5668\u200b\u7f51\u5361\u200b\u7684\u200b MTU \u200b\u8c03\u6574\u200b\uff0c \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Overlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b Pod \u200b\u7f51\u5361\u200b MTU \u200b\u4e3a\u200b\u4e3b\u673a\u200b\u7f51\u5361\u200b MTU - 100\uff0cUnderlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\uff0cPod \u200b\u7f51\u5361\u200b\u548c\u200b\u4e3b\u673a\u200b\u7f51\u5361\u200b\u6709\u200b\u76f8\u540c\u200b MTU\u3002</p> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u8c03\u6574\u200b Overlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b MTU \u200b\u7684\u200b\u5927\u5c0f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --mtu=1333\n</code></pre>"},{"location":"guide/setup-options/#_3","title":"\u5168\u5c40\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5728\u200b\u5f00\u542f\u200b\u5168\u5c40\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0cKube-OVN \u200b\u4f1a\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u521b\u5efa\u200b\u4e00\u5757\u200b <code>mirror0</code> \u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u5361\u200b\uff0c\u200b\u590d\u5236\u200b\u5f53\u524d\u200b\u673a\u5668\u200b\u6240\u6709\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u5230\u200b\u8be5\u200b\u7f51\u5361\u200b\u4e0a\u200b\uff0c \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b tcpdump \u200b\u53ca\u5176\u200b\u4ed6\u200b\u5de5\u5177\u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u5206\u6790\u200b\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u901a\u8fc7\u200b\u4e0b\u9762\u200b\u7684\u200b\u914d\u7f6e\u200b\u5f00\u542f\u200b\uff1a</p> <pre><code>ENABLE_MIRROR=true\n</code></pre> <p>\u200b\u4e5f\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b\u53c2\u6570\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b:</p> <pre><code>args:\n- --enable-mirror=true\n</code></pre> <p>\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u7684\u200b\u80fd\u529b\u200b\u5728\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e2d\u4e3a\u200b\u5173\u95ed\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u7ec6\u7c92\u5ea6\u200b\u7684\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u6216\u200b\u9700\u8981\u200b\u5c06\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u5230\u200b\u989d\u5916\u200b\u7684\u200b\u7f51\u5361\u200b\u8bf7\u200b\u53c2\u8003\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u955c\u50cf\u200b\u3002</p>"},{"location":"guide/setup-options/#lb","title":"LB \u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b OVN \u200b\u4e2d\u200b\u7684\u200b L2 LB \u200b\u6765\u200b\u5b9e\u73b0\u200b Service \u200b\u8f6c\u53d1\u200b\uff0c\u200b\u5728\u200b Overlay \u200b\u573a\u666f\u200b\u4e2d\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b\u4f7f\u7528\u200b <code>kube-proxy</code> \u200b\u6765\u200b\u5b8c\u6210\u200b Service \u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b, \u200b\u5728\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u5173\u95ed\u200b Kube-OVN \u200b\u7684\u200b LB \u200b\u529f\u80fd\u200b\u4ee5\u200b\u8fbe\u5230\u200b\u63a7\u5236\u200b\u9762\u200b\u548c\u200b\u6570\u636e\u200b\u9762\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ENABLE_LB=false\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>args:\n- --enable-lb=false\n</code></pre> <p>LB \u200b\u7684\u200b\u529f\u80fd\u200b\u5728\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e2d\u4e3a\u200b\u5f00\u542f\u200b\u3002</p> <p>\u200b\u4ece\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c\u200b\u5728\u200b subnet crd \u200b\u5b9a\u4e49\u200b\u4e2d\u200b\u589e\u52a0\u200b\u4e86\u200b spec \u200b\u5b57\u200b\u6bb5\u200b <code>enableLb</code>\uff0c\u200b\u5c06\u200b Kube-OVN \u200b\u7684\u200b LB \u200b\u529f\u80fd\u200b\u8fc1\u79fb\u200b\u5230\u200b\u5b50\u7f51\u200b\u5c42\u7ea7\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b\u4e0d\u540c\u200b\u7684\u200b\u5b50\u7f51\u200b\u5206\u522b\u200b\u8bbe\u7f6e\u200b\u662f\u5426\u200b\u5f00\u542f\u200b LB \u200b\u529f\u80fd\u200b\u3002<code>kube-ovn-controller</code> Deployment \u200b\u4e2d\u200b\u7684\u200b <code>enable-lb</code> \u200b\u53c2\u6570\u200b\u4f5c\u4e3a\u200b\u5168\u5c40\u200b\u53c2\u6570\u200b\uff0c\u200b\u63a7\u5236\u200b\u662f\u5426\u200b\u521b\u5efa\u200b load-balancer \u200b\u8bb0\u5f55\u200b\uff0c\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u65b0\u589e\u200b\u7684\u200b <code>enableLb</code> \u200b\u53c2\u6570\u200b\u7528\u4e8e\u200b\u63a7\u5236\u200b\u5b50\u7f51\u200b\u662f\u5426\u200b\u5173\u8054\u200b load-balancer \u200b\u8bb0\u5f55\u200b\u3002\u200b\u4e4b\u524d\u200b\u7248\u672c\u5347\u7ea7\u200b\u5230\u200b v1.12.0 \u200b\u4e4b\u540e\u200b\uff0c\u200b\u5b50\u7f51\u200b <code>enableLb</code> \u200b\u53c2\u6570\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u7ee7\u627f\u200b\u539f\u6709\u200b\u7684\u200b\u5168\u5c40\u200b\u5f00\u5173\u200b\u53c2\u6570\u200b\u53d6\u503c\u200b\u3002</p>"},{"location":"guide/setup-options/#networkpolicy","title":"NetworkPolicy \u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b OVN \u200b\u4e2d\u200b\u7684\u200b ACL \u200b\u6765\u200b\u5b9e\u73b0\u200b NetworkPolicy\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b\u5173\u95ed\u200b NetworkPolicy \u200b\u529f\u80fd\u200b \u200b\u6216\u8005\u200b\u4f7f\u7528\u200b Cilium Chain \u200b\u7684\u200b\u65b9\u5f0f\u200b\u5229\u7528\u200b eBPF \u200b\u5b9e\u73b0\u200b NetworkPolicy\uff0c \u200b\u5728\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u5173\u95ed\u200b Kube-OVN \u200b\u7684\u200b NetworkPolicy \u200b\u529f\u80fd\u200b\u4ee5\u200b\u8fbe\u5230\u200b\u63a7\u5236\u200b\u9762\u200b\u548c\u200b\u6570\u636e\u200b\u9762\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ENABLE_NP=false\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>args:\n- --enable-np=false\n</code></pre> <p>NetworkPolicy \u200b\u7684\u200b\u80fd\u529b\u200b\u5728\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e2d\u4e3a\u200b\u5f00\u542f\u200b\u3002</p>"},{"location":"guide/setup-options/#eip-snat","title":"EIP \u200b\u548c\u200b SNAT \u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u9ed8\u8ba4\u200b\u7f51\u7edc\u200b\u4e0b\u200b\u5982\u679c\u200b\u65e0\u9700\u200b\u4f7f\u7528\u200b EIP \u200b\u548c\u200b SNAT \u200b\u7684\u200b\u80fd\u529b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b\u5173\u95ed\u200b\u76f8\u5173\u200b\u529f\u80fd\u200b\uff0c\u200b\u4ee5\u200b\u51cf\u5c11\u200b <code>kube-ovn-controller</code> \u200b\u5728\u200b\u521b\u5efa\u200b\u548c\u200b\u66f4\u65b0\u200b \u200b\u7f51\u7edc\u200b\u65f6\u200b\u7684\u200b\u68c0\u67e5\u200b\u6d88\u8017\u200b\uff0c\u200b\u5728\u200b\u5927\u89c4\u6a21\u200b\u96c6\u7fa4\u200b\u73af\u5883\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u63d0\u5347\u200b\u5904\u7406\u901f\u5ea6\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ENABLE_EIP_SNAT=false\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>args:\n- --enable-eip-snat=false\n</code></pre> <p>EIP \u200b\u548c\u200b SNAT \u200b\u7684\u200b\u80fd\u529b\u200b\u5728\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e2d\u4e3a\u200b\u5f00\u542f\u200b\u3002\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u76f8\u5173\u200b\u4f7f\u7528\u200b\u548c\u200b\u5176\u4ed6\u200b\u53ef\u200b\u914d\u200b\u53c2\u6570\u200b\u8bf7\u200b\u53c2\u8003\u200b EIP \u200b\u548c\u200b SNAT \u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"guide/setup-options/#load-balancer-service","title":"Load Balancer \u200b\u7c7b\u578b\u200b Service \u200b\u652f\u6301\u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u53ef\u200b\u901a\u8fc7\u200b\u5f00\u542f\u200b\u8be5\u200b\u9009\u9879\u200b\u6765\u200b\u652f\u6301\u200b Load Balancer \u200b\u7c7b\u578b\u200b Service\u3002\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u76f8\u5173\u200b\u4f7f\u7528\u200b\u548c\u200b\u5176\u4ed6\u200b\u53ef\u200b\u914d\u200b\u53c2\u6570\u200b\u8bf7\u200b\u53c2\u8003\u200b LoadBalancer \u200b\u7c7b\u578b\u200b Service\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u9ed8\u8ba4\u200b\u5173\u95ed\u200b\uff0c\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ENABLE_LB_SVC=true\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>args:\n- --enable-lb-svc=true\n</code></pre>"},{"location":"guide/setup-options/#ecmp","title":"\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b ECMP \u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u652f\u6301\u200b\u4e3b\u5907\u200b\u548c\u200b ECMP \u200b\u4e24\u79cd\u200b\u9ad8\u200b\u53ef\u7528\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u542f\u7528\u200b ECMP \u200b\u6a21\u5f0f\u200b\uff0c \u200b\u9700\u8981\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b:</p> <pre><code>args:\n- --enable-ecmp=true \n</code></pre> <p>\u200b\u4ece\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c\u200b\u5728\u200b subnet crd \u200b\u5b9a\u4e49\u200b\u4e2d\u200b\u589e\u52a0\u200b\u4e86\u200b spec \u200b\u5b57\u200b\u6bb5\u200b <code>enableEcmp</code>\uff0c\u200b\u5c06\u200b\u96c6\u4e2d\u5f0f\u200b\u5b50\u7f51\u200b ECMP \u200b\u5f00\u5173\u200b\u63a7\u5236\u200b\u8fc1\u79fb\u200b\u5230\u200b\u5b50\u7f51\u200b\u5c42\u7ea7\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b\u4e0d\u540c\u200b\u7684\u200b\u5b50\u7f51\u200b\u5206\u522b\u200b\u8bbe\u7f6e\u200b\u662f\u5426\u200b\u5f00\u542f\u200b ECMP \u200b\u6a21\u5f0f\u200b\u3002\u200b\u539f\u6709\u200b\u7684\u200b <code>kube-ovn-controller</code> Deployment \u200b\u4e2d\u200b\u7684\u200b <code>enable-ecmp</code> \u200b\u53c2\u6570\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\u3002\u200b\u4e4b\u524d\u200b\u7248\u672c\u5347\u7ea7\u200b\u5230\u200b v1.12.0 \u200b\u4e4b\u540e\u200b\uff0c\u200b\u5b50\u7f51\u200b\u5f00\u5173\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u7ee7\u627f\u200b\u539f\u6709\u200b\u7684\u200b\u5168\u5c40\u200b\u5f00\u5173\u200b\u53c2\u6570\u200b\u53d6\u503c\u200b\u3002</p> <p>\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e0b\u200b\u4e3a\u4e3b\u200b\u5907\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u7f51\u5173\u200b\u76f8\u5173\u200b\u5185\u5bb9\u200b\u8bf7\u200b\u53c2\u8003\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b\u3002</p>"},{"location":"guide/setup-options/#kubevirt-vm","title":"Kubevirt VM \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u9488\u5bf9\u200b Kubevirt \u200b\u521b\u5efa\u200b\u7684\u200b VM \u200b\u5b9e\u4f8b\u200b\uff0c<code>kube-ovn-controller</code> \u200b\u53ef\u4ee5\u200b\u6309\u7167\u200b\u7c7b\u4f3c\u200b StatefulSet Pod \u200b\u7684\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b IP \u200b\u5730\u5740\u200b\u5206\u914d\u200b\u548c\u200b\u7ba1\u7406\u200b\u3002 \u200b\u4ee5\u200b\u8fbe\u5230\u200b VM \u200b\u5b9e\u4f8b\u200b\u5728\u200b\u751f\u547d\u5468\u671f\u200b\u5185\u542f\u505c\u200b\uff0c\u200b\u5347\u7ea7\u200b\uff0c\u200b\u8fc1\u79fb\u200b\u7b49\u200b\u64cd\u4f5c\u8fc7\u7a0b\u200b\u4e2d\u200b\u5730\u5740\u200b\u56fa\u5b9a\u200b\u4e0d\u53d8\u200b\uff0c\u200b\u66f4\u7b26\u200b\u865a\u62df\u5316\u200b\u5408\u200b\u7528\u6237\u200b\u7684\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u4f53\u9a8c\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u5728\u200b 1.10.6 \u200b\u540e\u200b\u9ed8\u8ba4\u200b\u5f00\u542f\u200b\uff0c\u200b\u82e5\u200b\u8981\u200b\u5173\u95ed\u200b\u6b64\u200b\u529f\u80fd\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u542f\u52a8\u200b\u547d\u4ee4\u200b\u4e2d\u200b\u8bbe\u7f6e\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --keep-vm-ip=false\n</code></pre>"},{"location":"guide/setup-options/#cni","title":"CNI \u200b\u914d\u7f6e\u200b\u76f8\u5173\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u5728\u200b <code>/opt/cni/bin</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\u5b89\u88c5\u200b CNI \u200b\u6267\u884c\u200b\u6587\u4ef6\u200b\uff0c\u200b\u5728\u200b <code>/etc/cni/net.d</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\u5b89\u88c5\u200b CNI \u200b\u914d\u7f6e\u6587\u4ef6\u200b <code>01-kube-ovn.conflist</code>\u3002 \u200b\u5982\u679c\u200b\u9700\u8981\u200b\u66f4\u6539\u200b\u5b89\u88c5\u200b\u4f4d\u7f6e\u200b\u548c\u200b CNI \u200b\u914d\u7f6e\u6587\u4ef6\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u7684\u200b\u4e0b\u5217\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <pre><code>CNI_CONF_DIR=\"/etc/cni/net.d\"\nCNI_BIN_DIR=\"/opt/cni/bin\"\nCNI_CONFIG_PRIORITY=\"01\"\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u66f4\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b Volume \u200b\u6302\u8f7d\u200b\u548c\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>volumes:\n- name: cni-conf\n  hostPath:\n    path: \"/etc/cni/net.d\"\n- name: cni-bin\n  hostPath:\n    path:\"/opt/cni/bin\"\n...\nargs:\n- --cni-conf-name=01-kube-ovn.conflist\n</code></pre>"},{"location":"guide/setup-options/#_4","title":"\u96a7\u9053\u200b\u7c7b\u578b\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u9ed8\u8ba4\u200b Overlay \u200b\u7684\u200b\u5c01\u88c5\u200b\u6a21\u5f0f\u200b\u4e3a\u200b Geneve\uff0c\u200b\u5982\u679c\u200b\u60f3\u200b\u66f4\u6362\u200b\u4e3a\u200b Vxlan \u200b\u6216\u200b STT\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u7684\u200b\u4e0b\u5217\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <pre><code>TUNNEL_TYPE=\"vxlan\"\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u66f4\u6539\u200b <code>ovs-ovn</code> DaemonSet \u200b\u7684\u200b\u73af\u5883\u53d8\u91cf\u200b\uff1a</p> <pre><code>env:\n- name: TUNNEL_TYPE\n  value: \"vxlan\"\n</code></pre> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b STT \u200b\u96a7\u9053\u200b\u9700\u8981\u200b\u989d\u5916\u200b\u7f16\u8bd1\u200b ovs \u200b\u7684\u200b\u5185\u6838\u6a21\u5757\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b\u6027\u80fd\u200b\u8c03\u4f18\u200b\u3002</p> <p>\u200b\u4e0d\u540c\u200b\u534f\u8bae\u200b\u5728\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u4e2d\u200b\u7684\u200b\u533a\u522b\u200b\u8bf7\u200b\u53c2\u8003\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\u8bf4\u660e\u200b\u3002</p>"},{"location":"guide/setup-options/#ssl","title":"SSL \u200b\u8bbe\u7f6e","text":"<p>OVN DB \u200b\u7684\u200b API \u200b\u63a5\u53e3\u200b\u652f\u6301\u200b SSL \u200b\u52a0\u5bc6\u200b\u6765\u200b\u4fdd\u8bc1\u200b\u8fde\u63a5\u200b\u5b89\u5168\u200b\uff0c\u200b\u5982\u200b\u8981\u200b\u5f00\u542f\u200b\u53ef\u200b\u8c03\u6574\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u7684\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b:</p> <pre><code>ENABLE_SSL=true\n</code></pre> <p>SSL \u200b\u529f\u80fd\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e0b\u200b\u4e3a\u200b\u5173\u95ed\u200b\u6a21\u5f0f\u200b\u3002</p>"},{"location":"guide/setup-options/#ip","title":"\u7ed1\u5b9a\u200b\u672c\u5730\u200b ip","text":"<p>kube-ovn-controller/kube-ovn-cni/kube-ovn-monitor \u200b\u8fd9\u4e9b\u200b\u670d\u52a1\u200b\u652f\u6301\u200b\u7ed1\u5b9a\u200b\u672c\u5730\u200b ip\uff0c\u200b\u8be5\u200b\u529f\u80fd\u8bbe\u8ba1\u200b\u539f\u56e0\u200b\u4e3b\u8981\u200b\u662f\u56e0\u4e3a\u200b\u67d0\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\u51fa\u4e8e\u200b\u5b89\u5168\u200b\u8003\u8651\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u670d\u52a1\u200b\u7ed1\u5b9a\u200b 0.0.0.0 \uff08\u200b\u6bd4\u5982\u200b\u8be5\u200b\u670d\u52a1\u200b\u90e8\u7f72\u200b\u5728\u200b\u67d0\u4e2a\u200b\u5bf9\u5916\u200b\u7f51\u5173\u200b\u4e0a\u200b\uff0c\u200b\u5916\u90e8\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b\u516c\u7f51\u200b ip \u200b\u5e76\u200b\u6307\u5b9a\u200b\u7aef\u53e3\u200b\u53bb\u200b\u8bbf\u95ee\u200b\u5230\u200b\u8be5\u200b\u670d\u52a1\u200b\uff09\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u9ed8\u8ba4\u200b\u662f\u200b\u6253\u5f00\u200b\u7684\u200b\uff0c\u200b\u7531\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b\u63a7\u5236\u200b\uff1a</p> <pre><code>ENABLE_BIND_LOCAL_IP=true\n</code></pre> <p>\u200b\u4ee5\u200b kube-ovn-monitor \u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u5f00\u542f\u200b\u529f\u80fd\u200b\u540e\u4f1a\u200b\u628a\u200b\u670d\u52a1\u200b\u7ed1\u5b9a\u200b\u672c\u5730\u200b\u7684\u200b pod ip \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># netstat -tunlp |grep kube-ovn\ntcp        0      0 172.18.0.5:10661        0.0.0.0:*               LISTEN      2612/./kube-ovn-mon\n</code></pre> <p>\u200b\u5b89\u88c5\u200b\u540e\u200b\u4e5f\u200b\u53ef\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b\u670d\u52a1\u200b\u7684\u200b deployment \u200b\u6216\u8005\u200b daemonSet \u200b\u7684\u200b\u73af\u5883\u53d8\u91cf\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <pre><code>env:\n- name: ENABLE_BIND_LOCAL_IP\n  value: \"false\"\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/static-ip-mac/","title":"\u56fa\u5b9a\u200b\u5730\u5740","text":"<p>Kube-OVN \u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u6839\u636e\u200b Pod \u200b\u6240\u5728\u200b Namespace \u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u968f\u673a\u200b\u5206\u914d\u200b IP \u200b\u548c\u200b Mac\u3002 \u200b\u9488\u5bf9\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u9700\u8981\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0cKube-OVN \u200b\u6839\u636e\u200b\u4e0d\u540c\u200b\u7684\u200b\u573a\u666f\u200b\uff0c\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u591a\u79cd\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u7684\u200b\u65b9\u6cd5\u200b\uff1a</p> <ul> <li>\u200b\u5355\u4e2a\u200b Pod \u200b\u56fa\u5b9a\u200b IP/Mac\u3002</li> <li>Workload \u200b\u901a\u7528\u200b IP Pool \u200b\u65b9\u5f0f\u200b\u6307\u5b9a\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\u3002</li> <li>StatefulSet \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u3002</li> <li>KubeVirt VM \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u3002</li> </ul>"},{"location":"guide/static-ip-mac/#pod-ip-mac","title":"\u5355\u4e2a\u200b Pod \u200b\u56fa\u5b9a\u200b IP \u200b\u548c\u200b Mac","text":"<p>\u200b\u53ef\u4ee5\u200b\u5728\u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\u901a\u8fc7\u200b annotation \u200b\u6765\u200b\u6307\u5b9a\u200b Pod \u200b\u8fd0\u884c\u200b\u65f6\u200b\u6240\u200b\u9700\u200b\u7684\u200b IP/Mac, <code>kube-ovn-controller</code> \u200b\u8fd0\u884c\u200b\u65f6\u200b\u5c06\u200b\u4f1a\u200b\u8df3\u200b\u8fc7\u200b\u5730\u5740\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u9636\u6bb5\u200b\uff0c\u200b\u7ecf\u8fc7\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\u540e\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\u6307\u5b9a\u200b\u5730\u5740\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: static-ip\n  annotations:\n    ovn.kubernetes.io/ip_address: 10.16.0.15   // \u200b\u53cc\u6808\u200b\u5730\u5740\u200b\u4f7f\u7528\u200b\u9017\u53f7\u200b\u5206\u9694\u200b 10.16.0.15,fd00:10:16::15\n    ovn.kubernetes.io/mac_address: 00:00:00:53:6B:B6\nspec:\n  containers:\n  - name: static-ip\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u5728\u200b\u4f7f\u7528\u200b annotation \u200b\u5b9a\u4e49\u200b\u5355\u4e2a\u200b Pod IP/Mac \u200b\u65f6\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u4ee5\u4e0b\u51e0\u70b9\u200b\uff1a</p> <ol> <li>\u200b\u6240\u200b\u4f7f\u7528\u200b\u7684\u200b IP/Mac \u200b\u4e0d\u80fd\u200b\u548c\u200b\u5df2\u6709\u200b\u7684\u200b IP/Mac \u200b\u51b2\u7a81\u200b\u3002</li> <li>IP \u200b\u5fc5\u987b\u200b\u5728\u200b\u6240\u5c5e\u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u5185\u200b\u3002</li> <li>\u200b\u53ef\u4ee5\u200b\u53ea\u200b\u6307\u5b9a\u200b IP \u200b\u6216\u200b Mac\uff0c\u200b\u53ea\u200b\u6307\u5b9a\u200b\u4e00\u4e2a\u200b\u65f6\u200b\uff0c\u200b\u53e6\u200b\u4e00\u4e2a\u200b\u4f1a\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u3002</li> </ol>"},{"location":"guide/static-ip-mac/#workload-ip-pool","title":"Workload \u200b\u901a\u7528\u200b IP Pool \u200b\u56fa\u5b9a\u200b\u5730\u5740","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u901a\u8fc7\u200b annotation <code>ovn.kubernetes.io/ip_pool</code> \u200b\u7ed9\u200b Workload\uff08Deployment/StatefulSet/DaemonSet/Job/CronJob\uff09\u200b\u8bbe\u7f6e\u200b\u56fa\u5b9a\u200b IP\u3002 <code>kube-ovn-controller</code> \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u9009\u62e9\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u6307\u5b9a\u200b\u7684\u200b IP \u200b\u5e76\u200b\u8fdb\u884c\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\u3002</p> <p>IP Pool \u200b\u7684\u200b Annotation \u200b\u9700\u8981\u200b\u52a0\u200b\u5728\u200b <code>template</code> \u200b\u5185\u200b\u7684\u200b <code>annotation</code> \u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u9664\u4e86\u200b Kubernetes \u200b\u5185\u7f6e\u200b\u7684\u200b Workload \u200b\u7c7b\u578b\u200b\uff0c \u200b\u5176\u4ed6\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b\u7684\u200b Workload \u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u540c\u6837\u200b\u7684\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u5206\u914d\u200b\u3002</p>"},{"location":"guide/static-ip-mac/#deployment-ip","title":"Deployment \u200b\u56fa\u5b9a\u200b IP \u200b\u793a\u4f8b","text":"<pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: ippool\n  labels:\n    app: ippool\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: ippool\n  template:\n    metadata:\n      labels:\n        app: ippool\n      annotations:\n        ovn.kubernetes.io/ip_pool: 10.16.0.15,10.16.0.16,10.16.0.17 // \u200b\u53cc\u6808\u200b\u5730\u5740\u200b\u4f7f\u7528\u200b\u5206\u200b\u53f7\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b 10.16.0.15,fd00:10:16::000E;10.16.0.16,fd00:10:16::000F;10.16.0.17,fd00:10:16::0010\n    spec:\n      containers:\n      - name: ippool\n        image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u5bf9\u200b Workload \u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b IP \u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u4ee5\u4e0b\u51e0\u70b9\u200b\uff1a</p> <ol> <li><code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b IP \u200b\u5e94\u8be5\u200b\u5c5e\u4e8e\u200b\u6240\u5728\u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u5185\u200b\u3002</li> <li><code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b IP \u200b\u4e0d\u80fd\u200b\u548c\u200b\u5df2\u200b\u4f7f\u7528\u200b\u7684\u200b IP \u200b\u51b2\u7a81\u200b\u3002</li> <li>\u200b\u5f53\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b IP \u200b\u6570\u91cf\u200b\u5c0f\u4e8e\u200b replicas \u200b\u6570\u91cf\u200b\u65f6\u200b\uff0c\u200b\u591a\u51fa\u200b\u7684\u200b Pod \u200b\u5c06\u200b\u65e0\u6cd5\u200b\u521b\u5efa\u200b\u3002\u200b\u4f60\u200b\u9700\u8981\u200b\u6839\u636e\u200b Workload \u200b\u7684\u200b\u66f4\u65b0\u200b\u7b56\u7565\u200b\u4ee5\u53ca\u200b\u6269\u5bb9\u200b\u89c4\u5212\u200b\u8c03\u6574\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b IP \u200b\u7684\u200b\u6570\u91cf\u200b\u3002</li> </ol>"},{"location":"guide/static-ip-mac/#statefulset","title":"StatefulSet \u200b\u56fa\u5b9a\u200b\u5730\u5740","text":"<p>StatefulSet \u200b\u9ed8\u8ba4\u200b\u652f\u6301\u200b\u56fa\u5b9a\u200b IP\uff0c\u200b\u800c\u4e14\u200b\u548c\u200b\u5176\u4ed6\u200b Workload \u200b\u76f8\u540c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u6765\u200b\u6307\u5b9a\u200b Pod \u200b\u4f7f\u7528\u200b\u7684\u200b IP \u200b\u8303\u56f4\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b StatefulSet \u200b\u591a\u200b\u7528\u4e8e\u200b\u6709\u200b\u72b6\u6001\u200b\u670d\u52a1\u200b\uff0c\u200b\u5bf9\u200b\u7f51\u7edc\u200b\u6807\u793a\u200b\u7684\u200b\u56fa\u5b9a\u200b\u6709\u200b\u66f4\u200b\u9ad8\u200b\u7684\u200b\u8981\u6c42\u200b\uff0cKube-OVN \u200b\u505a\u200b\u4e86\u200b\u7279\u6b8a\u200b\u7684\u200b\u5f3a\u5316\u200b\uff1a</p> <ol> <li>Pod \u200b\u4f1a\u200b\u6309\u200b\u987a\u5e8f\u200b\u5206\u914d\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b IP\u3002\u200b\u4f8b\u5982\u200b StatefulSet \u200b\u7684\u200b\u540d\u5b57\u200b\u4e3a\u200b web\uff0c\u200b\u5219\u200b web-0 \u200b\u4f1a\u200b\u4f7f\u7528\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b\u7b2c\u4e00\u4e2a\u200b IP\uff0c web-1 \u200b\u4f1a\u200b\u4f7f\u7528\u200b\u7b2c\u4e8c\u4e2a\u200b IP\uff0c\u200b\u4ee5\u6b64\u7c7b\u63a8\u200b\u3002</li> <li>StatefulSet Pod \u200b\u5728\u200b\u66f4\u65b0\u200b\u6216\u200b\u5220\u9664\u200b\u7684\u200b\u8fc7\u7a0b\u200b\u4e2d\u200b OVN \u200b\u4e2d\u200b\u7684\u200b logical_switch_port \u200b\u4e0d\u4f1a\u200b\u5220\u9664\u200b\uff0c\u200b\u65b0\u200b\u751f\u6210\u200b\u7684\u200b Pod \u200b\u76f4\u63a5\u200b\u590d\u7528\u200b\u65e7\u200b\u7684\u200b interface \u200b\u4fe1\u606f\u200b\u3002\u200b\u56e0\u6b64\u200b Pod \u200b\u53ef\u4ee5\u200b\u590d\u7528\u200b IP/Mac \u200b\u53ca\u5176\u200b\u4ed6\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\uff0c\u200b\u8fbe\u5230\u200b\u548c\u200b StatefulSet Volume \u200b\u7c7b\u4f3c\u200b\u7684\u200b\u72b6\u6001\u200b\u4fdd\u7559\u200b\u529f\u80fd\u200b\u3002</li> <li>\u200b\u57fa\u4e8e\u200b 2 \u200b\u7684\u200b\u80fd\u529b\u200b\uff0c\u200b\u5bf9\u4e8e\u200b\u6ca1\u6709\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u6ce8\u89e3\u200b\u7684\u200b StatefulSet\uff0cPod \u200b\u7b2c\u4e00\u6b21\u200b\u751f\u6210\u200b\u65f6\u4f1a\u200b\u968f\u673a\u200b\u5206\u914d\u200b IP/Mac\uff0c\u200b\u4e4b\u540e\u200b\u5728\u200b\u6574\u4e2a\u200b StatefulSet \u200b\u7684\u200b\u751f\u547d\u5468\u671f\u200b\u5185\u200b\uff0c\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\u90fd\u200b\u4f1a\u200b\u4fdd\u6301\u200b\u56fa\u5b9a\u200b\u3002</li> </ol>"},{"location":"guide/static-ip-mac/#statefulset_1","title":"StatefulSet \u200b\u793a\u4f8b","text":"<pre><code>apiVersion: apps/v1\nkind: StatefulSet\nmetadata:\n  name: web\nspec:\n  serviceName: \"nginx\"\n  replicas: 2\n  selector:\n    matchLabels:\n      app: nginx\n  template:\n    metadata:\n      labels:\n        app: nginx\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/library/nginx:alpine\n        ports:\n        - containerPort: 80\n          name: web\n</code></pre> <p>\u200b\u53ef\u4ee5\u200b\u5c1d\u8bd5\u200b\u5220\u9664\u200b StatefulSet \u200b\u4e0b\u200b Pod \u200b\u89c2\u5bdf\u200b Pod IP \u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\u3002</p>"},{"location":"guide/static-ip-mac/#kubevirt-vm","title":"KubeVirt VM \u200b\u56fa\u5b9a\u200b\u5730\u5740","text":"<p>\u200b\u9488\u5bf9\u200b KubeVirt \u200b\u521b\u5efa\u200b\u7684\u200b VM \u200b\u5b9e\u4f8b\u200b\uff0c<code>kube-ovn-controller</code> \u200b\u53ef\u4ee5\u200b\u6309\u7167\u200b\u7c7b\u4f3c\u200b StatefulSet Pod \u200b\u7684\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b IP \u200b\u5730\u5740\u200b\u5206\u914d\u200b\u548c\u200b\u7ba1\u7406\u200b\u3002 \u200b\u4ee5\u200b\u8fbe\u5230\u200b VM \u200b\u5b9e\u4f8b\u200b\u5728\u200b\u751f\u547d\u5468\u671f\u200b\u5185\u542f\u505c\u200b\uff0c\u200b\u5347\u7ea7\u200b\uff0c\u200b\u8fc1\u79fb\u200b\u7b49\u200b\u64cd\u4f5c\u8fc7\u7a0b\u200b\u4e2d\u200b\u5730\u5740\u200b\u56fa\u5b9a\u200b\u4e0d\u53d8\u200b\uff0c\u200b\u66f4\u7b26\u200b\u865a\u62df\u5316\u200b\u5408\u200b\u7528\u6237\u200b\u7684\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u4f53\u9a8c\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/subnet/","title":"\u5b50\u7f51\u200b\u4f7f\u7528","text":"<p>\u200b\u5b50\u7f51\u200b\u662f\u200b Kube-OVN \u200b\u4e2d\u200b\u7684\u200b\u4e00\u4e2a\u200b\u6838\u5fc3\u200b\u6982\u5ff5\u200b\u548c\u200b\u57fa\u672c\u200b\u4f7f\u7528\u200b\u5355\u5143\u200b\uff0cKube-OVN \u200b\u4f1a\u4ee5\u200b\u5b50\u7f51\u200b\u6765\u200b\u7ec4\u7ec7\u200b IP \u200b\u548c\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff0c\u200b\u6bcf\u4e2a\u200b Namespace \u200b\u53ef\u4ee5\u200b\u5f52\u5c5e\u4e8e\u200b\u7279\u5b9a\u200b\u7684\u200b\u5b50\u7f51\u200b\uff0c Namespace \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u4ece\u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u83b7\u53d6\u200b IP \u200b\u5e76\u200b\u5171\u4eab\u200b\u5b50\u7f51\u200b\u7684\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff08CIDR\uff0c\u200b\u7f51\u5173\u200b\u7c7b\u578b\u200b\uff0c\u200b\u8bbf\u95ee\u63a7\u5236\u200b\uff0cNAT \u200b\u63a7\u5236\u200b\u7b49\u200b\uff09\u3002</p> <p>\u200b\u548c\u200b\u5176\u4ed6\u200b CNI \u200b\u7684\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b\u5b9e\u73b0\u200b\u4e0d\u540c\u200b\uff0c\u200b\u5728\u200b Kube-OVN \u200b\u4e2d\u5b50\u200b\u7f51\u4e3a\u200b\u4e00\u4e2a\u200b\u5168\u5c40\u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff0c\u200b\u540c\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b\u5730\u5740\u200b\u53ef\u4ee5\u200b\u5206\u5e03\u200b\u5728\u200b\u4efb\u610f\u200b\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u3002</p> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u540c\u4e00\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u4e0d\u540c\u200b\u5b50\u7f51\u200b\u4e0d\u80fd\u200b\u5305\u542b\u200b\u540c\u6837\u200b\u7684\u200b IP\uff0c\u200b\u4ee5\u53ca\u200b\u57fa\u4e8e\u200b VPC peering \u200b\u6216\u8005\u200b VPN \u200b\u4e92\u76f8\u200b\u6253\u901a\u200b\u7684\u200b\u4e0d\u540c\u200b\u5b50\u7f51\u200b\u4e0d\u80fd\u200b\u5305\u542b\u200b\u540c\u6837\u200b\u7684\u200b IP\u3002</p> <p></p> <p>Overlay \u200b\u548c\u200b Underlay \u200b\u7684\u200b\u5b50\u7f51\u200b\u5728\u200b\u4f7f\u7528\u200b\u548c\u200b\u914d\u7f6e\u200b\u4e0a\u200b\u5b58\u5728\u200b\u4e00\u4e9b\u200b\u5dee\u5f02\u200b\uff0c\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u4f1a\u200b\u4ecb\u7ecd\u200b\u4e0d\u540c\u200b\u7c7b\u578b\u200b\u5b50\u7f51\u200b\u7684\u200b\u4e00\u4e9b\u200b\u5171\u540c\u200b\u914d\u7f6e\u200b\u548c\u200b\u5dee\u5f02\u5316\u200b\u529f\u80fd\u200b\u3002</p>"},{"location":"guide/subnet/#_2","title":"\u9ed8\u8ba4\u200b\u5b50\u7f51","text":"<p>\u200b\u4e3a\u4e86\u200b\u65b9\u4fbf\u200b\u7528\u6237\u200b\u7684\u200b\u5feb\u901f\u200b\u4e0a\u200b\u624b\u200b\u4f7f\u7528\u200b\uff0cKube-OVN \u200b\u5185\u7f6e\u200b\u4e86\u200b\u4e00\u4e2a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u6240\u6709\u200b\u672a\u200b\u663e\u5f0f\u200b\u58f0\u660e\u200b\u5b50\u7f51\u200b\u5f52\u5c5e\u200b\u7684\u200b Namespace \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u4ece\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u5206\u914d\u200b IP\uff0c \u200b\u5e76\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u7684\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\u3002\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7684\u200b\u914d\u7f6e\u200b\u4e3a\u200b\u5b89\u88c5\u200b\u65f6\u200b\u6307\u5b9a\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u5185\u7f6e\u200b\u7f51\u7edc\u200b\u8bbe\u7f6e\u200b\uff0c \u200b\u5982\u679c\u200b\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u4fee\u6539\u200b\u9ed8\u8ba4\u200b\u7f51\u7edc\u200b\u7684\u200b CIDR \u200b\u8bf7\u200b\u53c2\u8003\u200b\u4fee\u6539\u200b\u9ed8\u8ba4\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5728\u200b Overlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b\u4e86\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\u5e76\u200b\u5bf9\u200b\u51fa\u7f51\u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b NAT \u200b\u8f6c\u6362\u200b\uff0c\u200b\u5176\u200b\u884c\u4e3a\u200b\u548c\u200b Flannel \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u884c\u4e3a\u200b\u57fa\u672c\u4e00\u81f4\u200b\uff0c \u200b\u7528\u6237\u200b\u65e0\u9700\u200b\u989d\u5916\u200b\u7684\u200b\u914d\u7f6e\u200b\u5373\u53ef\u200b\u4f7f\u7528\u200b\u5230\u200b\u5927\u90e8\u5206\u200b\u7684\u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u4f5c\u4e3a\u200b\u51fa\u7f51\u200b\u7f51\u5173\u200b\uff0c\u200b\u5e76\u200b\u5f00\u542f\u200b arping \u200b\u68c0\u67e5\u200b\u7f51\u7edc\u200b\u8fde\u901a\u6027\u200b\u3002</p>"},{"location":"guide/subnet/#_3","title":"\u67e5\u770b\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51","text":"<p>\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b spec \u200b\u4e2d\u200b\u7684\u200b default \u200b\u5b57\u6bb5\u200b\u4e3a\u200b true\uff0c\u200b\u4e00\u4e2a\u200b\u96c6\u7fa4\u200b\u4e0b\u200b\u53ea\u6709\u200b\u4e00\u4e2a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u540d\u4e3a\u200b <code>ovn-default</code>\u3002</p> <p>\u200b\u67e5\u770b\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff1a</p> <pre><code># kubectl get subnet ovn-default -o yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  creationTimestamp: \"2019-08-06T09:33:43Z\"\n  generation: 1\n  name: ovn-default\n  resourceVersion: \"1571334\"\n  selfLink: /apis/kubeovn.io/v1/subnets/ovn-default\n  uid: 7e2451f8-fb44-4f7f-b3e0-cfd27f6fd5d6\nspec:\n  cidrBlock: 10.16.0.0/16\n  default: true\n  excludeIps:\n  - 10.16.0.1\n  gateway: 10.16.0.1\n  gatewayType: distributed\n  natOutgoing: true\n  private: false\n  protocol: IPv4\n</code></pre>"},{"location":"guide/subnet/#join","title":"Join \u200b\u5b50\u7f51","text":"<p>\u200b\u5728\u200b Kubernetes \u200b\u7684\u200b\u7f51\u7edc\u200b\u89c4\u8303\u200b\u4e2d\u200b\uff0c\u200b\u8981\u6c42\u200b Node \u200b\u53ef\u4ee5\u200b\u548c\u200b\u6240\u6709\u200b\u7684\u200b Pod \u200b\u76f4\u63a5\u200b\u901a\u4fe1\u200b\u3002 \u200b\u4e3a\u4e86\u200b\u5728\u200b Overlay \u200b\u7f51\u7edc\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u8fbe\u5230\u200b\u8fd9\u4e2a\u200b\u76ee\u7684\u200b\uff0c Kube-OVN \u200b\u521b\u5efa\u200b\u4e86\u200b\u4e00\u4e2a\u200b <code>join</code> \u200b\u5b50\u7f51\u200b\uff0c \u200b\u5e76\u200b\u5728\u200b\u6bcf\u4e2a\u200b Node \u200b\u8282\u70b9\u200b\u521b\u5efa\u200b\u4e86\u200b\u4e00\u5757\u200b\u865a\u62df\u200b\u7f51\u5361\u200b ovn0 \u200b\u63a5\u5165\u200b <code>join</code> \u200b\u5b50\u7f51\u200b\uff0c\u200b\u901a\u8fc7\u200b\u8be5\u200b\u7f51\u7edc\u200b\u5b8c\u6210\u200b\u8282\u70b9\u200b\u548c\u200b Pod \u200b\u4e4b\u95f4\u200b\u7684\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\u3002</p> <p>\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7684\u200b\u914d\u7f6e\u200b\u4e3a\u200b\u5b89\u88c5\u200b\u65f6\u200b\u6307\u5b9a\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u5185\u7f6e\u200b\u7f51\u7edc\u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u5982\u679c\u200b\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u4fee\u6539\u200b\u3002 join \u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u8bf7\u200b\u53c2\u8003\u200b\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b</p>"},{"location":"guide/subnet/#join_1","title":"\u67e5\u770b\u200b Join \u200b\u5b50\u7f51","text":"<p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u96c6\u4e2d\u5f0f\u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u65e0\u6cd5\u200b\u901a\u8fc7\u200b <code>hostport</code>, \u200b\u4ee5\u53ca\u200b\u8bbe\u7f6e\u200b\u4e86\u200b <code>externalTrafficPolicy: Local</code> \u200b\u7684\u200b NodePort \u200b\u7c7b\u578b\u200b Service \u200b\u8fdb\u884c\u200b\u8bbf\u95ee\u200b\uff0c</p> <p>\u200b\u8be5\u200b\u5b50\u7f51\u200b\u9ed8\u8ba4\u200b\u540d\u4e3a\u200b <code>join</code> \u200b\u4e00\u822c\u200b\u65e0\u9700\u200b\u5bf9\u200b\u8be5\u200b\u5b50\u7f51\u200b CIDR \u200b\u5916\u200b\u7684\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002</p> <pre><code># kubectl get subnet join -o yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  creationTimestamp: \"2019-08-06T09:33:43Z\"\n  generation: 1\n  name: join\n  resourceVersion: \"1571333\"\n  selfLink: /apis/kubeovn.io/v1/subnets/join\n  uid: 9c744810-c678-4d50-8a7d-b8ec12ef91b8\nspec:\n  cidrBlock: 100.64.0.0/16\n  default: false\n  excludeIps:\n  - 100.64.0.1\n  gateway: 100.64.0.1\n  gatewayNode: \"\"\n  gatewayType: \"\"\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n</code></pre> <p>\u200b\u5728\u200b node \u200b\u8282\u70b9\u200b\u67e5\u770b\u200b ovn0 \u200b\u7f51\u5361\u200b\uff1a</p> <pre><code># ifconfig ovn0\novn0: flags=4163&lt;UP,BROADCAST,RUNNING,MULTICAST&gt;  mtu 1420\n        inet 100.64.0.4  netmask 255.255.0.0  broadcast 100.64.255.255\n        inet6 fe80::800:ff:fe40:5  prefixlen 64  scopeid 0x20&lt;link&gt;\n        ether 0a:00:00:40:00:05  txqueuelen 1000  (Ethernet)\n        RX packets 18  bytes 1428 (1.3 KiB)\n        RX errors 0  dropped 0  overruns 0  frame 0\n        TX packets 19  bytes 1810 (1.7 KiB)\n        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0\n</code></pre>"},{"location":"guide/subnet/#_4","title":"\u521b\u5efa\u200b\u81ea\u5b9a\u4e49\u200b\u5b50\u7f51","text":"<p>\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u4ecb\u7ecd\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u5176\u200b\u548c\u200b\u67d0\u4e2a\u200b Namespace \u200b\u505a\u200b\u5173\u8054\u200b\u7684\u200b\u57fa\u672c\u64cd\u4f5c\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u9ad8\u7ea7\u200b\u914d\u7f6e\u200b\u8bf7\u200b\u53c2\u8003\u200b\u540e\u7eed\u200b\u5185\u5bb9\u200b\u3002</p>"},{"location":"guide/subnet/#_5","title":"\u521b\u5efa\u200b\u5b50\u7f51","text":"<pre><code>cat &lt;&lt;EOF | kubectl create -f -\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 10.66.0.0/16\n  excludeIps:\n  - 10.66.0.1..10.66.0.10\n  - 10.66.0.101..10.66.0.151\n  gateway: 10.66.0.1\n  gatewayType: distributed\n  natOutgoing: true\n  routeTable: \"\"\n  namespaces:\n  - ns1\n  - ns2\nEOF\n</code></pre> <ul> <li><code>cidrBlock</code>: \u200b\u5b50\u7f51\u200b CIDR \u200b\u8303\u56f4\u200b\uff0c\u200b\u540c\u4e00\u4e2a\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u4e0d\u540c\u200b Subnet CIDR \u200b\u4e0d\u80fd\u200b\u91cd\u53e0\u200b\u3002</li> <li><code>excludeIps</code>: \u200b\u4fdd\u7559\u200b\u5730\u5740\u200b\u5217\u8868\u200b\uff0c\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u5c06\u200b\u4e0d\u4f1a\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u5217\u8868\u200b\u5185\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u53ef\u7528\u200b\u505a\u200b\u56fa\u5b9a\u200b IP \u200b\u5730\u5740\u200b\u5206\u914d\u200b\u6bb5\u200b\uff0c\u200b\u4e5f\u200b\u53ef\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u907f\u514d\u200b\u548c\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u4e2d\u200b\u5df2\u6709\u200b\u8bbe\u5907\u200b\u51b2\u7a81\u200b\u3002</li> <li><code>gateway</code>\uff1a\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\uff0cOverlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b Kube-OVN \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u5bf9\u5e94\u200b\u7684\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\uff0cUnderlay \u200b\u6a21\u5f0f\u200b\u4e0b\u8be5\u200b\u5730\u5740\u200b\u9700\u4e3a\u200b\u5e95\u5c42\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\u3002</li> <li><code>namespaces</code>: \u200b\u7ed1\u5b9a\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7684\u200b Namespace \u200b\u5217\u8868\u200b\uff0c\u200b\u7ed1\u5b9a\u200b\u540e\u200b Namespace \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u5c06\u4f1a\u200b\u4ece\u200b\u5f53\u524d\u200b\u5b50\u7f51\u200b\u5206\u914d\u200b\u5730\u5740\u200b\u3002</li> <li><code>routeTable</code>: \u200b\u5173\u8054\u200b\u7684\u200b\u8def\u7531\u8868\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5173\u8054\u200b\u4e3b\u200b\u8def\u7531\u8868\u200b\uff0c\u200b\u8def\u7531\u8868\u200b\u5b9a\u4e49\u200b\u8bf7\u200b\u53c2\u8003\u200b\u9759\u6001\u200b\u8def\u7531\u200b</li> </ul>"},{"location":"guide/subnet/#_6","title":"\u9a8c\u8bc1\u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b\u751f\u6548","text":"<pre><code># kubectl create ns ns1\nnamespace/ns1 created\n\n# kubectl run nginx --image=docker.io/library/nginx:alpine -n ns1\ndeployment.apps/nginx created\n\n# kubectl get pod -n ns1 -o wide\nNAME                     READY   STATUS    RESTARTS   AGE   IP           NODE    NOMINATED NODE   READINESS GATES\nnginx-74d5899f46-n8wtg   1/1     Running   0          10s   10.66.0.11   node1   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"guide/subnet/#workload","title":"Workload \u200b\u7ed1\u5b9a\u200b\u5b50\u7f51","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Pod \u200b\u4f1a\u200b\u4ece\u200b Namespace \u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u5185\u200b\u5206\u914d\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u5982\u679c\u200b Namespace \u200b\u4e0b\u200b\u67d0\u4e2a\u200b Workload \u200b\u9700\u8981\u200b\u7279\u6b8a\u200b\u6307\u5b9a\u200b\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u8bbe\u7f6e\u200b Pod \u200b\u7684\u200b Annotation <code>ovn.kubernetes.io/logical_switch</code> \u200b\u6765\u200b\u5b9e\u73b0\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: another-subnet\n  annotations:\n    ovn.kubernetes.io/logical_switch: subnet1\nspec:\n  containers:\n  - name: another-subnet\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u7ed9\u200b Workload \u200b\u7c7b\u578b\u200b\u8d44\u6e90\u200b\u5982\u200b Deployment\uff0cStatefulSet \u200b\u7ed1\u5b9a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b <code>ovn.kubernetes.io/logical_switch</code> Annotation \u200b\u8bbe\u7f6e\u200b\u5728\u200b <code>spec.template.metadata.annotations</code>\u3002</p>"},{"location":"guide/subnet/#overlay","title":"Overlay \u200b\u5b50\u7f51\u200b\u7f51\u5173\u200b\u914d\u7f6e","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ea\u200b\u5bf9\u200b Overlay \u200b\u6a21\u5f0f\u200b\u5b50\u7f51\u200b\u751f\u6548\u200b\uff0cUnderlay \u200b\u7c7b\u578b\u200b\u5b50\u7f51\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u501f\u52a9\u200b\u5e95\u5c42\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u3002</p> <p>Overlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u9700\u8981\u200b\u901a\u8fc7\u200b\u7f51\u5173\u200b\u6765\u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0cKube-OVN \u200b\u76ee\u524d\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u7c7b\u578b\u200b\u7684\u200b\u7f51\u5173\u200b\uff1a \u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\u548c\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u5bf9\u200b\u7f51\u5173\u200b\u7684\u200b\u7c7b\u578b\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\u3002</p> <p>\u200b\u4e24\u79cd\u200b\u7c7b\u578b\u200b\u7f51\u5173\u200b\u5747\u200b\u652f\u6301\u200b <code>natOutgoing</code> \u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b Pod \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u65f6\u200b\u662f\u5426\u200b\u9700\u8981\u200b\u8fdb\u884c\u200b snat\u3002</p>"},{"location":"guide/subnet/#_7","title":"\u5206\u5e03\u5f0f\u200b\u7f51\u5173","text":"<p>\u200b\u5b50\u7f51\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u7c7b\u578b\u200b\u7f51\u5173\u200b\uff0c\u200b\u6bcf\u4e2a\u200b node \u200b\u4f1a\u200b\u4f5c\u4e3a\u200b\u5f53\u524d\u200b node \u200b\u4e0a\u200b pod \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u7684\u200b\u7f51\u5173\u200b\u3002 \u200b\u6570\u636e\u5305\u200b\u4f1a\u200b\u901a\u8fc7\u200b\u672c\u673a\u200b\u7684\u200b <code>ovn0</code> \u200b\u7f51\u5361\u200b\u6d41\u5165\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u6808\u200b\uff0c\u200b\u518d\u200b\u6839\u636e\u200b\u4e3b\u673a\u200b\u7684\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u8fdb\u884c\u200b\u51fa\u7f51\u200b\u3002 \u200b\u5f53\u200b <code>natOutgoing</code> \u200b\u4e3a\u200b <code>true</code> \u200b\u65f6\u200b\uff0cPod \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u5f53\u524d\u200b\u6240\u5728\u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b IP\u3002</p> <p></p> <p>\u200b\u5b50\u7f51\u200b\u793a\u4f8b\u200b\uff0c\u200b\u5176\u4e2d\u200b <code>gatewayType</code> \u200b\u5b57\u6bb5\u200b\u4e3a\u200b <code>distributed</code>\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: distributed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: distributed\n  natOutgoing: true\n</code></pre>"},{"location":"guide/subnet/#_8","title":"\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173","text":"<p>\u200b\u5982\u679c\u200b\u5e0c\u671b\u200b\u5b50\u7f51\u200b\u5185\u200b\u6d41\u91cf\u200b\u8bbf\u95ee\u200b\u5916\u200b\u7f51\u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b\u7684\u200b IP\uff0c\u200b\u4ee5\u4fbf\u200b\u5ba1\u8ba1\u200b\u548c\u200b\u767d\u540d\u5355\u200b\u7b49\u200b\u5b89\u5168\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u8bbe\u7f6e\u200b\u7f51\u5173\u200b\u7c7b\u578b\u200b\u4e3a\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u3002 \u200b\u5728\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0cPod \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u4f1a\u200b\u9996\u5148\u200b\u88ab\u200b\u8def\u7531\u200b\u5230\u200b\u7279\u5b9a\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovn0</code> \u200b\u7f51\u5361\u200b\uff0c\u200b\u518d\u200b\u901a\u8fc7\u200b\u4e3b\u673a\u200b\u7684\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u8fdb\u884c\u200b\u51fa\u7f51\u200b\u3002 \u200b\u5f53\u200b <code>natOutgoing</code> \u200b\u4e3a\u200b <code>true</code> \u200b\u65f6\u200b\uff0cPod \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u7279\u5b9a\u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b IP\u3002</p> <p>\u200b\u5b50\u7f51\u200b\u793a\u4f8b\u200b\uff0c\u200b\u5176\u4e2d\u200b <code>gatewayType</code> \u200b\u5b57\u6bb5\u200b\u4e3a\u200b <code>centralized</code>\uff0c<code>gatewayNode</code> \u200b\u4e3a\u200b\u7279\u5b9a\u200b\u673a\u5668\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b NodeName\u3002 \u200b\u5176\u4e2d\u200b <code>gatewayNode</code> \u200b\u5b57\u200b\u6bb5\u200b\u53ef\u4ee5\u200b\u4e3a\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u7684\u200b\u591a\u53f0\u200b\u4e3b\u673a\u200b\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: centralized\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: centralized\n  gatewayNode: \"node1,node2\"\n  natOutgoing: true\n</code></pre> <ul> <li>\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u5982\u679c\u200b\u5e0c\u671b\u200b\u6307\u5b9a\u200b\u673a\u5668\u200b\u7684\u200b\u7279\u5b9a\u200b\u7f51\u5361\u200b\u8fdb\u884c\u200b\u51fa\u7f51\u200b\uff0c<code>gatewayNode</code> \u200b\u53ef\u66f4\u6539\u200b\u4e3a\u200b <code>kube-ovn-worker:172.18.0.2, kube-ovn-control-plane:172.18.0.3</code> \u200b\u683c\u5f0f\u200b\u3002</li> <li>\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u9ed8\u8ba4\u200b\u4e3a\u4e3b\u200b\u5907\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u53ea\u6709\u200b\u4e3b\u200b\u8282\u70b9\u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b\uff0c \u200b\u5982\u679c\u200b\u9700\u8981\u200b\u5207\u6362\u200b\u4e3a\u200b ECMP \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b ECMP \u200b\u5f00\u542f\u200b\u8bbe\u7f6e\u200b\u3002</li> <li>\u200b\u4ece\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c\u200b\u5728\u200b subnet crd \u200b\u5b9a\u4e49\u200b\u4e2d\u200b\u589e\u52a0\u200b\u4e86\u200b spec \u200b\u5b57\u200b\u6bb5\u200b <code>enableEcmp</code>\uff0c\u200b\u5c06\u200b\u96c6\u4e2d\u5f0f\u200b\u5b50\u7f51\u200b ECMP \u200b\u5f00\u5173\u200b\u63a7\u5236\u200b\u8fc1\u79fb\u200b\u5230\u200b\u5b50\u7f51\u200b\u5c42\u7ea7\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b\u4e0d\u540c\u200b\u7684\u200b\u5b50\u7f51\u200b\u5206\u522b\u200b\u8bbe\u7f6e\u200b\u662f\u5426\u200b\u5f00\u542f\u200b ECMP \u200b\u6a21\u5f0f\u200b\u3002\u200b\u539f\u6709\u200b\u7684\u200b <code>kube-ovn-controller</code> Deployment \u200b\u4e2d\u200b\u7684\u200b <code>enable-ecmp</code> \u200b\u53c2\u6570\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\u3002\u200b\u4e4b\u524d\u200b\u7248\u672c\u5347\u7ea7\u200b\u5230\u200b v1.12.0 \u200b\u4e4b\u540e\u200b\uff0c\u200b\u5b50\u7f51\u200b\u5f00\u5173\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u7ee7\u627f\u200b\u539f\u6709\u200b\u7684\u200b\u5168\u5c40\u200b\u5f00\u5173\u200b\u53c2\u6570\u200b\u53d6\u503c\u200b\u3002</li> </ul>"},{"location":"guide/subnet/#acl","title":"\u5b50\u7f51\u200b ACL \u200b\u8bbe\u7f6e","text":"<p>\u200b\u5bf9\u4e8e\u200b\u6709\u200b\u7ec6\u7c92\u5ea6\u200b ACL \u200b\u63a7\u5236\u200b\u7684\u200b\u573a\u666f\u200b\uff0cKube-OVN \u200b\u7684\u200b Subnet \u200b\u63d0\u4f9b\u200b\u4e86\u200b ACL \u200b\u89c4\u5219\u200b\u7684\u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5b9e\u73b0\u200b\u7f51\u7edc\u200b\u89c4\u5219\u200b\u7684\u200b\u7cbe\u7ec6\u200b\u63a7\u5236\u200b\u3002</p> <p>Subnet \u200b\u4e2d\u200b\u7684\u200b ACL \u200b\u89c4\u5219\u200b\u548c\u200b OVN \u200b\u7684\u200b ACL \u200b\u89c4\u5219\u200b\u4e00\u81f4\u200b\uff0c\u200b\u76f8\u5173\u200b\u5b57\u200b\u6bb5\u200b\u5185\u5bb9\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b ovn-nb ACL Table\uff0c <code>match</code> \u200b\u5b57\u200b\u6bb5\u200b\u652f\u6301\u200b\u7684\u200b\u5b57\u200b\u6bb5\u200b\u53ef\u200b\u53c2\u8003\u200b ovn-sb Logical Flow Table\u3002</p> <p>\u200b\u5141\u8bb8\u200b IP \u200b\u5730\u5740\u200b\u4e3a\u200b <code>10.10.0.2</code> \u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\u6240\u6709\u200b\u5730\u5740\u200b\uff0c\u200b\u4f46\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u5176\u4ed6\u200b\u5730\u5740\u200b\u4e3b\u52a8\u200b\u8bbf\u95ee\u200b\u81ea\u5df1\u200b\u7684\u200b ACL \u200b\u89c4\u5219\u200b\u793a\u4f8b\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: acl\nspec:\n  allowEWTraffic: false\n  acls:\n    - action: drop\n      direction: to-lport\n      match: ip4.dst == 10.10.0.2 &amp;&amp; ip\n      priority: 1002\n    - action: allow-related\n      direction: from-lport\n      match: ip4.src == 10.10.0.2 &amp;&amp; ip\n      priority: 1002\n  cidrBlock: 10.10.0.0/24\n</code></pre> <p>\u200b\u67d0\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\u7528\u6237\u200b\u5e0c\u671b\u200b\u914d\u7f6e\u200b\u4e86\u200b ACL \u200b\u89c4\u5219\u200b\u7684\u200b\u5b50\u7f51\u200b\u5185\u90e8\u200b\u7f51\u7edc\u901a\u4fe1\u200b\u4e0d\u200b\u53d7\u200b\u5f71\u54cd\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u914d\u7f6e\u200b <code>allowEWTraffic: true</code> \u200b\u6765\u200b\u5b9e\u73b0\u200b\u3002</p>"},{"location":"guide/subnet/#_9","title":"\u5b50\u7f51\u200b\u9694\u79bb\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5b50\u7f51\u200b ACL \u200b\u7684\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u8986\u76d6\u200b\u5b50\u7f51\u200b\u9694\u79bb\u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u5e76\u200b\u6709\u200b\u66f4\u597d\u200b\u7684\u200b\u7075\u6d3b\u6027\u200b\uff0c\u200b\u6211\u4eec\u200b\u63a8\u8350\u200b\u4f7f\u7528\u200b\u5b50\u7f51\u200b ACL \u200b\u6765\u200b\u505a\u200b\u76f8\u5e94\u200b\u7684\u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Kube-OVN \u200b\u521b\u5efa\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e4b\u95f4\u200b\u53ef\u4ee5\u200b\u76f8\u4e92\u200b\u901a\u4fe1\u200b\uff0cPod \u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u7f51\u5173\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5982\u9700\u200b\u5bf9\u200b\u5b50\u7f51\u200b\u95f4\u200b\u7684\u200b\u8bbf\u95ee\u200b\u8fdb\u884c\u200b\u63a7\u5236\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b50\u7f51\u200b CRD \u200b\u4e2d\u5c06\u200b <code>private</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b true\uff0c\u200b\u5219\u200b\u8be5\u200b\u5b50\u7f51\u200b\u5c06\u200b\u548c\u200b\u5176\u4ed6\u200b\u5b50\u7f51\u200b\u4ee5\u53ca\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u9694\u79bb\u200b\uff0c \u200b\u53ea\u80fd\u200b\u8fdb\u884c\u200b\u5b50\u7f51\u200b\u5185\u90e8\u200b\u7684\u200b\u901a\u4fe1\u200b\u3002\u200b\u5982\u200b\u9700\u5f00\u200b\u767d\u540d\u5355\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b <code>allowSubnets</code> \u200b\u8fdb\u884c\u200b\u8bbe\u7f6e\u200b\u3002<code>allowSubnets</code> \u200b\u5185\u200b\u7684\u200b\u7f51\u6bb5\u200b\u548c\u200b\u8be5\u200b\u5b50\u7f51\u200b\u53ef\u4ee5\u200b\u53cc\u5411\u200b\u4e92\u8bbf\u200b\u3002</p>"},{"location":"guide/subnet/#_10","title":"\u5f00\u542f\u200b\u8bbf\u95ee\u63a7\u5236\u200b\u7684\u200b\u5b50\u7f51\u200b\u793a\u4f8b","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: private\nspec:\n  protocol: IPv4\n  default: false\n  namespaces:\n  - ns1\n  - ns2\n  cidrBlock: 10.69.0.0/16\n  private: true\n  allowSubnets:\n  - 10.16.0.0/16\n  - 10.18.0.0/16\n</code></pre>"},{"location":"guide/subnet/#underlay","title":"Underlay \u200b\u76f8\u5173\u200b\u9009\u9879","text":"<p>\u200b\u8be5\u200b\u90e8\u5206\u200b\u529f\u80fd\u200b\u53ea\u200b\u5bf9\u200b Underlay \u200b\u7c7b\u578b\u200b\u5b50\u7f51\u200b\u751f\u6548\u200b\u3002</p> <ul> <li><code>vlan</code>: \u200b\u5982\u679c\u200b\u4f7f\u7528\u200b Underlay \u200b\u7f51\u7edc\u200b\uff0c\u200b\u8be5\u5b57\u6bb5\u200b\u7528\u6765\u200b\u63a7\u5236\u200b\u8be5\u200b Subnet \u200b\u548c\u200b\u54ea\u4e2a\u200b Vlan CR \u200b\u8fdb\u884c\u200b\u7ed1\u5b9a\u200b\u3002\u200b\u8be5\u200b\u9009\u9879\u200b\u9ed8\u8ba4\u200b\u4e3a\u7a7a\u200b\u5b57\u7b26\u4e32\u200b\uff0c\u200b\u5373\u200b\u4e0d\u200b\u4f7f\u7528\u200b Underlay \u200b\u7f51\u7edc\u200b\u3002</li> <li><code>logicalGateway</code>: \u200b\u4e00\u4e9b\u200b Underlay \u200b\u73af\u5883\u200b\u4e3a\u200b\u7eaf\u200b\u4e8c\u5c42\u200b\u7f51\u7edc\u200b\uff0c\u200b\u4e0d\u200b\u5b58\u5728\u200b\u7269\u7406\u200b\u7684\u200b\u4e09\u5c42\u200b\u7f51\u5173\u200b\u3002\u200b\u5728\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u501f\u52a9\u200b OVN \u200b\u672c\u8eab\u200b\u7684\u200b\u80fd\u529b\u200b\u8bbe\u7f6e\u200b\u4e00\u4e2a\u200b\u865a\u62df\u200b\u7f51\u5173\u200b\uff0c\u200b\u5c06\u200b Underlay   \u200b\u548c\u200b Overlay \u200b\u7f51\u7edc\u200b\u6253\u901a\u200b\u3002\u200b\u9ed8\u8ba4\u503c\u200b\u4e3a\u200b\uff1a<code>false</code>\u3002</li> </ul>"},{"location":"guide/subnet/#_11","title":"\u7f51\u5173\u200b\u68c0\u67e5\u200b\u8bbe\u7f6e","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b <code>kube-ovn-cni</code> \u200b\u5728\u200b\u542f\u52a8\u200b Pod \u200b\u540e\u200b\u4f1a\u200b\u4f7f\u7528\u200b ICMP \u200b\u6216\u200b ARP \u200b\u534f\u8bae\u200b\u8bf7\u6c42\u200b\u7f51\u5173\u200b\u5e76\u200b\u7b49\u5f85\u200b\u8fd4\u56de\u200b\uff0c \u200b\u4ee5\u200b\u9a8c\u8bc1\u200b\u7f51\u7edc\u200b\u5de5\u4f5c\u200b\u6b63\u5e38\u200b\uff0c\u200b\u5728\u200b\u90e8\u5206\u200b Underlay \u200b\u73af\u5883\u200b\u7f51\u5173\u200b\u65e0\u6cd5\u200b\u54cd\u5e94\u200b ICMP \u200b\u8bf7\u6c42\u200b\uff0c\u200b\u6216\u200b\u65e0\u9700\u200b\u7f51\u7edc\u200b\u5916\u90e8\u200b\u8054\u901a\u200b\u7684\u200b\u573a\u666f\u200b \u200b\u53ef\u4ee5\u200b\u5173\u95ed\u200b\u7f51\u5173\u200b\u68c0\u67e5\u200b\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: disable-gw-check\nspec:\n  disableGatewayCheck: true\n</code></pre>"},{"location":"guide/subnet/#multicast-snoop","title":"Multicast-Snoop \u200b\u914d\u7f6e","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b subnet \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u5982\u679c\u200b\u53d1\u9001\u200b\u7ec4\u200b\u64ad\u62a5\u200b\u6587\u200b\uff0cOVN \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u884c\u4e3a\u200b\u662f\u200b\u4f1a\u200b\u5e7f\u64ad\u200b\u7ec4\u200b\u64ad\u62a5\u200b\u6587\u5230\u200b\u5b50\u7f51\u200b\u4e0b\u200b\u6240\u6709\u200b\u7684\u200b Pod\u3002\u200b\u5982\u679c\u200b\u5f00\u542f\u200b subnet \u200b\u7684\u200b multicast snoop \u200b\u5f00\u5173\u200b\uff0cOVN \u200b\u4f1a\u200b\u6839\u636e\u200b <code>South Database</code> \u200b\u4e2d\u200b\u7684\u200b\u7ec4\u64ad\u8868\u200b <code>Multicast_Group</code> \u200b\u6765\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u800c\u200b\u4e0d\u200b\u5728\u200b\u8fdb\u884c\u200b\u5e7f\u64ad\u200b\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sample1\nspec:\n  enableMulticastSnoop: true\n</code></pre>"},{"location":"guide/subnet/#subnet-mtu","title":"Subnet MTU \u200b\u914d\u7f6e","text":"<p>\u200b\u914d\u7f6e\u200b Subnet \u200b\u4e0b\u200b Pod \u200b\u7684\u200b MTU\uff0c\u200b\u914d\u7f6e\u200b\u540e\u200b\u9700\u8981\u200b\u91cd\u542f\u200b Subnet \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u624d\u200b\u751f\u6548\u200b</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sample1\nspec:\n  mtu: 1300\n</code></pre>"},{"location":"guide/subnet/#_12","title":"\u5176\u4ed6\u200b\u9ad8\u7ea7\u200b\u8bbe\u7f6e","text":"<ul> <li>IP \u200b\u6c60\u200b\u4f7f\u7528\u200b</li> <li>\u200b\u9ed8\u8ba4\u200b VPC NAT \u200b\u7b56\u7565\u200b\u89c4\u5219\u200b</li> <li>QoS \u200b\u8bbe\u7f6e\u200b</li> <li>\u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b</li> <li>DHCP \u200b\u9009\u9879\u200b</li> <li>\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u8bbe\u7f6e\u200b</li> <li>\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u8bbe\u7f6e\u200b</li> <li>\u200b\u865a\u62df\u200b IP \u200b\u8bbe\u7f6e\u200b</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/vpc-qos/","title":"VPC QoS","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u4f7f\u7528\u200b QoSPolicy CRD \u200b\u5bf9\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u7684\u200b\u6d41\u91cf\u200b\u901f\u7387\u200b\u8fdb\u884c\u200b\u9650\u5236\u200b\u3002</p>"},{"location":"guide/vpc-qos/#eip-qos","title":"EIP QoS","text":"<p>\u200b\u5bf9\u200b EIP \u200b\u8fdb\u884c\u200b\u9650\u901f\u200b\uff0c\u200b\u9650\u901f\u200b\u503c\u4e3a\u200b 1Mbps\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u4e3a\u200b 1\uff0c\u200b\u8fd9\u91cc\u200b <code>shared=false</code>\uff0c\u200b\u8868\u793a\u200b\u8fd9\u4e2a\u200b QoSPolicy \u200b\u53ea\u80fd\u200b\u7ed9\u200b\u8fd9\u4e2a\u200b EIP \u200b\u4f7f\u7528\u200b\u4e14\u200b\u652f\u6301\u200b\u52a8\u6001\u200b\u4fee\u6539\u200b QoSPolicy \u200b\u53bb\u200b\u53d8\u66f4\u200b QoS \u200b\u89c4\u5219\u200b\u3002</p> <p>QoSPolicy \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-eip-example\nspec:\n  shared: false\n  bindingType: EIP\n  bandwidthLimitRules:\n  - name: eip-ingress\n    rateMax: \"1\" # Mbps\n    burstMax: \"1\" # Mbps\n    priority: 1\n    direction: ingress\n  - name: eip-egress\n    rateMax: \"1\" # Mbps\n    burstMax: \"1\" # Mbps\n    priority: 1\n    direction: egress\n</code></pre> <p>IptablesEIP \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-1\nspec:\n  natGwDp: gw1\n  qosPolicy: qos-eip-example\n</code></pre> <p><code>.spec.qosPolicy</code> \u200b\u7684\u200b\u503c\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u65f6\u200b\u4f20\u5165\u200b\uff0c\u200b\u4e5f\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u540e\u200b\u4fee\u6539\u200b\u3002</p>"},{"location":"guide/vpc-qos/#qos-eip","title":"\u67e5\u770b\u200b\u5df2\u200b\u542f\u7528\u200b QoS \u200b\u7684\u200b EIP","text":"<p>\u200b\u901a\u8fc7\u200b <code>label</code> \u200b\u67e5\u770b\u200b\u5df2\u7ecf\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b qos \u200b\u7684\u200b eip\uff1a</p> <pre><code># kubectl get eip  -l ovn.kubernetes.io/qos=qos-eip-example\nNAME    IP             MAC                 NAT   NATGWDP   READY\neip-1   172.18.11.24   00:00:00:34:41:0B   fip   gw1       true\n</code></pre>"},{"location":"guide/vpc-qos/#vpc-natgw-net1-qos","title":"VPC NATGW net1 \u200b\u7f51\u5361\u200b QoS","text":"<p>\u200b\u5bf9\u200b VPC NATGW \u200b\u7684\u200b net1 \u200b\u7f51\u5361\u200b\u901f\u7387\u200b\u8fdb\u884c\u200b\u9650\u5236\u200b\uff0c\u200b\u9650\u901f\u200b\u503c\u4e3a\u200b 10Mbps\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u4e3a\u200b 3\uff0c\u200b\u8fd9\u91cc\u200b <code>shared=true</code>\uff0c\u200b\u8868\u793a\u200b\u8fd9\u4e2a\u200b QoSPolicy \u200b\u53ef\u4ee5\u200b\u540c\u65f6\u200b\u7ed9\u200b\u591a\u4e2a\u200b\u8d44\u6e90\u200b\u4f7f\u7528\u200b\uff0c\u200b\u8fd9\u79cd\u200b\u573a\u666f\u200b\u4e0b\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u4fee\u6539\u200b QoSPolicy \u200b\u7684\u200b\u5185\u5bb9\u200b\u3002</p> <p>QoSPolicy \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-natgw-example\nspec:\n  shared: true\n  bindingType: NATGW\n  bandwidthLimitRules:\n  - name: net1-ingress\n    interface: net1\n    rateMax: \"10\" # Mbps\n    burstMax: \"10\" # Mbps\n    priority: 3\n    direction: ingress\n  - name: net1-egress\n    interface: net1\n    rateMax: \"10\" # Mbps\n    burstMax: \"10\" # Mbps\n    priority: 3\n    direction: egress\n</code></pre> <p>VpcNatGateway \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  qosPolicy: qos-natgw-example\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n</code></pre> <p><code>.spec.qosPolicy</code> \u200b\u7684\u200b\u503c\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u4f20\u5165\u200b\uff0c\u200b\u4e5f\u200b\u652f\u6301\u200b\u540e\u7eed\u200b\u4fee\u6539\u200b\u3002</p>"},{"location":"guide/vpc-qos/#net1-qos","title":"net1 \u200b\u7f51\u5361\u200b\u7279\u5b9a\u200b\u6d41\u91cf\u200b QoS","text":"<p>\u200b\u5bf9\u200b net1 \u200b\u7f51\u5361\u200b\u4e0a\u200b\u7279\u5b9a\u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b\u9650\u901f\u200b\uff0c\u200b\u9650\u901f\u200b\u503c\u4e3a\u200b 5Mbps\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u4e3a\u200b 2\uff0c\u200b\u8fd9\u91cc\u200b <code>shared=true</code>\uff0c\u200b\u8868\u793a\u200b\u8fd9\u4e2a\u200b QoSPolicy  \u200b\u53ef\u4ee5\u200b\u540c\u65f6\u200b\u7ed9\u200b\u591a\u4e2a\u200b\u8d44\u6e90\u200b\u4f7f\u7528\u200b\uff0c\u200b\u6b64\u65f6\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u4fee\u6539\u200b QoSPolicy \u200b\u7684\u200b\u5185\u5bb9\u200b\u3002</p> <p>QoSPolicy \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-natgw-example\nspec:\n  shared: true\n  bindingType: NATGW\n  bandwidthLimitRules:\n  - name: net1-extip-ingress\n    interface: net1\n    rateMax: \"5\" # Mbps\n    burstMax: \"5\" # Mbps\n    priority: 2\n    direction: ingress\n    matchType: ip\n    matchValue: src 172.18.11.22/32\n  - name: net1-extip-egress\n    interface: net1\n    rateMax: \"5\" # Mbps\n    burstMax: \"5\" # Mbps\n    priority: 2\n    direction: egress\n    matchType: ip\n    matchValue: dst 172.18.11.23/32\n</code></pre> <p>VpcNatGateway \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  qosPolicy: qos-natgw-example\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n</code></pre>"},{"location":"guide/vpc-qos/#qos-natgw","title":"\u67e5\u770b\u200b\u5df2\u200b\u542f\u7528\u200b QoS \u200b\u7684\u200b NATGW","text":"<p>\u200b\u901a\u8fc7\u200b <code>label</code> \u200b\u67e5\u770b\u200b\u5df2\u7ecf\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b qos \u200b\u7684\u200b eip\uff1a</p> <pre><code># kubectl get vpc-nat-gw  -l ovn.kubernetes.io/qos=qos-natgw-example\nNAME   VPC          SUBNET   LANIP\ngw1    test-vpc-1   net1     10.0.1.254\n</code></pre>"},{"location":"guide/vpc-qos/#qos","title":"\u67e5\u770b\u200b qos \u200b\u89c4\u5219","text":"<pre><code># kubectl get qos -A\nNAME                SHARED   BINDINGTYPE\nqos-eip-example     false    EIP\nqos-natgw-example   true     NATGW\n</code></pre>"},{"location":"guide/vpc-qos/#_1","title":"\u9650\u5236","text":"<ul> <li>\u200b\u53ea\u6709\u200b\u5728\u200b\u672a\u200b\u4f7f\u7528\u200b\u65f6\u200b\u624d\u80fd\u200b\u5220\u9664\u200b QoS \u200b\u7b56\u7565\u200b\u3002\u200b\u56e0\u6b64\u200b\uff0c\u200b\u5728\u200b\u5220\u9664\u200b QoS \u200b\u7b56\u7565\u200b\u4e4b\u524d\u200b\uff0c\u200b\u8bf7\u200b\u5148\u200b\u67e5\u770b\u200b\u5df2\u200b\u542f\u7528\u200b QoS \u200b\u7684\u200b EIP \u200b\u548c\u200b NATGW\uff0c\u200b\u53bb\u6389\u200b\u5b83\u4eec\u200b\u7684\u200b <code>spec.qosPolicy</code> \u200b\u914d\u7f6e\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/vpc/","title":"VPC \u200b\u4f7f\u7528","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u591a\u200b\u79df\u6237\u200b\u9694\u79bb\u200b\u7ea7\u522b\u200b\u7684\u200b VPC \u200b\u7f51\u7edc\u200b\u3002\u200b\u4e0d\u540c\u200b VPC \u200b\u7f51\u7edc\u200b\u76f8\u4e92\u200b\u72ec\u7acb\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5206\u522b\u200b\u914d\u7f6e\u200b Subnet \u200b\u7f51\u6bb5\u200b\uff0c \u200b\u8def\u7531\u200b\u7b56\u7565\u200b\uff0c\u200b\u5b89\u5168\u7b56\u7565\u200b\uff0c\u200b\u51fa\u7f51\u200b\u7f51\u5173\u200b\uff0cEIP \u200b\u7b49\u200b\u914d\u7f6e\u200b\u3002</p> <p>VPC \u200b\u4e3b\u8981\u200b\u7528\u4e8e\u200b\u6709\u200b\u591a\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\u5f3a\u200b\u9694\u79bb\u200b\u7684\u200b\u573a\u666f\u200b\uff0c\u200b\u90e8\u5206\u200b Kubernetes \u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\u5728\u200b\u591a\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\u4e0b\u200b\u5b58\u5728\u200b\u51b2\u7a81\u200b\u3002 \u200b\u4f8b\u5982\u200b\u8282\u70b9\u200b\u548c\u200b Pod \u200b\u4e92\u8bbf\u200b\uff0cNodePort \u200b\u529f\u80fd\u200b\uff0c\u200b\u57fa\u4e8e\u200b\u7f51\u7edc\u200b\u8bbf\u95ee\u200b\u7684\u200b\u5065\u5eb7\u68c0\u67e5\u200b\u548c\u200b DNS \u200b\u80fd\u529b\u200b\u5728\u200b\u591a\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\u573a\u666f\u200b\u6682\u200b\u4e0d\u200b\u652f\u6301\u200b\u3002 \u200b\u4e3a\u4e86\u200b\u65b9\u4fbf\u200b\u5e38\u89c1\u200b Kubernetes \u200b\u7684\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\uff0cKube-OVN \u200b\u9ed8\u8ba4\u200b VPC \u200b\u505a\u200b\u4e86\u200b\u7279\u6b8a\u200b\u8bbe\u8ba1\u200b\uff0c\u200b\u8be5\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Subnet \u200b\u53ef\u4ee5\u200b\u6ee1\u8db3\u200b Kubernetes \u200b\u89c4\u8303\u200b\u3002\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u652f\u6301\u200b\u672c\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b\u7684\u200b\u9759\u6001\u200b\u8def\u7531\u200b\uff0cEIP \u200b\u548c\u200b NAT \u200b\u7f51\u5173\u200b\u7b49\u200b\u529f\u80fd\u200b\u3002 \u200b\u5e38\u89c1\u200b\u9694\u79bb\u200b\u9700\u6c42\u200b\u53ef\u200b\u901a\u8fc7\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u548c\u200b\u5b50\u7f51\u200b ACL \u200b\u5b9e\u73b0\u200b\uff0c\u200b\u5728\u200b\u4f7f\u7528\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u524d\u200b\u8bf7\u200b\u660e\u786e\u200b\u662f\u5426\u200b\u9700\u8981\u200b VPC \u200b\u7ea7\u522b\u200b\u7684\u200b\u9694\u79bb\u200b\uff0c\u200b\u5e76\u200b\u4e86\u89e3\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u9650\u5236\u200b\u3002 \u200b\u5728\u200b Underlay \u200b\u7f51\u7edc\u200b\u4e0b\u200b\uff0c\u200b\u7269\u7406\u200b\u4ea4\u6362\u673a\u200b\u8d1f\u8d23\u200b\u6570\u636e\u200b\u9762\u200b\u8f6c\u53d1\u200b\uff0cVPC \u200b\u65e0\u6cd5\u200b\u5bf9\u200b Underlay \u200b\u5b50\u7f51\u200b\u8fdb\u884c\u200b\u9694\u79bb\u200b\u3002</p> <p></p>"},{"location":"guide/vpc/#vpc_1","title":"\u521b\u5efa\u200b\u81ea\u5b9a\u4e49\u200b VPC","text":"<p>\u200b\u521b\u5efa\u200b\u4e24\u4e2a\u200b VPC\uff1a</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  namespaces:\n  - ns1\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-2\nspec:\n  namespaces:\n  - ns2\n</code></pre> <ul> <li><code>namespaces</code> \u200b\u53ef\u4ee5\u200b\u9650\u5b9a\u200b\u53ea\u6709\u200b\u54ea\u4e9b\u200b Namespace \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5f53\u524d\u200b VPC\uff0c\u200b\u82e5\u4e3a\u200b\u7a7a\u5219\u200b\u4e0d\u200b\u9650\u5b9a\u200b\u3002</li> </ul> <p>\u200b\u521b\u5efa\u200b\u4e24\u4e2a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u5206\u5c5e\u200b\u4e24\u4e2a\u200b\u4e0d\u540c\u200b\u7684\u200b VPC \u200b\u5e76\u200b\u6709\u200b\u76f8\u540c\u200b\u7684\u200b CIDR:</p> <pre><code>kind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net1\nspec:\n  vpc: test-vpc-1\n  cidrBlock: 10.0.1.0/24\n  protocol: IPv4\n  namespaces:\n    - ns1\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: test-vpc-2\n  cidrBlock: 10.0.1.0/24\n  protocol: IPv4\n  namespaces:\n    - ns2\n</code></pre> <p>\u200b\u5206\u522b\u200b\u5728\u200b\u4e24\u4e2a\u200b Namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net1\n  namespace: ns1\n  name: vpc1-pod\nspec:\n  containers:\n    - name: vpc1-pod\n      image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net2\n  namespace: ns2\n  name: vpc2-pod\nspec:\n  containers:\n    - name: vpc2-pod\n      image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u8fd0\u884c\u200b\u6210\u529f\u200b\u540e\u200b\u53ef\u200b\u89c2\u5bdf\u200b\u4e24\u4e2a\u200b Pod \u200b\u5730\u5740\u200b\u5c5e\u4e8e\u200b\u540c\u4e00\u4e2a\u200b CIDR\uff0c\u200b\u4f46\u200b\u7531\u4e8e\u200b\u8fd0\u884c\u200b\u5728\u200b\u4e0d\u540c\u200b\u7684\u200b\u79df\u6237\u200b VPC\uff0c\u200b\u4e24\u4e2a\u200b Pod \u200b\u65e0\u6cd5\u200b\u76f8\u4e92\u200b\u8bbf\u95ee\u200b\u3002</p>"},{"location":"guide/vpc/#vpc-pod-livenessprobe-readinessprobe","title":"\u81ea\u5b9a\u4e49\u200b VPC Pod \u200b\u652f\u6301\u200b livenessProbe \u200b\u548c\u200b readinessProbe","text":"<p>\u200b\u7531\u4e8e\u200b\u5e38\u89c4\u200b\u914d\u7f6e\u200b\u4e0b\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u548c\u200b\u8282\u70b9\u200b\u7684\u200b\u7f51\u7edc\u200b\u4e4b\u95f4\u200b\u5e76\u200b\u4e0d\u200b\u4e92\u901a\u200b\uff0c\u200b\u6240\u4ee5\u200b kubelet \u200b\u53d1\u9001\u200b\u7684\u200b\u63a2\u6d4b\u200b\u62a5\u6587\u200b\u65e0\u6cd5\u200b\u5230\u8fbe\u200b\u81ea\u200b\u5b9a\u200b VPC \u200b\u5185\u200b\u7684\u200b Pod\u3002Kube-OVN \u200b\u901a\u8fc7\u200b TProxy \u200b\u5c06\u200b kubelet \u200b\u53d1\u9001\u200b\u7684\u200b\u63a2\u6d4b\u200b\u62a5\u6587\u200b\u91cd\u5b9a\u5411\u200b\u5230\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u7684\u200b Pod\uff0c\u200b\u4ece\u800c\u200b\u5b9e\u73b0\u200b\u8fd9\u4e00\u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u914d\u7f6e\u200b\u65b9\u6cd5\u200b\u5982\u4e0b\u200b\uff0c\u200b\u5728\u200b Daemonset <code>kube-ovn-cni</code> \u200b\u4e2d\u200b\u589e\u52a0\u200b\u53c2\u6570\u200b <code>--enable-tproxy=true</code>\uff1a</p> <pre><code>spec:\n  template:\n    spec:\n      containers:\n      - args:\n        - --enable-tproxy=true\n</code></pre> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u9650\u5236\u200b\u6761\u4ef6\u200b\uff1a</p> <ol> <li>\u200b\u5f53\u200b\u540c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0b\u200b\u51fa\u73b0\u200b\u4e0d\u540c\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u5177\u6709\u200b\u76f8\u540c\u200b\u7684\u200b IP\uff0c\u200b\u63a2\u6d4b\u200b\u529f\u80fd\u200b\u5931\u6548\u200b\u3002</li> <li>\u200b\u76ee\u524d\u200b\u6682\u65f6\u200b\u53ea\u200b\u652f\u6301\u200b <code>tcpSocket</code> \u200b\u548c\u200b <code>httpGet</code> \u200b\u4e24\u79cd\u200b\u63a2\u6d4b\u200b\u65b9\u5f0f\u200b\u3002</li> </ol>"},{"location":"guide/vpc/#vpc_2","title":"\u521b\u5efa\u200b VPC \u200b\u7f51\u5173","text":"<p>\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e0d\u200b\u652f\u6301\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\u548c\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u3002</p> <p>VPC \u200b\u5185\u5bb9\u200b\u5668\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b VPC \u200b\u7f51\u5173\u200b\uff0cVPC \u200b\u7f51\u5173\u200b\u53ef\u4ee5\u200b\u6253\u901a\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u548c\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e76\u200b\u63d0\u4f9b\u200b \u200b\u6d6e\u52a8\u200b IP\uff0cSNAT \u200b\u548c\u200b DNAT \u200b\u529f\u80fd\u200b\u3002</p> <p>VPC \u200b\u7f51\u5173\u200b\u529f\u80fd\u200b\u4f9d\u8d56\u200b Multus-CNI \u200b\u7684\u200b\u591a\u200b\u7f51\u5361\u200b\u529f\u80fd\u200b\uff0c\u200b\u5b89\u88c5\u200b\u8bf7\u200b\u53c2\u8003\u200b multus-cni\u3002</p>"},{"location":"guide/vpc/#_1","title":"\u914d\u7f6e\u200b\u5916\u90e8\u200b\u7f51\u7edc","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: ovn-vpc-external-network\nspec:\n  protocol: IPv4\n  provider: ovn-vpc-external-network.kube-system\n  cidrBlock: 192.168.0.0/24\n  gateway: 192.168.0.1  # IP address of the physical gateway\n  excludeIps:\n  - 192.168.0.1..192.168.0.10\n---\napiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-vpc-external-network\n  namespace: kube-system\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth1\",\n      \"mode\": \"bridge\",\n      \"ipam\": {\n        \"type\": \"kube-ovn\",\n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n        \"provider\": \"ovn-vpc-external-network.kube-system\"\n      }\n    }'\n</code></pre> <ul> <li>\u200b\u8be5\u200b Subnet \u200b\u7528\u6765\u200b\u7ba1\u7406\u200b\u53ef\u7528\u200b\u7684\u200b\u5916\u90e8\u200b\u5730\u5740\u200b\uff0c\u200b\u7f51\u6bb5\u200b\u5185\u200b\u7684\u200b\u5730\u5740\u200b\u5c06\u4f1a\u200b\u901a\u8fc7\u200b Macvlan \u200b\u5206\u914d\u200b\u7ed9\u200b VPC \u200b\u7f51\u5173\u200b\uff0c\u200b\u8bf7\u200b\u548c\u200b\u7f51\u7edc\u7ba1\u7406\u200b\u6c9f\u901a\u200b\u7ed9\u51fa\u200b\u53ef\u7528\u200b\u7684\u200b\u7269\u7406\u200b\u6bb5\u200b IP\u3002</li> <li>VPC \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b Macvlan \u200b\u505a\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff0c<code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b <code>master</code> \u200b\u9700\u4e3a\u200b\u5bf9\u5e94\u200b\u7269\u7406\u200b\u7f51\u8def\u200b\u7f51\u5361\u200b\u7684\u200b\u7f51\u5361\u200b\u540d\u200b\u3002</li> <li><code>name</code> \u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u540d\u79f0\u200b\u3002</li> </ul> <p>\u200b\u5728\u200b Macvlan \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4f1a\u200b\u5c06\u200b\u6570\u636e\u5305\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b\u8be5\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u5bf9\u5916\u200b\u53d1\u9001\u200b\uff0cL2/L3 \u200b\u5c42\u9762\u200b\u7684\u200b\u8f6c\u53d1\u200b\u80fd\u529b\u200b\u9700\u8981\u200b\u4f9d\u8d56\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u3002 \u200b\u9700\u8981\u200b\u9884\u5148\u200b\u5728\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u914d\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b\u7f51\u5173\u200b\u3001Vlan \u200b\u548c\u200b\u5b89\u5168\u7b56\u7565\u200b\u7b49\u200b\u914d\u7f6e\u200b\u3002</p> <ol> <li>\u200b\u5bf9\u4e8e\u200b OpenStack \u200b\u7684\u200b VM \u200b\u73af\u5883\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b\u5bf9\u5e94\u200b\u7f51\u7edc\u200b\u7aef\u53e3\u200b\u7684\u200b <code>PortSecurity</code> \u200b\u5173\u95ed\u200b\u3002</li> <li>\u200b\u5bf9\u4e8e\u200b VMware \u200b\u7684\u200b vSwitch \u200b\u7f51\u7edc\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b <code>MAC Address Changes</code>, <code>Forged Transmits</code> \u200b\u548c\u200b <code>Promiscuous Mode Operation</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>allow</code>\u3002</li> <li>\u200b\u5bf9\u4e8e\u200b Hyper-V \u200b\u865a\u62df\u5316\u200b\uff0c\u200b\u9700\u8981\u200b\u5f00\u542f\u200b\u865a\u62df\u673a\u200b\u7f51\u5361\u200b\u9ad8\u7ea7\u200b\u529f\u80fd\u200b\u4e2d\u200b\u7684\u200b <code>MAC Address Spoofing</code>\u3002</li> <li>\u200b\u516c\u6709\u200b\u4e91\u200b\uff0c\u200b\u4f8b\u5982\u200b AWS\u3001GCE\u3001\u200b\u963f\u91cc\u200b\u4e91\u200b\u7b49\u200b\u7531\u4e8e\u200b\u4e0d\u200b\u652f\u6301\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b Mac \u200b\u65e0\u6cd5\u200b\u652f\u6301\u200b Macvlan \u200b\u6a21\u5f0f\u200b\u7f51\u7edc\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b Macvlan \u200b\u672c\u8eab\u200b\u7684\u200b\u9650\u5236\u200b\uff0cMacvlan \u200b\u5b50\u200b\u63a5\u53e3\u200b\u65e0\u6cd5\u8bbf\u95ee\u200b\u7236\u200b\u63a5\u53e3\u200b\u5730\u5740\u200b\u3002</li> <li>\u200b\u5982\u679c\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u5bf9\u5e94\u200b\u4ea4\u6362\u673a\u200b\u63a5\u53e3\u200b\u4e3a\u200b Trunk \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u8be5\u200b\u7f51\u5361\u200b\u4e0a\u200b\u521b\u5efa\u200b\u5b50\u200b\u63a5\u53e3\u200b\u518d\u200b\u63d0\u4f9b\u200b\u7ed9\u200b Macvlan \u200b\u4f7f\u7528\u200b\u3002</li> </ol>"},{"location":"guide/vpc/#vpc_3","title":"\u5f00\u542f\u200b VPC \u200b\u7f51\u5173\u200b\u529f\u80fd","text":"<p>VPC \u200b\u7f51\u5173\u200b\u529f\u80fd\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b <code>kube-system</code> \u200b\u4e0b\u200b\u7684\u200b <code>ovn-vpc-nat-gw-config</code> \u200b\u5f00\u542f\u200b\uff1a</p> <pre><code>---\nkind: ConfigMap\napiVersion: v1\nmetadata:\n  name: ovn-vpc-nat-config\n  namespace: kube-system\ndata:\n  image: 'docker.io/kubeovn/vpc-nat-gateway:v1.13.0' \n---\nkind: ConfigMap\napiVersion: v1\nmetadata:\n  name: ovn-vpc-nat-gw-config\n  namespace: kube-system\ndata:\n  enable-vpc-nat-gw: 'true'\n</code></pre> <ul> <li><code>image</code>: \u200b\u7f51\u5173\u200b Pod \u200b\u6240\u200b\u4f7f\u7528\u200b\u7684\u200b\u955c\u50cf\u200b\u3002</li> <li><code>enable-vpc-nat-gw</code>\uff1a \u200b\u63a7\u5236\u200b\u662f\u5426\u200b\u542f\u7528\u200b VPC \u200b\u7f51\u5173\u200b\u529f\u80fd\u200b\u3002</li> </ul>"},{"location":"guide/vpc/#vpc_4","title":"\u521b\u5efa\u200b VPC \u200b\u7f51\u5173\u200b\u5e76\u200b\u914d\u7f6e\u200b\u9ed8\u8ba4\u200b\u8def\u7531","text":"<pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n  externalSubnets:\n    - ovn-vpc-external-network\n</code></pre> <ul> <li><code>vpc</code>\uff1a\u200b\u8be5\u200b VpcNatGateway \u200b\u6240\u5c5e\u200b\u7684\u200b VPC\u3002</li> <li><code>subnet</code>\uff1a\u200b\u4e3a\u200b VPC \u200b\u5185\u200b\u67d0\u4e2a\u200b Subnet \u200b\u540d\u200b\uff0cVPC \u200b\u7f51\u5173\u200b Pod \u200b\u4f1a\u200b\u5728\u200b\u8be5\u200b\u5b50\u7f51\u200b\u4e0b\u7528\u200b <code>lanIp</code> \u200b\u6765\u200b\u8fde\u63a5\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\u3002</li> <li><code>lanIp</code>\uff1a<code>subnet</code> \u200b\u5185\u200b\u67d0\u4e2a\u200b\u672a\u200b\u88ab\u200b\u4f7f\u7528\u200b\u7684\u200b IP\uff0cVPC \u200b\u7f51\u5173\u200b Pod \u200b\u6700\u7ec8\u200b\u4f1a\u200b\u4f7f\u7528\u200b\u8be5\u200b Pod\u3002\u200b\u5f53\u200b VPC \u200b\u914d\u7f6e\u200b\u8def\u7531\u200b\u9700\u8981\u200b\u6307\u5411\u200b\u5f53\u524d\u200b VpcNatGateway \u200b\u65f6\u200b <code>nextHopIP</code> \u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u8fd9\u4e2a\u200b <code>lanIp</code>\u3002</li> <li><code>selector</code>\uff1aVpcNatGateway Pod \u200b\u7684\u200b\u8282\u70b9\u200b\u9009\u62e9\u5668\u200b\uff0c\u200b\u683c\u5f0f\u200b\u548c\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b NodeSelector \u200b\u683c\u5f0f\u200b\u76f8\u540c\u200b\u3002</li> <li><code>externalSubnets</code>\uff1a VPC \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5982\u679c\u200b\u4e0d\u200b\u914d\u7f6e\u200b\u5219\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b <code>ovn-vpc-external-network</code>\uff0c\u200b\u5f53\u524d\u200b\u7248\u672c\u200b\u53ea\u200b\u652f\u6301\u200b\u914d\u7f6e\u200b\u4e00\u4e2a\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u3002</li> </ul> <p>\u200b\u5176\u4ed6\u200b\u53ef\u200b\u914d\u200b\u53c2\u6570\u200b\uff1a</p> <ul> <li><code>tolerations</code> : \u200b\u4e3a\u200b VPC \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b\u5bb9\u5fcd\u5ea6\u200b\uff0c\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u53c2\u8003\u200b \u200b\u6c61\u70b9\u200b\u548c\u200b\u5bb9\u5fcd\u5ea6\u200b\u3002</li> <li><code>affinity</code> :  \u200b\u4e3a\u200b VPC \u200b\u7f51\u5173\u200b Pod \u200b\u6216\u200b\u8282\u70b9\u200b\u914d\u7f6e\u200b\u4eb2\u548c\u6027\u200b\uff0c\u200b\u5177\u4f53\u200b\u8bbe\u7f6e\u200b\u53c2\u8003\u200b \u200b\u4eb2\u548c\u6027\u200b\u4e0e\u200b\u53cd\u200b\u4eb2\u548c\u6027\u200b\u3002</li> </ul> <p>\u200b\u5728\u200b\u4f7f\u7528\u200b VPC-NAT-GW \u200b\u65f6\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\uff1a</p> <ol> <li>nat gw pod \u200b\u521b\u5efa\u200b\u4e4b\u540e\u200b\uff0cnet1 arp \u200b\u662f\u200b\u5173\u95ed\u200b\u7684\u200b\uff0cping \u200b\u4e0d\u901a\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\uff0c\u200b\u521b\u5efa\u200b eip \u200b\u540e\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u6253\u5f00\u200b arp\uff0c\u200b\u53ef\u4ee5\u200b ping \u200b\u901a\u200b\u3002</li> </ol>"},{"location":"guide/vpc/#eip","title":"\u521b\u5efa\u200b EIP","text":"<p>EIP \u200b\u4e3a\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u6bb5\u200b\u7684\u200b\u67d0\u4e2a\u200b IP \u200b\u5206\u914d\u200b\u7ed9\u200b VPC \u200b\u7f51\u5173\u200b\u540e\u200b\u53ef\u200b\u8fdb\u884c\u200b DNAT\uff0cSNAT \u200b\u548c\u200b\u6d6e\u52a8\u200b IP \u200b\u64cd\u4f5c\u200b\u3002</p> <p>\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u4e00\u4e2a\u200b\u5730\u5740\u200b\u7ed9\u200b EIP\uff1a</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-random\nspec:\n  natGwDp: gw1\n</code></pre> <p>\u200b\u56fa\u5b9a\u200b EIP \u200b\u5730\u5740\u200b\u5206\u914d\u200b\uff1a</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  natGwDp: gw1\n  v4ip: 10.0.1.111\n</code></pre> <p>\u200b\u6307\u5b9a\u200b EIP \u200b\u6240\u5728\u200b\u7684\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff1a</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-random\nspec:\n  natGwDp: gw1\n  externalSubnet: ovn-vpc-external-network\n</code></pre> <ul> <li><code>externalSubnet</code>\uff1a EIP \u200b\u6240\u5728\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u540d\u79f0\u200b\uff0c\u200b\u5982\u679c\u200b\u4e0d\u200b\u6307\u5b9a\u200b\u5219\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>ovn-vpc-external-network</code>\uff0c\u200b\u5982\u679c\u200b\u6307\u5b9a\u200b\u5219\u200b\u5fc5\u987b\u200b\u4e3a\u200b\u6240\u5728\u200b VPC \u200b\u7f51\u5173\u200b\u7684\u200b <code>externalSubnets</code> \u200b\u4e2d\u200b\u7684\u200b\u4e00\u4e2a\u200b\u3002</li> </ul>"},{"location":"guide/vpc/#dnat","title":"\u521b\u5efa\u200b DNAT \u200b\u89c4\u5219","text":"<p>\u200b\u901a\u8fc7\u200b DNAT \u200b\u89c4\u5219\u200b\uff0c\u200b\u5916\u90e8\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4e00\u4e2a\u200b EIP \u200b\u52a0\u200b\u7aef\u53e3\u200b\u7684\u200b\u65b9\u5f0f\u200b\u6765\u200b\u8bbf\u95ee\u200b VPC \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b IP \u200b\u548c\u200b\u7aef\u53e3\u200b\u3002</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eipd01\nspec:\n  natGwDp: gw1\n\n---\nkind: IptablesDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: dnat01\nspec:\n  eip: eipd01 \n  externalPort: '8888'\n  internalIp: 10.0.1.10\n  internalPort: '80'\n  protocol: tcp\n</code></pre>"},{"location":"guide/vpc/#snat","title":"\u521b\u5efa\u200b SNAT \u200b\u89c4\u5219","text":"<p>\u200b\u901a\u8fc7\u200b SNAT \u200b\u89c4\u5219\u200b\uff0cVPC \u200b\u5185\u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7684\u200b\u5730\u5740\u200b\u65f6\u200b\u5c06\u200b\u4f1a\u200b\u901a\u8fc7\u200b\u5bf9\u5e94\u200b EIP \u200b\u8fdb\u884c\u200b SNAT\u3002</p> <pre><code>---\nkind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eips01\nspec:\n  natGwDp: gw1\n---\nkind: IptablesSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat01\nspec:\n  eip: eips01\n  internalCIDR: 10.0.1.0/24\n</code></pre>"},{"location":"guide/vpc/#ip","title":"\u521b\u5efa\u200b\u6d6e\u52a8\u200b IP","text":"<p>\u200b\u901a\u8fc7\u200b\u6d6e\u52a8\u200b IP \u200b\u89c4\u5219\u200b\uff0cVPC \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b IP \u200b\u4f1a\u200b\u548c\u200b EIP \u200b\u8fdb\u884c\u200b\u5b8c\u5168\u200b\u6620\u5c04\u200b\uff0c\u200b\u5916\u90e8\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u8fd9\u4e2a\u200b EIP \u200b\u8bbf\u95ee\u200b VPC \u200b\u5185\u200b\u7684\u200b IP\uff0cVPC \u200b\u5185\u200b\u7684\u200b\u8fd9\u4e2a\u200b IP \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u5730\u5740\u200b\u65f6\u200b\u4e5f\u200b\u4f1a\u200b SNAT \u200b\u6210\u200b\u8fd9\u4e2a\u200b EIP\u3002</p> <pre><code>---\nkind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eipf01\nspec:\n  natGwDp: gw1\n\n---\nkind: IptablesFIPRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: fip01\nspec:\n  eip: eipf01\n  internalIp: 10.0.1.5\n</code></pre>"},{"location":"guide/vpc/#_2","title":"\u81ea\u5b9a\u4e49\u200b\u8def\u7531","text":"<p>\u200b\u5728\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u81ea\u5b9a\u4e49\u200b\u7f51\u7edc\u200b\u5185\u90e8\u200b\u7684\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\uff0c\u200b\u7ed3\u5408\u200b\u7f51\u5173\u200b\u5b9e\u73b0\u200b\u66f4\u200b\u7075\u6d3b\u200b\u7684\u200b\u8f6c\u53d1\u200b\u3002 Kube-OVN \u200b\u652f\u6301\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u548c\u200b\u66f4\u4e3a\u200b\u7075\u6d3b\u200b\u7684\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u3002</p>"},{"location":"guide/vpc/#_3","title":"\u9759\u6001\u200b\u8def\u7531","text":"<pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  staticRoutes:\n    - cidr: 0.0.0.0/0\n      nextHopIP: 10.0.1.254\n      policy: policyDst\n    - cidr: 172.31.0.0/24\n      nextHopIP: 10.0.1.253\n      policy: policySrc\n      routeTable: \"rtb1\"\n</code></pre> <ul> <li><code>policy</code>: \u200b\u652f\u6301\u200b\u76ee\u7684\u200b\u5730\u5740\u200b\u8def\u7531\u200b <code>policyDst</code> \u200b\u548c\u200b\u6e90\u5730\u5740\u200b\u8def\u7531\u200b <code>policySrc</code>\u3002</li> <li>\u200b\u5f53\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u5b58\u5728\u200b\u91cd\u53e0\u200b\u65f6\u200b\uff0cCIDR \u200b\u63a9\u7801\u200b\u8f83\u957f\u200b\u7684\u200b\u89c4\u5219\u200b\u4f18\u5148\u7ea7\u200b\u66f4\u9ad8\u200b\uff0c\u200b\u82e5\u200b\u63a9\u7801\u200b\u957f\u5ea6\u200b\u76f8\u540c\u200b\u5219\u200b\u76ee\u7684\u200b\u5730\u5740\u200b\u8def\u7531\u200b\u4f18\u5148\u200b\u4e8e\u200b\u6e90\u5730\u5740\u200b\u8def\u7531\u200b\u3002</li> <li><code>routeTable</code>: \u200b\u53ef\u200b\u6307\u5b9a\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u6240\u5728\u200b\u7684\u200b\u8def\u7531\u8868\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5728\u200b\u4e3b\u200b\u8def\u7531\u8868\u200b\u3002\u200b\u5b50\u7f51\u200b\u5173\u8054\u200b\u8def\u7531\u8868\u200b\u8bf7\u200b\u53c2\u8003\u200b\u521b\u5efa\u200b\u5b50\u7f51\u200b</li> </ul>"},{"location":"guide/vpc/#_4","title":"\u7b56\u7565\u200b\u8def\u7531","text":"<p>\u200b\u9488\u5bf9\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u5339\u914d\u200b\u7684\u200b\u6d41\u91cf\u200b\uff0c\u200b\u53ef\u200b\u901a\u8fc7\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u8fdb\u884c\u200b\u66f4\u200b\u7ec6\u7c92\u5ea6\u200b\u7684\u200b\u63a7\u5236\u200b\u3002\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u66f4\u200b\u7cbe\u786e\u200b\u7684\u200b\u5339\u914d\u200b\u89c4\u5219\u200b\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u63a7\u5236\u200b \u200b\u548c\u200b\u66f4\u200b\u591a\u200b\u7684\u200b\u8f6c\u53d1\u200b\u52a8\u4f5c\u200b\u3002\u200b\u8be5\u200b\u529f\u80fd\u200b\u4e3a\u200b OVN \u200b\u5185\u90e8\u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\u7b56\u7565\u200b\u529f\u80fd\u200b\u7684\u200b\u4e00\u4e2a\u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u4f7f\u7528\u200b\u4fe1\u606f\u200b\u8bf7\u200b\u53c2\u8003\u200b Logical Router Policy\u3002</p> <p>\u200b\u7b80\u5355\u200b\u793a\u4f8b\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  policyRoutes:\n    - action: drop\n      match: ip4.src==10.0.1.0/24 &amp;&amp; ip4.dst==10.0.1.250\n      priority: 11\n    - action: reroute\n      match: ip4.src==10.0.1.0/24\n      nextHopIP: 10.0.1.252\n      priority: 10\n</code></pre>"},{"location":"guide/vpc/#_5","title":"\u81ea\u5b9a\u4e49\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219","text":"<p>Kubernetes \u200b\u672c\u8eab\u200b\u63d0\u4f9b\u200b\u7684\u200b Service \u200b\u80fd\u529b\u200b\u53ef\u4ee5\u200b\u5b8c\u6210\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u4f46\u662f\u200b\u53d7\u9650\u4e8e\u200b Kubernetes \u200b\u5b9e\u73b0\u200b\uff0c Service \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u662f\u200b\u5168\u5c40\u200b\u5206\u914d\u200b\u4e14\u200b\u4e0d\u80fd\u200b\u91cd\u590d\u200b\u3002\u200b\u5bf9\u4e8e\u200b VPC \u200b\u7684\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\uff0c\u200b\u7528\u6237\u200b\u5e0c\u671b\u200b\u80fd\u200b\u81ea\u5b9a\u4e49\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b\u5730\u5740\u200b \u200b\u8303\u56f4\u200b\uff0c\u200b\u4e0d\u540c\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u5730\u5740\u200b\u53ef\u80fd\u200b\u91cd\u53e0\u200b\uff0cKubernetes \u200b\u5185\u7f6e\u200b\u7684\u200b Service \u200b\u529f\u80fd\u200b\u65e0\u6cd5\u200b\u5b8c\u5168\u200b\u6ee1\u8db3\u200b\u3002</p> <p>\u200b\u9488\u5bf9\u200b\u8fd9\u200b\u7c7b\u200b\u573a\u666f\u200b\uff0cKube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b <code>SwitchLBRule</code> \u200b\u8d44\u6e90\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u81ea\u5b9a\u4e49\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\u3002</p> <p>\u200b\u4e00\u4e2a\u200b `SwitchLBRule`` \u200b\u4f8b\u5b50\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  cjh-slr-nginx\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  selector:\n    - app:nginx\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\n</code></pre> <ul> <li><code>vip</code>\uff1a\u200b\u81ea\u5b9a\u4e49\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b\u5730\u5740\u200b\u3002</li> <li><code>namespace</code>\uff1a\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u540e\u200b\u7aef\u200b Pod \u200b\u6240\u5728\u200b\u7684\u200b Namespace\u3002</li> <li><code>sessionAffinity</code>\uff1a\u200b\u548c\u200b Service \u200b\u7684\u200b <code>sessionAffinity</code> \u200b\u529f\u80fd\u200b\u76f8\u540c\u200b\u3002</li> <li><code>selector</code>\uff1a\u200b\u548c\u200b Service \u200b\u7684\u200b <code>selector</code> \u200b\u529f\u80fd\u200b\u76f8\u540c\u200b\u3002</li> <li><code>ports</code>\uff1a\u200b\u548c\u200b Service \u200b\u7684\u200b <code>port</code> \u200b\u529f\u80fd\u200b\u76f8\u540c\u200b\u3002</li> </ul> <p>\u200b\u67e5\u770b\u200b\u90e8\u7f72\u200b\u7684\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u89c4\u5219\u200b\uff1a</p> <pre><code># kubectl get slr\nNAME                VIP         PORT(S)                  SERVICE                             AGE\nvpc-dns-test-cjh2   10.96.0.3   53/UDP,53/TCP,9153/TCP   kube-system/slr-vpc-dns-test-cjh2   88m\n</code></pre>"},{"location":"guide/vpc/#vpc-dns","title":"\u81ea\u5b9a\u4e49\u200b vpc-dns","text":"<p>\u200b\u7531\u4e8e\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u548c\u200b\u9ed8\u8ba4\u200b VPC \u200b\u7f51\u7edc\u200b\u76f8\u4e92\u200b\u9694\u79bb\u200b\uff0cVPC \u200b\u5185\u200b Pod \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u7684\u200b coredns \u200b\u670d\u52a1\u200b\u8fdb\u884c\u200b\u57df\u540d\u89e3\u6790\u200b\u3002 \u200b\u5982\u679c\u200b\u5e0c\u671b\u200b\u5728\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u4f7f\u7528\u200b coredns \u200b\u89e3\u6790\u200b\u96c6\u7fa4\u200b\u5185\u200b Service \u200b\u57df\u540d\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Kube-OVN \u200b\u63d0\u4f9b\u200b\u7684\u200b vpc-dns \u200b\u8d44\u6e90\u200b\u6765\u200b\u5b9e\u73b0\u200b\u3002</p>"},{"location":"guide/vpc/#_6","title":"\u521b\u5efa\u200b\u9644\u52a0\u200b\u7f51\u5361","text":"<pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-nad\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"ovn-nad.default.ovn\"\n    }'\n</code></pre>"},{"location":"guide/vpc/#ovn-default-provider","title":"\u4fee\u6539\u200b ovn-default \u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u7684\u200b provider","text":"<p>\u200b\u4fee\u6539\u200b ovn-default \u200b\u7684\u200b provider\uff0c\u200b\u4e3a\u200b\u4e0a\u9762\u200b nad \u200b\u914d\u7f6e\u200b\u7684\u200b provider <code>ovn-nad.default.ovn</code>\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: ovn-default\nspec:\n  cidrBlock: 10.16.0.0/16\n  default: true\n  disableGatewayCheck: false\n  disableInterConnection: false\n  enableDHCP: false\n  enableIPv6RA: false\n  excludeIps:\n  - 10.16.0.1\n  gateway: 10.16.0.1\n  gatewayType: distributed\n  logicalGateway: false\n  natOutgoing: true\n  private: false\n  protocol: IPv4\n  provider: ovn-nad.default.ovn\n  vpc: ovn-cluster\n</code></pre>"},{"location":"guide/vpc/#vpc-dns-configmap","title":"\u914d\u7f6e\u200b vpc-dns \u200b\u7684\u200b ConfigMap","text":"<p>\u200b\u5728\u200b kube-system \u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u4e0b\u200b\u521b\u5efa\u200b configmap\uff0c\u200b\u914d\u7f6e\u200b vpc-dns \u200b\u4f7f\u7528\u200b\u53c2\u6570\u200b\uff0c\u200b\u7528\u4e8e\u200b\u540e\u9762\u200b\u542f\u52a8\u200b vpc-dns \u200b\u529f\u80fd\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-config\n  namespace: kube-system\ndata:\n  coredns-vip: 10.96.0.3\n  enable-vpc-dns: \"true\"\n  nad-name: ovn-nad\n  nad-provider: ovn-nad.default.ovn\n</code></pre> <ul> <li><code>enable-vpc-dns</code>\uff1a\uff08\u200b\u53ef\u200b\u7f3a\u7701\u200b\uff09<code>true</code> \u200b\u542f\u7528\u200b\u529f\u80fd\u200b\uff0c<code>false</code> \u200b\u5173\u95ed\u200b\u529f\u80fd\u200b\u3002\u200b\u9ed8\u8ba4\u200b <code>true</code>\u3002</li> <li><code>coredns-image</code>\uff1a\uff08\u200b\u53ef\u200b\u7701\u7565\u200b\uff09\uff1adns \u200b\u90e8\u7f72\u200b\u955c\u50cf\u200b\u3002\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b coredns \u200b\u90e8\u7f72\u200b\u7248\u672c\u200b\u3002</li> <li><code>coredns-template</code>\uff1a\uff08\u200b\u53ef\u200b\u7701\u7565\u200b\uff09\uff1adns \u200b\u90e8\u7f72\u200b\u6a21\u677f\u200b\u6240\u5728\u200b\u7684\u200b URL\u3002\u200b\u9ed8\u8ba4\u200b\uff1a\u200b\u5f53\u524d\u200b\u7248\u672c\u200b\u4ed3\u5e93\u200b\u91cc\u200b\u7684\u200b <code>yamls/coredns-template.yaml</code>\u3002</li> <li><code>coredns-vip</code>\uff1a\u200b\u4e3a\u200b coredns \u200b\u63d0\u4f9b\u200b lb \u200b\u670d\u52a1\u200b\u7684\u200b vip\u3002</li> <li><code>nad-name</code>\uff1a\u200b\u914d\u7f6e\u200b\u7684\u200b <code>network-attachment-definitions</code> \u200b\u8d44\u6e90\u200b\u540d\u79f0\u200b\u3002</li> <li><code>nad-provider</code>\uff1a\u200b\u4f7f\u7528\u200b\u7684\u200b provider \u200b\u540d\u79f0\u200b\u3002</li> <li><code>k8s-service-host</code>\uff1a\uff08\u200b\u53ef\u200b\u7f3a\u7701\u200b\uff09 \u200b\u7528\u4e8e\u200b coredns \u200b\u8bbf\u95ee\u200b k8s apiserver \u200b\u670d\u52a1\u200b\u7684\u200b ip\u3002</li> <li><code>k8s-service-port</code>\uff1a\uff08\u200b\u53ef\u200b\u7f3a\u7701\u200b\uff09\u200b\u7528\u4e8e\u200b coredns \u200b\u8bbf\u95ee\u200b k8s apiserver \u200b\u670d\u52a1\u200b\u7684\u200b port\u3002</li> </ul>"},{"location":"guide/vpc/#vpc-dns_1","title":"\u90e8\u7f72\u200b vpc-dns \u200b\u4f9d\u8d56\u200b\u8d44\u6e90","text":"<pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: system:vpc-dns\nrules:\n  - apiGroups:\n    - \"\"\n    resources:\n    - endpoints\n    - services\n    - pods\n    - namespaces\n    verbs:\n    - list\n    - watch\n  - apiGroups:\n    - discovery.k8s.io\n    resources:\n    - endpointslices\n    verbs:\n    - list\n    - watch\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  annotations:\n    rbac.authorization.kubernetes.io/autoupdate: \"true\"\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: vpc-dns\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: system:vpc-dns\nsubjects:\n- kind: ServiceAccount\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-corefile\n  namespace: kube-system\ndata:\n  Corefile: |\n    .:53 {\n        errors\n        health {\n          lameduck 5s\n        }\n        ready\n        kubernetes cluster.local in-addr.arpa ip6.arpa {\n          pods insecure\n          fallthrough in-addr.arpa ip6.arpa\n        }\n        prometheus :9153\n        forward . /etc/resolv.conf {\n          prefer_udp\n        }\n        cache 30\n        loop\n        reload\n        loadbalance\n    }\n</code></pre>"},{"location":"guide/vpc/#vpc-dns_2","title":"\u90e8\u7f72\u200b vpc-dns","text":"<pre><code>kind: VpcDns\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-cjh1\nspec:\n  vpc: cjh-vpc-1\n  subnet: cjh-subnet-1\n</code></pre> <ul> <li><code>vpc</code>\uff1a \u200b\u7528\u4e8e\u200b\u90e8\u7f72\u200b dns \u200b\u7ec4\u4ef6\u200b\u7684\u200b vpc \u200b\u540d\u79f0\u200b\u3002</li> <li><code>subnet</code>\uff1a\u200b\u7528\u4e8e\u200b\u90e8\u7f72\u200b dns \u200b\u7ec4\u4ef6\u200b\u7684\u200b\u5b50\u200b\u540d\u79f0\u200b\u3002</li> </ul> <p>\u200b\u67e5\u770b\u200b\u8d44\u6e90\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code>[root@hci-dev-mst-1 kubeovn]# kubectl get vpc-dns\nNAME        ACTIVE   VPC         SUBNET   \ntest-cjh1   false    cjh-vpc-1   cjh-subnet-1   \ntest-cjh2   true     cjh-vpc-1   cjh-subnet-2 \n</code></pre> <ul> <li><code>ACTIVE</code>: <code>true</code> \u200b\u6210\u529f\u200b\u90e8\u7f72\u200b\u4e86\u200b\u81ea\u5b9a\u4e49\u200b dns \u200b\u7ec4\u4ef6\u200b\uff0c<code>false</code> \u200b\u65e0\u200b\u90e8\u7f72\u200b</li> </ul>"},{"location":"guide/vpc/#_7","title":"\u9650\u5236","text":"<ul> <li>\u200b\u4e00\u4e2a\u200b vpc \u200b\u4e0b\u200b\u53ea\u4f1a\u200b\u90e8\u7f72\u200b\u4e00\u4e2a\u200b\u81ea\u5b9a\u4e49\u200b dns \u200b\u7ec4\u4ef6\u200b;</li> <li>\u200b\u5f53\u200b\u4e00\u4e2a\u200b vpc \u200b\u4e0b\u200b\u914d\u7f6e\u200b\u591a\u4e2a\u200b vpc-dns \u200b\u8d44\u6e90\u200b\uff08\u200b\u5373\u200b\u540c\u4e00\u4e2a\u200b vpc \u200b\u4e0d\u540c\u200b\u7684\u200b subnet\uff09\uff0c\u200b\u53ea\u6709\u200b\u4e00\u4e2a\u200b vpc-dns \u200b\u8d44\u6e90\u200b\u72b6\u6001\u200b <code>true</code>\uff0c\u200b\u5176\u4ed6\u200b\u4e3a\u200b <code>fasle</code>;</li> <li>\u200b\u5f53\u200b <code>true</code> \u200b\u7684\u200b vpc-dns \u200b\u88ab\u200b\u5220\u9664\u200b\u6389\u200b\uff0c\u200b\u4f1a\u200b\u83b7\u53d6\u200b\u5176\u4ed6\u200b <code>false</code> \u200b\u7684\u200b vpc-dns \u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/webhook/","title":"Webhook \u200b\u4f7f\u7528","text":"<p>\u200b\u4f7f\u7528\u200b Webhook \u200b\u53ef\u4ee5\u200b\u5bf9\u200b Kube-OVN \u200b\u5185\u200b\u7684\u200b CRD \u200b\u8d44\u6e90\u200b\u8fdb\u884c\u200b\u6821\u9a8c\u200b\uff0c\u200b\u76ee\u524d\u200b Webhook \u200b\u4e3b\u8981\u200b\u5b8c\u6210\u200b \u200b\u56fa\u5b9a\u200b IP \u200b\u5730\u5740\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\u548c\u200b Subnet CIDR \u200b\u7684\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\uff0c\u200b\u5e76\u200b\u5728\u200b\u8fd9\u7c7b\u200b\u8d44\u6e90\u200b\u521b\u5efa\u200b\u51b2\u7a81\u200b\u65f6\u200b\u63d0\u793a\u200b\u9519\u8bef\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b Webhook \u200b\u4f1a\u200b\u62e6\u622a\u200b\u6240\u6709\u200b\u7684\u200b Subnet \u200b\u548c\u200b Pod \u200b\u521b\u5efa\u200b\u7684\u200b\u8bf7\u6c42\u200b\uff0c\u200b\u56e0\u6b64\u200b\u9700\u8981\u200b\u5148\u200b\u90e8\u7f72\u200b Kube-OVN \u200b\u540e\u200b\u90e8\u7f72\u200b Webhook \u200b\u907f\u514d\u200b\u65e0\u6cd5\u200b\u521b\u5efa\u200b Pod\u3002</p>"},{"location":"guide/webhook/#cert-manager","title":"Cert-Manager \u200b\u5b89\u88c5","text":"<p>Webhook \u200b\u90e8\u7f72\u200b\u9700\u8981\u200b\u76f8\u5173\u200b\u8bc1\u4e66\u200b\u52a0\u5bc6\u200b\uff0c\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b cert-manager \u200b\u751f\u6210\u200b\u76f8\u5173\u200b\u8bc1\u4e66\u200b\uff0c\u200b\u6211\u4eec\u200b\u9700\u8981\u200b\u5728\u200b\u90e8\u7f72\u200b Webhook \u200b\u524d\u5148\u200b\u90e8\u7f72\u200b cert-manager\u3002</p> <p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u6765\u200b\u90e8\u7f72\u200b cert-manager:</p> <pre><code>kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.8.0/cert-manager.yaml\n</code></pre> <p>\u200b\u66f4\u200b\u591a\u200b cert-manager \u200b\u4f7f\u7528\u200b\u8bf7\u200b\u53c2\u8003\u200b cert-manager \u200b\u6587\u6863\u200b\u3002</p>"},{"location":"guide/webhook/#webhook_1","title":"\u5b89\u88c5\u200b Webhook","text":"<p>\u200b\u4e0b\u8f7d\u200b Webhook \u200b\u5bf9\u5e94\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b:</p> <pre><code># kubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/yamls/webhook.yaml\ndeployment.apps/kube-ovn-webhook created\nservice/kube-ovn-webhook created\nvalidatingwebhookconfiguration.admissionregistration.k8s.io/kube-ovn-webhook created\ncertificate.cert-manager.io/kube-ovn-webhook-serving-cert created\nissuer.cert-manager.io/kube-ovn-webhook-selfsigned-issuer created\n</code></pre>"},{"location":"guide/webhook/#webhook_2","title":"\u9a8c\u8bc1\u200b Webhook \u200b\u751f\u6548","text":"<p>\u200b\u67e5\u770b\u200b\u5df2\u200b\u8fd0\u884c\u200b Pod\uff0c\u200b\u5f97\u5230\u200b Pod IP <code>10.16.0.15</code>\uff1a</p> <pre><code># kubectl get pod -o wide\nNAME                      READY   STATUS    RESTARTS   AGE     IP           NODE              NOMINATED NODE   READINESS GATES\nstatic-7584848b74-fw9dm   1/1     Running   0          2d13h   10.16.0.15   kube-ovn-worker   &lt;none&gt; \n</code></pre> <p>\u200b\u7f16\u5199\u200b yaml \u200b\u521b\u5efa\u200b\u76f8\u540c\u200b IP \u200b\u7684\u200b Pod\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/ip_address: 10.16.0.15\n    ovn.kubernetes.io/mac_address: 00:00:00:53:6B:B6\n  labels:\n    app: static\n  managedFields:\n  name: staticip-pod\n  namespace: default\nspec:\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0a\u200b yaml \u200b\u521b\u5efa\u200b\u9759\u6001\u200b\u5730\u5740\u200b Pod \u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u63d0\u793a\u200b IP \u200b\u5730\u5740\u200b\u51b2\u7a81\u200b\uff1a</p> <pre><code># kubectl apply -f pod-static.yaml\nError from server (annotation ip address 10.16.0.15 is conflict with ip crd static-7584848b74-fw9dm.default 10.16.0.15): error when creating \"pod-static.yaml\": admission webhook \"pod-ip-validaing.kube-ovn.io\" denied the request: annotation ip address 10.16.0.15 is conflict with ip crd static-7584848b74-fw9dm.default 10.16.0.15\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/change-default-subnet/","title":"\u4fee\u6539\u200b\u5b50\u7f51\u200b CIDR","text":"<p>\u200b\u5982\u679c\u200b\u521b\u5efa\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u51b2\u7a81\u200b\u6216\u200b\u4e0d\u200b\u7b26\u5408\u200b\u9884\u671f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u672c\u200b\u6587\u6863\u200b\u7684\u200b\u6b65\u9aa4\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002</p> <p>\u200b\u4fee\u6539\u200b\u5b50\u7f51\u200b CIDR \u200b\u540e\u200b\u4e4b\u524d\u200b\u521b\u5efa\u200b\u7684\u200b Pod \u200b\u5c06\u200b\u65e0\u6cd5\u200b\u6b63\u5e38\u200b\u8bbf\u95ee\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u8fdb\u884c\u200b\u91cd\u5efa\u200b\u3002 \u200b\u5efa\u8bae\u200b\u64cd\u4f5c\u524d\u200b\u614e\u91cd\u8003\u8651\u200b\u3002\u200b\u672c\u6587\u200b\u53ea\u200b\u9488\u5bf9\u200b\u4e1a\u52a1\u200b\u5b50\u7f51\u200b CIDR \u200b\u66f4\u6539\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5982\u9700\u200b \u200b\u66f4\u6539\u200b Join \u200b\u5b50\u7f51\u200b CIDR \u200b\u8bf7\u200b\u53c2\u8003\u200b\u66f4\u6539\u200b Join \u200b\u5b50\u7f51\u200b CIDR\u3002</p>"},{"location":"ops/change-default-subnet/#_1","title":"\u7f16\u8f91\u200b\u5b50\u7f51","text":"<p>\u200b\u4f7f\u7528\u200b <code>kubectl edit</code> \u200b\u4fee\u6539\u200b\u5b50\u7f51\u200b <code>cidrBlock</code>\uff0c<code>gateway</code> \u200b\u548c\u200b <code>excludeIps</code>\u3002</p> <pre><code>kubectl edit subnet test-subnet\n</code></pre>"},{"location":"ops/change-default-subnet/#namespace-pod","title":"\u91cd\u5efa\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b\u7684\u200b Namespace \u200b\u4e0b\u200b\u6240\u6709\u200b Pod","text":"<p>\u200b\u4ee5\u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b <code>test</code> Namespace \u200b\u4e3a\u4f8b\u200b\uff1a</p> <pre><code>for pod in $(kubectl get pod --no-headers -n \"$ns\" --field-selector spec.restartPolicy=Always -o custom-columns=NAME:.metadata.name,HOST:spec.hostNetwork | awk '{if ($2!=\"true\") print $1}'); do\n  kubectl delete pod \"$pod\" -n test --ignore-not-found\ndone\n</code></pre> <p>\u200b\u82e5\u200b\u53ea\u200b\u4f7f\u7528\u200b\u4e86\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\u5220\u9664\u200b\u6240\u6709\u200b\u975e\u200b host \u200b\u7f51\u7edc\u200b\u6a21\u5f0f\u200b\u7684\u200b Pod\uff1a</p> <pre><code>for ns in $(kubectl get ns --no-headers -o custom-columns=NAME:.metadata.name); do\n  for pod in $(kubectl get pod --no-headers -n \"$ns\" --field-selector spec.restartPolicy=Always -o custom-columns=NAME:.metadata.name,HOST:spec.hostNetwork | awk '{if ($2!=\"true\") print $1}'); do\n    kubectl delete pod \"$pod\" -n \"$ns\" --ignore-not-found\n  done\ndone\n</code></pre>"},{"location":"ops/change-default-subnet/#_2","title":"\u66f4\u6539\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u914d\u7f6e","text":"<p>\u200b\u82e5\u200b\u4fee\u6539\u200b\u7684\u200b\u4e3a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u8fd8\u200b\u9700\u8981\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --default-cidr=10.17.0.0/16\n- --default-gateway=10.17.0.1\n- --default-exclude-ips=10.17.0.1\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/change-join-subnet/","title":"\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b CIDR","text":"<p>\u200b\u82e5\u200b\u53d1\u73b0\u200b\u521b\u5efa\u200b\u7684\u200b Join \u200b\u5b50\u7f51\u200b CIDR \u200b\u51b2\u7a81\u200b\u6216\u200b\u4e0d\u200b\u7b26\u5408\u200b\u9884\u671f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u672c\u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002</p> <p>\u200b\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b CIDR \u200b\u540e\u200b\u4e4b\u524d\u200b\u521b\u5efa\u200b\u7684\u200b Pod \u200b\u5c06\u200b\u65e0\u6cd5\u200b\u6b63\u5e38\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u9700\u8981\u200b\u7b49\u200b\u91cd\u5efa\u200b\u5b8c\u6210\u200b, \u200b\u5efa\u8bae\u200b\u524d\u200b\u64cd\u4f5c\u200b\u65f6\u200b\u614e\u91cd\u8003\u8651\u200b\u3002</p>"},{"location":"ops/change-join-subnet/#join","title":"\u5220\u9664\u200b Join \u200b\u5b50\u7f51","text":"<pre><code>kubectl patch subnet join --type='json' -p '[{\"op\": \"replace\", \"path\": \"/metadata/finalizers\", \"value\": []}]'\nkubectl delete subnet join\n</code></pre>"},{"location":"ops/change-join-subnet/#_1","title":"\u6e05\u7406\u200b\u76f8\u5173\u200b\u5206\u914d\u200b\u4fe1\u606f","text":"<pre><code>kubectl annotate node ovn.kubernetes.io/allocated=false --all --overwrite\n</code></pre>"},{"location":"ops/change-join-subnet/#join_1","title":"\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b\u76f8\u5173\u200b\u4fe1\u606f","text":"<p>\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> \u200b\u5185\u200b Join \u200b\u5b50\u7f51\u200b\u76f8\u5173\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code>kubectl edit deployment -n kube-system kube-ovn-controller\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u4e0b\u5217\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --node-switch-cidr=100.51.0.0/16\n</code></pre> <p>\u200b\u91cd\u542f\u200b <code>kube-ovn-controller</code> \u200b\u91cd\u5efa\u200b <code>join</code> \u200b\u5b50\u7f51\u200b\uff1a</p> <pre><code>kubectl delete pod -n kube-system -lapp=kube-ovn-controller\n</code></pre> <p>\u200b\u67e5\u770b\u200b\u65b0\u200b\u7684\u200b Join \u200b\u5b50\u7f51\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get subnet\nNAME          PROVIDER   VPC           PROTOCOL   CIDR            PRIVATE   NAT     DEFAULT   GATEWAYTYPE   V4USED   V4AVAILABLE   V6USED   V6AVAILABLE   EXCLUDEIPS\njoin          ovn        ovn-cluster   IPv4       100.51.0.0/16   false     false   false     distributed   2        65531         0        0             [\"100.51.0.1\"]\novn-default   ovn        ovn-cluster   IPv4       10.17.0.0/16    false     true    true      distributed   5        65528         0        0             [\"10.17.0.1\"]\n</code></pre>"},{"location":"ops/change-join-subnet/#ovn0","title":"\u91cd\u65b0\u914d\u7f6e\u200b ovn0 \u200b\u7f51\u5361\u200b\u5730\u5740","text":"<p>\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovn0</code> \u200b\u7f51\u5361\u200b\u4fe1\u606f\u200b\u9700\u8981\u200b\u91cd\u65b0\u200b\u66f4\u65b0\u200b\uff0c\u200b\u53ef\u200b\u901a\u8fc7\u200b\u91cd\u542f\u200b <code>kube-ovn-cni</code> \u200b\u6765\u200b\u5b8c\u6210\u200b\uff1a</p> <pre><code>kubectl delete pod -n kube-system -l app=kube-ovn-cni\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/change-log-level/","title":"\u8c03\u6574\u200b\u65e5\u5fd7\u200b\u7b49\u7ea7","text":"<p>\u200b\u6253\u5f00\u200b <code>kube-ovn.yaml</code>\uff0c\u200b\u5728\u200b\u670d\u52a1\u200b\u542f\u52a8\u200b\u811a\u672c\u200b\u7684\u200b\u53c2\u6570\u200b\u5217\u8868\u200b\u4e2d\u200b\u8bbe\u7f6e\u200b log \u200b\u7b49\u7ea7\u200b\uff0c\u200b\u6bd4\u5982\u200b\uff1a</p> <pre><code>vi kube-ovn.yaml\n# ...\n        - name: kube-ovn-controller\n          image: \"docker.io/kubeovn/kube-ovn:v1.13.0\"\n          imagePullPolicy: IfNotPresent\n          args:\n          - /kube-ovn/start-controller.sh\n          - --v=3\n# ...\n# log \u200b\u7b49\u7ea7\u200b\u8d8a\u9ad8\u200b\uff0clog \u200b\u5c31\u200b\u8d8a\u200b\u8be6\u7ec6\u200b\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/change-ovn-central-node/","title":"\u66f4\u6362\u200b ovn-central \u200b\u8282\u70b9","text":"<p>\u200b\u7531\u4e8e\u200b <code>ovn-central</code> \u200b\u5185\u200b\u7684\u200b <code>ovn-nb</code> \u200b\u548c\u200b <code>ovn-sb</code> \u200b\u5206\u522b\u200b\u5efa\u7acb\u200b\u4e86\u200b\u7c7b\u4f3c\u200b etcd \u200b\u7684\u200b raft \u200b\u96c6\u7fa4\u200b\uff0c\u200b\u56e0\u6b64\u200b\u66f4\u6362\u200b <code>ovn-central</code> \u200b\u8282\u70b9\u200b\u9700\u8981\u200b\u989d\u5916\u200b\u7684\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u4fdd\u8bc1\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u7684\u200b\u6b63\u786e\u200b\u548c\u200b\u6570\u636e\u200b\u7684\u200b\u4e00\u81f4\u200b\u3002\u200b\u5efa\u8bae\u200b\u6bcf\u6b21\u200b\u53ea\u200b\u5bf9\u200b\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u8fdb\u884c\u200b\u4e0a\u4e0b\u200b\u7ebf\u200b\u5904\u7406\u200b\uff0c\u200b\u4ee5\u200b\u907f\u514d\u200b\u96c6\u7fa4\u200b\u8fdb\u5165\u200b\u4e0d\u53ef\u200b\u7528\u200b \u200b\u72b6\u6001\u200b\uff0c\u200b\u5f71\u54cd\u200b\u96c6\u7fa4\u200b\u6574\u4f53\u200b\u7f51\u7edc\u200b\u3002</p>"},{"location":"ops/change-ovn-central-node/#ovn-central_1","title":"ovn-central \u200b\u8282\u70b9\u200b\u4e0b\u7ebf","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u9488\u5bf9\u200b\u5982\u4e0b\u200b\u7684\u200b\u96c6\u7fa4\u200b\u60c5\u51b5\u200b\uff0c\u200b\u4ee5\u4e0b\u200b\u7ebf\u200b <code>kube-ovn-control-plane2</code> \u200b\u8282\u70b9\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u4ecb\u7ecd\u200b\u5982\u4f55\u200b\u5c06\u200b\u5176\u200b\u4ece\u200b <code>ovn-central</code> \u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u79fb\u9664\u200b\u3002</p> <pre><code># kubectl -n kube-system get pod -o wide | grep central\novn-central-6bf58cbc97-2cdhg                      1/1     Running   0             21m   172.18.0.3   kube-ovn-control-plane    &lt;none&gt;           &lt;none&gt;\novn-central-6bf58cbc97-crmfp                      1/1     Running   0             21m   172.18.0.5   kube-ovn-control-plane2   &lt;none&gt;           &lt;none&gt;\novn-central-6bf58cbc97-lxmpl                      1/1     Running   0             21m   172.18.0.4   kube-ovn-control-plane3   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-nb","title":"\u4e0b\u7ebf\u200b ovn-nb \u200b\u96c6\u7fa4\u200b\u5185\u200b\u5bf9\u5e94\u200b\u8282\u70b9","text":"<p>\u200b\u9996\u5148\u200b\u67e5\u770b\u200b\u8282\u70b9\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b ID\uff0c\u200b\u4ee5\u4fbf\u200b\u540e\u7eed\u200b\u64cd\u4f5c\u200b\u3002</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2135194 ms ago, reason: timeout\nLast Election won: 2135188 ms ago\nElection timer: 5000\nLog: [135, 135]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-d64b -&gt;d64b &lt;-4984 -&gt;4984\nDisconnections: 0\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=135 match_index=134 last msg 1084 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=2 match_index=134\n    d64b (d64b at tcp:[172.18.0.5]:6643) next_index=135 match_index=134 last msg 1084 ms ago\nstatus: ok\n</code></pre> <p><code>kube-ovn-control-plane2</code> \u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b IP \u200b\u4e3a\u200b <code>172.18.0.5</code>\uff0c\u200b\u96c6\u7fa4\u200b\u5185\u200b\u5bf9\u5e94\u200b\u7684\u200b ID \u200b\u4e3a\u200b <code>d64b</code>\u3002\u200b\u63a5\u4e0b\u6765\u200b\u4ece\u200b ovn-nb \u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u8e22\u200b\u51fa\u8be5\u200b\u8282\u70b9\u200b\uff1a</p> <pre><code># kubectl ko nb kick d64b\nstarted removal\n</code></pre> <p>\u200b\u786e\u8ba4\u200b\u8282\u70b9\u200b\u8e22\u200b\u51fa\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2297649 ms ago, reason: timeout\nLast Election won: 2297643 ms ago\nElection timer: 5000\nLog: [136, 136]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-4984 -&gt;4984\nDisconnections: 2\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=136 match_index=135 last msg 1270 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=2 match_index=135\nstatus: ok\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-sb","title":"\u4e0b\u7ebf\u200b ovn-sb \u200b\u96c6\u7fa4\u200b\u5185\u200b\u5bf9\u5e94\u200b\u8282\u70b9","text":"<p>\u200b\u63a5\u4e0b\u6765\u200b\u9700\u8981\u200b\u64cd\u4f5c\u200b ovn-sb \u200b\u96c6\u7fa4\u200b\uff0c\u200b\u9996\u5148\u200b\u67e5\u770b\u200b\u8282\u70b9\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b ID\uff0c\u200b\u4ee5\u4fbf\u200b\u540e\u7eed\u200b\u64cd\u4f5c\u200b\uff1a</p> <pre><code>kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2395317 ms ago, reason: timeout\nLast Election won: 2395316 ms ago\nElection timer: 5000\nLog: [130, 130]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-e9f7 -&gt;e9f7 &lt;-6e84 -&gt;6e84\nDisconnections: 0\nServers:\n    e9f7 (e9f7 at tcp:[172.18.0.5]:6644) next_index=130 match_index=129 last msg 1006 ms ago\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=130 match_index=129 last msg 1004 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=2 match_index=129\nstatus: ok\n</code></pre> <p><code>kube-ovn-control-plane2</code> \u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b IP \u200b\u4e3a\u200b <code>172.18.0.5</code>\uff0c\u200b\u96c6\u7fa4\u200b\u5185\u200b\u5bf9\u5e94\u200b\u7684\u200b ID \u200b\u4e3a\u200b <code>e9f7</code>\u3002\u200b\u63a5\u4e0b\u6765\u200b\u4ece\u200b ovn-sb \u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u8e22\u200b\u51fa\u8be5\u200b\u8282\u70b9\u200b\uff1a</p> <pre><code># kubectl ko sb kick e9f7\nstarted removal\n</code></pre> <p>\u200b\u786e\u8ba4\u200b\u8282\u70b9\u200b\u8e22\u200b\u51fa\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2481636 ms ago, reason: timeout\nLast Election won: 2481635 ms ago\nElection timer: 5000\nLog: [131, 131]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-6e84 -&gt;6e84\nDisconnections: 2\nServers:\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=131 match_index=130 last msg 642 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=2 match_index=130\nstatus: ok\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-central_2","title":"\u5220\u9664\u200b\u8282\u70b9\u200b\u6807\u7b7e\u200b\uff0c\u200b\u5e76\u200b\u7f29\u5bb9\u200b ovn-central","text":"<p>\u200b\u6ce8\u610f\u200b\u9700\u5728\u200b ovn-central \u200b\u73af\u5883\u53d8\u91cf\u200b <code>NODE_IPS</code> \u200b\u7684\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u4e2d\u200b\u5220\u9664\u200b\u4e0b\u7ebf\u200b\u8282\u70b9\u200b\u3002</p> <pre><code>kubectl label node kube-ovn-control-plane2 kube-ovn/role-\nkubectl scale deployment -n kube-system ovn-central --replicas=2\nkubectl set env deployment/ovn-central -n kube-system NODE_IPS=\"172.18.0.3,172.18.0.4\"\nkubectl rollout status deployment/ovn-central -n kube-system \n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-central_3","title":"\u4fee\u6539\u200b\u5176\u4ed6\u200b\u7ec4\u4ef6\u200b\u8fde\u63a5\u200b ovn-central \u200b\u5730\u5740","text":"<p>\u200b\u4fee\u6539\u200b <code>ovs-ovn</code> \u200b\u5185\u200b\u8fde\u63a5\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5220\u9664\u200b\u4e0b\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</p> <pre><code># kubectl set env daemonset/ovs-ovn -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4\"\ndaemonset.apps/ovs-ovn env updated\n# kubectl delete pod -n kube-system -lapp=ovs\npod \"ovs-ovn-4f6jc\" deleted\npod \"ovs-ovn-csn2w\" deleted\npod \"ovs-ovn-mpbmb\" deleted\n</code></pre> <p>\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> \u200b\u5185\u200b\u8fde\u63a5\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5220\u9664\u200b\u4e0b\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</p> <pre><code># kubectl set env deployment/kube-ovn-controller -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4\"\ndeployment.apps/kube-ovn-controller env updated\n\n# kubectl rollout status deployment/kube-ovn-controller -n kube-system\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\n</code></pre>"},{"location":"ops/change-ovn-central-node/#_1","title":"\u6e05\u7406\u200b\u8282\u70b9","text":"<p>\u200b\u5220\u9664\u200b <code>kube-ovn-control-plane2</code> \u200b\u8282\u70b9\u200b\u5185\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\uff0c\u200b\u907f\u514d\u200b\u91cd\u590d\u200b\u6dfb\u52a0\u200b\u8282\u70b9\u200b\u65f6\u200b\u53d1\u751f\u200b\u5f02\u5e38\u200b\uff1a</p> <pre><code>rm -rf /etc/origin/ovn\n</code></pre> <p>\u200b\u5982\u9700\u200b\u5c06\u200b\u8282\u70b9\u200b\u4ece\u200b\u6574\u4e2a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u4e0b\u7ebf\u200b\uff0c\u200b\u8fd8\u200b\u9700\u200b\u7ee7\u7eed\u200b\u53c2\u8003\u200b\u5220\u9664\u200b\u5de5\u4f5c\u200b\u8282\u70b9\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\u3002</p>"},{"location":"ops/change-ovn-central-node/#ovn-central_4","title":"ovn-central \u200b\u8282\u70b9\u200b\u4e0a\u7ebf","text":"<p>\u200b\u4e0b\u5217\u200b\u6b65\u9aa4\u200b\u4f1a\u200b\u5c06\u200b\u4e00\u4e2a\u200b\u65b0\u200b\u7684\u200b Kubernetes \u200b\u8282\u70b9\u200b\u52a0\u5165\u200b <code>ovn-central</code> \u200b\u96c6\u7fa4\u200b\u3002</p>"},{"location":"ops/change-ovn-central-node/#_2","title":"\u76ee\u5f55\u200b\u68c0\u67e5","text":"<p>\u200b\u68c0\u67e5\u200b\u65b0\u589e\u200b\u8282\u70b9\u200b\u7684\u200b <code>/etc/origin/ovn</code> \u200b\u76ee\u5f55\u200b\u4e2d\u200b\u662f\u5426\u200b\u5b58\u5728\u200b <code>ovnnb_db.db</code> \u200b\u6216\u200b <code>ovnsb_db.db</code> \u200b\u6587\u4ef6\u200b\uff0c\u200b\u82e5\u200b\u5b58\u5728\u200b\u9700\u200b\u63d0\u524d\u200b\u5220\u9664\u200b\uff1a</p> <pre><code>rm -rf /etc/origin/ovn\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-central_5","title":"\u786e\u8ba4\u200b\u5f53\u524d\u200b ovn-central \u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u6b63\u5e38","text":"<p>\u200b\u82e5\u200b\u5f53\u524d\u200b <code>ovn-central</code> \u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u5df2\u7ecf\u200b\u5f02\u5e38\u200b\uff0c\u200b\u65b0\u589e\u200b\u8282\u70b9\u200b\u53ef\u80fd\u200b\u5bfc\u81f4\u200b\u6295\u7968\u9009\u4e3e\u200b\u65e0\u6cd5\u200b\u8fc7\u534a\u6570\u200b\uff0c\u200b\u5f71\u54cd\u200b\u540e\u7eed\u200b\u64cd\u4f5c\u200b\u3002</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 44\nLeader: self\nVote: self\n\nLast Election started 1855739 ms ago, reason: timeout\nLast Election won: 1855729 ms ago\nElection timer: 5000\nLog: [147, 147]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: -&gt;4984 &lt;-4984\nDisconnections: 0\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=147 match_index=146 last msg 367 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=140 match_index=146\nstatus: ok\n\n# kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 33\nLeader: self\nVote: self\n\nLast Election started 1868589 ms ago, reason: timeout\nLast Election won: 1868579 ms ago\nElection timer: 5000\nLog: [142, 142]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: -&gt;6e84 &lt;-6e84\nDisconnections: 0\nServers:\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=142 match_index=141 last msg 728 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=134 match_index=141\nstatus: ok\n</code></pre>"},{"location":"ops/change-ovn-central-node/#_3","title":"\u7ed9\u200b\u8282\u70b9\u200b\u589e\u52a0\u200b\u6807\u7b7e\u200b\u5e76\u200b\u6269\u5bb9","text":"<p>\u200b\u6ce8\u610f\u200b\u9700\u5728\u200b ovn-central \u200b\u73af\u5883\u53d8\u91cf\u200b <code>NODE_IPS</code> \u200b\u7684\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u4e2d\u200b\u589e\u52a0\u200b\u4e0a\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</p> <pre><code>kubectl label node kube-ovn-control-plane2 kube-ovn/role=master\nkubectl scale deployment -n kube-system ovn-central --replicas=3\nkubectl set env deployment/ovn-central -n kube-system NODE_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\nkubectl rollout status deployment/ovn-central -n kube-system\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-central_6","title":"\u4fee\u6539\u200b\u5176\u4ed6\u200b\u7ec4\u4ef6\u200b\u8fde\u63a5\u200b ovn-central \u200b\u5730\u5740","text":"<p>\u200b\u4fee\u6539\u200b <code>ovs-ovn</code> \u200b\u5185\u200b\u8fde\u63a5\u200b\u4fe1\u606f\u200b\uff0c\u200b\u589e\u52a0\u200b\u4e0a\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\uff1a</p> <pre><code># kubectl set env daemonset/ovs-ovn -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\ndaemonset.apps/ovs-ovn env updated\n# kubectl delete pod -n kube-system -lapp=ovs\npod \"ovs-ovn-4f6jc\" deleted\npod \"ovs-ovn-csn2w\" deleted\npod \"ovs-ovn-mpbmb\" deleted\n</code></pre> <p>\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> \u200b\u5185\u200b\u8fde\u63a5\u200b\u4fe1\u606f\u200b\uff0c\u200b\u589e\u52a0\u200b\u4e0a\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\uff1a</p> <pre><code># kubectl set env deployment/kube-ovn-controller -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\ndeployment.apps/kube-ovn-controller env updated\n\n# kubectl rollout status deployment/kube-ovn-controller -n kube-system\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/delete-worker-node/","title":"\u5220\u9664\u200b\u5de5\u4f5c\u200b\u8282\u70b9","text":"<p>\u200b\u5982\u679c\u200b\u53ea\u662f\u200b\u7b80\u5355\u200b\u4ece\u200b Kubernetes \u200b\u4e2d\u200b\u5220\u9664\u200b\u8282\u70b9\u200b\uff0c\u200b\u7531\u4e8e\u200b\u8282\u70b9\u200b\u4e0a\u200b <code>ovs-ovn</code> \u200b\u4e2d\u200b\u8fd0\u884c\u200b\u7684\u200b <code>ovn-controller</code> \u200b\u8fdb\u7a0b\u200b\u4ecd\u200b\u5728\u200b\u8fd0\u884c\u200b\u4f1a\u200b\u5b9a\u671f\u200b\u8fde\u63a5\u200b <code>ovn-central</code> \u200b\u6ce8\u518c\u200b\u76f8\u5173\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\uff0c \u200b\u4f1a\u200b\u5bfc\u81f4\u200b\u989d\u5916\u200b\u8d44\u6e90\u200b\u6d6a\u8d39\u200b\u5e76\u200b\u6709\u200b\u6f5c\u5728\u200b\u7684\u200b\u89c4\u5219\u200b\u51b2\u7a81\u200b\u98ce\u9669\u200b\u3002 \u200b\u56e0\u6b64\u200b\u5728\u200b\u4ece\u200b Kubernetes \u200b\u5185\u200b\u5220\u9664\u200b\u8282\u70b9\u200b\u65f6\u200b\uff0c\u200b\u8bf7\u200b\u6309\u7167\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u6765\u200b\u4fdd\u8bc1\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\u53ef\u4ee5\u200b\u6b63\u5e38\u200b\u88ab\u200b\u6e05\u7406\u200b\u3002</p> <p>\u200b\u8be5\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b\u5220\u9664\u200b\u5de5\u4f5c\u200b\u8282\u70b9\u200b\u7684\u200b\u6b65\u9aa4\u200b\uff0c\u200b\u5982\u9700\u200b\u66f4\u6362\u200b <code>ovn-central</code> \u200b\u6240\u5728\u200b\u8282\u70b9\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b\u66f4\u6362\u200b ovn-central \u200b\u8282\u70b9\u200b\u3002</p>"},{"location":"ops/delete-worker-node/#_2","title":"\u9a71\u9010\u200b\u8282\u70b9\u200b\u4e0a\u200b\u6240\u6709\u200b\u5bb9\u5668","text":"<pre><code> # kubectl drain kube-ovn-worker --ignore-daemonsets --force\n node/kube-ovn-worker cordoned\n WARNING: ignoring DaemonSet-managed Pods: kube-system/kube-ovn-cni-zt74b, kube-system/kube-ovn-pinger-5rxfs, kube-system/kube-proxy-jpmnm, kube-system/ovs-ovn-v2kll\n evicting pod kube-system/coredns-64897985d-qsgpt\n evicting pod local-path-storage/local-path-provisioner-5ddd94ff66-llss6\n evicting pod kube-system/kube-ovn-controller-8459db5ff4-94lxb\n pod/kube-ovn-controller-8459db5ff4-94lxb evicted\n pod/coredns-64897985d-qsgpt evicted\n pod/local-path-provisioner-5ddd94ff66-llss6 evicted\n node/kube-ovn-worker drained\n</code></pre>"},{"location":"ops/delete-worker-node/#kubelet-docker","title":"\u505c\u6b62\u200b kubelet \u200b\u548c\u200b docker","text":"<p>\u200b\u8be5\u200b\u6b65\u9aa4\u200b\u4f1a\u200b\u505c\u6b62\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u4ee5\u200b\u907f\u514d\u200b\u5411\u200b <code>ovn-central</code> \u200b\u8fdb\u884c\u200b\u4fe1\u606f\u200b\u6ce8\u518c\u200b\uff0c\u200b\u767b\u5f55\u200b\u5230\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>systemctl stop kubelet\nsystemctl stop docker\n</code></pre> <p>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b\u7684\u200b CRI \u200b\u4e3a\u200b containerd\uff0c\u200b\u9700\u8981\u200b\u6267\u884c\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u6765\u200b\u505c\u6b62\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff1a</p> <pre><code>crictl rm -f $(crictl ps | grep openvswitch | awk '{print $1}')\n</code></pre>"},{"location":"ops/delete-worker-node/#node","title":"\u6e05\u7406\u200b Node \u200b\u4e0a\u200b\u7684\u200b\u6b8b\u7559\u200b\u6570\u636e","text":"<pre><code>rm -rf /var/run/openvswitch\nrm -rf /var/run/ovn\nrm -rf /etc/origin/openvswitch/\nrm -rf /etc/origin/ovn/\nrm -rf /etc/cni/net.d/00-kube-ovn.conflist\nrm -rf /etc/cni/net.d/01-kube-ovn.conflist\nrm -rf /var/log/openvswitch\nrm -rf /var/log/ovn\n</code></pre>"},{"location":"ops/delete-worker-node/#kubectl","title":"\u4f7f\u7528\u200b kubectl \u200b\u5220\u9664\u200b\u8282\u70b9","text":"<pre><code>kubectl delete no kube-ovn-01\n</code></pre>"},{"location":"ops/delete-worker-node/#ovn-sb","title":"\u68c0\u67e5\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b\u662f\u5426\u200b\u4ece\u200b ovn-sb \u200b\u4e2d\u200b\u5220\u9664","text":"<p>\u200b\u4e0b\u9762\u200b\u7684\u200b\u793a\u4f8b\u200b\u4e3a\u200b <code>kube-ovn-worker</code> \u200b\u4f9d\u7136\u200b\u672a\u200b\u88ab\u200b\u5220\u9664\u200b\uff1a</p> <pre><code># kubectl ko sbctl show\nChassis \"b0564934-5a0d-4804-a4c0-476c93596a17\"\n  hostname: kube-ovn-worker\n  Encap geneve\n      ip: \"172.18.0.2\"\n      options: {csum=\"true\"}\n  Port_Binding kube-ovn-pinger-5rxfs.kube-system\nChassis \"6a29de7e-d731-4eaf-bacd-2f239ee52b28\"\n  hostname: kube-ovn-control-plane\n  Encap geneve\n      ip: \"172.18.0.3\"\n      options: {csum=\"true\"}\n  Port_Binding coredns-64897985d-nbfln.kube-system\n  Port_Binding node-kube-ovn-control-plane\n  Port_Binding local-path-provisioner-5ddd94ff66-h4tn9.local-path-storage\n  Port_Binding kube-ovn-pinger-hf2p6.kube-system\n  Port_Binding coredns-64897985d-fhwlw.kube-system\n</code></pre>"},{"location":"ops/delete-worker-node/#chassis","title":"\u82e5\u200b\u8282\u70b9\u200b\u5bf9\u5e94\u200b\u7684\u200b chassis \u200b\u4f9d\u7136\u200b\u5b58\u5728\u200b\uff0c\u200b\u624b\u52a8\u200b\u8fdb\u884c\u200b\u5220\u9664","text":"<p>uuid \u200b\u4e3a\u200b\u4e4b\u524d\u200b\u547d\u4ee4\u200b\u6240\u200b\u67e5\u51fa\u200b\u7684\u200b Chassis \u200b\u5bf9\u5e94\u200b id\uff1a</p> <pre><code># kubectl ko sbctl chassis-del b0564934-5a0d-4804-a4c0-476c93596a17\n# kubectl ko sbctl show\nChassis \"6a29de7e-d731-4eaf-bacd-2f239ee52b28\"\n  hostname: kube-ovn-control-plane\n  Encap geneve\n      ip: \"172.18.0.3\"\n      options: {csum=\"true\"}\n  Port_Binding coredns-64897985d-nbfln.kube-system\n  Port_Binding node-kube-ovn-control-plane\n  Port_Binding local-path-provisioner-5ddd94ff66-h4tn9.local-path-storage\n  Port_Binding kube-ovn-pinger-hf2p6.kube-system\n  Port_Binding coredns-64897985d-fhwlw.kube-system\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/faq/","title":"\u5176\u4ed6\u200b\u5e38\u89c1\u95ee\u9898","text":""},{"location":"ops/faq/#arm","title":"\u9e92\u9e9f\u200b ARM \u200b\u7cfb\u7edf\u200b\u8de8\u200b\u4e3b\u673a\u200b\u5bb9\u5668\u200b\u8bbf\u95ee\u200b\u95f4\u6b47\u200b\u5931\u8d25","text":""},{"location":"ops/faq/#_2","title":"\u73b0\u8c61","text":"<p>\u200b\u9e92\u9e9f\u200b ARM \u200b\u7cfb\u7edf\u200b\u548c\u200b\u90e8\u5206\u200b\u56fd\u4ea7\u5316\u200b\u7f51\u5361\u200b offload \u200b\u914d\u5408\u200b\u5b58\u5728\u200b\u95ee\u9898\u200b\uff0c\u200b\u4f1a\u200b\u5bfc\u81f4\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u95f4\u6b47\u200b\u6545\u969c\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b <code>netstat</code> \u200b\u786e\u8ba4\u200b\u95ee\u9898\u200b\uff1a</p> <pre><code># netstat -us\nIcmpMsg:\n    InType0: 22\n    InType3: 24\n    InType8: 117852\n    OutType0: 117852\n    OutType3: 29\n    OutType8: 22\nUdp:\n    3040636 packets received\n    0 packets to unknown port received.\n    4 packet receive errors\n    602 packets sent\n    0 receive buffer errors\n    0 send buffer errors\n    InCsumErrors: 4\nUdpLite:\nIpExt:\n    InBcastPkts: 10244\n    InOctets: 4446320361\n    OutOctets: 1496815600\n    InBcastOctets: 3095950\n    InNoECTPkts: 7683903\n</code></pre> <p>\u200b\u82e5\u200b\u5b58\u5728\u200b <code>InCsumErrors</code>\uff0c\u200b\u4e14\u200b\u968f\u7740\u200b\u8bbf\u95ee\u200b\u5931\u8d25\u200b\u589e\u52a0\u200b\uff0c\u200b\u53ef\u200b\u786e\u8ba4\u200b\u662f\u200b\u8be5\u200b\u95ee\u9898\u200b\u3002</p>"},{"location":"ops/faq/#_3","title":"\u89e3\u51b3\u200b\u65b9\u6cd5","text":"<p>\u200b\u6839\u672c\u200b\u89e3\u51b3\u200b\u9700\u8981\u200b\u548c\u200b\u9e92\u9e9f\u200b\u4ee5\u53ca\u200b\u5bf9\u5e94\u200b\u7f51\u5361\u200b\u5382\u5546\u200b\u6c9f\u901a\u200b\uff0c\u200b\u66f4\u65b0\u200b\u7cfb\u7edf\u200b\u548c\u200b\u9a71\u52a8\u200b\u3002\u200b\u4e34\u65f6\u200b\u89e3\u51b3\u200b\u53ef\u200b\u5148\u200b\u5173\u95ed\u200b\u7269\u7406\u200b \u200b\u7f51\u5361\u200b\u7684\u200b <code>tx offload</code> \u200b\u4f46\u662f\u200b\u4f1a\u200b\u5bfc\u81f4\u200b tcp \u200b\u6027\u80fd\u200b\u6709\u200b\u8f83\u200b\u660e\u663e\u200b\u4e0b\u964d\u200b\u3002</p> <pre><code>ethtool -K eth0 tx off\n</code></pre> <p>\u200b\u7ecf\u200b\u793e\u533a\u200b\u53cd\u9988\u200b\u4f7f\u7528\u200b <code>4.19.90-25.16.v2101</code> \u200b\u5185\u6838\u200b\u540e\u200b\u53ef\u4ee5\u200b\u89e3\u51b3\u200b\u8be5\u200b\u95ee\u9898\u200b\u3002</p>"},{"location":"ops/faq/#pod-service","title":"Pod \u200b\u8bbf\u95ee\u200b Service \u200b\u4e0d\u901a","text":""},{"location":"ops/faq/#_4","title":"\u73b0\u8c61","text":"<p>Pod \u200b\u5185\u200b\u65e0\u6cd5\u8bbf\u95ee\u200b Service \u200b\u5bf9\u5e94\u200b\u7684\u200b\u670d\u52a1\u200b\uff0c<code>dmesg</code> \u200b\u663e\u793a\u200b\u5f02\u5e38\u200b\uff1a</p> <pre><code>netlink: Unknown conntrack attr (type=6, max=5)\nopenvswitch: netlink: Flow actions may not be safe on all matching packets.\n</code></pre> <p>\u200b\u8be5\u200b\u65e5\u5fd7\u200b\u8bf4\u660e\u200b\u5185\u6838\u200b\u5185\u200b OVS \u200b\u7248\u672c\u200b\u8fc7\u4f4e\u200b\u4e0d\u200b\u652f\u6301\u200b\u5bf9\u5e94\u200b NAT \u200b\u64cd\u4f5c\u200b\u3002</p>"},{"location":"ops/faq/#_5","title":"\u89e3\u51b3\u200b\u65b9\u6cd5","text":"<ol> <li>\u200b\u5347\u7ea7\u200b\u5185\u6838\u6a21\u5757\u200b\u6216\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u3002</li> <li>\u200b\u82e5\u200b\u53ea\u200b\u4f7f\u7528\u200b Overlay \u200b\u7f51\u7edc\u200b\u53ef\u4ee5\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> \u200b\u542f\u52a8\u200b\u53c2\u6570\u8bbe\u7f6e\u200b <code>--enable-lb=false</code> \u200b\u5173\u95ed\u200b OVN LB \u200b\u4f7f\u7528\u200b kube-proxy \u200b\u8fdb\u884c\u200b Service \u200b\u8f6c\u53d1\u200b\u3002</li> </ol>"},{"location":"ops/faq/#ovn-central","title":"ovn-central \u200b\u51fa\u73b0\u200b\u9891\u7e41\u200b\u9009\u4e3b","text":""},{"location":"ops/faq/#_6","title":"\u73b0\u8c61","text":"<p>\u200b\u4ece\u200b v1.11.x \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c1w Pod \u200b\u4ee5\u4e0a\u200b\u7684\u200b\u96c6\u7fa4\u200b\uff0c\u200b\u5982\u679c\u200b OVN NB \u200b\u6216\u8005\u200b SB \u200b\u51fa\u73b0\u200b\u9891\u7e41\u200b\u9009\u4e3b\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u80fd\u200b\u539f\u56e0\u200b\u662f\u200b Kube-OVN \u200b\u5468\u671f\u200b\u8fdb\u884c\u200b\u4e86\u200b ovsdb-server/compact \u200b\u52a8\u4f5c\u200b\uff0c\u200b\u5f71\u54cd\u200b\u5230\u200b\u9009\u4e3b\u200b\u903b\u8f91\u200b\u3002</p>"},{"location":"ops/faq/#_7","title":"\u89e3\u51b3\u200b\u65b9\u6cd5","text":"<p>\u200b\u53ef\u4ee5\u200b\u7ed9\u200b ovn-central \u200b\u914d\u7f6e\u200b\u73af\u5883\u53d8\u91cf\u200b\u5982\u4e0b\u200b\uff0c\u200b\u5173\u95ed\u200b compact\uff1a</p> <pre><code>- name: ENABLE_COMPACT\n  value: \"false\"\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/from-calico/","title":"\u5378\u8f7d\u200b Calico \u200b\u5b89\u88c5\u200b Kube-OVN","text":"<p>\u200b\u82e5\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u5df2\u200b\u5b89\u88c5\u200b Calico \u200b\u9700\u8981\u200b\u53d8\u66f4\u200b\u4e3a\u200b Kube-OVN \u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u672c\u200b\u6587\u6863\u200b\u3002</p> <p>\u200b\u672c\u6587\u200b\u4ee5\u200b Calico v3.24.1 \u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u5176\u5b83\u200b Calico \u200b\u7248\u672c\u200b\u9700\u8981\u200b\u6839\u636e\u200b\u5b9e\u9645\u200b\u60c5\u51b5\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\u3002</p>"},{"location":"ops/from-calico/#_1","title":"\u51c6\u5907\u200b\u5de5\u4f5c","text":"<p>\u200b\u4e3a\u4e86\u200b\u4fdd\u8bc1\u200b\u5207\u6362\u200b CNI \u200b\u8fc7\u7a0b\u200b\u4e2d\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u4fdd\u6301\u200b\u7545\u901a\u200b\uff0cCalico ippool \u200b\u9700\u8981\u200b\u5f00\u542f\u200b nat outgoing\uff0c\u200b\u6216\u200b\u5728\u200b\u6240\u6709\u200b\u8282\u70b9\u200b\u4e0a\u200b\u5173\u95ed\u200b rp_filter\uff1a</p> <pre><code>sysctl net.ipv4.conf.all.rp_filter=0\nsysctl net.ipv4.conf.default.rp_filter=0\n# IPIP \u200b\u6a21\u5f0f\u200b\nsysctl net.ipv4.conf.tunl0.rp_filter=0\n# VXLAN \u200b\u6a21\u5f0f\u200b\nsysctl net.ipv4.conf.vxlan/calico.rp_filter=0\n# \u200b\u8def\u7531\u200b\u6a21\u5f0f\u200b\uff0ceth0 \u200b\u9700\u8981\u200b\u4fee\u6539\u200b\u4e3a\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\nsysctl net.ipv4.conf.eth0.rp_filter=0\n</code></pre>"},{"location":"ops/from-calico/#kube-ovn","title":"\u90e8\u7f72\u200b Kube-OVN","text":""},{"location":"ops/from-calico/#_2","title":"\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c","text":"<pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre>"},{"location":"ops/from-calico/#_3","title":"\u4fee\u6539\u200b\u5b89\u88c5\u200b\u811a\u672c","text":"<p>\u200b\u5c06\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u91cd\u5efa\u200b Pod \u200b\u7684\u200b\u90e8\u5206\u200b\u5220\u9664\u200b\uff1a</p> <pre><code>echo \"[Step 4/6] Delete pod that not in host network mode\"\nfor ns in $(kubectl get ns --no-headers -o custom-columns=NAME:.metadata.name); do\n  for pod in $(kubectl get pod --no-headers -n \"$ns\" --field-selector spec.restartPolicy=Always -o custom-columns=NAME:.metadata.name,HOST:spec.hostNetwork | awk '{if ($2!=\"true\") print $1}'); do\n    kubectl delete pod \"$pod\" -n \"$ns\" --ignore-not-found\n  done\ndone\n</code></pre> <p>\u200b\u6309\u200b\u9700\u200b\u4fee\u6539\u200b\u4ee5\u4e0b\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>REGISTRY=\"kubeovn\"                     # \u200b\u955c\u50cf\u200b\u4ed3\u5e93\u200b\u5730\u5740\u200b\nVERSION=\"v1.13.0\"                      # \u200b\u955c\u50cf\u200b\u7248\u672c\u200b/Tag\nPOD_CIDR=\"10.16.0.0/16\"                # \u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u8981\u200b\u548c\u200b SVC/NODE/JOIN CIDR \u200b\u91cd\u53e0\u200b\nSVC_CIDR=\"10.96.0.0/12\"                # \u200b\u9700\u8981\u200b\u548c\u200b apiserver \u200b\u7684\u200b service-cluster-ip-range \u200b\u4fdd\u6301\u4e00\u81f4\u200b\nJOIN_CIDR=\"100.64.0.0/16\"              # Pod \u200b\u548c\u200b\u4e3b\u673a\u200b\u901a\u4fe1\u200b\u7f51\u7edc\u200b CIDR\uff0c\u200b\u4e0d\u8981\u200b\u548c\u200b SVC/NODE/POD CIDR \u200b\u91cd\u53e0\u200b \nLABEL=\"node-role.kubernetes.io/master\" # \u200b\u90e8\u7f72\u200b OVN DB \u200b\u8282\u70b9\u200b\u7684\u200b\u6807\u7b7e\u200b\nIFACE=\"\"                               # \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u6240\u200b\u4f7f\u7528\u200b\u7684\u200b\u7684\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u5982\u679c\u200b\u4e3a\u200b\u7a7a\u5219\u200b\u4f7f\u7528\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b Node IP \u200b\u6240\u5728\u200b\u7f51\u5361\u200b\nTUNNEL_TYPE=\"geneve\"                   # \u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\uff0c\u200b\u53ef\u200b\u9009\u200b geneve, vxlan \u200b\u6216\u200b stt\uff0cstt \u200b\u9700\u8981\u200b\u5355\u72ec\u200b\u7f16\u8bd1\u200b ovs \u200b\u5185\u6838\u6a21\u5757\u200b\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1aPOD_CIDR \u200b\u53ca\u200b JOIN_CIDR \u200b\u4e0d\u53ef\u200b\u4e0e\u200b Calico ippool \u200b\u7684\u200b CIDR \u200b\u51b2\u7a81\u200b\uff0c\u200b\u4e14\u200b POD_CIDR \u200b\u9700\u8981\u200b\u5305\u542b\u200b\u8db3\u591f\u200b\u591a\u200b\u7684\u200b IP \u200b\u6765\u200b\u5bb9\u7eb3\u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u5df2\u6709\u200b\u7684\u200b Pod\u3002</p>"},{"location":"ops/from-calico/#_4","title":"\u6267\u884c\u200b\u5b89\u88c5\u200b\u811a\u672c","text":"<pre><code>bash install.sh\n</code></pre>"},{"location":"ops/from-calico/#_5","title":"\u9010\u4e2a\u200b\u8282\u70b9\u200b\u8fc1\u79fb","text":"<p>\u200b\u6309\u7167\u200b\u4ee5\u4e0b\u200b\u65b9\u6cd5\u200b\u4e3a\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u9010\u4e2a\u200b\u8fdb\u884c\u200b\u8fc1\u79fb\u200b\u3002 \u200b\u6ce8\u610f\u200b\uff1a\u200b\u547d\u4ee4\u200b\u4e2d\u200b\u7684\u200b \\&lt;NODE&gt; \u200b\u9700\u8981\u200b\u66ff\u6362\u200b\u4e3a\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b\u3002</p>"},{"location":"ops/from-calico/#_6","title":"\u9a71\u9010\u200b\u8282\u70b9","text":"<pre><code>kubectl drain --ignore-daemonsets &lt;NODE&gt;\n</code></pre> <p>\u200b\u82e5\u6b64\u200b\u547d\u4ee4\u200b\u4e00\u76f4\u200b\u7b49\u5f85\u200b Pod \u200b\u88ab\u200b\u9a71\u9010\u200b\uff0c\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\u5f3a\u5236\u200b\u5220\u9664\u200b\u88ab\u200b\u9a71\u9010\u200b\u7684\u200b Pod\uff1a</p> <pre><code>kubectl get pod -A --field-selector=spec.nodeName=&lt;NODE&gt; --no-headers | \\\n    awk '$4==\"Terminating\" {print $1\" \"$2}' | \\\n    while read s; do kubectl delete pod --force -n $s; done\n</code></pre>"},{"location":"ops/from-calico/#_7","title":"\u91cd\u542f\u200b\u8282\u70b9","text":"<p>\u200b\u5728\u200b\u8282\u70b9\u200b\u4e2d\u200b\u6267\u884c\u200b\uff1a</p> <pre><code>shutdown -r 0\n</code></pre>"},{"location":"ops/from-calico/#_8","title":"\u6062\u590d\u200b\u8282\u70b9","text":"<pre><code>kubectl uncordon &lt;NODE&gt;\n</code></pre>"},{"location":"ops/from-calico/#calico","title":"\u5378\u8f7d\u200b Calico","text":""},{"location":"ops/from-calico/#k8s","title":"\u5220\u9664\u200b k8s \u200b\u8d44\u6e90","text":"<pre><code>kubectl -n kube-system delete deploy calico-kube-controllers\nkubectl -n kube-system delete ds calico-node\nkubectl -n kube-system delete cm calico-config\n# \u200b\u5220\u9664\u200b CRD \u200b\u53ca\u200b\u76f8\u5173\u200b\u8d44\u6e90\u200b\nkubectl get crd -o jsonpath='{range .items[*]}{.metadata.name}{\"\\n\"}{end}' | while read crd; do\n  if ! echo $crd | grep '.crd.projectcalico.org$' &gt;/dev/null; then\n    continue\n  fi\n\n  for name in $(kubectl get $crd -o jsonpath='{.items[*].metadata.name}'); do\n    kubectl delete $crd $name\n  done\n  kubectl delete crd $crd\ndone\n# \u200b\u5176\u5b83\u200b\u8d44\u6e90\u200b\nkubectl delete --ignore-not-found clusterrolebinding calico-node calico-kube-controllers\nkubectl delete --ignore-not-found clusterrole calico-node calico-kube-controllers\nkubectl delete --ignore-not-found sa -n kube-system calico-kube-controllers calico-node\nkubectl delete --ignore-not-found pdb -n kube-system calico-kube-controllers\n</code></pre>"},{"location":"ops/from-calico/#_9","title":"\u6e05\u7406\u200b\u8282\u70b9\u200b\u6587\u4ef6","text":"<p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e2d\u200b\u6267\u884c\u200b\uff1a</p> <pre><code>rm -f /etc/cni/net.d/10-calico.conflist /etc/cni/net.d/calico-kubeconfig\nrm -f /opt/cni/bin/calico /opt/cni/bin/calico-ipam\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/kubectl-ko/","title":"kubectl \u200b\u63d2\u4ef6\u200b\u4f7f\u7528","text":"<p>\u200b\u4e3a\u4e86\u200b\u65b9\u4fbf\u200b\u65e5\u5e38\u200b\u7684\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\uff0cKube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b kubectl \u200b\u63d2\u4ef6\u200b\u5de5\u5177\u200b\uff0c\u200b\u7f51\u7edc\u7ba1\u7406\u5458\u200b \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u8be5\u200b\u547d\u4ee4\u200b\u8fdb\u884c\u200b\u65e5\u5e38\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u4f8b\u5982\u200b\uff1a\u200b\u67e5\u770b\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u4fe1\u606f\u200b\u548c\u200b\u72b6\u6001\u200b\uff0cOVN \u200b\u6570\u636e\u5e93\u200b \u200b\u5907\u4efd\u200b\u548c\u200b\u6062\u590d\u200b\uff0cOVS \u200b\u76f8\u5173\u200b\u4fe1\u606f\u200b\u67e5\u770b\u200b\uff0ctcpdump \u200b\u7279\u5b9a\u200b\u5bb9\u5668\u200b\uff0c\u200b\u7279\u5b9a\u200b\u94fe\u8def\u200b\u903b\u8f91\u200b\u62d3\u6251\u200b\u5c55\u793a\u200b\uff0c \u200b\u7f51\u7edc\u200b\u95ee\u9898\u200b\u8bca\u65ad\u200b\u548c\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#_1","title":"\u63d2\u4ef6\u200b\u5b89\u88c5","text":"<p>Kube-OVN \u200b\u5b89\u88c5\u200b\u65f6\u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u90e8\u7f72\u200b\u63d2\u4ef6\u200b\u5230\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\uff0c\u200b\u82e5\u200b\u6267\u884c\u200b kubectl \u200b\u7684\u200b\u673a\u5668\u200b\u4e0d\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\uff0c \u200b\u6216\u200b\u9700\u8981\u200b\u91cd\u88c5\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u53ef\u200b\u53c2\u8003\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\uff1a</p> <p>\u200b\u4e0b\u8f7d\u200b <code>kubectl-ko</code> \u200b\u6587\u4ef6\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/kubectl-ko\n</code></pre> <p>\u200b\u5c06\u200b\u8be5\u200b\u6587\u4ef6\u200b\u79fb\u52a8\u200b\u81f3\u200b <code>$PATH</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\uff1a</p> <pre><code>mv kubectl-ko /usr/local/bin/kubectl-ko\n</code></pre> <p>\u200b\u589e\u52a0\u200b\u53ef\u200b\u6267\u884c\u200b\u6743\u9650\u200b\uff1a</p> <pre><code>chmod +x /usr/local/bin/kubectl-ko\n</code></pre> <p>\u200b\u68c0\u67e5\u200b\u63d2\u4ef6\u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u6b63\u5e38\u200b\u4f7f\u7528\u200b\uff1a</p> <pre><code># kubectl plugin list\nThe following compatible plugins are available:\n\n/usr/local/bin/kubectl-ko\n</code></pre>"},{"location":"ops/kubectl-ko/#_2","title":"\u63d2\u4ef6\u200b\u4f7f\u7528","text":"<p>\u200b\u8fd0\u884c\u200b <code>kubectl ko</code> \u200b\u4f1a\u200b\u5c55\u793a\u200b\u8be5\u200b\u63d2\u4ef6\u200b\u6240\u6709\u200b\u53ef\u7528\u200b\u7684\u200b\u547d\u4ee4\u200b\u548c\u200b\u7528\u6cd5\u200b\u63cf\u8ff0\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code># kubectl ko\nkubectl ko {subcommand} [option...]\nAvailable Subcommands:\n  [nb|sb] [status|kick|backup|dbstatus|restore]     ovn-db operations show cluster status, kick stale server, backup database, get db consistency status or restore ovn nb db when met 'inconsistent data' error\n  nbctl [ovn-nbctl options ...]    invoke ovn-nbctl\n  sbctl [ovn-sbctl options ...]    invoke ovn-sbctl\n  vsctl {nodeName} [ovs-vsctl options ...]   invoke ovs-vsctl on the specified node\n  ofctl {nodeName} [ovs-ofctl options ...]   invoke ovs-ofctl on the specified node\n  dpctl {nodeName} [ovs-dpctl options ...]   invoke ovs-dpctl on the specified node\n  appctl {nodeName} [ovs-appctl options ...]   invoke ovs-appctl on the specified node\n  tcpdump {namespace/podname} [tcpdump options ...]     capture pod traffic\n  {trace|ovn-trace} ...    trace ovn microflow of specific packet\"\n    {trace|ovn-trace} {namespace/podname} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]    trace ICMP/TCP/UDP\n    {trace|ovn-trace} {namespace/podname} {target ip address} [target mac address] arp {request|reply}                     trace ARP request/reply\n    {trace|ovn-trace} {node//nodename} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]       trace ICMP/TCP/UDP\n    {trace|ovn-trace} {node//nodename} {target ip address} [target mac address] arp {request|reply}                        trace ARP request/reply\n  echo \"  diagnose {all|node|subnet|IPPorts} [nodename|subnetName|{proto1}-{IP1}-{Port1},{proto2}-{IP2}-{Port2}]    diagnose connectivity of all nodes or a specific node or specify subnet's ds pod or IPPorts like 'tcp-172.18.0.2-53,udp-172.18.0.3-53'\"\n  tuning {install-fastpath|local-install-fastpath|remove-fastpath|install-stt|local-install-stt|remove-stt} {centos7|centos8}} [kernel-devel-version]  deploy  kernel optimisation components to the system\n  reload    restart all kube-ovn components\n  log {kube-ovn|ovn|ovs|linux|all}    save log to ./kubectl-ko-log/\n  perf [image] performance test default image is kubeovn/test:v1.12.0  \n</code></pre> <p>\u200b\u4e0b\u9762\u200b\u5c06\u200b\u4ecb\u7ecd\u200b\u6bcf\u4e2a\u200b\u547d\u4ee4\u200b\u7684\u200b\u5177\u4f53\u200b\u529f\u80fd\u200b\u548c\u200b\u4f7f\u7528\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#nb-sb-status-kick-backup-dbstatus-restore","title":"[nb | sb] [status | kick | backup | dbstatus | restore]","text":"<p>\u200b\u8be5\u5b50\u200b\u547d\u4ee4\u200b\u4e3b\u8981\u200b\u5bf9\u200b OVN \u200b\u5317\u5411\u200b\u6216\u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5305\u62ec\u200b\u6570\u636e\u5e93\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u67e5\u770b\u200b\uff0c\u200b\u6570\u636e\u5e93\u200b\u8282\u70b9\u200b\u4e0b\u7ebf\u200b\uff0c \u200b\u6570\u636e\u5e93\u200b\u5907\u4efd\u200b\uff0c\u200b\u6570\u636e\u5e93\u200b\u5b58\u50a8\u72b6\u6001\u200b\u67e5\u770b\u200b\u548c\u200b\u6570\u636e\u5e93\u200b\u4fee\u590d\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#_3","title":"\u6570\u636e\u5e93\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u67e5\u770b","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u5728\u200b\u5bf9\u5e94\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u7684\u200b leader \u200b\u8282\u70b9\u200b\u6267\u884c\u200b <code>ovs-appctl cluster/status</code> \u200b\u5c55\u793a\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b:</p> <pre><code># kubectl ko nb status\n306b\nName: OVN_Northbound\nCluster ID: 9a87 (9a872522-3e7d-47ca-83a3-d74333e1a7ca)\nServer ID: 306b (306b256b-b5e1-4eb0-be91-4ca96adf6bad)\nAddress: tcp:[172.18.0.2]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 280309 ms ago, reason: timeout\nLast Election won: 280309 ms ago\nElection timer: 5000\nLog: [139, 139]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-8723 -&gt;8723 &lt;-85d6 -&gt;85d6\nDisconnections: 0\nServers:\n    85d6 (85d6 at tcp:[172.18.0.4]:6643) next_index=139 match_index=138 last msg 763 ms ago\n    8723 (8723 at tcp:[172.18.0.3]:6643) next_index=139 match_index=138 last msg 763 ms ago\n    306b (306b at tcp:[172.18.0.2]:6643) (self) next_index=2 match_index=138\nstatus: ok\n</code></pre> <p>\u200b\u82e5\u200b <code>Server</code> \u200b\u4e0b\u200b\u7684\u200b <code>match_index</code> \u200b\u51fa\u73b0\u200b\u8f83\u5927\u200b\u5dee\u522b\u200b\uff0c\u200b\u4e14\u200b <code>last msg</code> \u200b\u65f6\u95f4\u200b\u8f83\u957f\u200b\u5219\u200b\u5bf9\u5e94\u200b Server \u200b\u53ef\u80fd\u200b\u957f\u65f6\u95f4\u200b\u6ca1\u6709\u54cd\u5e94\u200b\uff0c \u200b\u9700\u8981\u200b\u8fdb\u4e00\u6b65\u200b\u67e5\u770b\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#_4","title":"\u6570\u636e\u5e93\u200b\u8282\u70b9\u200b\u4e0b\u7ebf","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u5c06\u200b\u67d0\u4e2a\u200b\u8282\u70b9\u200b\u4ece\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u4e2d\u200b\u79fb\u9664\u200b\uff0c\u200b\u5728\u200b\u8282\u70b9\u200b\u4e0b\u7ebf\u200b\u6216\u200b\u66f4\u6362\u200b\u8282\u70b9\u200b\u65f6\u200b\u9700\u8981\u200b\u7528\u5230\u200b\u3002 \u200b\u4e0b\u9762\u200b\u5c06\u200b\u4ee5\u4e0a\u200b\u4e00\u6761\u200b\u547d\u4ee4\u200b\u6240\u200b\u67e5\u770b\u200b\u5230\u200b\u7684\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u4e0b\u7ebf\u200b <code>172.18.0.3</code> \u200b\u8282\u70b9\u200b:</p> <pre><code># kubectl ko nb kick 8723\nstarted removal\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u67e5\u770b\u200b\u6570\u636e\u5e93\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u786e\u8ba4\u200b\u8282\u70b9\u200b\u5df2\u200b\u79fb\u9664\u200b\uff1a</p> <pre><code># kubectl ko nb status\n306b\nName: OVN_Northbound\nCluster ID: 9a87 (9a872522-3e7d-47ca-83a3-d74333e1a7ca)\nServer ID: 306b (306b256b-b5e1-4eb0-be91-4ca96adf6bad)\nAddress: tcp:[172.18.0.2]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 324356 ms ago, reason: timeout\nLast Election won: 324356 ms ago\nElection timer: 5000\nLog: [140, 140]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-85d6 -&gt;85d6\nDisconnections: 2\nServers:\n    85d6 (85d6 at tcp:[172.18.0.4]:6643) next_index=140 match_index=139 last msg 848 ms ago\n    306b (306b at tcp:[172.18.0.2]:6643) (self) next_index=2 match_index=139\nstatus: ok\n</code></pre>"},{"location":"ops/kubectl-ko/#_5","title":"\u6570\u636e\u5e93\u200b\u5907\u4efd","text":"<p>\u200b\u8be5\u5b50\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u5907\u4efd\u200b\u5f53\u524d\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u81f3\u200b\u672c\u5730\u200b\uff0c\u200b\u53ef\u200b\u7528\u4e8e\u200b\u707e\u5907\u200b\u548c\u200b\u6062\u590d\u200b\uff1a</p> <pre><code># kubectl ko nb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnnb_db.060223191654183154.backup\n</code></pre>"},{"location":"ops/kubectl-ko/#_6","title":"\u6570\u636e\u5e93\u200b\u5b58\u50a8\u72b6\u6001\u200b\u67e5\u770b","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u7528\u6765\u200b\u67e5\u770b\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u662f\u5426\u200b\u5b58\u5728\u200b\u635f\u574f\u200b\uff1a</p> <pre><code># kubectl ko nb dbstatus\nstatus: ok\n</code></pre> <p>\u200b\u82e5\u200b\u5f02\u5e38\u200b\u5219\u200b\u663e\u793a\u200b <code>inconsistent data</code> \u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u8fdb\u884c\u200b\u4fee\u590d\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#_7","title":"\u6570\u636e\u5e93\u200b\u4fee\u590d","text":"<p>\u200b\u82e5\u200b\u6570\u636e\u5e93\u200b\u72b6\u6001\u200b\u8fdb\u5165\u200b <code>inconsistent data</code> \u200b\u53ef\u200b\u4f7f\u7528\u200b\u8be5\u200b\u547d\u4ee4\u200b\u8fdb\u884c\u200b\u4fee\u590d\u200b\uff1a</p> <pre><code># kubectl ko nb restore\ndeployment.apps/ovn-central scaled\novn-central original replicas is 3\nfirst nodeIP is 172.18.0.5\novs-ovn pod on node 172.18.0.5 is ovs-ovn-8jxv9\novs-ovn pod on node 172.18.0.3 is ovs-ovn-sjzb6\novs-ovn pod on node 172.18.0.4 is ovs-ovn-t87zk\nbackup nb db file\nrestore nb db file, operate in pod ovs-ovn-8jxv9\ndeployment.apps/ovn-central scaled\nfinish restore nb db file and ovn-central replicas\nrecreate ovs-ovn pods\npod \"ovs-ovn-8jxv9\" deleted\npod \"ovs-ovn-sjzb6\" deleted\npod \"ovs-ovn-t87zk\" deleted\n</code></pre>"},{"location":"ops/kubectl-ko/#nbctl-sbctl-options","title":"[nbctl | sbctl] [options ...]","text":"<p>\u200b\u8be5\u5b50\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b OVN \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u6216\u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b \u200b\u7684\u200b leader \u200b\u8282\u70b9\u200b\u5206\u522b\u200b\u6267\u884c\u200b <code>ovn-nbctl</code> \u200b\u548c\u200b <code>ovn-sbctl</code> \u200b\u547d\u4ee4\u200b\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVN \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovn-nbctl(8) \u200b\u548c\u200b ovn-sbctl(8)\u3002</p> <pre><code># kubectl ko nbctl show\nswitch c7cd17e8-ceee-4a91-9bb3-e5a313fe1ece (snat)\n    port snat-ovn-cluster\n        type: router\n        router-port: ovn-cluster-snat\nswitch 20e0c6d0-023a-4756-aec5-200e0c60f95d (join)\n    port node-liumengxin-ovn3-192.168.137.178\n        addresses: [\"00:00:00:64:FF:A8 100.64.0.4\"]\n    port node-liumengxin-ovn1-192.168.137.176\n        addresses: [\"00:00:00:AF:98:62 100.64.0.2\"]\n    port node-liumengxin-ovn2-192.168.137.177\n        addresses: [\"00:00:00:D9:58:B8 100.64.0.3\"]\n    port join-ovn-cluster\n        type: router\n        router-port: ovn-cluster-join\nswitch 0191705c-f827-427b-9de3-3c3b7d971ba5 (central)\n    port central-ovn-cluster\n        type: router\n        router-port: ovn-cluster-central\nswitch 2a45ff05-388d-4f85-9daf-e6fccd5833dc (ovn-default)\n    port alertmanager-main-0.monitoring\n        addresses: [\"00:00:00:6C:DF:A3 10.16.0.19\"]\n    port kube-state-metrics-5d6885d89-4nf8h.monitoring\n        addresses: [\"00:00:00:6F:02:1C 10.16.0.15\"]\n    port fake-kubelet-67c55dfd89-pv86k.kube-system\n        addresses: [\"00:00:00:5C:12:E8 10.16.19.177\"]\n    port ovn-default-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-default\nrouter 212f73dd-d63d-4d72-864b-a537e9afbee1 (ovn-cluster)\n    port ovn-cluster-snat\n        mac: \"00:00:00:7A:82:8F\"\n        networks: [\"172.22.0.1/16\"]\n    port ovn-cluster-join\n        mac: \"00:00:00:F8:18:5A\"\n        networks: [\"100.64.0.1/16\"]\n    port ovn-cluster-central\n        mac: \"00:00:00:4D:8C:F5\"\n        networks: [\"192.101.0.1/16\"]\n    port ovn-cluster-ovn-default\n        mac: \"00:00:00:A3:F8:18\"\n        networks: [\"10.16.0.1/16\"]\n</code></pre>"},{"location":"ops/kubectl-ko/#vsctl-nodename-options","title":"vsctl {nodeName} [options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b\u5bf9\u5e94\u200b <code>nodeName</code> \u200b\u4e0a\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b <code>ovs-vsctl</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u8be2\u200b\u5e76\u200b\u914d\u7f6e\u200b <code>vswitchd</code>\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVS \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovs-vsctl(8)\u3002</p> <pre><code># kubectl ko vsctl kube-ovn-01 show\n0d4c4675-c9cc-440a-8c1a-878e17f81b88\n    Bridge br-int\n        fail_mode: secure\n        datapath_type: system\n        Port a2c1a8a8b83a_h\n            Interface a2c1a8a8b83a_h\n        Port \"4fa5c4cbb1a5_h\"\n            Interface \"4fa5c4cbb1a5_h\"\n        Port ovn-eef07d-0\n            Interface ovn-eef07d-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.178\"}\n        Port ovn0\n            Interface ovn0\n                type: internal\n        Port mirror0\n            Interface mirror0\n                type: internal\n        Port ovn-efa253-0\n            Interface ovn-efa253-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.177\"}\n        Port br-int\n            Interface br-int\n                type: internal\n    ovs_version: \"2.17.2\"\n</code></pre>"},{"location":"ops/kubectl-ko/#ofctl-nodename-options","title":"ofctl {nodeName} [options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b\u5bf9\u5e94\u200b <code>nodeName</code> \u200b\u4e0a\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b <code>ovs-ofctl</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u8be2\u200b\u6216\u200b\u7ba1\u7406\u200b OpenFlow\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVS \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovs-ofctl(8)\u3002</p> <pre><code># kubectl ko ofctl kube-ovn-01 dump-flows br-int\nNXST_FLOW reply (xid=0x4): flags=[more]\n cookie=0xcf3429e6, duration=671791.432s, table=0, n_packets=0, n_bytes=0, idle_age=65534, hard_age=65534, priority=100,in_port=2 actions=load:0x4-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x1-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0xc91413c6, duration=671791.431s, table=0, n_packets=907489, n_bytes=99978275, idle_age=0, hard_age=65534, priority=100,in_port=7 actions=load:0x1-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x4-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0xf180459, duration=671791.431s, table=0, n_packets=17348582, n_bytes=2667811214, idle_age=0, hard_age=65534, priority=100,in_port=6317 actions=load:0xa-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x9-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0x7806dd90, duration=671791.431s, table=0, n_packets=3235428, n_bytes=833821312, idle_age=0, hard_age=65534, priority=100,in_port=1 actions=load:0xd-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x3-&gt;NXM_NX_REG14[],resubmit(,8)\n...\n</code></pre>"},{"location":"ops/kubectl-ko/#dpctl-nodename-options","title":"dpctl {nodeName} [options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b\u5bf9\u5e94\u200b <code>nodeName</code> \u200b\u4e0a\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b <code>ovs-dpctl</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u8be2\u200b\u6216\u200b\u7ba1\u7406\u200b OVS datapath\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVS \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovs-dpctl(8)\u3002</p> <pre><code># kubectl ko dpctl kube-ovn-01 show\nsystem@ovs-system:\n  lookups: hit:350805055 missed:21983648 lost:73\n  flows: 105\n  masks: hit:1970748791 total:22 hit/pkt:5.29\n  port 0: ovs-system (internal)\n  port 1: ovn0 (internal)\n  port 2: mirror0 (internal)\n  port 3: br-int (internal)\n  port 4: stt_sys_7471 (stt: packet_type=ptap)\n  port 5: eeb4d9e51b5d_h\n  port 6: a2c1a8a8b83a_h\n  port 7: 4fa5c4cbb1a5_h\n</code></pre>"},{"location":"ops/kubectl-ko/#appctl-nodename-options","title":"appctl {nodeName} [options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b\u5bf9\u5e94\u200b <code>nodeName</code> \u200b\u4e0a\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b <code>ovs-appctl</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u6765\u200b\u64cd\u4f5c\u200b\u76f8\u5173\u200b daemon \u200b\u8fdb\u7a0b\u200b\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVS \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovs-appctl(8)\u3002</p> <pre><code># kubectl ko appctl kube-ovn-01 vlog/list\n                 console    syslog    file\n                 -------    ------    ------\nbacktrace          OFF        ERR       INFO\nbfd                OFF        ERR       INFO\nbond               OFF        ERR       INFO\nbridge             OFF        ERR       INFO\nbundle             OFF        ERR       INFO\nbundles            OFF        ERR       INFO\n...\n</code></pre>"},{"location":"ops/kubectl-ko/#tcpdump-namespacepodname-tcpdump-options","title":"tcpdump {namespace/podname} [tcpdump options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b <code>namespace/podname</code> \u200b\u6240\u5728\u200b\u673a\u5668\u200b\u7684\u200b <code>kube-ovn-cni</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b <code>tcpdump</code> \u200b\u6293\u53d6\u200b\u5bf9\u5e94\u200b\u5bb9\u5668\u200b veth \u200b\u7f51\u5361\u200b \u200b\u7aef\u7684\u200b\u6d41\u91cf\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u65b9\u4fbf\u200b\u6392\u67e5\u200b\u7f51\u7edc\u200b\u76f8\u5173\u200b\u95ee\u9898\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code># kubectl ko tcpdump default/ds1-l6n7p icmp\n+ kubectl exec -it kube-ovn-cni-wlg4s -n kube-ovn -- tcpdump -nn -i d7176fe7b4e0_h icmp\ntcpdump: verbose output suppressed, use -v or -vv for full protocol decode\nlistening on d7176fe7b4e0_h, link-type EN10MB (Ethernet), capture size 262144 bytes\n06:52:36.619688 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 1, length 64\n06:52:36.619746 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 1, length 64\n06:52:37.619588 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 2, length 64\n06:52:37.619630 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 2, length 64\n06:52:38.619933 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 3, length 64\n06:52:38.619973 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 3, length 64\n</code></pre>"},{"location":"ops/kubectl-ko/#trace-arguments","title":"trace [arguments ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u5c06\u4f1a\u200b\u6253\u5370\u200b Pod \u200b\u6216\u200b\u8282\u70b9\u200b\u901a\u8fc7\u200b\u7279\u5b9a\u200b\u534f\u8bae\u200b\u8bbf\u95ee\u200b\u67d0\u200b\u5730\u5740\u200b\u65f6\u200b\u5bf9\u5e94\u200b\u7684\u200b OVN \u200b\u903b\u8f91\u200b\u6d41\u8868\u200b\u548c\u200b\u6700\u7ec8\u200b\u7684\u200b Openflow \u200b\u6d41\u8868\u200b\uff0c \u200b\u65b9\u4fbf\u200b\u5f00\u53d1\u200b\u6216\u200b\u8fd0\u7ef4\u65f6\u200b\u5b9a\u4f4d\u200b\u6d41\u8868\u200b\u76f8\u5173\u200b\u95ee\u9898\u200b\u3002</p> <p>\u200b\u652f\u6301\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>kubectl ko trace {namespace/podname} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]\nkubectl ko trace {namespace/podname} {target ip address} [target mac address] arp {request|reply}\nkubectl ko trace {node//nodename} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]\nkubectl ko trace {node//nodename} {target ip address} [target mac address] arp {request|reply}\n</code></pre> <p>\u200b\u793a\u4f8b\u200b\uff1a</p> <pre><code># kubectl ko trace default/ds1-l6n7p 8.8.8.8 icmp\n+ kubectl exec ovn-central-5bc494cb5-np9hm -n kube-ovn -- ovn-trace --ct=new ovn-default 'inport == \"ds1-l6n7p.default\" &amp;&amp; ip.ttl == 64 &amp;&amp; icmp &amp;&amp; eth.src == 0a:00:00:10:00:05 &amp;&amp; ip4.src == 10.16.0.4 &amp;&amp; eth.dst == 00:00:00:B8:CA:43 &amp;&amp; ip4.dst == 8.8.8.8'\n# icmp,reg14=0xf,vlan_tci=0x0000,dl_src=0a:00:00:10:00:05,dl_dst=00:00:00:b8:ca:43,nw_src=10.16.0.4,nw_dst=8.8.8.8,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=0,icmp_code=0\n\ningress(dp=\"ovn-default\", inport=\"ds1-l6n7p.default\")\n-----------------------------------------------------\n 0. ls_in_port_sec_l2 (ovn-northd.c:4143): inport == \"ds1-l6n7p.default\" &amp;&amp; eth.src == {0a:00:00:10:00:05}, priority 50, uuid 39453393\n    next;\n 1. ls_in_port_sec_ip (ovn-northd.c:2898): inport == \"ds1-l6n7p.default\" &amp;&amp; eth.src == 0a:00:00:10:00:05 &amp;&amp; ip4.src == {10.16.0.4}, priority 90, uuid 81bcd485\n    next;\n 3. ls_in_pre_acl (ovn-northd.c:3269): ip, priority 100, uuid 7b4f4971\n    reg0[0] = 1;\n    next;\n 5. ls_in_pre_stateful (ovn-northd.c:3396): reg0[0] == 1, priority 100, uuid 36cdd577\n    ct_next;\n\nct_next(ct_state=new|trk)\n-------------------------\n 6. ls_in_acl (ovn-northd.c:3759): ip &amp;&amp; (!ct.est || (ct.est &amp;&amp; ct_label.blocked == 1)), priority 1, uuid 7608af5b\n    reg0[1] = 1;\n    next;\n10. ls_in_stateful (ovn-northd.c:3995): reg0[1] == 1, priority 100, uuid 2aba1b90\n    ct_commit(ct_label=0/0x1);\n    next;\n16. ls_in_l2_lkup (ovn-northd.c:4470): eth.dst == 00:00:00:b8:ca:43, priority 50, uuid 5c9c3c9f\n    outport = \"ovn-default-ovn-cluster\";\n    output;\n\n...\n</code></pre> <p>\u200b\u82e5\u200b trace \u200b\u5bf9\u8c61\u200b\u4e3a\u200b\u8fd0\u884c\u200b\u4e8e\u200b Underlay \u200b\u7f51\u7edc\u200b\u4e0b\u200b\u7684\u200b\u865a\u62df\u673a\u200b\uff0c\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u989d\u5916\u200b\u53c2\u6570\u200b\u6765\u200b\u6307\u5b9a\u200b\u76ee\u7684\u200b Mac \u200b\u5730\u5740\u200b\uff1a</p> <pre><code>kubectl ko trace default/virt-handler-7lvml 8.8.8.8 82:7c:9f:83:8c:01 icmp\n</code></pre>"},{"location":"ops/kubectl-ko/#diagnose-allnodesubnetipports-nodenamesubnetnameproto1-ip1-port1proto2-ip2-port2","title":"diagnose {all|node|subnet|IPPorts} [nodename|subnetName|{proto1}-{IP1}-{Port1},{proto2}-{IP2}-{Port2}]","text":"<p>\u200b\u8bca\u65ad\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u7ec4\u4ef6\u200b\u72b6\u6001\u200b\uff0c\u200b\u5e76\u200b\u53bb\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b\u7684\u200b <code>kube-ovn-pinger</code> \u200b\u68c0\u6d4b\u200b\u5f53\u524d\u200b\u8282\u70b9\u200b\u5230\u200b\u5176\u4ed6\u200b\u8282\u70b9\u200b\u548c\u200b\u5173\u952e\u200b\u670d\u52a1\u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u548c\u200b\u7f51\u7edc\u200b\u5ef6\u8fdf\u200b\uff1a</p> <pre><code># kubectl ko diagnose all\nswitch c7cd17e8-ceee-4a91-9bb3-e5a313fe1ece (snat)\n    port snat-ovn-cluster\n        type: router\n        router-port: ovn-cluster-snat\nswitch 20e0c6d0-023a-4756-aec5-200e0c60f95d (join)\n    port node-liumengxin-ovn3-192.168.137.178\n        addresses: [\"00:00:00:64:FF:A8 100.64.0.4\"]\n    port node-liumengxin-ovn1-192.168.137.176\n        addresses: [\"00:00:00:AF:98:62 100.64.0.2\"]\n    port join-ovn-cluster\n        type: router\n        router-port: ovn-cluster-join\nswitch 0191705c-f827-427b-9de3-3c3b7d971ba5 (central)\n    port central-ovn-cluster\n        type: router\n        router-port: ovn-cluster-central\nswitch 2a45ff05-388d-4f85-9daf-e6fccd5833dc (ovn-default)\n    port ovn-default-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-default\n    port prometheus-k8s-1.monitoring\n        addresses: [\"00:00:00:AA:37:DF 10.16.0.23\"]\nrouter 212f73dd-d63d-4d72-864b-a537e9afbee1 (ovn-cluster)\n    port ovn-cluster-snat\n        mac: \"00:00:00:7A:82:8F\"\n        networks: [\"172.22.0.1/16\"]\n    port ovn-cluster-join\n        mac: \"00:00:00:F8:18:5A\"\n        networks: [\"100.64.0.1/16\"]\n    port ovn-cluster-central\n        mac: \"00:00:00:4D:8C:F5\"\n        networks: [\"192.101.0.1/16\"]\n    port ovn-cluster-ovn-default\n        mac: \"00:00:00:A3:F8:18\"\n        networks: [\"10.16.0.1/16\"]\nRouting Policies\n     31000                            ip4.dst == 10.16.0.0/16           allow\n     31000                           ip4.dst == 100.64.0.0/16           allow\n     30000                         ip4.dst == 192.168.137.177         reroute                100.64.0.3\n     30000                         ip4.dst == 192.168.137.178         reroute                100.64.0.4\n     29000                 ip4.src == $ovn.default.fake.6_ip4         reroute               100.64.0.22\n     29000                 ip4.src == $ovn.default.fake.7_ip4         reroute               100.64.0.21\n     29000                 ip4.src == $ovn.default.fake.8_ip4         reroute               100.64.0.23\n     29000 ip4.src == $ovn.default.liumengxin.ovn3.192.168.137.178_ip4         reroute                100.64.0.4\n     20000 ip4.src == $ovn.default.liumengxin.ovn1.192.168.137.176_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.2\n     20000 ip4.src == $ovn.default.liumengxin.ovn2.192.168.137.177_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.3\n     20000 ip4.src == $ovn.default.liumengxin.ovn3.192.168.137.178_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.4\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0                100.64.0.1 dst-ip\nUUID                                    LB                  PROTO      VIP                     IPs\ne9bcfd9d-793e-4431-9073-6dec96b75d71    cluster-tcp-load    tcp        10.100.209.132:10660    192.168.137.176:10660\n                                                            tcp        10.101.239.192:6641     192.168.137.177:6641\n                                                            tcp        10.101.240.101:3000     10.16.0.7:3000\n                                                            tcp        10.103.184.186:6642     192.168.137.177:6642\n35d2b7a5-e3a7-485a-a4b7-b4970eb0e63b    cluster-tcp-sess    tcp        10.100.158.128:8080     10.16.0.10:8080,10.16.0.5:8080,10.16.63.30:8080\n                                                            tcp        10.107.26.215:8080      10.16.0.19:8080,10.16.0.20:8080,10.16.0.21:8080\n                                                            tcp        10.107.26.215:9093      10.16.0.19:9093,10.16.0.20:9093,10.16.0.21:9093\n                                                            tcp        10.98.187.99:8080       10.16.0.22:8080,10.16.0.23:8080\n                                                            tcp        10.98.187.99:9090       10.16.0.22:9090,10.16.0.23:9090\nf43303e4-89aa-4d3e-a3dc-278a552fe27b    cluster-udp-load    udp        10.96.0.10:53           10.16.0.4:53,10.16.0.9:53\n_uuid               : 06776304-5a96-43ed-90c4-c4854c251699\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn2_192.168.137.177_underlay_v6\n\n_uuid               : 62690625-87d5-491c-8675-9fd83b1f433c\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn1_192.168.137.176_underlay_v6\n\n_uuid               : b03a9bae-94d5-4562-b34c-b5f6198e180b\naddresses           : [\"10.16.0.0/16\", \"100.64.0.0/16\", \"172.22.0.0/16\", \"192.101.0.0/16\"]\nexternal_ids        : {vendor=kube-ovn}\nname                : ovn.cluster.overlay.subnets.IPv4\n\n_uuid               : e1056f3a-24cc-4666-8a91-75ee6c3c2426\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : ovn.cluster.overlay.subnets.IPv6\n\n_uuid               : 3e5d5fff-e670-47b2-a2f5-a39f4698a8c5\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn3_192.168.137.178_underlay_v6\n_uuid               : 2d85dbdc-d0db-4abe-b19e-cc806d32b492\naction              : drop\ndirection           : from-lport\nexternal_ids        : {}\nlabel               : 0\nlog                 : false\nmatch               : \"inport==@ovn.sg.kubeovn_deny_all &amp;&amp; ip\"\nmeter               : []\nname                : []\noptions             : {}\npriority            : 2003\nseverity            : []\n\n_uuid               : de790cc8-f155-405f-bb32-5a51f30c545f\naction              : drop\ndirection           : to-lport\nexternal_ids        : {}\nlabel               : 0\nlog                 : false\nmatch               : \"outport==@ovn.sg.kubeovn_deny_all &amp;&amp; ip\"\nmeter               : []\nname                : []\noptions             : {}\npriority            : 2003\nseverity            : []\nChassis \"e15ed4d4-1780-4d50-b09e-ea8372ed48b8\"\n    hostname: liumengxin-ovn1-192.168.137.176\n    Encap stt\n        ip: \"192.168.137.176\"\n        options: {csum=\"true\"}\n    Port_Binding node-liumengxin-ovn1-192.168.137.176\n    Port_Binding perf-6vxkn.default\n    Port_Binding kube-state-metrics-5d6885d89-4nf8h.monitoring\n    Port_Binding alertmanager-main-0.monitoring\n    Port_Binding kube-ovn-pinger-6ftdf.kube-system\n    Port_Binding fake-kubelet-67c55dfd89-pv86k.kube-system\n    Port_Binding prometheus-k8s-0.monitoring\nChassis \"eef07da1-f8ad-4775-b14d-bd6a3b4eb0d5\"\n    hostname: liumengxin-ovn3-192.168.137.178\n    Encap stt\n        ip: \"192.168.137.178\"\n        options: {csum=\"true\"}\n    Port_Binding kube-ovn-pinger-7twb4.kube-system\n    Port_Binding prometheus-adapter-86df476d87-rl88g.monitoring\n    Port_Binding prometheus-k8s-1.monitoring\n    Port_Binding node-liumengxin-ovn3-192.168.137.178\n    Port_Binding perf-ff475.default\n    Port_Binding alertmanager-main-1.monitoring\n    Port_Binding blackbox-exporter-676d976865-tvsjd.monitoring\nChassis \"efa253c9-494d-4719-83ae-b48ab0f11c03\"\n    hostname: liumengxin-ovn2-192.168.137.177\n    Encap stt\n        ip: \"192.168.137.177\"\n        options: {csum=\"true\"}\n    Port_Binding grafana-6c4c6b8fb7-pzd2c.monitoring\n    Port_Binding node-liumengxin-ovn2-192.168.137.177\n    Port_Binding alertmanager-main-2.monitoring\n    Port_Binding coredns-6789c94dd8-9jqsz.kube-system\n    Port_Binding coredns-6789c94dd8-25d4r.kube-system\n    Port_Binding prometheus-operator-7bbc99fc8b-wgjm4.monitoring\n    Port_Binding prometheus-adapter-86df476d87-gdxmc.monitoring\n    Port_Binding perf-fjnws.default\n    Port_Binding kube-ovn-pinger-vh2xg.kube-system\nds kube-proxy ready\nkube-proxy ready\ndeployment ovn-central ready\ndeployment kube-ovn-controller ready\nds kube-ovn-cni ready\nds ovs-ovn ready\ndeployment coredns ready\novn-nb leader check ok\novn-sb leader check ok\novn-northd leader check ok\n### kube-ovn-controller recent log\n\n### start to diagnose node liumengxin-ovn1-192.168.137.176\n#### ovn-controller log:\n2022-06-03T00:56:44.897Z|16722|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:06:44.912Z|16723|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:16:44.925Z|16724|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:26:44.936Z|16725|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:36:44.959Z|16726|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:46:44.974Z|16727|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:56:44.988Z|16728|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:06:45.001Z|16729|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:16:45.025Z|16730|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:26:45.040Z|16731|inc_proc_eng|INFO|User triggered force recompute.\n\n#### ovs-vswitchd log:\n2022-06-02T23:03:00.137Z|00079|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:f9d1\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-02T23:23:31.840Z|00080|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:15b2\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T00:09:15.659Z|00081|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:dc:e3:63,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.63.30,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:e5a5\n with metadata skb_priority(0),tunnel(tun_id=0x150017000004,src=192.168.137.178,dst=192.168.137.176,ttl=64,tp_src=9239,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.63.30,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T00:30:13.409Z|00064|dpif(handler2)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:6b4a\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T02:02:33.832Z|00082|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:a819\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n\n#### ovs-vsctl show results:\n0d4c4675-c9cc-440a-8c1a-878e17f81b88\n    Bridge br-int\n        fail_mode: secure\n        datapath_type: system\n        Port a2c1a8a8b83a_h\n            Interface a2c1a8a8b83a_h\n        Port \"4fa5c4cbb1a5_h\"\n            Interface \"4fa5c4cbb1a5_h\"\n        Port ovn-eef07d-0\n            Interface ovn-eef07d-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.178\"}\n        Port ovn0\n            Interface ovn0\n                type: internal\n        Port \"04d03360e9a0_h\"\n            Interface \"04d03360e9a0_h\"\n        Port eeb4d9e51b5d_h\n            Interface eeb4d9e51b5d_h\n        Port mirror0\n            Interface mirror0\n                type: internal\n        Port \"8e5d887ccd80_h\"\n            Interface \"8e5d887ccd80_h\"\n        Port ovn-efa253-0\n            Interface ovn-efa253-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.177\"}\n        Port \"17512d5be1f1_h\"\n            Interface \"17512d5be1f1_h\"\n        Port br-int\n            Interface br-int\n                type: internal\n    ovs_version: \"2.17.2\"\n\n#### pinger diagnose results:\nI0603 10:35:04.349404   17619 pinger.go:19]\n-------------------------------------------------------------------------------\nKube-OVN:\n  Version:       v1.13.0\n  Build:         2022-04-24_08:02:50\n  Commit:        git-73f9d15\n  Go Version:    go1.17.8\n  Arch:          amd64\n-------------------------------------------------------------------------------\nI0603 10:35:04.376797   17619 config.go:166] pinger config is &amp;{KubeConfigFile: KubeClient:0xc000493380 Port:8080 DaemonSetNamespace:kube-system DaemonSetName:kube-ovn-pinger Interval:5 Mode:job ExitCode:0 InternalDNS:kubernetes.default ExternalDNS: NodeName:liumengxin-ovn1-192.168.137.176 HostIP:192.168.137.176 PodName:kube-ovn-pinger-6ftdf PodIP:10.16.0.10 PodProtocols:[IPv4] ExternalAddress: NetworkMode:kube-ovn PollTimeout:2 PollInterval:15 SystemRunDir:/var/run/openvswitch DatabaseVswitchName:Open_vSwitch DatabaseVswitchSocketRemote:unix:/var/run/openvswitch/db.sock DatabaseVswitchFileDataPath:/etc/openvswitch/conf.db DatabaseVswitchFileLogPath:/var/log/openvswitch/ovsdb-server.log DatabaseVswitchFilePidPath:/var/run/openvswitch/ovsdb-server.pid DatabaseVswitchFileSystemIDPath:/etc/openvswitch/system-id.conf ServiceVswitchdFileLogPath:/var/log/openvswitch/ovs-vswitchd.log ServiceVswitchdFilePidPath:/var/run/openvswitch/ovs-vswitchd.pid ServiceOvnControllerFileLogPath:/var/log/ovn/ovn-controller.log ServiceOvnControllerFilePidPath:/var/run/ovn/ovn-controller.pid}\nI0603 10:35:04.449166   17619 exporter.go:75] liumengxin-ovn1-192.168.137.176: exporter connect successfully\nI0603 10:35:04.554011   17619 ovn.go:21] ovs-vswitchd and ovsdb are up\nI0603 10:35:04.651293   17619 ovn.go:33] ovn_controller is up\nI0603 10:35:04.651342   17619 ovn.go:39] start to check port binding\nI0603 10:35:04.749613   17619 ovn.go:135] chassis id is 1d7f3d6c-eec5-4b3c-adca-2969d9cdfd80\nI0603 10:35:04.763487   17619 ovn.go:49] port in sb is [node-liumengxin-ovn1-192.168.137.176 perf-6vxkn.default kube-state-metrics-5d6885d89-4nf8h.monitoring alertmanager-main-0.monitoring kube-ovn-pinger-6ftdf.kube-system fake-kubelet-67c55dfd89-pv86k.kube-system prometheus-k8s-0.monitoring]\nI0603 10:35:04.763583   17619 ovn.go:61] ovs and ovn-sb binding check passed\nI0603 10:35:05.049309   17619 ping.go:259] start to check apiserver connectivity\nI0603 10:35:05.053666   17619 ping.go:268] connect to apiserver success in 4.27ms\nI0603 10:35:05.053786   17619 ping.go:129] start to check pod connectivity\nI0603 10:35:05.249590   17619 ping.go:159] ping pod: kube-ovn-pinger-6ftdf 10.16.0.10, count: 3, loss count 0, average rtt 16.30ms\nI0603 10:35:05.354135   17619 ping.go:159] ping pod: kube-ovn-pinger-7twb4 10.16.63.30, count: 3, loss count 0, average rtt 1.81ms\nI0603 10:35:05.458460   17619 ping.go:159] ping pod: kube-ovn-pinger-vh2xg 10.16.0.5, count: 3, loss count 0, average rtt 1.92ms\nI0603 10:35:05.458523   17619 ping.go:83] start to check node connectivity\n</code></pre> <p>\u200b\u5982\u679c\u200b diagnose \u200b\u7684\u200b\u76ee\u6807\u200b\u6307\u5b9a\u200b\u4e3a\u200b subnet \u200b\u8be5\u200b\u811a\u672c\u200b\u4f1a\u200b\u5728\u200b subnet \u200b\u4e0a\u200b\u5efa\u7acb\u200b daemonset\uff0c\u200b\u7531\u200b <code>kube-ovn-pinger</code> \u200b\u53bb\u200b\u63a2\u6d4b\u200b\u8fd9\u4e2a\u200b daemonset \u200b\u7684\u200b\u6240\u6709\u200b pod \u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u548c\u200b\u7f51\u7edc\u5ef6\u65f6\u200b\uff0c\u200b\u6d4b\u8bd5\u200b\u5b8c\u540e\u200b\u81ea\u52a8\u200b\u9500\u6bc1\u200b\u8be5\u200b daemonset\u3002</p> <p>\u200b\u5982\u679c\u200b diagnose \u200b\u7684\u200b\u76ee\u6807\u200b\u6307\u5b9a\u200b\u4e3a\u200b IPPorts \u200b\u8be5\u200b\u811a\u672c\u200b\u4f1a\u200b\u8ba9\u200b\u6bcf\u4e2a\u200b <code>kube-ovn-pinger</code> pod \u200b\u53bb\u200b\u63a2\u6d4b\u200b\u76ee\u6807\u200b\u534f\u8bae\u200b\uff0cIP\uff0cPort \u200b\u662f\u5426\u200b\u53ef\u200b\u8fbe\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#tuning-install-fastpathlocal-install-fastpathremove-fastpathinstall-sttlocal-install-sttremove-stt-centos7centos8-kernel-devel-version","title":"tuning {install-fastpath|local-install-fastpath|remove-fastpath|install-stt|local-install-stt|remove-stt} {centos7|centos8}} [kernel-devel-version]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u6267\u884c\u200b\u6027\u80fd\u200b\u8c03\u4f18\u200b\u76f8\u5173\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5177\u4f53\u200b\u4f7f\u7528\u200b\u8bf7\u200b\u53c2\u8003\u200b\u6027\u80fd\u200b\u8c03\u4f18\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#reload","title":"reload","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u91cd\u542f\u200b\u6240\u6709\u200b Kube-OVN \u200b\u76f8\u5173\u200b\u7ec4\u4ef6\u200b\uff1a</p> <pre><code># kubectl ko reload\npod \"ovn-central-8684dd94bd-vzgcr\" deleted\nWaiting for deployment \"ovn-central\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"ovn-central\" successfully rolled out\npod \"ovs-ovn-bsnvz\" deleted\npod \"ovs-ovn-m9b98\" deleted\npod \"kube-ovn-controller-8459db5ff4-64c62\" deleted\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\npod \"kube-ovn-cni-2klnh\" deleted\npod \"kube-ovn-cni-t2jz4\" deleted\nWaiting for daemon set \"kube-ovn-cni\" rollout to finish: 0 of 2 updated pods are available...\nWaiting for daemon set \"kube-ovn-cni\" rollout to finish: 1 of 2 updated pods are available...\ndaemon set \"kube-ovn-cni\" successfully rolled out\npod \"kube-ovn-pinger-ln72z\" deleted\npod \"kube-ovn-pinger-w8lrk\" deleted\nWaiting for daemon set \"kube-ovn-pinger\" rollout to finish: 0 of 2 updated pods are available...\nWaiting for daemon set \"kube-ovn-pinger\" rollout to finish: 1 of 2 updated pods are available...\ndaemon set \"kube-ovn-pinger\" successfully rolled out\npod \"kube-ovn-monitor-7fb67d5488-7q6zb\" deleted\nWaiting for deployment \"kube-ovn-monitor\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"kube-ovn-monitor\" successfully rolled out\n</code></pre>"},{"location":"ops/kubectl-ko/#log","title":"log","text":"<p>\u200b\u4f7f\u7528\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u6293\u53d6\u200b kube-ovn \u200b\u6240\u6709\u200b\u8282\u70b9\u200b\u4e0a\u200b\u7684\u200b Kube-OVN\uff0cOVN\uff0cOpenvswitch \u200b\u7684\u200b log \u200b\u4ee5\u53ca\u200b linux \u200b\u5e38\u7528\u200b\u7684\u200b\u4e00\u4e9b\u200b debug \u200b\u4fe1\u606f\u200b\u3002</p> <pre><code># kubectl ko log all\nCollecting kube-ovn logging files\nCollecting ovn logging files\nCollecting openvswitch logging files\nCollecting linux dmesg files\nCollecting linux iptables-legacy files\nCollecting linux iptables-nft files\nCollecting linux route files\nCollecting linux link files\nCollecting linux neigh files\nCollecting linux memory files\nCollecting linux top files\nCollecting linux sysctl files\nCollecting linux netstat files\nCollecting linux addr files\nCollecting linux ipset files\nCollecting linux tcp files\nCollected files have been saved in the directory /root/kubectl-ko-log\n</code></pre> <p>\u200b\u76ee\u5f55\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># tree kubectl-ko-log/\nkubectl-ko-log/\n|-- kube-ovn-control-plane\n|   |-- kube-ovn\n|   |   |-- kube-ovn-cni.log\n|   |   |-- kube-ovn-monitor.log\n|   |   `-- kube-ovn-pinger.log\n|   |-- linux\n|   |   |-- addr.log\n|   |   |-- dmesg.log\n|   |   |-- ipset.log\n|   |   |-- iptables-legacy.log\n|   |   |-- iptables-nft.log\n|   |   |-- link.log\n|   |   |-- memory.log\n|   |   |-- neigh.log\n|   |   |-- netstat.log\n|   |   |-- route.log\n|   |   |-- sysctl.log\n|   |   |-- tcp.log\n|   |   `-- top.log\n|   |-- openvswitch\n|   |   |-- ovs-vswitchd.log\n|   |   `-- ovsdb-server.log\n|   `-- ovn\n|       |-- ovn-controller.log\n|       |-- ovn-northd.log\n|       |-- ovsdb-server-nb.log\n|       `-- ovsdb-server-sb.log\n</code></pre>"},{"location":"ops/kubectl-ko/#perf-image","title":"perf [image]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u53bb\u200b\u6d4b\u8bd5\u200b Kube-OVN \u200b\u7684\u200b\u4e00\u4e9b\u200b\u6027\u80fd\u6307\u6807\u200b\u5982\u4e0b\u200b\uff1a</p> <ol> <li>\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u6307\u6807\u200b\uff1b</li> <li>Hostnetwork \u200b\u7f51\u7edc\u200b\u6027\u80fd\u6307\u6807\u200b\uff1b</li> <li>\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7ec4\u200b\u64ad\u62a5\u200b\u6587\u200b\u6027\u80fd\u6307\u6807\u200b\uff1b</li> <li>OVN-NB, OVN-SB, OVN-Northd leader \u200b\u5220\u9664\u200b\u6062\u590d\u200b\u6240\u200b\u9700\u200b\u65f6\u95f4\u200b\u3002</li> </ol> <p>\u200b\u53c2\u6570\u200b image \u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b pod \u200b\u6240\u7528\u200b\u7684\u200b\u955c\u50cf\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u662f\u200b <code>kubeovn/test:v1.12.0</code>, \u200b\u8bbe\u7f6e\u200b\u8be5\u200b\u53c2\u6570\u200b\u4e3b\u8981\u200b\u662f\u200b\u4e3a\u4e86\u200b\u79bb\u7ebf\u200b\u573a\u666f\u200b\uff0c\u200b\u5c06\u200b\u955c\u50cf\u200b\u62c9\u5230\u200b\u5185\u7f51\u200b\u73af\u5883\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u6709\u200b\u955c\u50cf\u200b\u540d\u200b\u53d8\u5316\u200b\u3002</p> <pre><code># kubectl ko perf\n============================== Prepareing Performance Test Resources ===============================\npod/test-client created\npod/test-host-client created\npod/test-server created\npod/test-host-server created\nservice/test-server created\npod/test-client condition met\npod/test-host-client condition met\npod/test-host-server condition met\npod/test-server condition met\n====================================================================================================\n============================ Start Pod Network Unicast Performance Test ============================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              82.8 us         97.7 Mbits/sec  67.6 us         (0%)            8.42 Mbits/sec\n128             85.4 us         167 Mbits/sec   67.2 us         (0%)            17.2 Mbits/sec\n512             85.8 us         440 Mbits/sec   68.7 us         (0%)            68.4 Mbits/sec\n1k              85.1 us         567 Mbits/sec   68.7 us         (0%)            134 Mbits/sec\n4k              138 us          826 Mbits/sec   78.1 us         (1.4%)          503 Mbits/sec\n====================================================================================================\n=============================== Start Host Network Performance Test ================================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              49.7 us         120 Mbits/sec   37.9 us         (0%)            18.6 Mbits/sec\n128             49.7 us         200 Mbits/sec   38.1 us         (0%)            35.5 Mbits/sec\n512             51.9 us         588 Mbits/sec   38.9 us         (0%)            142 Mbits/sec\n1k              51.7 us         944 Mbits/sec   37.2 us         (0%)            279 Mbits/sec\n4k              74.9 us         1.66 Gbits/sec  39.9 us         (0%)            1.20 Gbits/sec\n====================================================================================================\n============================== Start Service Network Performance Test ==============================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              111 us          96.3 Mbits/sec  88.4 us         (0%)            7.59 Mbits/sec\n128             83.7 us         150 Mbits/sec   69.2 us         (0%)            16.9 Mbits/sec\n512             87.4 us         374 Mbits/sec   75.8 us         (0%)            60.9 Mbits/sec\n1k              88.2 us         521 Mbits/sec   73.1 us         (0%)            123 Mbits/sec\n4k              148 us          813 Mbits/sec   77.6 us         (0.0044%)       451 Mbits/sec\n====================================================================================================\n=========================== Start Pod Multicast Network Performance Test ===========================\nSize            UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              0.014 ms        (0.17%)         5.80 Mbits/sec\n128             0.012 ms        (0%)            11.4 Mbits/sec\n512             0.016 ms        (0%)            46.1 Mbits/sec\n1k              0.023 ms        (0.073%)        89.8 Mbits/sec\n4k              0.035 ms        (1.3%)          126 Mbits/sec\n====================================================================================================\n============================= Start Host Multicast Network Performance =============================\nSize            UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              0.007 ms        (0%)            9.95 Mbits/sec\n128             0.005 ms        (0%)            21.8 Mbits/sec\n512             0.008 ms        (0%)            86.8 Mbits/sec\n1k              0.013 ms        (0.045%)        168 Mbits/sec\n4k              0.010 ms        (0.31%)         242 Mbits/sec\n====================================================================================================\n================================== Start Leader Recover Time Test ==================================\nDelete ovn central nb pod\npod \"ovn-central-5cb9c67d75-tlz9w\" deleted\nWaiting for ovn central nb pod running\n=============================== OVN nb Recovery takes 3.305236803 s ================================\nDelete ovn central sb pod\npod \"ovn-central-5cb9c67d75-szx4c\" deleted\nWaiting for ovn central sb pod running\n=============================== OVN sb Recovery takes 3.462698535 s ================================\nDelete ovn central northd pod\npod \"ovn-central-5cb9c67d75-zqmqv\" deleted\nWaiting for ovn central northd pod running\n============================= OVN northd Recovery takes 2.691291403 s ==============================\n====================================================================================================\n================================= Remove Performance Test Resource =================================\nrm -f unicast-test-client.log\nrm -f unicast-test-host-client.log\nrm -f unicast-test-client.log\nkubectl ko nbctl lb-del test-server\nrm -f multicast-test-server.log\nkubectl exec ovs-ovn-gxdrf -n kube-system -- ip maddr del 01:00:5e:00:00:64 dev eth0\nkubectl exec ovs-ovn-h57bf -n kube-system -- ip maddr del 01:00:5e:00:00:64 dev eth0\nrm -f multicast-test-host-server.log\npod \"test-client\" deleted\npod \"test-host-client\" deleted\npod \"test-host-server\" deleted\npod \"test-server\" deleted\nservice \"test-server\" deleted\n====================================================================================================\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/recover-db/","title":"OVN \u200b\u6570\u636e\u5e93\u200b\u5907\u4efd\u200b\u548c\u200b\u6062\u590d","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b\u5982\u4f55\u200b\u8fdb\u884c\u200b\u6570\u636e\u5e93\u200b\u5907\u4efd\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5728\u200b\u4e0d\u540c\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u5982\u4f55\u200b\u901a\u8fc7\u200b\u5df2\u6709\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u96c6\u7fa4\u200b\u6062\u590d\u200b\u3002</p>"},{"location":"ops/recover-db/#_1","title":"\u6570\u636e\u5e93\u200b\u5907\u4efd","text":"<p>\u200b\u5229\u7528\u200b kubectl \u200b\u63d2\u4ef6\u200b\u7684\u200b backup \u200b\u547d\u4ee4\u200b\u53ef\u4ee5\u200b\u5bf9\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u5907\u4efd\u200b\uff0c\u200b\u4ee5\u200b\u7528\u4e8e\u200b\u6545\u969c\u200b\u65f6\u200b\u6062\u590d\u200b\uff1a</p> <pre><code># kubectl ko nb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnnb_db.060223191654183154.backup\n\n# kubectl ko sb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnsb_db.060223191654183154.backup\n</code></pre>"},{"location":"ops/recover-db/#_2","title":"\u96c6\u7fa4\u200b\u90e8\u5206\u200b\u6545\u969c\u200b\u6062\u590d","text":"<p>\u200b\u82e5\u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u5b58\u5728\u200b\u90e8\u5206\u200b\u8282\u70b9\u200b\u56e0\u4e3a\u200b\u65ad\u7535\u200b\uff0c\u200b\u6587\u4ef6\u7cfb\u7edf\u200b\u6545\u969c\u200b\u6216\u200b\u78c1\u76d8\u7a7a\u95f4\u200b\u4e0d\u8db3\u200b\u5bfc\u81f4\u200b\u5de5\u4f5c\u200b\u5f02\u5e38\u200b\uff0c \u200b\u4f46\u662f\u200b\u96c6\u7fa4\u200b\u4ecd\u200b\u53ef\u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5982\u4e0b\u200b\u6b65\u9aa4\u200b\u8fdb\u884c\u200b\u6062\u590d\u200b\u3002</p>"},{"location":"ops/recover-db/#_3","title":"\u67e5\u770b\u200b\u65e5\u5fd7\u200b\u786e\u8ba4\u200b\u72b6\u6001\u200b\u5f02\u5e38","text":"<p>\u200b\u67e5\u770b\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b <code>/var/log/ovn/ovn-northd.log</code>\uff0c\u200b\u82e5\u200b\u63d0\u793a\u200b\u7c7b\u4f3c\u200b\u9519\u8bef\u200b\u5219\u200b\u53ef\u200b\u5224\u65ad\u200b\u6570\u636e\u5e93\u200b\u5b58\u5728\u200b\u5f02\u5e38\u200b</p> <pre><code> * ovn-northd is not running\novsdb-server: ovsdb error: error reading record 2739 from OVN_Northbound log: record 2739 advances commit index to 6308 but last log index is 6307\n * Starting ovsdb-nb\n</code></pre>"},{"location":"ops/recover-db/#_4","title":"\u4ece\u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u8e22\u200b\u51fa\u200b\u5bf9\u5e94\u200b\u8282\u70b9","text":"<p>\u200b\u6839\u636e\u200b\u65e5\u5fd7\u200b\u63d0\u793a\u200b\u662f\u200b <code>OVN_Northbound</code> \u200b\u8fd8\u662f\u200b <code>OVN_Southbound</code> \u200b\u9009\u62e9\u200b\u5bf9\u5e94\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\u3002 \u200b\u4e0a\u8ff0\u200b\u65e5\u5fd7\u200b\u63d0\u793a\u200b\u4e3a\u200b <code>OVN_Northbound</code> \u200b\u5219\u200b\u5bf9\u200b ovn-nb \u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff1a</p> <pre><code># kubectl ko nb status\n9182\nName: OVN_Northbound\nCluster ID: e75f (e75fa340-49ed-45ab-990e-26cb865ebc85)\nServer ID: 9182 (9182e8dd-b5b0-4dd8-8518-598cc1e374f3)\nAddress: tcp:[10.0.128.61]:6643\nStatus: cluster member\nRole: leader\nTerm: 1454\nLeader: self\nVote: self\n\nLast Election started 1732603 ms ago, reason: timeout\nLast Election won: 1732587 ms ago\nElection timer: 1000\nLog: [7332, 12512]\nEntries not yet committed: 1\nEntries not yet applied: 1\nConnections: -&gt;f080 &lt;-f080 &lt;-e631 -&gt;e631\nDisconnections: 1\nServers:\n    f080 (f080 at tcp:[10.0.129.139]:6643) next_index=12512 match_index=12510 last msg 63 ms ago\n    9182 (9182 at tcp:[10.0.128.61]:6643) (self) next_index=10394 match_index=12510\n    e631 (e631 at tcp:[10.0.131.173]:6643) next_index=12512 match_index=0\n</code></pre> <p>\u200b\u4ece\u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u8e22\u200b\u51fa\u200b\u72b6\u6001\u200b\u5f02\u5e38\u200b\u8282\u70b9\u200b\uff1a</p> <pre><code>kubectl ko nb kick e631\n</code></pre> <p>\u200b\u767b\u5f55\u200b\u5f02\u5e38\u200b\u8282\u70b9\u200b\uff0c\u200b\u5220\u9664\u200b\u5bf9\u5e94\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\uff1a</p> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\n</code></pre> <p>\u200b\u5220\u9664\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovn-central</code> Pod\uff0c\u200b\u7b49\u5f85\u200b\u96c6\u7fa4\u200b\u81ea\u52a8\u200b\u6062\u590d\u200b\uff1a</p> <pre><code>kubectl delete pod -n kube-system ovn-central-xxxx\n</code></pre>"},{"location":"ops/recover-db/#_5","title":"\u96c6\u7fa4\u200b\u4e0d\u80fd\u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\u4e0b\u200b\u7684\u200b\u6062\u590d","text":"<p>\u200b\u82e5\u200b\u96c6\u7fa4\u200b\u591a\u6570\u200b\u8282\u70b9\u200b\u53d7\u635f\u200b\u65e0\u6cd5\u200b\u9009\u4e3e\u200b\u51fa\u200b leader\uff0c\u200b\u8bf7\u200b\u53c2\u7167\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u8fdb\u884c\u200b\u6062\u590d\u200b\u3002</p>"},{"location":"ops/recover-db/#ovn-central","title":"\u505c\u6b62\u200b ovn-central","text":"<p>\u200b\u8bb0\u5f55\u200b\u5f53\u524d\u200b <code>ovn-central</code> \u200b\u526f\u672c\u200b\u6570\u91cf\u200b\uff0c\u200b\u5e76\u200b\u505c\u6b62\u200b <code>ovn-central</code> \u200b\u907f\u514d\u200b\u65b0\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u53d8\u66f4\u200b\u5f71\u54cd\u200b\u6062\u590d\u200b\uff1a</p> <pre><code>kubectl scale deployment -n kube-system ovn-central --replicas=0\n</code></pre>"},{"location":"ops/recover-db/#_6","title":"\u9009\u62e9\u200b\u5907\u4efd","text":"<p>\u200b\u7531\u4e8e\u200b\u591a\u6570\u200b\u8282\u70b9\u200b\u53d7\u635f\u200b\uff0c\u200b\u9700\u8981\u200b\u4ece\u200b\u67d0\u4e2a\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u6062\u590d\u200b\u91cd\u5efa\u200b\u96c6\u7fa4\u200b\u3002\u200b\u5982\u679c\u200b\u4e4b\u524d\u200b\u5907\u4efd\u200b\u8fc7\u200b\u6570\u636e\u5e93\u200b \u200b\u53ef\u200b\u4f7f\u7528\u200b\u4e4b\u524d\u200b\u7684\u200b\u5907\u4efd\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u6062\u590d\u200b\u3002\u200b\u5982\u679c\u200b\u6ca1\u6709\u200b\u8fdb\u884c\u200b\u8fc7\u200b\u5907\u4efd\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u4ece\u200b\u5df2\u6709\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b \u200b\u4e2d\u200b\u751f\u6210\u200b\u4e00\u4e2a\u200b\u5907\u4efd\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u9ed8\u8ba4\u200b\u6587\u4ef6\u5939\u200b\u4e0b\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u683c\u5f0f\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\uff0c\u200b\u5305\u542b\u200b\u5f53\u524d\u200b\u96c6\u7fa4\u200b\u7684\u200b\u4fe1\u606f\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u76f4\u63a5\u200b \u200b\u7528\u8be5\u200b\u6587\u4ef6\u200b\u91cd\u5efa\u200b\u6570\u636e\u5e93\u200b\uff0c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b <code>ovsdb-tool cluster-to-standalone</code> \u200b\u8fdb\u884c\u200b\u683c\u5f0f\u200b\u8f6c\u6362\u200b\u3002</p> <p>\u200b\u9009\u62e9\u200b <code>ovn-central</code> \u200b\u73af\u5883\u53d8\u91cf\u200b <code>NODE_IPS</code> \u200b\u4e2d\u6392\u200b\u7b2c\u4e00\u200b\u7684\u200b\u8282\u70b9\u200b\u6062\u590d\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\uff0c \u200b\u5982\u679c\u200b\u7b2c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u5df2\u635f\u574f\u200b\uff0c\u200b\u4ece\u200b\u5176\u4ed6\u200b\u673a\u5668\u200b <code>/etc/origin/ovn</code> \u200b\u4e0b\u200b\u590d\u5236\u200b\u6587\u4ef6\u200b\u5230\u200b\u7b2c\u4e00\u53f0\u200b\u673a\u5668\u200b \uff0c \u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\u751f\u6210\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u5907\u4efd\u200b\u3002</p> <pre><code>docker run -it -v /etc/origin/ovn:/etc/ovn kubeovn/kube-ovn:v1.13.0 bash\ncd /etc/ovn/\novsdb-tool cluster-to-standalone ovnnb_db_standalone.db ovnnb_db.db\novsdb-tool cluster-to-standalone ovnsb_db_standalone.db ovnsb_db.db\n</code></pre>"},{"location":"ops/recover-db/#ovn-central_1","title":"\u5220\u9664\u200b\u6bcf\u4e2a\u200b ovn-central \u200b\u8282\u70b9\u200b\u4e0a\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6","text":"<p>\u200b\u4e3a\u4e86\u200b\u907f\u514d\u200b\u91cd\u5efa\u200b\u96c6\u7fa4\u200b\u65f6\u200b\u4f7f\u7528\u200b\u5230\u200b\u9519\u8bef\u200b\u7684\u200b\u6570\u636e\u200b\uff0c\u200b\u9700\u8981\u200b\u5bf9\u200b\u5df2\u6709\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u6e05\u7406\u200b\uff1a</p> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\nmv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre>"},{"location":"ops/recover-db/#_7","title":"\u6062\u590d\u200b\u6570\u636e\u5e93\u200b\u96c6\u7fa4","text":"<p>\u200b\u5c06\u200b\u5907\u4efd\u200b\u6570\u636e\u5e93\u200b\u5206\u522b\u200b\u91cd\u547d\u540d\u200b\u4e3a\u200b <code>ovnnb_db.db</code> \u200b\u548c\u200b <code>ovnsb_db.db</code>\uff0c\u200b\u5e76\u200b\u590d\u5236\u5230\u200b <code>ovn-central</code>  \u200b\u73af\u5883\u53d8\u91cf\u200b <code>NODE_IPS</code> \u200b\u4e2d\u6392\u200b\u7b2c\u4e00\u200b\u673a\u5668\u200b\u7684\u200b <code>/etc/origin/ovn/</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\uff1a</p> <pre><code>mv /etc/origin/ovn/ovnnb_db_standalone.db /etc/origin/ovn/ovnnb_db.db\nmv /etc/origin/ovn/ovnsb_db_standalone.db /etc/origin/ovn/ovnsb_db.db\n</code></pre> <p>\u200b\u6062\u590d\u200b <code>ovn-central</code> \u200b\u7684\u200b\u526f\u672c\u200b\u6570\u200b\uff1a</p> <pre><code>kubectl scale deployment -n kube-system ovn-central --replicas=3\nkubectl rollout status deployment/ovn-central -n kube-system\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/architecture/","title":"\u603b\u4f53\u200b\u67b6\u6784","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u200b\u4ecb\u7ecd\u200b Kube-OVN \u200b\u7684\u200b\u603b\u4f53\u200b\u67b6\u6784\u200b\uff0c\u200b\u548c\u200b\u5404\u4e2a\u200b\u7ec4\u4ef6\u200b\u7684\u200b\u529f\u80fd\u200b\u4ee5\u53ca\u200b\u5176\u200b\u4e4b\u95f4\u200b\u7684\u200b\u4ea4\u4e92\u200b\u3002</p> <p>\u200b\u603b\u4f53\u200b\u6765\u770b\u200b\uff0cKube-OVN \u200b\u4f5c\u4e3a\u200b Kubernetes \u200b\u548c\u200b OVN \u200b\u4e4b\u95f4\u200b\u7684\u200b\u4e00\u4e2a\u200b\u6865\u6881\u200b\uff0c\u200b\u5c06\u200b\u6210\u719f\u200b\u7684\u200b SDN \u200b\u548c\u200b\u4e91\u200b\u539f\u751f\u200b\u76f8\u7ed3\u5408\u200b\u3002 \u200b\u8fd9\u200b\u610f\u5473\u7740\u200b Kube-OVN \u200b\u4e0d\u4ec5\u200b\u901a\u8fc7\u200b OVN \u200b\u5b9e\u73b0\u200b\u4e86\u200b Kubernetes \u200b\u4e0b\u200b\u7684\u200b\u7f51\u7edc\u200b\u89c4\u8303\u200b\uff0c\u200b\u4f8b\u5982\u200b CNI\uff0cService \u200b\u548c\u200b Networkpolicy\uff0c\u200b\u8fd8\u200b\u5c06\u200b\u5927\u91cf\u200b\u7684\u200b SDN \u200b\u9886\u57df\u200b\u80fd\u529b\u200b\u5e26\u5165\u200b\u4e91\u200b\u539f\u751f\u200b\uff0c\u200b\u4f8b\u5982\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\uff0c\u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\uff0cVPC\uff0c\u200b\u7f51\u5173\u200b\uff0cQoS\uff0cACL \u200b\u548c\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u3002</p> <p>\u200b\u540c\u65f6\u200b Kube-OVN \u200b\u8fd8\u200b\u4fdd\u6301\u200b\u4e86\u200b\u826f\u597d\u200b\u7684\u200b\u5f00\u653e\u6027\u200b\u53ef\u4ee5\u200b\u548c\u200b\u8bf8\u591a\u200b\u6280\u672f\u200b\u65b9\u6848\u200b\u96c6\u6210\u200b\uff0c\u200b\u4f8b\u5982\u200b Cilium\uff0cSubmariner\uff0cPrometheus\uff0cKubeVirt \u200b\u7b49\u7b49\u200b\u3002</p>"},{"location":"reference/architecture/#_2","title":"\u7ec4\u4ef6\u200b\u4ecb\u7ecd","text":"<p>Kube-OVN \u200b\u7684\u200b\u7ec4\u4ef6\u200b\u53ef\u4ee5\u200b\u5927\u81f4\u200b\u5206\u4e3a\u200b\u4e09\u7c7b\u200b\uff1a</p> <ul> <li>\u200b\u4e0a\u6e38\u200b OVN/OVS \u200b\u7ec4\u4ef6\u200b\u3002</li> <li>\u200b\u6838\u5fc3\u200b\u63a7\u5236\u5668\u200b\u548c\u200b Agent\u3002</li> <li>\u200b\u76d1\u63a7\u200b\uff0c\u200b\u8fd0\u7ef4\u200b\u5de5\u5177\u200b\u548c\u200b\u6269\u5c55\u200b\u7ec4\u4ef6\u200b\u3002</li> </ul> <p></p>"},{"location":"reference/architecture/#ovnovs","title":"\u4e0a\u6e38\u200b OVN/OVS \u200b\u7ec4\u4ef6","text":"<p>\u200b\u8be5\u200b\u7c7b\u578b\u200b\u7ec4\u4ef6\u200b\u6765\u81ea\u200b OVN/OVS \u200b\u793e\u533a\u200b\uff0c\u200b\u5e76\u200b\u9488\u5bf9\u200b Kube-OVN \u200b\u7684\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\u505a\u200b\u4e86\u200b\u7279\u5b9a\u200b\u4fee\u6539\u200b\u3002 OVN/OVS \u200b\u672c\u8eab\u200b\u662f\u200b\u4e00\u5957\u200b\u6210\u719f\u200b\u7684\u200b\u7ba1\u7406\u200b\u865a\u673a\u200b\u548c\u200b\u5bb9\u5668\u200b\u7684\u200b SDN \u200b\u7cfb\u7edf\u200b\uff0c\u200b\u6211\u4eec\u200b\u5f3a\u70c8\u5efa\u8bae\u200b \u200b\u5bf9\u200b Kube-OVN \u200b\u5b9e\u73b0\u200b\u611f\u5174\u8da3\u200b\u7684\u200b\u7528\u6237\u200b\u5148\u53bb\u200b\u8bfb\u200b\u4e00\u4e0b\u200b ovn-architecture(7) \u200b\u6765\u200b\u4e86\u89e3\u200b\u4ec0\u4e48\u200b\u662f\u200b OVN \u200b\u4ee5\u53ca\u200b \u200b\u5982\u4f55\u200b\u548c\u200b\u5b83\u200b\u8fdb\u884c\u200b\u96c6\u6210\u200b\u3002Kube-OVN \u200b\u4f7f\u7528\u200b OVN \u200b\u7684\u200b\u5317\u5411\u200b\u63a5\u53e3\u200b\u521b\u5efa\u200b\u548c\u200b\u8c03\u6574\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u5176\u4e2d\u200b\u7684\u200b\u7f51\u7edc\u200b\u6982\u5ff5\u200b\u6620\u5c04\u200b\u5230\u200b Kubernetes \u200b\u4e4b\u5185\u200b\u3002</p> <p>\u200b\u6240\u6709\u200b OVN/OVS \u200b\u76f8\u5173\u200b\u7ec4\u4ef6\u200b\u90fd\u200b\u5df2\u200b\u6253\u5305\u200b\u6210\u200b\u5bf9\u5e94\u200b\u955c\u50cf\u200b\uff0c\u200b\u5e76\u200b\u53ef\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u8fd0\u884c\u200b\u3002</p>"},{"location":"reference/architecture/#ovn-central","title":"ovn-central","text":"<p><code>ovn-central</code> Deployment \u200b\u8fd0\u884c\u200b OVN \u200b\u7684\u200b\u7ba1\u7406\u200b\u5e73\u9762\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u5305\u62ec\u200b <code>ovn-nb</code>, <code>ovn-sb</code>, \u200b\u548c\u200b <code>ovn-northd</code>\u3002</p> <ul> <li><code>ovn-nb</code>\uff1a \u200b\u4fdd\u5b58\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff0c\u200b\u5e76\u200b\u63d0\u4f9b\u200b API \u200b\u8fdb\u884c\u200b\u865a\u62df\u200b\u7f51\u7edc\u7ba1\u7406\u200b\u3002<code>kube-ovn-controller</code> \u200b\u5c06\u4f1a\u200b\u4e3b\u8981\u200b\u548c\u200b <code>ovn-nb</code> \u200b\u8fdb\u884c\u200b\u4ea4\u4e92\u200b\u914d\u7f6e\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u3002</li> <li><code>ovn-sb</code>\uff1a \u200b\u4fdd\u5b58\u200b\u4ece\u200b <code>ovn-nb</code> \u200b\u7684\u200b\u903b\u8f91\u200b\u7f51\u7edc\u200b\u751f\u6210\u200b\u7684\u200b\u903b\u8f91\u200b\u6d41\u8868\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5404\u4e2a\u200b\u8282\u70b9\u200b\u7684\u200b\u5b9e\u9645\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u72b6\u6001\u200b\u3002</li> <li><code>ovn-northd</code>\uff1a\u200b\u5c06\u200b <code>ovn-nb</code> \u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u7ffb\u8bd1\u6210\u200b <code>ovn-sb</code> \u200b\u4e2d\u200b\u7684\u200b\u903b\u8f91\u200b\u6d41\u8868\u200b\u3002</li> </ul> <p>\u200b\u591a\u4e2a\u200b <code>ovn-central</code> \u200b\u5b9e\u4f8b\u200b\u4f1a\u200b\u901a\u8fc7\u200b Raft \u200b\u534f\u8bae\u200b\u540c\u6b65\u200b\u6570\u636e\u200b\u4fdd\u8bc1\u200b\u9ad8\u200b\u53ef\u7528\u200b\u3002</p>"},{"location":"reference/architecture/#ovs-ovn","title":"ovs-ovn","text":"<p><code>ovs-ovn</code> \u200b\u4ee5\u200b DaemonSet \u200b\u5f62\u5f0f\u200b\u8fd0\u884c\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\uff0c\u200b\u5728\u200b Pod \u200b\u5185\u200b\u8fd0\u884c\u200b\u4e86\u200b <code>openvswitch</code>, <code>ovsdb</code>, \u200b\u548c\u200b <code>ovn-controller</code>\u3002\u200b\u8fd9\u4e9b\u200b\u7ec4\u4ef6\u200b\u4f5c\u4e3a\u200b <code>ovn-central</code> \u200b\u7684\u200b Agent \u200b\u5c06\u200b\u903b\u8f91\u200b\u6d41\u8868\u200b\u7ffb\u8bd1\u6210\u200b\u771f\u5b9e\u200b\u7684\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"reference/architecture/#agent","title":"\u6838\u5fc3\u200b\u63a7\u5236\u5668\u200b\u548c\u200b Agent","text":"<p>\u200b\u8be5\u200b\u90e8\u5206\u200b\u4e3a\u200b Kube-OVN \u200b\u7684\u200b\u6838\u5fc3\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u4f5c\u4e3a\u200b OVN \u200b\u548c\u200b Kubernetes \u200b\u4e4b\u95f4\u200b\u7684\u200b\u4e00\u4e2a\u200b\u6865\u6881\u200b\uff0c\u200b\u5c06\u200b\u4e24\u4e2a\u200b\u7cfb\u7edf\u200b\u6253\u901a\u200b\u5e76\u200b\u5c06\u200b\u7f51\u7edc\u200b\u6982\u5ff5\u200b\u8fdb\u884c\u200b\u76f8\u4e92\u200b\u8f6c\u6362\u200b\u3002 \u200b\u5927\u90e8\u5206\u200b\u7684\u200b\u6838\u5fc3\u200b\u529f\u80fd\u200b\u90fd\u200b\u5728\u200b\u8be5\u200b\u90e8\u5206\u200b\u7ec4\u4ef6\u200b\u4e2d\u200b\u5b9e\u73b0\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-controller","title":"kube-ovn-controller","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b Deployment \u200b\u6267\u884c\u200b\u6240\u6709\u200b Kubernetes \u200b\u5185\u200b\u8d44\u6e90\u200b\u5230\u200b OVN \u200b\u8d44\u6e90\u200b\u7684\u200b\u7ffb\u8bd1\u200b\u5de5\u4f5c\u200b\uff0c\u200b\u5176\u200b\u4f5c\u7528\u200b\u76f8\u5f53\u4e8e\u200b\u6574\u4e2a\u200b Kube-OVN \u200b\u7cfb\u7edf\u200b\u7684\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u3002 <code>kube-ovn-controller</code> \u200b\u76d1\u542c\u200b\u4e86\u200b\u6240\u6709\u200b\u548c\u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\u76f8\u5173\u200b\u8d44\u6e90\u200b\u7684\u200b\u4e8b\u4ef6\u200b\uff0c\u200b\u5e76\u200b\u6839\u636e\u200b\u8d44\u6e90\u200b\u53d8\u5316\u200b\u60c5\u51b5\u200b\u66f4\u65b0\u200b OVN \u200b\u5185\u200b\u7684\u200b\u903b\u8f91\u200b\u7f51\u7edc\u200b\u3002\u200b\u4e3b\u8981\u200b\u76d1\u542c\u200b\u7684\u200b\u8d44\u6e90\u200b\u5305\u62ec\u200b\uff1a Pod\uff0cService\uff0cEndpoint\uff0cNode\uff0cNetworkPolicy\uff0cVPC\uff0cSubnet\uff0cVlan\uff0cProviderNetwork\u3002</p> <p>\u200b\u4ee5\u200b Pod \u200b\u4e8b\u4ef6\u200b\u4e3a\u4f8b\u200b\uff0c <code>kube-ovn-controller</code> \u200b\u76d1\u542c\u200b\u5230\u200b Pod \u200b\u521b\u5efa\u200b\u4e8b\u4ef6\u200b\u540e\u200b\uff0c\u200b\u901a\u8fc7\u200b\u5185\u7f6e\u200b\u7684\u200b\u5185\u5b58\u200b IPAM \u200b\u529f\u80fd\u200b\u5206\u914d\u200b\u5730\u5740\u200b\uff0c\u200b\u5e76\u200b\u8c03\u7528\u200b <code>ovn-central</code> \u200b\u521b\u5efa\u200b \u200b\u903b\u8f91\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u548c\u200b\u53ef\u80fd\u200b\u7684\u200b ACL \u200b\u89c4\u5219\u200b\u3002\u200b\u63a5\u4e0b\u6765\u200b <code>kube-ovn-controller</code> \u200b\u5c06\u200b\u5206\u914d\u200b\u5230\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u548c\u200b\u5b50\u7f51\u200b\u4fe1\u606f\u200b\u4f8b\u5982\u200b CIDR\uff0c\u200b\u7f51\u5173\u200b\uff0c\u200b\u8def\u7531\u200b\u7b49\u200b\u4fe1\u606f\u200b\u5199\u4f1a\u200b\u5230\u200b Pod \u200b\u7684\u200b annotation \u200b\u4e2d\u200b\u3002\u200b\u8be5\u200b annotation \u200b\u540e\u7eed\u200b\u4f1a\u200b\u88ab\u200b <code>kube-ovn-cni</code> \u200b\u8bfb\u53d6\u200b\u7528\u6765\u200b\u914d\u7f6e\u200b\u672c\u5730\u7f51\u7edc\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-cni","title":"kube-ovn-cni","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b DaemonSet \u200b\u8fd0\u884c\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\uff0c\u200b\u5b9e\u73b0\u200b CNI \u200b\u63a5\u53e3\u200b\uff0c\u200b\u5e76\u200b\u64cd\u4f5c\u200b\u672c\u5730\u200b\u7684\u200b OVS \u200b\u914d\u7f6e\u200b\u5355\u673a\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u8be5\u200b DaemonSet \u200b\u4f1a\u200b\u590d\u5236\u200b <code>kube-ovn</code> \u200b\u4e8c\u8fdb\u5236\u200b\u6587\u4ef6\u200b\u5230\u200b\u6bcf\u53f0\u200b\u673a\u5668\u200b\uff0c\u200b\u4f5c\u4e3a\u200b <code>kubelet</code> \u200b\u548c\u200b <code>kube-ovn-cni</code> \u200b\u4e4b\u95f4\u200b\u7684\u200b\u4ea4\u4e92\u200b\u5de5\u5177\u200b\uff0c\u200b\u5c06\u200b\u76f8\u5e94\u200b CNI \u200b\u8bf7\u6c42\u200b \u200b\u53d1\u9001\u7ed9\u200b <code>kube-ovn-cni</code> \u200b\u6267\u884c\u200b\u3002\u200b\u8be5\u200b\u4e8c\u8fdb\u5236\u200b\u6587\u4ef6\u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u88ab\u200b\u590d\u5236\u5230\u200b <code>/opt/cni/bin</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\u3002</p> <p><code>kube-ovn-cni</code> \u200b\u4f1a\u200b\u914d\u7f6e\u200b\u5177\u4f53\u200b\u7684\u200b\u7f51\u7edc\u200b\u6765\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u6d41\u91cf\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u4e3b\u8981\u200b\u5de5\u4f5c\u200b\u5305\u62ec\u200b\uff1a</p> <ol> <li>\u200b\u914d\u7f6e\u200b <code>ovn-controller</code> \u200b\u548c\u200b <code>vswitchd</code>\u3002</li> <li>\u200b\u5904\u7406\u200b CNI add/del \u200b\u8bf7\u6c42\u200b\uff1a<ol> <li>\u200b\u521b\u5efa\u200b\u5220\u9664\u200b veth \u200b\u5e76\u200b\u548c\u200b OVS \u200b\u7aef\u53e3\u200b\u7ed1\u5b9a\u200b\u3002</li> <li>\u200b\u914d\u7f6e\u200b OVS \u200b\u7aef\u53e3\u200b\u4fe1\u606f\u200b\u3002</li> <li>\u200b\u66f4\u65b0\u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b iptables/ipset/route \u200b\u7b49\u200b\u89c4\u5219\u200b\u3002</li> </ol> </li> <li>\u200b\u52a8\u6001\u200b\u66f4\u65b0\u200b\u5bb9\u5668\u200b QoS.</li> <li>\u200b\u521b\u5efa\u200b\u5e76\u200b\u914d\u7f6e\u200b <code>ovn0</code> \u200b\u7f51\u5361\u200b\u8054\u901a\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u548c\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u3002</li> <li>\u200b\u914d\u7f6e\u200b\u4e3b\u673a\u200b\u7f51\u5361\u200b\u6765\u200b\u5b9e\u73b0\u200b Vlan/Underlay/EIP \u200b\u7b49\u200b\u529f\u80fd\u200b\u3002</li> <li>\u200b\u52a8\u6001\u200b\u914d\u7f6e\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u7f51\u200b\u5173\u200b\u3002</li> </ol>"},{"location":"reference/architecture/#_3","title":"\u76d1\u63a7\u200b\uff0c\u200b\u8fd0\u7ef4\u200b\u5de5\u5177\u200b\u548c\u200b\u6269\u5c55\u200b\u7ec4\u4ef6","text":"<p>\u200b\u8be5\u200b\u90e8\u5206\u200b\u7ec4\u4ef6\u200b\u4e3b\u8981\u200b\u63d0\u4f9b\u200b\u76d1\u63a7\u200b\uff0c\u200b\u8bca\u65ad\u200b\uff0c\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\u4ee5\u53ca\u200b\u548c\u200b\u5916\u90e8\u200b\u8fdb\u884c\u200b\u5bf9\u63a5\u200b\uff0c\u200b\u5bf9\u200b Kube-OVN \u200b\u7684\u200b\u6838\u5fc3\u200b\u7f51\u7edc\u200b\u80fd\u529b\u200b\u8fdb\u884c\u200b\u6269\u5c55\u200b\uff0c\u200b\u5e76\u200b\u7b80\u5316\u200b\u65e5\u5e38\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-speaker","title":"kube-ovn-speaker","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b DaemonSet \u200b\u8fd0\u884c\u200b\u5728\u200b\u7279\u5b9a\u200b\u6807\u7b7e\u200b\u7684\u200b\u8282\u70b9\u200b\u4e0a\u200b\uff0c\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u8def\u7531\u200b\uff0c\u200b\u4f7f\u5f97\u200b\u5916\u90e8\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b Pod IP \u200b\u8bbf\u95ee\u200b\u5bb9\u5668\u200b\u3002</p> <p>\u200b\u66f4\u200b\u591a\u200b\u76f8\u5173\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u8bf7\u200b\u53c2\u8003\u200b BGP \u200b\u652f\u6301\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-pinger","title":"kube-ovn-pinger","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b DaemonSet \u200b\u8fd0\u884c\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u6536\u96c6\u200b OVS \u200b\u8fd0\u884c\u200b\u4fe1\u606f\u200b\uff0c\u200b\u8282\u70b9\u200b\u7f51\u7edc\u200b\u8d28\u91cf\u200b\uff0c\u200b\u7f51\u7edc\u200b\u5ef6\u8fdf\u200b\u7b49\u200b\u4fe1\u606f\u200b\uff0c\u200b\u6536\u96c6\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u53ef\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-monitor","title":"kube-ovn-monitor","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b Deployment \u200b\u6536\u96c6\u200b OVN \u200b\u7684\u200b\u8fd0\u884c\u200b\u4fe1\u606f\u200b\uff0c\u200b\u6536\u96c6\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u53ef\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p>"},{"location":"reference/architecture/#kubectl-ko","title":"kubectl-ko","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b kubectl \u200b\u63d2\u4ef6\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5feb\u901f\u200b\u8fd0\u884c\u200b\u5e38\u89c1\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u4f7f\u7528\u200b\u8bf7\u200b\u53c2\u8003\u200b kubectl \u200b\u63d2\u4ef6\u200b\u4f7f\u7528\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/dev-env/","title":"\u5f00\u53d1\u200b\u73af\u5883\u200b\u6784\u5efa","text":""},{"location":"reference/dev-env/#_2","title":"\u73af\u5883\u200b\u51c6\u5907","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b Go 1.20 \u200b\u5f00\u53d1\u200b\u5e76\u200b\u4f7f\u7528\u200b Go Modules \u200b\u7ba1\u7406\u200b\u4f9d\u8d56\u200b\uff0c \u200b\u8bf7\u200b\u786e\u8ba4\u200b\u73af\u5883\u53d8\u91cf\u200b <code>GO111MODULE=\"on\"</code>\u3002</p> <p>gosec \u200b\u88ab\u200b\u7528\u6765\u200b\u626b\u63cf\u200b\u4ee3\u7801\u200b\u5b89\u5168\u200b\u76f8\u5173\u200b\u95ee\u9898\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u5f00\u53d1\u200b\u73af\u5883\u200b\u5b89\u88c5\u200b\uff1a</p> <pre><code>go install github.com/securego/gosec/v2/cmd/gosec@latest\n</code></pre> <p>\u200b\u4e3a\u4e86\u200b\u964d\u4f4e\u200b\u6700\u7ec8\u200b\u751f\u6210\u200b\u955c\u50cf\u200b\u5927\u5c0f\u200b\uff0cKube-OVN \u200b\u4f7f\u7528\u200b\u4e86\u200b\u90e8\u5206\u200b Docker buildx \u200b\u8bd5\u9a8c\u200b\u7279\u6027\u200b\uff0c\u200b\u8bf7\u200b\u66f4\u65b0\u200b Docker \u200b\u81f3\u200b\u6700\u65b0\u200b\u7248\u672c\u200b \u200b\u5e76\u200b\u5f00\u542f\u200b buildx:</p> <pre><code>docker buildx create --use\n</code></pre>"},{"location":"reference/dev-env/#_3","title":"\u6784\u5efa\u200b\u955c\u50cf","text":"<p>\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u200b\u4ee3\u7801\u200b\uff0c\u200b\u5e76\u200b\u751f\u6210\u200b\u8fd0\u884c\u200b Kube-OVN \u200b\u6240\u200b\u9700\u200b\u955c\u50cf\u200b\uff1a</p> <pre><code>git clone https://github.com/kubeovn/kube-ovn.git\ncd kube-ovn\nmake release\n</code></pre> <p>\u200b\u5982\u9700\u200b\u6784\u5efa\u200b\u5728\u200b ARM \u200b\u73af\u5883\u200b\u4e0b\u200b\u8fd0\u884c\u200b\u7684\u200b\u955c\u50cf\u200b\uff0c\u200b\u8bf7\u200b\u6267\u884c\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make release-arm\n</code></pre>"},{"location":"reference/dev-env/#base","title":"\u6784\u5efa\u200b base \u200b\u955c\u50cf","text":"<p>\u200b\u5982\u200b\u9700\u8981\u200b\u66f4\u6539\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u7248\u672c\u200b\uff0c\u200b\u4f9d\u8d56\u200b\u5e93\u200b\uff0cOVS/OVN \u200b\u4ee3\u7801\u200b\u7b49\u200b\uff0c\u200b\u9700\u8981\u200b\u5bf9\u200b base \u200b\u955c\u50cf\u200b\u8fdb\u884c\u200b\u91cd\u65b0\u200b\u6784\u5efa\u200b\u3002</p> <p>base \u200b\u955c\u50cf\u200b\u4f7f\u7528\u200b\u7684\u200b Dockerfile \u200b\u4e3a\u200b <code>dist/images/Dockerfile.base</code>\u3002</p> <p>\u200b\u6784\u5efa\u200b\u65b9\u6cd5\u200b\uff1a</p> <pre><code># build x86 base image\nmake base-amd64\n\n# build arm base image\nmake base-arm64\n</code></pre>"},{"location":"reference/dev-env/#e2e","title":"\u8fd0\u884c\u200b E2E","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b KIND \u200b\u6784\u5efa\u200b\u672c\u5730\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\uff0cj2cli \u200b\u6e32\u67d3\u200b\u6a21\u677f\u200b\uff0c Ginkgo \u200b\u6765\u200b\u8fd0\u884c\u200b\u6d4b\u8bd5\u4ee3\u7801\u200b\u3002\u200b\u8bf7\u200b\u53c2\u8003\u200b\u76f8\u5173\u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u4f9d\u8d56\u200b\u5b89\u88c5\u200b\u3002</p> <p>\u200b\u672c\u5730\u200b\u6267\u884c\u200b E2E \u200b\u6d4b\u8bd5\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install\nmake e2e\n</code></pre> <p>\u200b\u5982\u9700\u200b\u8fd0\u884c\u200b Underlay E2E \u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install-underlay\nmake e2e-underlay-single-nic\n</code></pre> <p>\u200b\u5982\u9700\u200b\u8fd0\u884c\u200b ovn vpc nat gw eip, fip, snat, dnat \u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install\nmake ovn-vpc-nat-gw-conformance-e2e\n</code></pre> <p>\u200b\u5982\u9700\u200b\u8fd0\u884c\u200b iptables vpc nat gw eip, fip, snat, dnat \u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install\nmake kind-install-vpc-nat-gw\nmake iptables-vpc-nat-gw-conformance-e2e\n</code></pre> <p>\u200b\u5982\u9700\u200b\u8fd0\u884c\u200b loadbalancer service \u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install\nmake kind-install-lb-svc\nmake kube-ovn-lb-svc-conformance-e2e\n</code></pre> <p>\u200b\u5982\u9700\u200b\u6e05\u7406\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-clean\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/document-convention/","title":"\u6587\u6863\u200b\u89c4\u8303","text":"<p>\u200b\u4e3a\u4e86\u200b\u4fdd\u8bc1\u200b\u6587\u6863\u200b\u98ce\u683c\u200b\u4e00\u81f4\u200b\uff0c\u200b\u8bf7\u200b\u5728\u200b\u63d0\u4ea4\u200b\u6587\u6863\u200b\u65f6\u200b\u9075\u5faa\u200b\u4e0b\u5217\u200b\u7684\u200b\u98ce\u683c\u200b\u89c4\u8303\u200b\u3002</p>"},{"location":"reference/document-convention/#_2","title":"\u6807\u70b9","text":"<p>\u200b\u4e2d\u6587\u200b\u6587\u6863\u200b\u4e2d\u200b\u6587\u672c\u200b\u5185\u5bb9\u200b\u6240\u6709\u200b\u6807\u70b9\u200b\u5e94\u200b\u4f7f\u7528\u200b\u4e2d\u6587\u200b\u683c\u5f0f\u200b\u6807\u70b9\u200b\uff0c\u200b\u82f1\u6587\u200b\u6587\u6863\u200b\u4e2d\u200b\u6240\u6709\u200b\u6587\u672c\u200b\u5185\u5bb9\u200b\u4e2d\u5e94\u200b\u4f7f\u7528\u200b\u82f1\u6587\u200b\u6807\u70b9\u200b\u3002</p> BadGood   \u200b\u8fd9\u91cc\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b,\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u4f60\u200b\u5feb\u901f\u200b\u5b89\u88c5\u200b\u4e00\u4e2a\u200b\u9ad8\u200b\u53ef\u7528\u200b,\u200b\u751f\u4ea7\u200b\u5c31\u7eea\u200b\u7684\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b.    \u200b\u8fd9\u91cc\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u4f60\u200b\u5feb\u901f\u200b\u5b89\u88c5\u200b\u4e00\u4e2a\u200b\u9ad8\u200b\u53ef\u7528\u200b\uff0c\u200b\u751f\u4ea7\u200b\u5c31\u7eea\u200b\u7684\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u3002   <p>\u200b\u82f1\u6587\u200b\u6570\u5b57\u200b\u548c\u200b\u4e2d\u6587\u200b\u5e94\u8be5\u200b\u7528\u200b\u7a7a\u683c\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b\u3002</p> BadGood   Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u6765\u200b\u5b89\u88c5\u200b 1.10 \u200b\u7248\u672c\u200b Kube-OVN\u3002    Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u6765\u200b\u5b89\u88c5\u200b 1.10 \u200b\u7248\u672c\u200b Kube-OVN\u3002   <p>\u200b\u793a\u4f8b\u200b\u5185\u5bb9\u200b\u5e94\u8be5\u200b\u4ee5\u200b <code>\uff1a</code> \u200b\u5f00\u542f\u200b\uff0c\u200b\u5176\u4ed6\u200b\u53e5\u200b\u5c3e\u200b\u9700\u8981\u200b\u7528\u200b <code>\u3002</code> \u200b\u7ed3\u675f\u200b\u3002</p> BadGood   \u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u786e\u8ba4\u200b\u73af\u5883\u200b\u914d\u7f6e\u200b\u6b63\u786e\u200b  \u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\u3002  <pre><code>wget 127.0.0.1\n</code></pre>   \u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u786e\u8ba4\u200b\u73af\u5883\u200b\u914d\u7f6e\u200b\u6b63\u786e\u200b\u3002  \u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a  <pre><code>wget 127.0.0.1\n</code></pre>"},{"location":"reference/document-convention/#_3","title":"\u4ee3\u7801\u200b\u5757","text":"<p>yaml \u200b\u4ee3\u7801\u200b\u5757\u200b\u9700\u8981\u200b\u6807\u8bc6\u200b\u4e3a\u200b yaml\u3002</p> BadGood <pre><code>````\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n    name: attach-subnet\n````\n</code></pre> <pre><code>````yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n    name: attach-subnet\n````\n</code></pre> <p>\u200b\u547d\u4ee4\u884c\u200b\u64cd\u4f5c\u200b\u793a\u4f8b\u200b\u4ee3\u7801\u200b\u5757\u200b\u9700\u8981\u200b\u6807\u8bc6\u200b\u4e3a\u200b bash\u3002</p> BadGood <pre><code>````\nwget 127.0.0.1\n````\n</code></pre> <pre><code>````bash\nwget 127.0.0.1\n````\n</code></pre> <p>\u200b\u5982\u679c\u200b\u547d\u4ee4\u884c\u200b\u64cd\u4f5c\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u5305\u542b\u200b\u8f93\u51fa\u200b\u5185\u5bb9\u200b\uff0c\u200b\u5219\u200b\u6240\u200b\u6267\u884c\u547d\u4ee4\u200b\u9700\u8981\u200b\u4ee5\u200b <code>#</code> \u200b\u5f00\u59cb\u200b\uff0c\u200b\u4ee5\u200b\u533a\u5206\u200b\u8f93\u5165\u200b\u4e0e\u200b\u8f93\u51fa\u200b\u3002</p> BadGood <pre><code>oilbeater@macdeMac-3 ~ ping 114.114.114.114 -c 3\nPING 114.114.114.114 (114.114.114.114): 56 data bytes\n64 bytes from 114.114.114.114: icmp_seq=0 ttl=83 time=10.429 ms\n64 bytes from 114.114.114.114: icmp_seq=1 ttl=79 time=11.360 ms\n64 bytes from 114.114.114.114: icmp_seq=2 ttl=76 time=10.794 ms\n\n--- 114.114.114.114 ping statistics ---\n3 packets transmitted, 3 packets received, 0.0% packet loss\nround-trip min/avg/max/stddev = 10.429/10.861/11.360/0.383 ms\n</code></pre> <pre><code># ping 114.114.114.114 -c 3\nPING 114.114.114.114 (114.114.114.114): 56 data bytes\n64 bytes from 114.114.114.114: icmp_seq=0 ttl=83 time=10.429 ms\n64 bytes from 114.114.114.114: icmp_seq=1 ttl=79 time=11.360 ms\n64 bytes from 114.114.114.114: icmp_seq=2 ttl=76 time=10.794 ms\n\n--- 114.114.114.114 ping statistics ---\n3 packets transmitted, 3 packets received, 0.0% packet loss\nround-trip min/avg/max/stddev = 10.429/10.861/11.360/0.383 ms\n</code></pre> <p>\u200b\u5982\u679c\u200b\u547d\u4ee4\u884c\u200b\u64cd\u4f5c\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u53ea\u200b\u5305\u542b\u200b\u6267\u884c\u547d\u4ee4\u200b\uff0c\u200b\u6ca1\u6709\u200b\u8f93\u51fa\u200b\u7ed3\u679c\u200b\uff0c\u200b\u5219\u200b\u591a\u6761\u200b\u547d\u4ee4\u200b\u65e0\u9700\u200b <code>#</code> \u200b\u5f00\u59cb\u200b\u3002</p> BadGood <pre><code># mv /etc/origin/ovn/ovnnb_db.db /tmp\n# mv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\nmv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre>"},{"location":"reference/document-convention/#_4","title":"\u94fe\u63a5","text":"<p>\u200b\u7ad9\u200b\u5185\u200b\u94fe\u63a5\u200b\u4f7f\u7528\u200b\u5bf9\u5e94\u200b <code>md</code> \u200b\u6587\u4ef6\u200b\u8def\u5f84\u200b\u3002</p> BadGood <pre><code>\u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u53c2\u8003\u200b[\u200b\u51c6\u5907\u200b\u5de5\u4f5c\u200b](http://kubeovn.github.io/prepare)\u3002\n</code></pre> <pre><code>\u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u53c2\u8003\u200b[\u200b\u51c6\u5907\u200b\u5de5\u4f5c\u200b](./prepare.md)\u3002\n</code></pre> BadGood <pre><code>\u200b\u5982\u200b\u6709\u200b\u95ee\u9898\u200b\u8bf7\u200b\u53c2\u8003\u200b [Kubernetes \u200b\u6587\u6863\u200b](http://kubernetes.io)\u3002\n</code></pre> <pre><code>\u200b\u5982\u200b\u6709\u200b\u95ee\u9898\u200b\u8bf7\u200b\u53c2\u8003\u200b [Kubernetes \u200b\u6587\u6863\u200b](http://kubernetes.io){: target=\"_blank\" }\u3002\n</code></pre>"},{"location":"reference/document-convention/#_5","title":"\u7a7a\u884c","text":"<p>\u200b\u4e0d\u540c\u200b\u903b\u8f91\u200b\u5757\u200b\uff0c\u200b\u4f8b\u5982\u200b\u6807\u9898\u200b\u548c\u200b\u6587\u672c\u200b\uff0c\u200b\u6587\u672c\u200b\u548c\u200b\u4ee3\u7801\u200b\uff0c\u200b\u6587\u672c\u200b\u548c\u200b\u7f16\u53f7\u200b\u4e4b\u95f4\u200b\u9700\u8981\u200b\u7528\u200b\u7a7a\u884c\u200b\u5206\u9694\u200b\u3002</p> BadGood <pre><code>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a\n```bash\nwget 127.0.0.1\n```\n</code></pre> <pre><code>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <p>\u200b\u4e0d\u540c\u200b\u903b\u8f91\u200b\u5757\u200b\u4e4b\u95f4\u200b\u53ea\u200b\u4f7f\u7528\u200b\u4e00\u4e2a\u200b\u7a7a\u884c\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b\u3002</p> BadGood <pre><code>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a\n\n\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <pre><code>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/feature-stage/","title":"\u529f\u80fd\u200b\u6210\u719f\u5ea6","text":"<p>\u200b\u5728\u200b Kube-OVN \u200b\u4e2d\u200b\u6839\u636e\u200b\u529f\u80fd\u200b\u4f7f\u7528\u200b\u5ea6\u200b\uff0c\u200b\u6587\u6863\u200b\u5b8c\u5584\u200b\u7a0b\u5ea6\u200b\u548c\u200b\u6d4b\u8bd5\u200b\u8986\u76d6\u200b\u7a0b\u5ea6\u200b\u5c06\u200b\u529f\u80fd\u200b\u6210\u719f\u5ea6\u200b\u5206\u4e3a\u200b Alpha\uff0cBeta \u200b\u548c\u200b GA \u200b\u4e09\u4e2a\u200b\u9636\u6bb5\u200b\u3002</p>"},{"location":"reference/feature-stage/#_2","title":"\u6210\u719f\u5ea6\u200b\u5b9a\u4e49","text":"<p>\u200b\u5bf9\u4e8e\u200b Alpha \u200b\u529f\u80fd\u200b\uff1a</p> <ul> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u6ca1\u6709\u200b\u5b8c\u6574\u200b\u7684\u200b\u6587\u6863\u200b\u548c\u200b\u5b8c\u5584\u200b\u7684\u200b\u6d4b\u8bd5\u200b\u8986\u76d6\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u672a\u6765\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u53d1\u751f\u53d8\u5316\u200b\u751a\u81f3\u200b\u6574\u4f53\u200b\u79fb\u9664\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b API \u200b\u4e0d\u200b\u4fdd\u8bc1\u200b\u7a33\u5b9a\u200b\uff0c\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u88ab\u200b\u79fb\u9664\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u793e\u533a\u200b\u652f\u6301\u200b\u4f18\u5148\u7ea7\u200b\u8f83\u200b\u4f4e\u200b\uff0c\u200b\u4e14\u200b\u65e0\u6cd5\u200b\u4fdd\u8bc1\u200b\u957f\u671f\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u529f\u80fd\u200b\u7a33\u5b9a\u6027\u200b\u548c\u200b\u957f\u671f\u200b\u652f\u6301\u200b\u65e0\u6cd5\u200b\u4fdd\u8bc1\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u8fdb\u884c\u200b\u6d4b\u8bd5\u200b\u9a8c\u8bc1\u200b\uff0c\u200b\u4f46\u200b\u4e0d\u200b\u63a8\u8350\u200b\u751f\u4ea7\u200b\u4f7f\u7528\u200b\u3002</li> </ul> <p>\u200b\u5bf9\u4e8e\u200b Beta \u200b\u529f\u80fd\u200b\uff1a</p> <ul> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u6709\u200b\u90e8\u5206\u200b\u6587\u6863\u200b\u548c\u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u4f46\u662f\u200b\u4e0d\u200b\u4fdd\u8bc1\u200b\u5b8c\u6574\u200b\u7684\u200b\u8986\u76d6\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u672a\u6765\u200b\u53ef\u80fd\u200b\u53d1\u751f\u53d8\u5316\u200b\uff0c\u200b\u5347\u7ea7\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u5f71\u54cd\u200b\u7f51\u7edc\u200b\uff0c\u200b\u4f46\u200b\u4e0d\u4f1a\u200b\u88ab\u200b\u6574\u4f53\u200b\u79fb\u9664\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b API \u200b\u672a\u6765\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u53d1\u751f\u53d8\u5316\u200b\uff0c\u200b\u5b57\u200b\u6bb5\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff0c\u200b\u4f46\u200b\u4e0d\u4f1a\u200b\u6574\u4f53\u200b\u79fb\u9664\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5f97\u5230\u200b\u793e\u533a\u200b\u7684\u200b\u957f\u671f\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5f97\u5230\u200b\u957f\u671f\u200b\u652f\u6301\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u975e\u5173\u952e\u200b\u4e1a\u52a1\u200b\u4e0a\u200b\u8fdb\u884c\u200b\u4f7f\u7528\u200b\uff0c\u200b\u4f46\u662f\u200b\u7531\u4e8e\u200b\u529f\u80fd\u200b\u548c\u200b API \u200b\u5b58\u5728\u200b\u53d8\u5316\u200b\u7684\u200b\u53ef\u80fd\u200b\uff0c\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u5728\u200b\u5347\u7ea7\u200b\u4e2d\u200b\u51fa\u73b0\u200b\u4e2d\u65ad\u200b\uff0c\u200b\u4e0d\u200b\u63a8\u8350\u200b\u5728\u200b\u5173\u952e\u200b\u751f\u4ea7\u200b\u4e1a\u52a1\u200b\u4e0a\u200b\u4f7f\u7528\u200b\u3002</li> </ul> <p>\u200b\u5bf9\u4e8e\u200b GA \u200b\u529f\u80fd\u200b\uff1a</p> <ul> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u6709\u200b\u5b8c\u6574\u200b\u7684\u200b\u6587\u6863\u200b\u548c\u200b\u6d4b\u8bd5\u200b\u8986\u76d6\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4f1a\u200b\u4fdd\u6301\u7a33\u5b9a\u200b\uff0c\u200b\u5347\u7ea7\u200b\u4f1a\u200b\u4fdd\u8bc1\u200b\u5e73\u6ed1\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b API \u200b\u4e0d\u4f1a\u200b\u53d1\u751f\u200b\u7834\u574f\u6027\u200b\u53d8\u5316\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5f97\u5230\u200b\u793e\u533a\u200b\u9ad8\u200b\u4f18\u5148\u7ea7\u200b\u652f\u6301\u200b\uff0c\u200b\u5e76\u4f1a\u200b\u4fdd\u8bc1\u200b\u957f\u671f\u200b\u652f\u6301\u200b\u3002</li> </ul>"},{"location":"reference/feature-stage/#_3","title":"\u6210\u719f\u5ea6\u200b\u5217\u8868","text":"<p>\u200b\u672c\u200b\u5217\u8868\u200b\u7edf\u8ba1\u200b\u4ece\u200b v1.8 \u200b\u7248\u672c\u200b\u4e2d\u200b\u5305\u542b\u200b\u7684\u200b\u529f\u80fd\u200b\u5bf9\u5e94\u200b\u6210\u719f\u5ea6\u200b\u3002</p> \u200b\u529f\u80fd\u200b \u200b\u9ed8\u8ba4\u200b\u5f00\u542f\u200b \u200b\u72b6\u6001\u200b \u200b\u5f00\u59cb\u200b\uff08Since\uff09 \u200b\u7ed3\u675f\u200b\uff08Until\uff09 Namespaced Subnet true GA 1.8 \u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b true GA 1.8 \u200b\u4e3b\u4ece\u200b\u6a21\u5f0f\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b true GA 1.8 ECMP \u200b\u6a21\u5f0f\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b false Beta 1.8 \u200b\u5b50\u7f51\u200b ACL true Alpha 1.9 \u200b\u5b50\u7f51\u200b\u9694\u79bb\u200b (\u200b\u672a\u6765\u200b\u4f1a\u200b\u548c\u200b\u5b50\u7f51\u200b ACL \u200b\u5408\u5e76\u200b) true Beta 1.8 Underlay \u200b\u5b50\u7f51\u200b true GA 1.8 \u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b true Beta 1.8 \u200b\u5b50\u7f51\u200b DHCP false Alpha 1.10 \u200b\u5b50\u7f51\u200b\u8bbe\u7f6e\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b false Alpha 1.8 \u200b\u4f7f\u7528\u200b OVN-IC \u200b\u8fdb\u884c\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b false Beta 1.8 \u200b\u4f7f\u7528\u200b Submariner \u200b\u8fdb\u884c\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b false Alpha 1.9 \u200b\u5b50\u7f51\u200b VIP \u200b\u9884\u7559\u200b true Alpha 1.10 \u200b\u521b\u5efa\u200b\u81ea\u5b9a\u4e49\u200b VPC true Beta 1.8 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u6d6e\u52a8\u200b IP/SNAT/DNAT true Alpha 1.10 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u9759\u6001\u200b\u8def\u7531\u200b true Alpha 1.10 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u7b56\u7565\u200b\u8def\u7531\u200b true Alpha 1.10 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5b89\u5168\u200b\u7ec4\u200b true Alpha 1.10 \u200b\u5bb9\u5668\u200b\u6700\u5927\u200b\u5e26\u5bbd\u200b QoS true GA 1.8 linux-netem QoS true Alpha 1.9 Prometheus \u200b\u96c6\u6210\u200b false GA 1.8 Grafana \u200b\u96c6\u6210\u200b false GA 1.8 \u200b\u53cc\u6808\u200b\u7f51\u7edc\u200b false GA 1.8 \u200b\u9ed8\u8ba4\u200b VPC EIP/SNAT false Beta 1.8 \u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b false GA 1.8 NetworkPolicy true Beta 1.8 Webhook false Alpha 1.10 \u200b\u6027\u80fd\u200b\u8c03\u4f18\u200b false Beta 1.8 Overlay \u200b\u5b50\u7f51\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b false Alpha 1.8 Overlay \u200b\u5b50\u7f51\u200b BGP \u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b false Alpha 1.9 Cilium \u200b\u96c6\u6210\u200b false Alpha 1.10 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e92\u8054\u200b false Alpha 1.10 Mellanox Offload false Alpha 1.8 \u200b\u82af\u542f\u6e90\u200b Offload false Alpha 1.10 Windows \u200b\u652f\u6301\u200b false Alpha 1.10 DPDK \u200b\u652f\u6301\u200b false Alpha 1.10 OpenStack \u200b\u96c6\u6210\u200b false Alpha 1.9 \u200b\u5355\u4e2a\u200b Pod \u200b\u56fa\u5b9a\u200b IP/Mac true GA 1.8 Workload \u200b\u56fa\u5b9a\u200b IP true GA 1.8 StatefulSet \u200b\u56fa\u5b9a\u200b IP true GA 1.8 VM \u200b\u56fa\u5b9a\u200b IP false Beta 1.9 \u200b\u9ed8\u8ba4\u200b VPC Load Balancer \u200b\u7c7b\u578b\u200b Service false Alpha 1.11 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b DNS false Alpha 1.11 Underlay \u200b\u548c\u200b Overlay \u200b\u4e92\u901a\u200b false Beta 1.12 <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/iptables-rules/","title":"Iptables \u200b\u89c4\u5219","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b ipset \u200b\u53ca\u200b iptables \u200b\u8f85\u52a9\u200b\u5b9e\u73b0\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\uff08Overlay\uff09\u200b\u7f51\u5173\u200b NAT \u200b\u7684\u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u7684\u200b ipset \u200b\u5982\u4e0b\u200b\u8868\u200b\u6240\u793a\u200b\uff1a</p> \u200b\u540d\u79f0\u200b\uff08IPv4/IPv6\uff09 \u200b\u7c7b\u578b\u200b \u200b\u5b58\u50a8\u200b\u5bf9\u8c61\u200b ovn40services/ovn60services hash:net Service \u200b\u7f51\u6bb5\u200b ovn40subnets/ovn60subnets hash:net Overlay \u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b\u4ee5\u53ca\u200b NodeLocal DNS IP \u200b\u5730\u5740\u200b ovn40subnets-nat/ovn60subnets-nat hash:net \u200b\u5f00\u542f\u200b NatOutgoing \u200b\u7684\u200b Overlay \u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b ovn40subnets-distributed-gw/ovn60subnets-distributed-gw hash:net \u200b\u5f00\u542f\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\u7684\u200b Overlay \u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b ovn40other-node/ovn60other-node hash:net \u200b\u5176\u5b83\u200b\u8282\u70b9\u200b\u7684\u200b\u5185\u90e8\u200b IP \u200b\u5730\u5740\u200b ovn40local-pod-ip-nat/ovn60local-pod-ip-nat hash:ip \u200b\u5df2\u5f03\u200b\u7528\u200b ovn40subnets-nat-policy hash:net \u200b\u914d\u7f6e\u200b\u4e86\u200b natOutgoingPolicyRules \u200b\u7684\u200b\u6240\u6709\u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b ovn40natpr-418e79269dc5-dst hash:net natOutgoingPolicyRules \u200b\u4e2d\u200b rule \u200b\u5bf9\u5e94\u200b\u7684\u200b dstIPs ovn40natpr-418e79269dc5-src hash:net natOutgoingPolicyRules \u200b\u4e2d\u200b rule \u200b\u5bf9\u5e94\u200b\u7684\u200b srcIPs <p>\u200b\u4f7f\u7528\u200b\u7684\u200b iptables \u200b\u89c4\u5219\u200b\uff08IPv4\uff09\u200b\u5982\u4e0b\u200b\u8868\u200b\u6240\u793a\u200b\uff1a</p> \u200b\u8868\u200b \u200b\u94fe\u200b \u200b\u89c4\u5219\u200b \u200b\u7528\u9014\u200b \u200b\u5907\u6ce8\u200b filter INPUT -m set --match-set ovn40services src -j ACCEPT \u200b\u5141\u8bb8\u200b k8s Service \u200b\u548c\u200b Pod \u200b\u76f8\u5173\u200b\u6d41\u91cf\u200b\u901a\u8fc7\u200b -- filter INPUT -m set --match-set ovn40services dst -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter INPUT -m set --match-set ovn40subnets src -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter INPUT -m set --match-set ovn40subnets dst -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -m set --match-set ovn40services src -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -m set --match-set ovn40services dst -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -m set --match-set ovn40subnets src -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -m set --match-set ovn40subnets dst -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -s 10.16.0.0/16 -m comment --comment \"ovn-subnet-gateway,ovn-default\" \u200b\u7528\u4e8e\u200b\u8ba1\u6570\u200b\u4ece\u200b subnet \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u7684\u200b\u62a5\u6587\u200b 10.16.0.0/16 \u200b\u4e3a\u200b subnet \u200b\u7684\u200b cidr \uff0ccomment \u200b\u4e2d\u200b\u9017\u53f7\u200b\u524d\u9762\u200b\u7684\u200b ovn-subnet-gateway \u200b\u7528\u4e8e\u200b\u6807\u8bc6\u200b\u8be5\u200b iptables \u200b\u89c4\u5219\u200b\u7528\u4e8e\u200b subnet \u200b\u51fa\u5165\u200b\u7f51\u5173\u200b\u62a5\u6587\u200b\u8ba1\u6570\u200b\uff0c\u200b\u9017\u53f7\u200b\u540e\u9762\u200b ovn-default \u200b\u662f\u200b\u8be5\u200b subnet \u200b\u7684\u200b\u540d\u5b57\u200b filter FORWARD -d 10.16.0.0/16 -m comment --comment \"ovn-subnet-gateway,ovn-default\" \u200b\u7528\u4e8e\u200b\u8ba1\u6570\u200b\u4ece\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u8bbf\u95ee\u200b subnet \u200b\u7684\u200b\u62a5\u6587\u200b \u200b\u540c\u200b\u4e0a\u200b filter OUTPUT -p udp -m udp --dport 6081 -j MARK --set-xmark 0x0 \u200b\u6e05\u9664\u200b\u6d41\u91cf\u200b\u6807\u8bb0\u200b\uff0c\u200b\u907f\u514d\u200b\u6267\u884c\u200b SNAT UDP: bad checksum on VXLAN interface nat PREROUTING -m comment --comment \"kube-ovn prerouting rules\" -j OVN-PREROUTING \u200b\u8fdb\u5165\u200b OVN-PREROUTING \u200b\u94fe\u200b\u5904\u7406\u200b -- nat POSTROUTING -m comment --comment \"kube-ovn postrouting rules\" -j OVN-POSTROUTING \u200b\u8fdb\u5165\u200b OVN-POSTROUTING \u200b\u94fe\u200b\u5904\u7406\u200b -- nat OVN-PREROUTING -i ovn0 -m set --match-set ovn40subnets src -m set --match-set ovn40services dst -j MARK --set-xmark 0x4000/0x4000 \u200b\u4e3a\u200b Pod \u200b\u8bbf\u95ee\u200b Service \u200b\u6d41\u91cf\u200b\u6dfb\u52a0\u200b masquerade \u200b\u6807\u8bb0\u200b \u200b\u4f5c\u7528\u200b\u4e8e\u200b\u5173\u95ed\u200b\u5185\u7f6e\u200b LB \u200b\u7684\u200b\u573a\u666f\u200b nat OVN-PREROUTING -p tcp -m addrtype --dst-type LOCAL -m set --match-set KUBE-NODE-PORT-LOCAL-TCP dst -j MARK --set-xmark 0x80000/0x80000 \u200b\u4e3a\u200b ExternalTrafficPolicy \u200b\u4e3a\u200b Local \u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\uff08TCP\uff09\u200b\u6dfb\u52a0\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b \u200b\u4ec5\u200b kube-proxy \u200b\u4f7f\u7528\u200b ipvs \u200b\u6a21\u5f0f\u200b\u65f6\u200b\u5b58\u5728\u200b nat OVN-PREROUTING -p udp -m addrtype --dst-type LOCAL -m set --match-set KUBE-NODE-PORT-LOCAL-UDP dst -j MARK --set-xmark 0x80000/0x80000 \u200b\u4e3a\u200b ExternalTrafficPolicy \u200b\u4e3a\u200b Local \u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\uff08UDP\uff09\u200b\u6dfb\u52a0\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b \u200b\u540c\u200b\u4e0a\u200b nat OVN-POSTROUTING -m set --match-set ovn40services src -m set --match-set ovn40subnets dst -m mark --mark 0x4000/0x4000 -j SNAT --to-source  \u200b\u5f53\u200b\u8282\u70b9\u200b\u901a\u8fc7\u200b Service IP \u200b\u8bbf\u95ee\u200b Overlay Pod \u200b\u65f6\u200b\uff0c\u200b\u4fdd\u6301\u200b\u6e90\u200b IP \u200b\u4e3a\u200b\u8282\u70b9\u200b IP\u3002 \u200b\u4ec5\u200b kube-proxy \u200b\u4f7f\u7528\u200b ipvs \u200b\u6a21\u5f0f\u200b\u65f6\u200b\u751f\u6548\u200b nat OVN-POSTROUTING -m mark --mark 0x4000/0x4000 -j MASQUERADE \u200b\u4e3a\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b\u7684\u200b\u6d41\u91cf\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -m set --match-set ovn40subnets src -m set --match-set ovn40subnets dst -j MASQUERADE \u200b\u4e3a\u200b\u901a\u8fc7\u200b\u8282\u70b9\u200b\u7684\u200b Pod \u200b\u4e4b\u95f4\u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -m mark --mark 0x80000/0x80000 -m set --match-set ovn40subnets-distributed-gw dst -j RETURN \u200b\u5bf9\u4e8e\u200b ExternalTrafficPolicy \u200b\u4e3a\u200b Local \u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\uff0c\u200b\u82e5\u200b Endpoint \u200b\u4f7f\u7528\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u65e0\u9700\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -m mark --mark 0x80000/0x80000 -j MASQUERADE \u200b\u5bf9\u4e8e\u200b ExternalTrafficPolicy \u200b\u4e3a\u200b Local \u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\uff0c\u200b\u82e5\u200b Endpoint \u200b\u4f7f\u7528\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -p tcp -m tcp --tcp-flags SYN NONE -m conntrack --ctstate NEW -j RETURN Pod IP \u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b\u65f6\u200b\uff0c\u200b\u4e0d\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -s 10.16.0.0/16 -m set ! --match-set ovn40subnets dst -j SNAT --to-source 192.168.0.101 Pod \u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5916\u200b\u7f51\u7edc\u200b\u65f6\u200b\uff0c\u200b\u82e5\u200b\u5b50\u7f51\u200b\u5f00\u542f\u200b NatOutgoing \u200b\u4e14\u200b\u4f7f\u7528\u200b\u6307\u5b9a\u200b IP \u200b\u7684\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u6267\u884c\u200b SNAT 10.16.0.0/16 \u200b\u4e3a\u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b\uff0c192.168.0.101 \u200b\u4e3a\u200b\u6307\u5b9a\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b IP nat OVN-POSTROUTING -m set --match-set ovn40subnets-nat src -m set ! --match-set ovn40subnets dst -j MASQUERADE Pod \u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5916\u200b\u7f51\u7edc\u200b\u65f6\u200b\uff0c\u200b\u82e5\u200b\u5b50\u7f51\u200b\u5f00\u542f\u200b NatOutgoing\uff0c\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -m set --match-set ovn40subnets-nat-policy src -m set ! --match-set ovn40subnets dst -j OVN-NAT-POLICY Pod \u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5916\u200b\u7f51\u7edc\u200b\u65f6\u200b\uff0c\u200b\u82e5\u200b\u5b50\u7f51\u200b\u5f00\u542f\u200b natOutgoingPolicyRules\uff0c\u200b\u6307\u5b9a\u200b\u7b56\u7565\u200b\u7684\u200b\u62a5\u6587\u200b\u6267\u884c\u200b SNAT \u200b\u914d\u7f6e\u200b\u4e86\u200b natOutgoingPolicyRules \u200b\u5b50\u7f51\u200b\u7684\u200b\u51fa\u5916\u200b\u7f51\u200b\u62a5\u6587\u200b\u7684\u200b\u8fdb\u5165\u200b\u94fe\u200b OVN-NAT-POLICY nat OVN-POSTROUTING -m mark --mark 0x90001/0x90001 -j MASQUERADE --random-fully \u200b\u540c\u200b\u4e0a\u200b \u200b\u4ece\u200b OVN-NAT-POLICY \u200b\u51fa\u6765\u200b\u540e\u200b\uff0c\u200b\u5982\u679c\u200b\u88ab\u200b\u6253\u200b\u4e0a\u200b tag 0x90001/0x90001 \u200b\u5c31\u200b\u4f1a\u200b\u505a\u200b SNAT nat OVN-POSTROUTING -m mark --mark 0x90002/0x90002 -j RETURN \u200b\u540c\u200b\u4e0a\u200b \u200b\u4ece\u200b OVN-NAT-POLICY \u200b\u51fa\u6765\u200b\u540e\u200b, \u200b\u5982\u679c\u200b\u88ab\u200b\u6253\u200b\u4e0a\u200b tag 0x90002/0x90002 \u200b\u4e0d\u4f1a\u200b\u505a\u200b SNAT nat OVN-NAT-POLICY -s 10.0.11.0/24 -m comment --comment natPolicySubnet-net1 -j OVN-NAT-PSUBNET-aa98851157c5 \u200b\u540c\u200b\u4e0a\u200b 10.0.11.0/24 \u200b\u8868\u793a\u200b\u5b50\u7f51\u200b net1 \u200b\u7684\u200b CIDR\uff0c  OVN-NAT-PSUBNET-aa98851157c5 \u200b\u8fd9\u6761\u200b\u94fe\u4e0b\u200b\u7684\u200b\u89c4\u5219\u200b\u5c31\u200b\u5bf9\u5e94\u200b\u8fd9\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b natOutgoingPolicyRules \u200b\u914d\u7f6e\u200b nat OVN-NAT-PSUBNET-xxxxxxxxxxxx -m set --match-set ovn40natpr-418e79269dc5-src src -m set --match-set ovn40natpr-418e79269dc5-dst dst -j MARK --set-xmark 0x90002/0x90002 \u200b\u540c\u200b\u4e0a\u200b 418e79269dc5 \u200b\u8868\u793a\u200b natOutgoingPolicyRules \u200b\u4e2d\u200b\u7684\u200b\u4e00\u6761\u200b\u89c4\u5219\u200b\u7684\u200b ID\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b status.natOutgoingPolicyRules[index].RuleID \u200b\u67e5\u770b\u200b\u5230\u200b\uff0c \u200b\u8868\u793a\u200b srcIPs \u200b\u6ee1\u8db3\u200b ovn40natpr-418e79269dc5-src\uff0c dstIPS \u200b\u6ee1\u8db3\u200b ovn40natpr-418e79269dc5-dst \u200b\u4f1a\u200b\u6253\u200b\u4e0a\u200b tag 0x90002 mangle OVN-OUTPUT -d 10.241.39.2/32 -p tcp -m tcp --dport 80 -j MARK --set-xmark 0x90003/0x90003 \u200b\u5c06\u200b kubelet \u200b\u7684\u200b\u63a2\u6d4b\u200b\u6d41\u91cf\u200b\u52a0\u4e0a\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b\u4ece\u800c\u200b\u5f15\u5165\u200b\u5230\u200b tproxy mangle OVN-PREROUTING -d 10.241.39.2/32 -p tcp -m tcp --dport 80 -j TPROXY --on-port 8102 --on-ip 172.18.0.3 --tproxy-mark 0x90004/0x90004 \u200b\u5c06\u200b kubelet \u200b\u7684\u200b\u63a2\u6d4b\u200b\u6d41\u91cf\u200b\u52a0\u4e0a\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b\u4ece\u800c\u200b\u5f15\u5165\u200b\u5230\u200b tproxy <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/kube-ovn-api/","title":"Kube-OVN \u200b\u63a5\u53e3\u200b\u89c4\u8303","text":"<p>\u200b\u57fa\u4e8e\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\uff0c\u200b\u6574\u7406\u200b\u4e86\u200b Kube-OVN \u200b\u652f\u6301\u200b\u7684\u200b CRD \u200b\u8d44\u6e90\u200b\u5217\u8868\u200b\uff0c\u200b\u5217\u51fa\u200b CRD \u200b\u5b9a\u4e49\u200b\u5404\u5b57\u200b\u6bb5\u200b\u7684\u200b\u53d6\u503c\u200b\u7c7b\u578b\u200b\u548c\u200b\u542b\u4e49\u200b\uff0c\u200b\u4ee5\u200b\u4f9b\u53c2\u8003\u200b\u3002</p>"},{"location":"reference/kube-ovn-api/#condition","title":"\u901a\u7528\u200b\u7684\u200b Condition \u200b\u5b9a\u4e49","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b type String \u200b\u72b6\u6001\u200b\u7c7b\u578b\u200b status String \u200b\u72b6\u6001\u503c\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>True</code>\uff0c<code>False</code> \u200b\u6216\u200b <code>Unknown</code> reason String \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u7684\u200b\u539f\u56e0\u200b message String \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u7684\u200b\u5177\u4f53\u200b\u4fe1\u606f\u200b lastUpdateTime Time \u200b\u4e0a\u6b21\u200b\u72b6\u6001\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b lastTransitionTime Time \u200b\u4e0a\u6b21\u200b\u72b6\u6001\u200b\u7c7b\u578b\u200b\u53d1\u751f\u53d8\u5316\u200b\u7684\u200b\u65f6\u95f4\u200b <p>\u200b\u5728\u200b\u5404\u200b CRD \u200b\u7684\u200b\u5b9a\u4e49\u200b\u4e2d\u200b\uff0cStatus \u200b\u4e2d\u200b\u7684\u200b Condition \u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u90fd\u200b\u9075\u5faa\u200b\u4e0a\u8ff0\u200b\u683c\u5f0f\u200b\uff0c\u200b\u56e0\u6b64\u200b\u63d0\u524d\u200b\u8fdb\u884c\u200b\u8bf4\u660e\u200b\u3002</p>"},{"location":"reference/kube-ovn-api/#subnet","title":"Subnet \u200b\u5b9a\u4e49","text":""},{"location":"reference/kube-ovn-api/#subnet_1","title":"Subnet","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>Subnet</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec SubnetSpec Subnet \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status SubnetStatus Subnet \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#subnetspec","title":"SubnetSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b default Bool \u200b\u8be5\u200b\u5b50\u7f51\u200b\u662f\u5426\u200b\u4e3a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b vpc String \u200b\u5b50\u7f51\u200b\u6240\u5c5e\u200b Vpc\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b ovn-cluster protocol String IP \u200b\u534f\u8bae\u200b\uff0c\u200b\u53d6\u503c\u200b\u53ef\u4ee5\u200b\u4e3a\u200b <code>IPv4</code>\uff0c<code>IPv6</code> \u200b\u6216\u200b <code>Dual</code> namespaces []String \u200b\u8be5\u200b\u5b50\u7f51\u200b\u6240\u200b\u7ed1\u5b9a\u200b\u7684\u200b namespace \u200b\u5217\u8868\u200b cidrBlock String \u200b\u5b50\u7f51\u200b\u7684\u200b\u7f51\u6bb5\u200b\u8303\u56f4\u200b\uff0c\u200b\u5982\u200b 10.16.0.0/16 gateway String \u200b\u5b50\u7f51\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u8be5\u200b\u5b50\u7f51\u200b CIDRBlock \u200b\u4e0b\u200b\u7684\u200b\u7b2c\u4e00\u4e2a\u200b\u53ef\u7528\u200b\u5730\u5740\u200b excludeIps []String \u200b\u8be5\u200b\u5b50\u7f51\u200b\u4e0b\u200b\u4e0d\u4f1a\u200b\u88ab\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b provider String \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b ovn\u3002\u200b\u591a\u200b\u7f51\u5361\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u914d\u7f6e\u200b\u53d6\u503c\u200b\u4e3a\u200b NetworkAttachmentDefinition \u200b\u7684\u200b .\uff0cKube-OVN \u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u8fd9\u4e9b\u200b\u4fe1\u606f\u200b\u627e\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b Subnet \u200b\u8d44\u6e90\u200b gatewayType String Overlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u7684\u200b\u7f51\u5173\u200b\u7c7b\u578b\u200b\uff0c\u200b\u53d6\u503c\u200b\u53ef\u4ee5\u200b\u4e3a\u200b <code>distributed</code> \u200b\u6216\u200b <code>centralized</code> gatewayNode String \u200b\u5f53\u200b\u7f51\u5173\u200b\u6a21\u5f0f\u200b\u4e3a\u200b centralized \u200b\u65f6\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4e3a\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u7684\u200b\u591a\u4e2a\u200b\u8282\u70b9\u200b natOutgoing Bool \u200b\u51fa\u7f51\u200b\u6d41\u91cf\u200b\u662f\u5426\u200b\u8fdb\u884c\u200b NAT\u3002\u200b\u8be5\u200b\u53c2\u6570\u200b\u548c\u200b <code>externalEgressGateway</code> \u200b\u53c2\u6570\u200b\u4e0d\u80fd\u200b\u540c\u65f6\u200b\u8bbe\u7f6e\u200b\u3002 externalEgressGateway String \u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\u3002\u200b\u9700\u8981\u200b\u548c\u5b50\u200b\u7f51\u7f51\u200b\u5173\u8282\u70b9\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u4e8c\u5c42\u200b\u53ef\u8fbe\u57df\u200b\uff0c\u200b\u8be5\u200b\u53c2\u6570\u200b\u548c\u200b <code>natOutgoing</code> \u200b\u53c2\u6570\u200b\u4e0d\u80fd\u200b\u540c\u65f6\u200b\u8bbe\u7f6e\u200b policyRoutingPriority Uint32 \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4f18\u5148\u7ea7\u200b\u3002\u200b\u6dfb\u52a0\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4f7f\u7528\u200b\u53c2\u6570\u200b\uff0c\u200b\u63a7\u5236\u200b\u6d41\u91cf\u200b\u7ecf\u200b\u5b50\u7f51\u200b\u7f51\u5173\u200b\u4e4b\u540e\u200b\uff0c\u200b\u8f6c\u53d1\u200b\u5230\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u5730\u5740\u200b policyRoutingTableID Uint32 \u200b\u4f7f\u7528\u200b\u7684\u200b\u672c\u5730\u200b\u7b56\u7565\u200b\u8def\u7531\u8868\u200b\u7684\u200b TableID\uff0c\u200b\u6bcf\u4e2a\u200b\u5b50\u7f51\u200b\u5747\u200b\u9700\u200b\u4e0d\u540c\u200b\u4ee5\u200b\u907f\u514d\u200b\u51b2\u7a81\u200b private Bool \u200b\u6807\u8bc6\u200b\u8be5\u200b\u5b50\u7f51\u200b\u662f\u5426\u200b\u4e3a\u200b\u79c1\u6709\u200b\u5b50\u7f51\u200b\uff0c\u200b\u79c1\u6709\u200b\u5b50\u7f51\u200b\u9ed8\u8ba4\u200b\u62d2\u7edd\u200b\u5b50\u7f51\u200b\u5916\u200b\u7684\u200b\u5730\u5740\u200b\u8bbf\u95ee\u200b allowSubnets []String \u200b\u5b50\u7f51\u200b\u4e3a\u200b\u79c1\u6709\u200b\u5b50\u7f51\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u5141\u8bb8\u200b\u8bbf\u95ee\u200b\u8be5\u200b\u5b50\u7f51\u200b\u5730\u5740\u200b\u7684\u200b\u96c6\u5408\u200b vlan String \u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b\u7684\u200b Vlan \u200b\u540d\u79f0\u200b vips []String \u200b\u5b50\u7f51\u200b\u4e0b\u200b virtual \u200b\u7c7b\u578b\u200b lsp \u200b\u7684\u200b virtual-ip \u200b\u53c2\u6570\u4fe1\u606f\u200b logicalGateway Bool \u200b\u662f\u5426\u200b\u542f\u7528\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b disableGatewayCheck Bool \u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\u662f\u5426\u200b\u8df3\u8fc7\u200b\u7f51\u5173\u200b\u8054\u901a\u200b\u6027\u200b\u68c0\u67e5\u200b disableInterConnection Bool \u200b\u63a7\u5236\u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u5b50\u7f51\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b enableDHCP Bool \u200b\u63a7\u5236\u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp \u200b\u7684\u200b dhcp \u200b\u914d\u7f6e\u200b\u9009\u9879\u200b dhcpV4Options String \u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp dhcpv4_options \u200b\u5173\u8054\u200b\u7684\u200b DHCP_Options \u200b\u8bb0\u5f55\u200b dhcpV6Options String \u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp dhcpv6_options \u200b\u5173\u8054\u200b\u7684\u200b DHCP_Options \u200b\u8bb0\u5f55\u200b enableIPv6RA Bool \u200b\u63a7\u5236\u200b\u5b50\u7f51\u200b\u8fde\u63a5\u200b\u8def\u7531\u5668\u200b\u7684\u200b lrp \u200b\u7aef\u53e3\u200b\uff0c\u200b\u662f\u5426\u200b\u914d\u7f6e\u200b ipv6_ra_configs \u200b\u53c2\u6570\u200b ipv6RAConfigs String \u200b\u5b50\u7f51\u200b\u8fde\u63a5\u200b\u8def\u7531\u5668\u200b\u7684\u200b lrp \u200b\u7aef\u53e3\u200b\uff0cipv6_ra_configs \u200b\u53c2\u6570\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b acls []Acl \u200b\u5b50\u7f51\u200b\u5bf9\u5e94\u200b logical-switch \u200b\u5173\u8054\u200b\u7684\u200b acls \u200b\u8bb0\u5f55\u200b u2oInterconnection Bool \u200b\u662f\u5426\u200b\u5f00\u542f\u200b Overlay/Underlay \u200b\u7684\u200b\u4e92\u8054\u200b\u6a21\u5f0f\u200b enableLb *Bool \u200b\u63a7\u5236\u200b\u5b50\u7f51\u200b\u5bf9\u5e94\u200b\u7684\u200b logical-switch \u200b\u662f\u5426\u200b\u5173\u8054\u200b load-balancer \u200b\u8bb0\u5f55\u200b enableEcmp Bool \u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u662f\u5426\u200b\u5f00\u542f\u200b ECMP \u200b\u8def\u7531"},{"location":"reference/kube-ovn-api/#acl","title":"Acl","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b direction String Acl \u200b\u9650\u5236\u200b\u65b9\u5411\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>from-lport</code> \u200b\u6216\u8005\u200b <code>to-lport</code> priority Int Acl \u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u53d6\u503c\u200b\u8303\u56f4\u200b 0 \u200b\u5230\u200b 32767 match String Acl \u200b\u89c4\u5219\u200b\u5339\u914d\u200b\u8868\u8fbe\u5f0f\u200b action String Acl \u200b\u89c4\u5219\u200b\u52a8\u4f5c\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>allow-related</code>, <code>allow-stateless</code>, <code>allow</code>, <code>drop</code>, <code>reject</code> \u200b\u5176\u4e2d\u200b\u4e00\u4e2a"},{"location":"reference/kube-ovn-api/#subnetstatus","title":"SubnetStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []SubnetCondition \u200b\u5b50\u7f51\u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b v4AvailableIPs Float64 \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u53ef\u7528\u200b\u7684\u200b IPv4 IP \u200b\u5730\u5740\u200b\u6570\u91cf\u200b v4availableIPrange String \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u53ef\u7528\u200b\u7684\u200b IPv4 \u200b\u5730\u5740\u200b\u8303\u56f4\u200b v4UsingIPs Float64 \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u5df2\u7528\u200b\u7684\u200b IPv4 IP \u200b\u5730\u5740\u200b\u6570\u91cf\u200b v4usingIPrange String \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u5df2\u7528\u200b\u7684\u200b IPv4 \u200b\u5730\u5740\u200b\u8303\u56f4\u200b v6AvailableIPs Float64 \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u53ef\u7528\u200b\u7684\u200b IPv6 IP \u200b\u5730\u5740\u200b\u6570\u91cf\u200b v6availableIPrange String \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u53ef\u7528\u200b\u7684\u200b IPv6 \u200b\u5730\u5740\u200b\u8303\u56f4\u200b v6UsingIPs Float64 \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u5df2\u7528\u200b\u7684\u200b IPv6 IP \u200b\u5730\u5740\u200b\u6570\u91cf\u200b v6usingIPrange String \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u5df2\u7528\u200b\u7684\u200b IPv6 \u200b\u5730\u5740\u200b\u8303\u56f4\u200b sctivateGateway String \u200b\u96c6\u4e2d\u5f0f\u200b\u5b50\u7f51\u200b\uff0c\u200b\u4e3b\u5907\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u5f53\u524d\u200b\u6b63\u5728\u200b\u5de5\u4f5c\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b dhcpV4OptionsUUID String \u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp dhcpv4_options \u200b\u5173\u8054\u200b\u7684\u200b DHCP_Options \u200b\u8bb0\u5f55\u200b\u6807\u8bc6\u200b dhcpV6OptionsUUID String \u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp dhcpv6_options \u200b\u5173\u8054\u200b\u7684\u200b DHCP_Options \u200b\u8bb0\u5f55\u200b\u6807\u8bc6\u200b u2oInterconnectionIP String \u200b\u5f00\u542f\u200b Overlay/Underlay \u200b\u4e92\u8054\u200b\u6a21\u5f0f\u200b\u540e\u200b\uff0c\u200b\u6240\u200b\u5360\u7528\u200b\u7684\u200b\u7528\u4e8e\u200b\u4e92\u8054\u200b\u7684\u200b IP \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#ip","title":"IP \u200b\u5b9a\u4e49","text":""},{"location":"reference/kube-ovn-api/#ip_1","title":"IP","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IP</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IPSpec IP \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#ipsepc","title":"IPSepc","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b podName String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u540d\u79f0\u200b namespace String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u6240\u5728\u200b Namespace \u200b\u540d\u79f0\u200b subnet String IP \u200b\u6240\u5c5e\u200b Subnet attachSubnets []String \u200b\u8be5\u4e3b\u200b IP \u200b\u4e0b\u200b\u5176\u4ed6\u200b\u9644\u5c5e\u200b\u5b50\u7f51\u200b\u540d\u79f0\u200b\uff08\u200b\u5b57\u200b\u6bb5\u200b\u5e9f\u5f03\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\uff09 nodeName String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u6240\u5728\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b ipAddress String IP \u200b\u5730\u5740\u200b\uff0c\u200b\u53cc\u6808\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u4e3a\u200b <code>v4IP,v6IP</code> \u200b\u683c\u5f0f\u200b v4IPAddress String IPv4 IP \u200b\u5730\u5740\u200b v6IPAddress String IPv6 IP \u200b\u5730\u5740\u200b attachIPs []String \u200b\u8be5\u4e3b\u200b IP \u200b\u4e0b\u200b\u5176\u4ed6\u200b\u9644\u5c5e\u200b IP \u200b\u5730\u5740\u200b\uff08\u200b\u5b57\u200b\u6bb5\u200b\u5e9f\u5f03\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\uff09 macAddress String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u7684\u200b Mac \u200b\u5730\u5740\u200b attachMacs []String \u200b\u8be5\u4e3b\u200b IP \u200b\u4e0b\u200b\u5176\u4ed6\u200b\u9644\u5c5e\u200b Mac \u200b\u5730\u5740\u200b\uff08\u200b\u5b57\u200b\u6bb5\u200b\u5e9f\u5f03\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\uff09 containerID String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b Container ID podType String \u200b\u7279\u6b8a\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b Pod\uff0c\u200b\u53ef\u200b\u4e3a\u200b <code>StatefulSet</code>\uff0c<code>VirtualMachine</code> \u200b\u6216\u7a7a"},{"location":"reference/kube-ovn-api/#underlay","title":"Underlay \u200b\u914d\u7f6e","text":""},{"location":"reference/kube-ovn-api/#vlan","title":"Vlan","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>Vlan</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VlanSpec Vlan \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status VlanStatus Vlan \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#vlanspec","title":"VlanSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b id Int Vlan tag \u200b\u53f7\u200b\uff0c\u200b\u53d6\u503c\u200b\u8303\u56f4\u200b\u4e3a\u200b 0~4096 provider String Vlan \u200b\u7ed1\u5b9a\u200b\u7684\u200b ProviderNetwork \u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#vlanstatus","title":"VlanStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b subnets []String Vlan \u200b\u7ed1\u5b9a\u200b\u7684\u200b\u5b50\u7f51\u200b\u5217\u8868\u200b conditions []VlanCondition Vlan \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#providernetwork","title":"ProviderNetwork","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>ProviderNetwork</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec ProviderNetworkSpec ProviderNetwork \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status ProviderNetworkStatus ProviderNetwork \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#providernetworkspec","title":"ProviderNetworkSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b defaultInterface String \u200b\u8be5\u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\u63a5\u53e3\u200b\u540d\u79f0\u200b customInterfaces []CustomInterface \u200b\u8be5\u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u7279\u6b8a\u200b\u4f7f\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b excludeNodes []String \u200b\u8be5\u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u4e0d\u4f1a\u200b\u7ed1\u5b9a\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b exchangeLinkName Bool \u200b\u662f\u5426\u200b\u4ea4\u6362\u200b\u6865\u63a5\u200b\u7f51\u5361\u200b\u548c\u200b\u5bf9\u5e94\u200b OVS \u200b\u7f51\u6865\u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#custominterface","title":"CustomInterface","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b interface String Underlay \u200b\u4f7f\u7528\u200b\u7f51\u5361\u200b\u63a5\u53e3\u200b\u540d\u79f0\u200b nodes []String \u200b\u4f7f\u7528\u200b\u81ea\u5b9a\u4e49\u200b\u7f51\u5361\u200b\u63a5\u53e3\u200b\u7684\u200b\u8282\u70b9\u200b\u5217\u8868"},{"location":"reference/kube-ovn-api/#providernetworkstatus","title":"ProviderNetworkStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool \u200b\u5f53\u524d\u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u662f\u5426\u200b\u8fdb\u5165\u200b\u5c31\u7eea\u200b\u72b6\u6001\u200b readyNodes []String \u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u8fdb\u5165\u200b\u5c31\u7eea\u200b\u72b6\u6001\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b notReadyNodes []String \u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u672a\u200b\u8fdb\u5165\u200b\u5c31\u7eea\u200b\u72b6\u6001\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b vlans []String \u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u7ed1\u5b9a\u200b\u7684\u200b Vlan \u200b\u540d\u79f0\u200b conditions []ProviderNetworkCondition ProviderNetwork \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#vpc","title":"Vpc \u200b\u5b9a\u4e49","text":""},{"location":"reference/kube-ovn-api/#vpc_1","title":"Vpc","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>Vpc</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VpcSpec Vpc \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status VpcStatus Vpc \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#vpcspec","title":"VpcSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b namespaces []String Vpc \u200b\u7ed1\u5b9a\u200b\u7684\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u5217\u8868\u200b staticRoutes []*StaticRoute Vpc \u200b\u4e0b\u200b\u914d\u7f6e\u200b\u7684\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u4fe1\u606f\u200b policyRoutes []*PolicyRoute Vpc \u200b\u4e0b\u200b\u914d\u7f6e\u200b\u7684\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4fe1\u606f\u200b vpcPeerings []*VpcPeering Vpc \u200b\u4e92\u8054\u200b\u4fe1\u606f\u200b enableExternal Bool Vpc \u200b\u662f\u5426\u200b\u8fde\u63a5\u200b\u5230\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a"},{"location":"reference/kube-ovn-api/#staticroute","title":"StaticRoute","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b policy String \u200b\u8def\u7531\u200b\u7b56\u7565\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>policySrc</code> \u200b\u6216\u8005\u200b <code>policyDst</code> cidr String \u200b\u8def\u7531\u200b Cidr \u200b\u7f51\u6bb5\u200b nextHopIP String \u200b\u8def\u7531\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#policyroute","title":"PolicyRoute","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b priority Int32 \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4f18\u5148\u7ea7\u200b match String \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u5339\u914d\u200b\u6761\u4ef6\u200b action String \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u52a8\u4f5c\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>allow</code>\u3001<code>drop</code> \u200b\u6216\u8005\u200b <code>reroute</code> nextHopIP String \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u4fe1\u606f\u200b\uff0cECMP \u200b\u8def\u7531\u200b\u60c5\u51b5\u200b\u4e0b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u5730\u5740\u200b\u4f7f\u7528\u200b\u9017\u53f7\u200b\u9694\u5f00"},{"location":"reference/kube-ovn-api/#vpcpeering","title":"VpcPeering","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b remoteVpc String Vpc \u200b\u4e92\u8054\u200b\u5bf9\u7aef\u200b Vpc \u200b\u540d\u79f0\u200b localConnectIP String Vpc \u200b\u4e92\u8054\u200b\u672c\u7aef\u200b IP \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#vpcstatus","title":"VpcStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []VpcCondition Vpc \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b standby Bool \u200b\u6807\u8bc6\u200b Vpc \u200b\u662f\u5426\u200b\u521b\u5efa\u200b\u5b8c\u6210\u200b\uff0cVpc \u200b\u4e0b\u200b\u7684\u200b Subnet \u200b\u9700\u8981\u200b\u7b49\u200b Vpc \u200b\u521b\u5efa\u200b\u5b8c\u6210\u200b\u8f6c\u6362\u200b\u518d\u200b\u7ee7\u7eed\u200b\u5904\u7406\u200b default Bool \u200b\u662f\u5426\u662f\u200b\u9ed8\u8ba4\u200b Vpc defaultLogicalSwitch String Vpc \u200b\u4e0b\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b router String Vpc \u200b\u5bf9\u5e94\u200b\u7684\u200b logical-router \u200b\u540d\u79f0\u200b tcpLoadBalancer String Vpc \u200b\u4e0b\u200b\u7684\u200b TCP LB \u200b\u4fe1\u606f\u200b udpLoadBalancer String Vpc \u200b\u4e0b\u200b\u7684\u200b UDP LB \u200b\u4fe1\u606f\u200b tcpSessionLoadBalancer String Vpc \u200b\u4e0b\u200b\u7684\u200b TCP \u200b\u4f1a\u8bdd\u200b\u4fdd\u6301\u200b LB \u200b\u4fe1\u606f\u200b udpSessionLoadBalancer String Vpc \u200b\u4e0b\u200b\u7684\u200b UDP \u200b\u4f1a\u8bdd\u200b\u4fdd\u6301\u200b LB \u200b\u4fe1\u606f\u200b subnets []String Vpc \u200b\u4e0b\u200b\u7684\u200b\u5b50\u7f51\u200b\u5217\u8868\u200b vpcPeerings []String Vpc \u200b\u4e92\u8054\u200b\u7684\u200b\u5bf9\u200b\u7aef\u200b Vpc \u200b\u5217\u8868\u200b enableExternal Bool Vpc \u200b\u662f\u5426\u200b\u8fde\u63a5\u200b\u5230\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a"},{"location":"reference/kube-ovn-api/#vpcnatgateway","title":"VpcNatGateway","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>VpcNatGateway</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VpcNatSpec Vpc \u200b\u7f51\u5173\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#vpcnatspec","title":"VpcNatSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b vpc String Vpc \u200b\u7f51\u5173\u200b Pod \u200b\u6240\u5728\u200b\u7684\u200b Vpc \u200b\u540d\u79f0\u200b subnet String Vpc \u200b\u7f51\u5173\u200b Pod \u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u540d\u79f0\u200b lanIp String Vpc \u200b\u7f51\u5173\u200b Pod \u200b\u6307\u5b9a\u200b\u5206\u914d\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b selector []String \u200b\u6807\u51c6\u200b Kubernetes Selector \u200b\u5339\u914d\u200b\u4fe1\u606f\u200b tolerations []VpcNatToleration \u200b\u6807\u51c6\u200b Kubernetes \u200b\u5bb9\u5fcd\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#vpcnattoleration","title":"VpcNatToleration","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b key String \u200b\u5bb9\u5fcd\u200b\u6c61\u70b9\u200b\u7684\u200b key \u200b\u4fe1\u606f\u200b operator String \u200b\u53d6\u503c\u200b\u4e3a\u200b <code>Exists</code> \u200b\u6216\u8005\u200b <code>Equal</code> value String \u200b\u5bb9\u5fcd\u200b\u6c61\u70b9\u200b\u7684\u200b value \u200b\u4fe1\u606f\u200b effect String \u200b\u5bb9\u5fcd\u200b\u6c61\u70b9\u200b\u7684\u200b\u4f5c\u7528\u200b\u6548\u679c\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>NoExecute</code> \u3001<code>NoSchedule</code> \u200b\u6216\u8005\u200b <code>PreferNoSchedule</code> tolerationSeconds Int64 \u200b\u6dfb\u52a0\u200b\u6c61\u70b9\u200b\u540e\u200b\uff0cPod \u200b\u8fd8\u200b\u80fd\u200b\u7ee7\u7eed\u200b\u5728\u200b\u8282\u70b9\u200b\u4e0a\u200b\u8fd0\u884c\u200b\u7684\u200b\u65f6\u95f4\u200b <p>\u200b\u4ee5\u4e0a\u200b\u5bb9\u5fcd\u200b\u5b57\u6bb5\u200b\u7684\u200b\u542b\u4e49\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Kubernetes \u200b\u5b98\u65b9\u200b\u6587\u6863\u200b \u200b\u6c61\u70b9\u200b\u548c\u200b\u5bb9\u5fcd\u5ea6\u200b\u3002</p>"},{"location":"reference/kube-ovn-api/#iptableseip","title":"IptablesEIP","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IptablesEIP</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IptablesEipSpec Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status IptablesEipStatus Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#iptableseipspec","title":"IptablesEipSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b v4ip String IptablesEIP v4 \u200b\u5730\u5740\u200b v6ip String IptablesEIP v6 \u200b\u5730\u5740\u200b macAddress String IptablesEIP crd \u200b\u8bb0\u5f55\u200b\u5206\u914d\u200b\u7684\u200b mac \u200b\u5730\u5740\u200b\uff0c\u200b\u6ca1\u6709\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b natGwDp String Vpc \u200b\u7f51\u5173\u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#iptableseipstatus","title":"IptablesEipStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool IptablesEIP \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b ip String IptablesEIP \u200b\u4f7f\u7528\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u76ee\u524d\u200b\u53ea\u200b\u652f\u6301\u200b\u4e86\u200b IPv4 \u200b\u5730\u5740\u200b redo String IptablesEIP crd \u200b\u521b\u5efa\u200b\u6216\u8005\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b nat String IptablesEIP \u200b\u7684\u200b\u4f7f\u7528\u200b\u7c7b\u578b\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>fip</code>\u3001<code>snat</code> \u200b\u6216\u8005\u200b <code>dnat</code> conditions []IptablesEIPCondition IptablesEIP \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#iptablesfiprule","title":"IptablesFIPRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IptablesFIPRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IptablesFIPRuleSpec Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesFIPRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status IptablesFIPRuleStatus Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesFIPRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#iptablesfiprulespec","title":"IptablesFIPRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b eip String IptablesFIPRule \u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u540d\u79f0\u200b internalIp String IptablesFIPRule \u200b\u5bf9\u5e94\u200b\u7684\u200b\u5185\u90e8\u200b\u7684\u200b IP \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#iptablesfiprulestatus","title":"IptablesFIPRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool IptablesFIPRule \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4ip String IptablesEIP \u200b\u4f7f\u7528\u200b\u7684\u200b v4 IP \u200b\u5730\u5740\u200b v6ip String IptablesEIP \u200b\u4f7f\u7528\u200b\u7684\u200b v6 IP \u200b\u5730\u5740\u200b natGwDp String Vpc \u200b\u7f51\u5173\u200b\u540d\u79f0\u200b redo String IptablesFIPRule crd \u200b\u521b\u5efa\u200b\u6216\u8005\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b conditions []IptablesFIPRuleCondition IptablesFIPRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#iptablessnatrule","title":"IptablesSnatRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IptablesSnatRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IptablesSnatRuleSpec Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesSnatRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status IptablesSnatRuleStatus Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesSnatRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#iptablessnatrulespec","title":"IptablesSnatRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b eip String IptablesSnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u540d\u79f0\u200b internalIp String IptablesSnatRule \u200b\u5bf9\u5e94\u200b\u7684\u200b\u5185\u90e8\u200b\u7684\u200b IP \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#iptablessnatrulestatus","title":"IptablesSnatRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool IptablesSnatRule \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4ip String IptablesSnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b v4 IP \u200b\u5730\u5740\u200b v6ip String IptablesSnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b v6 IP \u200b\u5730\u5740\u200b natGwDp String Vpc \u200b\u7f51\u5173\u200b\u540d\u79f0\u200b redo String IptablesSnatRule crd \u200b\u521b\u5efa\u200b\u6216\u8005\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b conditions []IptablesSnatRuleCondition IptablesSnatRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#iptablesdnatrule","title":"IptablesDnatRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IptablesDnatRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IptablesDnatRuleSpec Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesDnatRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status IptablesDnatRuleStatus Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesDnatRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#iptablesdnatrulespec","title":"IptablesDnatRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b eip Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u540d\u79f0\u200b externalPort Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b\u5916\u90e8\u200b\u7aef\u53e3\u200b protocol Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u7684\u200b\u534f\u8bae\u200b\u7c7b\u578b\u200b internalIp Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b\u5185\u90e8\u200b IP \u200b\u5730\u5740\u200b internalPort Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b\u5185\u90e8\u200b\u7aef\u53e3"},{"location":"reference/kube-ovn-api/#iptablesdnatrulestatus","title":"IptablesDnatRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool IptablesDnatRule \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4ip String IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b v4 IP \u200b\u5730\u5740\u200b v6ip String IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b v6 IP \u200b\u5730\u5740\u200b natGwDp String Vpc \u200b\u7f51\u5173\u200b\u540d\u79f0\u200b redo String IptablesDnatRule crd \u200b\u521b\u5efa\u200b\u6216\u8005\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b conditions []IptablesDnatRuleCondition IptablesDnatRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#vpcdns","title":"VpcDns","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>VpcDns</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VpcDnsSpec VpcDns \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status VpcDnsStatus VpcDns \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#vpcdnsspec","title":"VpcDnsSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b vpc String VpcDns \u200b\u6240\u5728\u200b\u7684\u200b Vpc \u200b\u540d\u79f0\u200b subnet String VpcDns Pod \u200b\u5206\u914d\u200b\u5730\u5740\u200b\u7684\u200b Subnet \u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#vpcdnsstatus","title":"VpcDnsStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []VpcDnsCondition VpcDns \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b active Bool VpcDns \u200b\u662f\u5426\u200b\u6b63\u5728\u200b\u4f7f\u7528\u200b <p>VpcDns \u200b\u7684\u200b\u8be6\u7ec6\u200b\u4f7f\u7528\u200b\u6587\u6863\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b DNS\u3002</p>"},{"location":"reference/kube-ovn-api/#switchlbrule","title":"SwitchLBRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>SwitchLBRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec SwitchLBRuleSpec SwitchLBRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status SwitchLBRuleStatus SwitchLBRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#switchlbrulespec","title":"SwitchLBRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b vip String SwitchLBRule \u200b\u914d\u7f6e\u200b\u7684\u200b vip \u200b\u5730\u5740\u200b namespace String SwitchLBRule \u200b\u7684\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b selector []String \u200b\u6807\u51c6\u200b Kubernetes Selector \u200b\u5339\u914d\u200b\u4fe1\u606f\u200b sessionAffinity String \u200b\u6807\u51c6\u200b Kubernetes Service \u200b\u4e2d\u200b sessionAffinity \u200b\u53d6\u503c\u200b ports []SlrPort SwitchLBRule \u200b\u7aef\u53e3\u200b\u5217\u8868\u200b <p>SwitchLBRule \u200b\u7684\u200b\u8be6\u7ec6\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u3002</p>"},{"location":"reference/kube-ovn-api/#slrport","title":"SlrPort","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b name String \u200b\u7aef\u53e3\u200b\u540d\u79f0\u200b port Int32 \u200b\u7aef\u53e3\u53f7\u200b targetPort Int32 \u200b\u76ee\u6807\u200b\u7aef\u53e3\u53f7\u200b protocol String \u200b\u534f\u8bae\u200b\u7c7b\u578b"},{"location":"reference/kube-ovn-api/#switchlbrulestatus","title":"SwitchLBRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []SwitchLBRuleCondition SwitchLBRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b ports String SwitchLBRule \u200b\u7aef\u53e3\u200b\u4fe1\u606f\u200b service String SwitchLBRule \u200b\u63d0\u4f9b\u200b\u670d\u52a1\u200b\u7684\u200b service \u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#vip","title":"\u5b89\u5168\u200b\u7ec4\u4e0e\u200b Vip","text":""},{"location":"reference/kube-ovn-api/#securitygroup","title":"SecurityGroup","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>SecurityGroup</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec SecurityGroupSpec \u200b\u5b89\u5168\u200b\u7ec4\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status SecurityGroupStatus \u200b\u5b89\u5168\u200b\u7ec4\u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#securitygroupspec","title":"SecurityGroupSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ingressRules []*SgRule \u200b\u5165\u200b\u65b9\u5411\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b egressRules []*SgRule \u200b\u51fa\u200b\u65b9\u5411\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b allowSameGroupTraffic Bool \u200b\u540c\u4e00\u200b\u5b89\u5168\u200b\u7ec4\u5185\u200b\u7684\u200b lsp \u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u4e92\u901a\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u6d41\u91cf\u200b\u89c4\u5219\u200b\u662f\u5426\u200b\u9700\u8981\u200b\u66f4\u65b0"},{"location":"reference/kube-ovn-api/#sgrule","title":"SgRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ipVersion String IP \u200b\u7248\u672c\u53f7\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>ipv4</code> \u200b\u6216\u8005\u200b <code>ipv6</code> protocol String \u200b\u53d6\u503c\u200b\u4e3a\u200b <code>all</code>\u3001<code>icmp</code>\u3001<code>tcp</code> \u200b\u6216\u8005\u200b <code>udp</code> priority Int Acl \u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u53d6\u503c\u200b\u8303\u56f4\u200b\u4e3a\u200b 1-200\uff0c\u200b\u6570\u503c\u200b\u8d8a\u5c0f\u200b\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u8d8a\u9ad8\u200b remoteType String \u200b\u53d6\u503c\u200b\u4e3a\u200b <code>address</code> \u200b\u6216\u8005\u200b <code>securityGroup</code> remoteAddress String \u200b\u5bf9\u7aef\u200b\u5730\u5740\u200b remoteSecurityGroup String \u200b\u5bf9\u7aef\u200b\u5b89\u5168\u200b\u7ec4\u200b portRangeMin Int \u200b\u7aef\u53e3\u200b\u8303\u56f4\u200b\u8d77\u59cb\u503c\u200b\uff0c\u200b\u6700\u5c0f\u200b\u53d6\u503c\u200b\u4e3a\u200b 1 portRangeMax Int \u200b\u7aef\u53e3\u200b\u8303\u56f4\u200b\u6700\u5927\u503c\u200b\uff0c\u200b\u6700\u5927\u200b\u53d6\u503c\u200b\u4e3a\u200b 65535 policy String \u200b\u53d6\u503c\u200b\u4e3a\u200b <code>allow</code> \u200b\u6216\u8005\u200b <code>drop</code>"},{"location":"reference/kube-ovn-api/#securitygroupstatus","title":"SecurityGroupStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b portGroup String \u200b\u5b89\u5168\u200b\u7ec4\u200b\u5bf9\u5e94\u200b\u7684\u200b port-group \u200b\u540d\u79f0\u200b allowSameGroupTraffic Bool \u200b\u540c\u4e00\u200b\u5b89\u5168\u200b\u7ec4\u5185\u200b\u7684\u200b lsp \u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u4e92\u901a\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u6d41\u91cf\u200b\u89c4\u5219\u200b\u662f\u5426\u200b\u9700\u8981\u200b\u66f4\u65b0\u200b ingressMd5 String \u200b\u5165\u200b\u65b9\u5411\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b MD5 \u200b\u53d6\u503c\u200b egressMd5 String \u200b\u51fa\u200b\u65b9\u5411\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b MD5 \u200b\u53d6\u503c\u200b ingressLastSyncSuccess Bool \u200b\u5165\u200b\u65b9\u5411\u200b\u89c4\u5219\u200b\u4e0a\u200b\u4e00\u6b21\u200b\u540c\u6b65\u200b\u662f\u5426\u200b\u6210\u529f\u200b egressLastSyncSuccess Bool \u200b\u51fa\u200b\u65b9\u5411\u200b\u89c4\u5219\u200b\u4e0a\u200b\u4e00\u6b21\u200b\u540c\u6b65\u200b\u662f\u5426\u200b\u6210\u529f"},{"location":"reference/kube-ovn-api/#vip_1","title":"Vip","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>Vip</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VipSpec Vip \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status VipStatus Vip \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#vipspec","title":"VipSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b namespace String Vip \u200b\u6240\u5728\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b subnet String Vip \u200b\u6240\u5c5e\u200b\u5b50\u7f51\u200b type String Vip \u200b\u4f7f\u7528\u200b\u7c7b\u578b\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>switch_lb_vip</code> \u200b\u6216\u7a7a\u200b v4ip String Vip v4 IP \u200b\u5730\u5740\u200b v6ip String Vip v6 IP \u200b\u5730\u5740\u200b macAddress String Vip mac \u200b\u5730\u5740\u200b parentV4ip String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b parentV6ip String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b parentMac String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b selector []String \u200b\u6807\u51c6\u200b Kubernetes Selector \u200b\u5339\u914d\u200b\u4fe1\u606f\u200b attachSubnets []String \u200b\u8be5\u5b57\u6bb5\u200b\u5e9f\u5f03\u200b\uff0c\u200b\u4e0d\u518d\u200b\u4f7f\u7528"},{"location":"reference/kube-ovn-api/#vipstatus","title":"VipStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []VipCondition Vip \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b ready Bool Vip \u200b\u662f\u5426\u200b\u51c6\u5907\u200b\u597d\u200b v4ip String Vip v4 IP \u200b\u5730\u5740\u200b\uff0c\u200b\u5e94\u8be5\u200b\u548c\u200b spec \u200b\u5b57\u200b\u6bb5\u200b\u53d6\u503c\u200b\u4e00\u81f4\u200b v6ip String Vip v6 IP \u200b\u5730\u5740\u200b\uff0c\u200b\u5e94\u8be5\u200b\u548c\u200b spec \u200b\u5b57\u200b\u6bb5\u200b\u53d6\u503c\u200b\u4e00\u81f4\u200b mac String Vip mac \u200b\u5730\u5740\u200b\uff0c\u200b\u5e94\u8be5\u200b\u548c\u200b spec \u200b\u5b57\u200b\u6bb5\u200b\u53d6\u503c\u200b\u4e00\u81f4\u200b pv4ip String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b pv6ip String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b pmac String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528"},{"location":"reference/kube-ovn-api/#ovneip","title":"OvnEip","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>OvnEip</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec OvnEipSpec \u200b\u9ed8\u8ba4\u200b Vpc \u200b\u4f7f\u7528\u200b OvnEip \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status OvnEipStatus \u200b\u9ed8\u8ba4\u200b Vpc \u200b\u4f7f\u7528\u200b OvnEip \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#ovneipspec","title":"OvnEipSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b externalSubnet String OvnEip \u200b\u6240\u5728\u200b\u7684\u200b\u5b50\u7f51\u200b\u540d\u79f0\u200b v4Ip String OvnEip IPv4 \u200b\u5730\u5740\u200b v6Ip String OvnEip IPv6 \u200b\u5730\u5740\u200b macAddress String OvnEip Mac \u200b\u5730\u5740\u200b type String OvnEip \u200b\u4f7f\u7528\u200b\u7c7b\u578b\u200b\uff0c\u200b\u53d6\u503c\u200b\u6709\u200b <code>lrp</code>\u3001<code>lsp</code> \u200b\u6216\u8005\u200b <code>nat</code>"},{"location":"reference/kube-ovn-api/#ovneipstatus","title":"OvnEipStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []OvnEipCondition \u200b\u9ed8\u8ba4\u200b Vpc OvnEip \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b type String OvnEip \u200b\u4f7f\u7528\u200b\u7c7b\u578b\u200b, \u200b\u53ef\u4ee5\u200b\u662f\u200b <code>lrp</code>, <code>lsp</code> or <code>nat</code> nat String dnat snat fip v4Ip String OvnEip \u200b\u4f7f\u7528\u200b\u7684\u200b v4 IP \u200b\u5730\u5740\u200b v6Ip String OvnEip \u200b\u4f7f\u7528\u200b\u7684\u200b v6 IP \u200b\u5730\u5740\u200b macAddress String OvnEip \u200b\u4f7f\u7528\u200b\u7684\u200b Mac \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#ovnfip","title":"OvnFip","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>OvnFip</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec OvnFipSpec \u200b\u9ed8\u8ba4\u200b Vpc \u200b\u4f7f\u7528\u200b OvnFip \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status OvnFipStatus \u200b\u9ed8\u8ba4\u200b Vpc \u200b\u4f7f\u7528\u200b OvnFip \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#ovnfipspec","title":"OvnFipSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ovnEip String OvnFip \u200b\u7ed1\u5b9a\u200b\u7684\u200b OvnEip \u200b\u540d\u79f0\u200b ipType String vip \u200b\u6216\u8005\u200b ip crd (\"\" \u200b\u8868\u793a\u200b ip crd) ipName String OvnFip \u200b\u7ed1\u5b9a\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b IP crd \u200b\u540d\u79f0\u200b vpc String Pod \u200b\u6240\u5728\u200b\u7684\u200b VPC \u200b\u7684\u200b\u540d\u5b57\u200b V4Ip String IP \u200b\u6216\u8005\u200b VIP \u200b\u7684\u200b IPv4 \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#ovnfipstatus","title":"OvnFipStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool OvnFip \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4Eip String OvnFip \u200b\u7ed1\u5b9a\u200b\u7684\u200b OvnEip \u200b\u540d\u79f0\u200b v4Ip String OvnFip \u200b\u5f53\u524d\u200b\u4f7f\u7528\u200b\u7684\u200b OvnEip \u200b\u5730\u5740\u200b vpc String OvnFip \u200b\u6240\u5728\u200b\u7684\u200b Vpc \u200b\u540d\u79f0\u200b conditions []OvnFipCondition OvnFip \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#ovnsnatrule","title":"OvnSnatRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>OvnSnatRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec OvnSnatRuleSpec \u200b\u9ed8\u8ba4\u200b Vpc OvnSnatRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status OvnSnatRuleStatus \u200b\u9ed8\u8ba4\u200b Vpc OvnSnatRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#ovnsnatrulespec","title":"OvnSnatRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ovnEip String OvnSnatRule \u200b\u7ed1\u5b9a\u200b\u7684\u200b OvnEip \u200b\u540d\u79f0\u200b vpcSubnet String OvnSnatRule \u200b\u914d\u7f6e\u200b\u7684\u200b\u5b50\u7f51\u200b\u540d\u79f0\u200b vpc String Pod \u200b\u6240\u5728\u200b\u7684\u200b VPC ipName String OvnSnatRule \u200b\u7ed1\u5b9a\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b IP crd \u200b\u540d\u79f0\u200b v4IpCidr String vpc subnet \u200b\u7684\u200b IPv4 cidr"},{"location":"reference/kube-ovn-api/#ovnsnatrulestatus","title":"OvnSnatRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool OvnSnatRule \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4Eip String OvnSnatRule \u200b\u7ed1\u5b9a\u200b\u7684\u200b OvnEip \u200b\u5730\u5740\u200b v4IpCidr String \u200b\u5728\u200b logical-router \u200b\u4e2d\u200b\u914d\u7f6e\u200b snat \u200b\u8f6c\u6362\u200b\u4f7f\u7528\u200b\u7684\u200b cidr \u200b\u5730\u5740\u200b vpc String OvnSnatRule \u200b\u6240\u5728\u200b\u7684\u200b Vpc \u200b\u540d\u79f0\u200b conditions []OvnSnatRuleCondition OvnSnatRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/kube-ovn-pinger-args/","title":"Kube-OVN-Pinger \u200b\u53c2\u6570\u200b\u53c2\u8003","text":"<p>\u200b\u57fa\u4e8e\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\uff0c\u200b\u6574\u7406\u200b\u4e86\u200b Kube-ovn-pinger \u200b\u652f\u6301\u200b\u7684\u200b\u53c2\u6570\u200b\uff0c\u200b\u5217\u51fa\u200b\u53c2\u6570\u200b\u5b9a\u4e49\u200b\u5404\u5b57\u200b\u6bb5\u200b\u7684\u200b\u53d6\u503c\u200b\u7c7b\u578b\u200b\uff0c\u200b\u542b\u4e49\u200b\u548c\u200b\u9ed8\u8ba4\u503c\u200b\uff0c\u200b\u4ee5\u200b\u4f9b\u53c2\u8003\u200b</p>"},{"location":"reference/kube-ovn-pinger-args/#_1","title":"\u53c2\u6570\u200b\u63cf\u8ff0","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b \u200b\u9ed8\u8ba4\u503c\u200b port Int metrics \u200b\u7aef\u53e3\u200b 8080 kubeconfig String \u200b\u5177\u6709\u200b\u8ba4\u8bc1\u200b\u4fe1\u606f\u200b\u7684\u200b kubeconfig \u200b\u6587\u4ef6\u200b\u8def\u5f84\u200b\uff0c \u200b\u5982\u679c\u200b\u672a\u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u4f7f\u7528\u200b inCluster \u200b\u4ee4\u724c\u200b\u3002 \"\" ds-namespace String kube-ovn-pinger \u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b \"kube-system\" ds-name String kube-ovn-pinger \u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u540d\u5b57\u200b \"kube-ovn-pinger\" interval Int \u200b\u8fde\u7eed\u200b ping \u200b\u4e4b\u95f4\u200b\u7684\u200b\u95f4\u9694\u200b\u79d2\u6570\u200b 5 mode String \u200b\u670d\u52a1\u5668\u200b\u6216\u200b\u5de5\u4f5c\u200b\u6a21\u5f0f\u200b \"server\" exit-code Int \u200b\u5931\u8d25\u200b\u65f6\u200b\u9000\u51fa\u200b\u4ee3\u7801\u200b 0 internal-dns String \u200b\u4ece\u200b pod \u200b\u5185\u200b\u89e3\u6790\u200b\u5185\u90e8\u200b dns \"kubernetes.default\" external-dns String \u200b\u4ece\u200b pod \u200b\u5185\u200b\u89e3\u6790\u200b\u5916\u90e8\u200b dns \"\" external-address String \u200b\u68c0\u67e5\u200b\u4e0e\u200b\u5916\u90e8\u200b\u5730\u5740\u200b\u7684\u200b ping \u200b\u8fde\u901a\u200b \"114.114.114.114\" network-mode String \u200b\u5f53\u524d\u200b\u96c6\u7fa4\u200b\u4f7f\u7528\u200b\u7684\u200b cni \u200b\u63d2\u4ef6\u200b \"kube-ovn\" enable-metrics Bool \u200b\u662f\u5426\u200b\u652f\u6301\u200b metrics \u200b\u67e5\u8be2\u200b true ovs.timeout Int \u200b\u5bf9\u200b OVS \u200b\u7684\u200b JSON-RPC \u200b\u8bf7\u6c42\u200b\u8d85\u65f6\u200b\u3002 2 system.run.dir String OVS \u200b\u9ed8\u8ba4\u200b\u8fd0\u884c\u200b\u76ee\u5f55\u200b\u3002 \"/var/run/openvswitch\" database.vswitch.name String OVS \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u540d\u79f0\u200b\u3002 \"Open_vSwitch\" database.vswitch.socket.remote String JSON-RPC unix \u200b\u5957\u200b\u63a5\u5b57\u200b\u5230\u200b OVS \u200b\u6570\u636e\u5e93\u200b\u3002 \"unix:/var/run/openvswitch/db.sock\" database.vswitch.file.data.path String OVS \u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u3002 \"/etc/openvswitch/conf.db\" database.vswitch.file.log.path String OVS \u200b\u6570\u636e\u5e93\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u200b\u3002 \"/var/log/openvswitch/ovsdb-server.log\" database.vswitch.file.pid.path String OVS \u200b\u6570\u636e\u5e93\u200b\u8fdb\u7a0b\u200b ID \u200b\u6587\u4ef6\u200b\u3002 \"/var/run/openvswitch/ovsdb-server.pid\" database.vswitch.file.system.id.path String OVS \u200b\u7cfb\u7edf\u200b\u6807\u8bc6\u200b\u6587\u4ef6\u200b\u3002 \"/etc/openvswitch/system-id.conf\" service.vswitchd.file.log.path String OVS vswitchd \u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u200b\u3002 \"/var/log/openvswitch/ovs-vswitchd.log\" service.vswitchd.file.pid.path String OVS vswitchd \u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u8fdb\u7a0b\u200b ID \u200b\u6587\u4ef6\u200b\u3002 \"/var/run/openvswitch/ovs-vswitchd.pid\" service.ovncontroller.file.log.path String OVN \u200b\u63a7\u5236\u5668\u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u200b\u3002 \"/var/log/ovn/ovn-controller.log\" service.ovncontroller.file.pid.path String OVN \u200b\u63a7\u5236\u5668\u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u8fdb\u7a0b\u200b ID \u200b\u6587\u4ef6\u200b\u3002 \"/var/run/ovn/ovn-controller.pid\" <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/metrics/","title":"Kube-OVN \u200b\u76d1\u63a7\u200b\u6307\u6807","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u5217\u4e3e\u200b Kube-OVN \u200b\u6240\u200b\u63d0\u4f9b\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p>"},{"location":"reference/metrics/#ovn-monitor","title":"ovn-monitor","text":"<p>OVN \u200b\u81ea\u8eab\u200b\u72b6\u6001\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Gauge kube_ovn_ovn_status OVN \u200b\u89d2\u8272\u200b\u72b6\u6001\u200b\uff0c (2) \u200b\u4e3a\u200b follower\uff1b (1) \u200b\u4e3a\u200b leader, (0) \u200b\u4e3a\u200b\u5f02\u5e38\u200b\u72b6\u6001\u200b\u3002 Gauge kube_ovn_failed_req_count OVN \u200b\u5931\u8d25\u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_log_file_size_bytes OVN \u200b\u7ec4\u4ef6\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u5927\u5c0f\u200b\u3002 Gauge kube_ovn_db_file_size_bytes OVN \u200b\u7ec4\u4ef6\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u5927\u5c0f\u200b\u3002 Gauge kube_ovn_chassis_info OVN chassis \u200b\u72b6\u6001\u200b (1) \u200b\u8fd0\u884c\u200b\u4e2d\u200b\uff0c(0) \u200b\u505c\u6b62\u200b\u3002 Gauge kube_ovn_db_status OVN \u200b\u6570\u636e\u5e93\u200b\u72b6\u6001\u200b, (1) \u200b\u4e3a\u200b\u6b63\u5e38\u200b\uff1b (0) \u200b\u4e3a\u200b\u5f02\u5e38\u200b\u3002 Gauge kube_ovn_logical_switch_info OVN logical switch \u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b logical switch \u200b\u540d\u5b57\u200b\u3002 Gauge kube_ovn_logical_switch_external_id OVN logical switch external_id \u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b external-id \u200b\u5185\u5bb9\u200b\u3002 Gauge kube_ovn_logical_switch_port_binding OVN logical switch \u200b\u548c\u200b logical switch port \u200b\u5173\u8054\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u901a\u8fc7\u200b\u6807\u7b7e\u200b\u8fdb\u884c\u200b\u5173\u8054\u200b\u3002 Gauge kube_ovn_logical_switch_tunnel_key \u200b\u548c\u200b OVN logical switch \u200b\u5173\u8054\u200b\u7684\u200b tunnel key \u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_logical_switch_ports_num OVN logical switch \u200b\u4e0a\u200b logical port \u200b\u7684\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_logical_switch_port_info OVN logical switch port \u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5177\u4f53\u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_logical_switch_port_tunnel_key \u200b\u548c\u200b OVN logical switch port \u200b\u5173\u8054\u200b\u7684\u200b tunnel key \u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_cluster_enabled (1) OVN \u200b\u6570\u636e\u5e93\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u6a21\u5f0f\u200b\uff1b (0) OVN \u200b\u6570\u636e\u5e93\u200b\u4e3a\u200b\u975e\u200b\u96c6\u7fa4\u200b\u6a21\u5f0f\u200b\u3002 Gauge kube_ovn_cluster_role \u200b\u6bcf\u4e2a\u200b\u6570\u636e\u5e93\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u89d2\u8272\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u89d2\u8272\u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_cluster_status \u200b\u6bcf\u4e2a\u200b\u6570\u636e\u5e93\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u72b6\u6001\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u72b6\u6001\u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_cluster_term RAFT term \u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_cluster_leader_self \u200b\u5f53\u524d\u200b\u6570\u636e\u5e93\u200b\u5b9e\u4f8b\u200b\u662f\u5426\u200b\u4e3a\u200b leader (1) \u200b\u662f\u200b\uff0c (0) \u200b\u4e0d\u662f\u200b\u3002 Gauge kube_ovn_cluster_vote_self \u200b\u5f53\u524d\u200b\u6570\u636e\u5e93\u200b\u5b9e\u4f8b\u200b\u662f\u5426\u200b\u9009\u4e3e\u200b\u81ea\u5df1\u200b\u4e3a\u200b leader (1) \u200b\u662f\u200b\uff0c (0) \u200b\u4e0d\u662f\u200b\u3002 Gauge kube_ovn_cluster_election_timer \u200b\u5f53\u524d\u200b election timer \u200b\u503c\u200b\u3002 Gauge kube_ovn_cluster_log_not_committed \u200b\u672a\u200b commit \u200b\u7684\u200b RAFT \u200b\u65e5\u5fd7\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_log_not_applied \u200b\u672a\u200b apply \u200b\u7684\u200b RAFT \u200b\u65e5\u5fd7\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_log_index_start \u200b\u5f53\u524d\u200b RAFT \u200b\u65e5\u5fd7\u200b\u6761\u200b\u76ee\u7684\u200b\u8d77\u59cb\u503c\u200b\u3002 Gauge kube_ovn_cluster_log_index_next RAFT \u200b\u65e5\u5fd7\u200b\u6761\u200b\u76ee\u7684\u200b\u4e0b\u200b\u4e00\u4e2a\u200b\u503c\u200b\u3002 Gauge kube_ovn_cluster_inbound_connections_total \u200b\u5f53\u524d\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u5165\u200b\u5411\u200b\u8fde\u63a5\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_outbound_connections_total \u200b\u5f53\u524d\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u51fa\u200b\u5411\u200b\u8fde\u63a5\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_inbound_connections_error_total \u200b\u5f53\u524d\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u5165\u200b\u5411\u200b\u9519\u8bef\u200b\u8fde\u63a5\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_outbound_connections_error_total \u200b\u5f53\u524d\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u51fa\u200b\u5411\u200b\u9519\u8bef\u200b\u8fde\u63a5\u200b\u6570\u91cf\u200b\u3002"},{"location":"reference/metrics/#ovs-monitor","title":"ovs-monitor","text":"<p><code>ovsdb</code> \u200b\u548c\u200b <code>vswitchd</code> \u200b\u81ea\u8eab\u200b\u72b6\u6001\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Gauge ovs_status OVS \u200b\u5065\u5eb7\u200b\u72b6\u6001\u200b\uff0c (1) \u200b\u4e3a\u200b\u6b63\u5e38\u200b\uff0c(0) \u200b\u4e3a\u200b\u5f02\u5e38\u200b\u3002 Gauge ovs_info OVS \u200b\u57fa\u7840\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u4fe1\u606f\u200b\u3002 Gauge failed_req_count OVS \u200b\u5931\u8d25\u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Gauge log_file_size OVS \u200b\u7ec4\u4ef6\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u5927\u5c0f\u200b\u3002 Gauge db_file_size OVS \u200b\u7ec4\u4ef6\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u5927\u5c0f\u200b\u3002 Gauge datapath Datapath \u200b\u57fa\u7840\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u4fe1\u606f\u200b\u3002 Gauge dp_total \u200b\u5f53\u524d\u200b OVS \u200b\u4e2d\u200b datapath \u200b\u6570\u91cf\u200b\u3002 Gauge dp_if Datapath \u200b\u63a5\u53e3\u200b\u57fa\u7840\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u4fe1\u606f\u200b\u3002 Gauge dp_if_total \u200b\u5f53\u524d\u200b datapath \u200b\u4e2d\u200b port \u200b\u6570\u91cf\u200b\u3002 Gauge dp_flows_total Datapath \u200b\u4e2d\u200b flow \u200b\u6570\u91cf\u200b\u3002 Gauge dp_flows_lookup_hit Datapath \u200b\u4e2d\u200b\u547d\u4e2d\u200b\u5f53\u524d\u200b flow \u200b\u6570\u636e\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge dp_flows_lookup_missed Datapath \u200b\u4e2d\u672a\u200b\u547d\u4e2d\u200b\u5f53\u524d\u200b flow \u200b\u6570\u636e\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge dp_flows_lookup_lost Datapath \u200b\u4e2d\u200b\u9700\u8981\u200b\u53d1\u9001\u7ed9\u200b userspace \u200b\u5904\u7406\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge dp_masks_hit Datapath \u200b\u4e2d\u200b\u547d\u4e2d\u200b\u5f53\u524d\u200b mask \u200b\u6570\u636e\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge dp_masks_total Datapath \u200b\u4e2d\u200b mask \u200b\u7684\u200b\u6570\u91cf\u200b\u3002 Gauge dp_masks_hit_ratio Datapath \u200b\u4e2d\u200b \u200b\u6570\u636e\u5305\u200b\u547d\u4e2d\u200b mask \u200b\u7684\u200b\u6bd4\u7387\u200b\u3002 Gauge interface OVS \u200b\u63a5\u53e3\u200b\u57fa\u7840\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u4fe1\u606f\u200b\u3002 Gauge interface_admin_state \u200b\u63a5\u53e3\u200b\u7ba1\u7406\u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b (0) \u200b\u4e3a\u200b down, (1) \u200b\u4e3a\u200b up, (2) \u200b\u4e3a\u200b\u5176\u4ed6\u200b\u72b6\u6001\u200b\u3002 Gauge interface_link_state \u200b\u63a5\u53e3\u200b\u94fe\u8def\u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b (0) \u200b\u4e3a\u200b down, (1) \u200b\u4e3a\u200b up, (2) \u200b\u4e3a\u200b\u5176\u4ed6\u200b\u72b6\u6001\u200b\u3002 Gauge interface_mac_in_use OVS Interface \u200b\u4f7f\u7528\u200b\u7684\u200b MAC \u200b\u5730\u5740\u200b Gauge interface_mtu OVS Interface \u200b\u4f7f\u7528\u200b\u7684\u200b MTU\u3002 Gauge interface_of_port OVS Interface \u200b\u5173\u8054\u200b\u7684\u200b OpenFlow Port ID\u3002 Gauge interface_if_index OVS Interface \u200b\u5173\u8054\u200b\u7684\u200b Index\u3002 Gauge interface_tx_packets OVS Interface \u200b\u53d1\u9001\u200b\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge interface_tx_bytes OVS Interface \u200b\u53d1\u9001\u200b\u5305\u200b\u5927\u5c0f\u200b\u3002 Gauge interface_rx_packets OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_bytes OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u5927\u5c0f\u200b\u3002 Gauge interface_rx_crc_err OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u6821\u9a8c\u200b\u548c\u200b\u9519\u8bef\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_dropped OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u4e22\u5f03\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_errors OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u9519\u8bef\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_frame_err OVS Interface \u200b\u63a5\u6536\u200b\u5e27\u200b\u9519\u8bef\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_missed_err OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b miss \u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_over_err OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b overrun \u200b\u6570\u91cf\u200b\u3002 Gauge interface_tx_dropped OVS Interface \u200b\u53d1\u9001\u200b\u5305\u200b\u4e22\u5f03\u200b\u6570\u91cf\u200b\u3002 Gauge interface_tx_errors OVS Interface \u200b\u53d1\u9001\u200b\u5305\u200b\u9519\u8bef\u200b\u6570\u91cf\u200b\u3002 Gauge interface_collisions OVS interface \u200b\u51b2\u7a81\u200b\u6570\u91cf\u200b\u3002"},{"location":"reference/metrics/#kube-ovn-pinger","title":"kube-ovn-pinger","text":"<p>\u200b\u7f51\u7edc\u200b\u8d28\u91cf\u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Gauge pinger_ovs_up \u200b\u8282\u70b9\u200b OVS \u200b\u8fd0\u884c\u200b\u3002 Gauge pinger_ovs_down \u200b\u8282\u70b9\u200b OVS \u200b\u505c\u6b62\u200b\u3002 Gauge pinger_ovn_controller_up \u200b\u8282\u70b9\u200b ovn-controller \u200b\u8fd0\u884c\u200b\u3002 Gauge pinger_ovn_controller_down \u200b\u8282\u70b9\u200b ovn-controller \u200b\u505c\u6b62\u200b\u3002 Gauge pinger_inconsistent_port_binding OVN-SB \u200b\u91cc\u200b portbinding \u200b\u6570\u91cf\u200b\u548c\u200b\u4e3b\u673a\u200b OVS interface \u200b\u4e0d\u200b\u4e00\u81f4\u200b\u7684\u200b\u6570\u91cf\u200b\u3002 Gauge pinger_apiserver_healthy kube-ovn-pinger \u200b\u53ef\u4ee5\u200b\u8054\u901a\u200b apiserver\u3002 Gauge pinger_apiserver_unhealthy kube-ovn-pinger \u200b\u65e0\u6cd5\u200b\u8054\u901a\u200b apiserver\u3002 Histogram pinger_apiserver_latency_ms kube-ovn-pinger \u200b\u8bbf\u95ee\u200b apiserver \u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_internal_dns_healthy kube-ovn-pinger \u200b\u53ef\u4ee5\u200b\u89e3\u6790\u200b\u5185\u90e8\u200b\u57df\u540d\u200b\u3002 Gauge pinger_internal_dns_unhealthy kube-ovn-pinger \u200b\u65e0\u6cd5\u200b\u89e3\u6790\u200b\u5185\u90e8\u200b\u57df\u540d\u200b\u3002 Histogram pinger_internal_dns_latency_ms kube-ovn-pinger \u200b\u89e3\u6790\u200b\u5185\u90e8\u200b\u57df\u540d\u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_external_dns_health kube-ovn-pinger \u200b\u53ef\u4ee5\u200b\u89e3\u6790\u200b\u5916\u90e8\u200b\u57df\u540d\u200b\u3002 Gauge pinger_external_dns_unhealthy kube-ovn-pinger \u200b\u65e0\u6cd5\u200b\u89e3\u6790\u200b\u5916\u90e8\u200b\u57df\u540d\u200b\u3002 Histogram pinger_external_dns_latency_ms kube-ovn-pinger \u200b\u89e3\u6790\u200b\u5916\u90e8\u200b\u57df\u540d\u200b\u5ef6\u8fdf\u200b\u3002 Histogram pinger_pod_ping_latency_ms kube-ovn-pinger ping Pod \u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_pod_ping_lost_total kube-ovn-pinger ping Pod \u200b\u4e22\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge pinger_pod_ping_count_total kube-ovn-pinger ping Pod \u200b\u6570\u91cf\u200b\u3002 Histogram pinger_node_ping_latency_ms kube-ovn-pinger ping Node \u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_node_ping_lost_total kube-ovn-pinger ping Node \u200b\u4e22\u5305\u200b\u3002 Gauge pinger_node_ping_count_total kube-ovn-pinger ping Node \u200b\u6570\u91cf\u200b\u3002 Histogram pinger_external_ping_latency_ms kube-ovn-pinger ping \u200b\u5916\u90e8\u200b\u5730\u5740\u200b \u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_external_lost_total kube-ovn-pinger ping \u200b\u5916\u90e8\u200b\u4e22\u5305\u200b\u6570\u91cf\u200b\u3002"},{"location":"reference/metrics/#kube-ovn-controller","title":"kube-ovn-controller","text":"<p><code>kube-ovn-controller</code> \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Histogram rest_client_request_latency_seconds \u200b\u8bf7\u6c42\u200b apiserver \u200b\u5ef6\u8fdf\u200b\u3002 Counter rest_client_requests_total \u200b\u8bf7\u6c42\u200b apiserver \u200b\u6570\u91cf\u200b\u3002 Counter lists_total API list \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Summary list_duration_seconds API list \u200b\u8bf7\u6c42\u200b\u5ef6\u8fdf\u200b\u3002 Summary items_per_list API list \u200b\u8fd4\u56de\u200b\u7ed3\u679c\u200b\u6570\u91cf\u200b\u3002 Counter watches_total API watch \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Counter short_watches_total \u200b\u77ed\u65f6\u95f4\u200b API watch \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Summary watch_duration_seconds API watch \u200b\u6301\u7eed\u65f6\u95f4\u200b\u3002 Summary items_per_watch API watch \u200b\u8fd4\u56de\u200b\u7ed3\u679c\u200b\u6570\u91cf\u200b\u3002 Gauge last_resource_version \u200b\u6700\u65b0\u200b\u7684\u200b resource version\u3002 Histogram ovs_client_request_latency_milliseconds \u200b\u8bf7\u6c42\u200b OVN \u200b\u7ec4\u4ef6\u200b\u5ef6\u8fdf\u200b\u3002 Gauge subnet_available_ip_count \u200b\u5b50\u7f51\u200b\u53ef\u7528\u200b IP \u200b\u6570\u91cf\u200b\u3002 Gauge subnet_used_ip_count \u200b\u5b50\u7f51\u200b\u5df2\u200b\u7528\u200b IP \u200b\u6570\u91cf\u200b\u3002"},{"location":"reference/metrics/#kube-ovn-cni","title":"kube-ovn-cni","text":"<p><code>kube-ovn-cni</code> \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Histogram cni_op_latency_seconds CNI \u200b\u64cd\u4f5c\u200b\u5ef6\u8fdf\u200b\u3002 Counter cni_wait_address_seconds_total CNI \u200b\u7b49\u5f85\u200b\u5730\u5740\u200b\u5c31\u7eea\u200b\u65f6\u95f4\u200b\u3002 Counter cni_wait_connectivity_seconds_total CNI \u200b\u7b49\u5f85\u200b\u8fde\u63a5\u200b\u5c31\u7eea\u200b\u65f6\u95f4\u200b\u3002 Counter cni_wait_route_seconds_total CNI \u200b\u7b49\u5f85\u200b\u8def\u7531\u200b\u5c31\u7eea\u200b\u65f6\u95f4\u200b\u3002 Histogram rest_client_request_latency_seconds \u200b\u8bf7\u6c42\u200b apiserver \u200b\u5ef6\u8fdf\u200b\u3002 Counter rest_client_requests_total \u200b\u8bf7\u6c42\u200b apiserver \u200b\u6570\u91cf\u200b\u3002 Counter lists_total API list \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Summary list_duration_seconds API list \u200b\u8bf7\u6c42\u200b\u5ef6\u8fdf\u200b\u3002 Summary items_per_list API list \u200b\u8fd4\u56de\u200b\u7ed3\u679c\u200b\u6570\u91cf\u200b\u3002 Counter watches_total API watch \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Counter short_watches_total \u200b\u77ed\u65f6\u95f4\u200b API watch \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Summary watch_duration_seconds API watch \u200b\u6301\u7eed\u65f6\u95f4\u200b\u3002 Summary items_per_watch API watch \u200b\u8fd4\u56de\u200b\u7ed3\u679c\u200b\u6570\u91cf\u200b\u3002 Gauge last_resource_version \u200b\u6700\u65b0\u200b\u7684\u200b resource version\u3002 Histogram ovs_client_request_latency_milliseconds \u200b\u8bf7\u6c42\u200b OVN \u200b\u7ec4\u4ef6\u200b\u5ef6\u8fdf\u200b\u3002 <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/ovs-ovn-customized/","title":"\u5bf9\u200b\u4e0a\u6e38\u200b OVS/OVN \u200b\u4fee\u6539","text":"<p>\u200b\u4e0a\u6e38\u200b OVN/OVS \u200b\u6700\u521d\u200b\u8bbe\u8ba1\u200b\u76ee\u6807\u200b\u4e3a\u200b\u901a\u7528\u200b SDN \u200b\u63a7\u5236\u5668\u200b\u548c\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u3002\u200b\u7531\u4e8e\u200b Kubernetes \u200b\u7f51\u7edc\u200b\u5b58\u5728\u200b\u4e00\u4e9b\u200b\u7279\u6b8a\u200b\u7684\u200b\u7528\u6cd5\u200b\uff0c \u200b\u5e76\u4e14\u200b Kube-OVN \u200b\u53ea\u200b\u91cd\u70b9\u200b\u4f7f\u7528\u200b\u4e86\u200b\u90e8\u5206\u200b\u529f\u80fd\u200b\uff0c\u200b\u4e3a\u4e86\u200b \u200b\u8fbe\u5230\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u3001\u200b\u7a33\u5b9a\u6027\u200b\u548c\u200b\u7279\u5b9a\u200b\u7684\u200b\u529f\u80fd\u200b\uff0cKube-OVN \u200b\u5bf9\u200b\u4e0a\u6e38\u200b OVN/OVS \u200b\u505a\u200b\u4e86\u200b\u90e8\u5206\u200b\u4fee\u6539\u200b\u3002\u200b\u7528\u6237\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b\u81ea\u5df1\u200b\u7684\u200b OVN/OVS \u200b\u914d\u5408\u200b Kube-OVN \u200b\u7684\u200b\u63a7\u5236\u5668\u200b\u8fdb\u884c\u200b\u5de5\u4f5c\u200b\u65f6\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b \u200b\u4e0b\u8ff0\u200b\u7684\u200b\u6539\u52a8\u200b\u53ef\u80fd\u200b\u9020\u6210\u200b\u7684\u200b\u5f71\u54cd\u200b\u3002</p> <p>\u200b\u672a\u5408\u5165\u200b\u4e0a\u6e38\u200b\u4fee\u6539\u200b\uff1a</p> <ul> <li>38df6fa3f7 \u200b\u8c03\u6574\u200b\u9009\u4e3e\u200b timer\uff0c\u200b\u907f\u514d\u200b\u5927\u89c4\u6a21\u200b\u96c6\u7fa4\u200b\u9009\u4e3e\u200b\u6296\u52a8\u200b\u3002</li> <li>d4888c4e75 \u200b\u6dfb\u52a0\u200b fdb \u200b\u66f4\u65b0\u200b\u65e5\u5fd7\u200b\u3002</li> <li>d4888c4e75 \u200b\u4fee\u590d\u200b hairpin \u200b\u73af\u5883\u200b\u4e0b\u200b fdb \u200b\u5b66\u4e60\u200b\u9519\u8bef\u200b\u7684\u200b\u95ee\u9898\u200b\u3002</li> <li>9a81b91368 \u200b\u4e3a\u200b ovsdb-tool \u200b\u7684\u200b join-cluster \u200b\u5b50\u200b\u547d\u4ee4\u200b\u6dfb\u52a0\u200b Server ID \u200b\u53c2\u6570\u200b\u3002</li> <li>62d4969877 \u200b\u4fee\u590d\u200b\u5f00\u542f\u200b SSL \u200b\u540e\u200b OVSDB \u200b\u76d1\u542c\u200b\u5730\u5740\u200b\u9519\u8bef\u200b\u7684\u200b\u95ee\u9898\u200b\u3002</li> <li>0700cb90f9 \u200b\u76ee\u7684\u200b\u5730\u5740\u200b\u975e\u200b Service \u200b\u6d41\u91cf\u200b\u7ed5\u8fc7\u200b conntrack \u200b\u4ee5\u200b\u63d0\u9ad8\u200b\u7279\u5b9a\u200b\u6570\u636e\u94fe\u200b\u8def\u200b\u6027\u80fd\u200b\u3002</li> <li>c48049a64f ECMP \u200b\u7b97\u6cd5\u200b\u7531\u200b dp_hash \u200b\u8c03\u6574\u200b\u4e3a\u200b hash\uff0c\u200b\u907f\u514d\u200b\u90e8\u5206\u200b\u5185\u6838\u200b\u51fa\u73b0\u200b\u7684\u200b\u54c8\u5e0c\u200b\u9519\u8bef\u200b\u95ee\u9898\u200b\u3002</li> <li>64383c14a9 \u200b\u4fee\u590d\u200b Windows \u200b\u4e0b\u200b\u5185\u6838\u200b Crash \u200b\u95ee\u9898\u200b\u3002</li> <li>08a95db2ca \u200b\u652f\u6301\u200b Windows \u200b\u4e0b\u200b\u7684\u200b github action \u200b\u6784\u5efa\u200b\u3002</li> <li>680e77a190 Windows \u200b\u4e0b\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b tcp \u200b\u76d1\u542c\u200b\u3002</li> <li>05e57b3227 \u200b\u652f\u6301\u200b Windows \u200b\u7f16\u8bd1\u200b\u3002</li> <li>b3801ecb73 \u200b\u4fee\u6539\u200b\u6e90\u200b\u8def\u7531\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\u3002</li> <li>977e569539 \u200b\u4fee\u590d\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b Pod \u200b\u6570\u91cf\u200b\u8fc7\u591a\u200b\u5bfc\u81f4\u200b OVS \u200b\u6d41\u8868\u200b resubmit \u200b\u6b21\u6570\u200b\u8d85\u8fc7\u200b\u4e0a\u9650\u200b\u7684\u200b\u95ee\u9898\u200b\u3002</li> <li>45a4a22161 ovn-nbctl\uff1avips \u200b\u4e3a\u200b\u7a7a\u65f6\u200b\u4e0d\u200b\u5220\u9664\u200b Load Balancer\u3002</li> <li>540592b9ff DNAT \u200b\u540e\u200b\u66ff\u6362\u200b Mac \u200b\u5730\u5740\u200b\u4e3a\u200b\u76ee\u6807\u200b\u5730\u5740\u200b\uff0c\u200b\u51cf\u5c11\u200b\u989d\u5916\u200b\u6027\u80fd\u200b\u5f00\u9500\u200b\u3002</li> <li>10972d9632 \u200b\u4fee\u590d\u200b vswitchd ofport_usage \u200b\u5185\u5b58\u200b\u6cc4\u9732\u200b\u3002</li> </ul> <p>\u200b\u5df2\u5408\u5165\u200b\u4e0a\u6e38\u200b\u4fee\u6539\u200b\uff1a</p> <ul> <li>20626ea909 \u200b\u7ec4\u64ad\u200b\u6d41\u91cf\u200b\u7ed5\u8fc7\u200b LB \u200b\u548c\u200b ACL \u200b\u5904\u7406\u200b\u9636\u6bb5\u200b\uff0c\u200b\u4ee5\u200b\u63d0\u9ad8\u200b\u7279\u5b9a\u200b\u6570\u636e\u94fe\u200b\u8def\u200b\u6027\u80fd\u200b\u3002</li> <li>a2d9ff3ccd Deb \u200b\u6784\u5efa\u200b\u589e\u52a0\u200b\u7f16\u8bd1\u200b\u4f18\u5316\u200b\u9009\u9879\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/tunnel-protocol/","title":"\u96a7\u9053\u200b\u534f\u8bae\u200b\u8bf4\u660e","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b OVN/OVS \u200b\u4f5c\u4e3a\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u5b9e\u73b0\u200b\uff0c\u200b\u76ee\u524d\u200b\u652f\u6301\u200b <code>Geneve</code>\uff0c<code>Vxlan</code> \u200b\u548c\u200b <code>STT</code> \u200b\u4e09\u79cd\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\u3002 \u200b\u8fd9\u200b\u4e09\u79cd\u200b\u534f\u8bae\u200b\u5728\u200b\u529f\u80fd\u200b\uff0c\u200b\u6027\u80fd\u200b\u548c\u200b\u6613\u7528\u6027\u200b\u4e0a\u200b\u5b58\u5728\u200b\u7740\u200b\u533a\u522b\u200b\uff0c\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u200b\u4ecb\u7ecd\u200b\u4e09\u79cd\u200b\u534f\u8bae\u200b\u5728\u200b\u4f7f\u7528\u200b\u4e2d\u200b\u7684\u200b\u5dee\u5f02\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u200b\u6839\u636e\u200b\u81ea\u5df1\u200b\u7684\u200b\u60c5\u51b5\u200b\u8fdb\u884c\u200b\u9009\u62e9\u200b\u3002</p>"},{"location":"reference/tunnel-protocol/#geneve","title":"Geneve","text":"<p><code>Geneve</code> \u200b\u534f\u8bae\u200b\u4e3a\u200b Kube-OVN \u200b\u90e8\u7f72\u200b\u65f6\u200b\u9009\u62e9\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\uff0c\u200b\u4e5f\u200b\u662f\u200b OVN \u200b\u9ed8\u8ba4\u200b\u63a8\u8350\u200b\u7684\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\u3002\u200b\u8be5\u200b\u534f\u8bae\u200b\u5728\u200b\u5185\u6838\u200b\u4e2d\u200b\u5f97\u5230\u200b\u4e86\u200b\u5e7f\u6cdb\u200b\u7684\u200b\u652f\u6301\u200b\uff0c \u200b\u5e76\u200b\u53ef\u4ee5\u200b\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u7684\u200b\u901a\u7528\u200b Offload \u200b\u80fd\u529b\u200b\u8fdb\u884c\u200b\u52a0\u901f\u200b\u3002\u200b\u7531\u4e8e\u200b <code>Geneve</code> \u200b\u6709\u7740\u200b\u53ef\u53d8\u200b\u957f\u200b\u7684\u200b\u5934\u90e8\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b 24bit \u200b\u7a7a\u95f4\u200b\u6765\u200b\u6807\u5fd7\u200b\u4e0d\u540c\u200b\u7684\u200b datapath \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u521b\u5efa\u200b\u66f4\u200b\u591a\u200b\u6570\u91cf\u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b Mellanox \u200b\u6216\u200b\u82af\u542f\u6e90\u200b\u7684\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b OVS \u200b\u5378\u8f7d\u200b\uff0c<code>Geneve</code> \u200b\u9700\u8981\u200b\u8f83\u200b\u9ad8\u200b\u7248\u672c\u200b\u7684\u200b\u5185\u6838\u200b\u652f\u6301\u200b\uff0c\u200b\u9700\u8981\u200b\u9009\u62e9\u200b 5.4 \u200b\u4ee5\u4e0a\u200b\u7684\u200b\u4e0a\u6e38\u200b\u5185\u6838\u200b\uff0c \u200b\u6216\u200b backport \u200b\u4e86\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u5176\u4ed6\u200b\u517c\u5bb9\u200b\u5185\u6838\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u4f7f\u7528\u200b UDP \u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u8be5\u200b\u534f\u8bae\u200b\u5728\u200b\u5904\u7406\u200b TCP over UDP \u200b\u65f6\u200b\u4e0d\u80fd\u200b\u5f88\u200b\u597d\u200b\u7684\u200b\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u7684\u200b TCP \u200b\u76f8\u5173\u200b\u5378\u8f7d\u200b\uff0c\u200b\u5728\u200b\u5904\u7406\u200b\u5927\u5305\u200b\u65f6\u4f1a\u200b\u6d88\u8017\u200b\u8f83\u200b\u591a\u200b CPU \u200b\u8d44\u6e90\u200b\u3002</p>"},{"location":"reference/tunnel-protocol/#vxlan","title":"Vxlan","text":"<p><code>Vxlan</code> \u200b\u4e3a\u200b\u4e0a\u6e38\u200b OVN \u200b\u8fd1\u671f\u200b\u652f\u6301\u200b\u7684\u200b\u534f\u8bae\u200b\uff0c\u200b\u8be5\u200b\u534f\u8bae\u200b\u5728\u200b\u5185\u6838\u200b\u4e2d\u200b\u5f97\u5230\u200b\u4e86\u200b\u5e7f\u6cdb\u200b\u7684\u200b\u652f\u6301\u200b\uff0c \u200b\u5e76\u200b\u53ef\u4ee5\u200b\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u7684\u200b\u901a\u7528\u200b Offload \u200b\u80fd\u529b\u200b\u8fdb\u884c\u200b\u52a0\u901f\u200b\u3002 \u200b\u7531\u4e8e\u200b\u8be5\u200b\u534f\u8bae\u200b\u5934\u90e8\u200b\u957f\u5ea6\u200b\u6709\u9650\u200b\uff0c\u200b\u5e76\u4e14\u200b OVN \u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u7684\u200b\u7a7a\u95f4\u200b\u8fdb\u884c\u200b\u7f16\u6392\u200b\uff0cdatapath \u200b\u7684\u200b\u6570\u91cf\u200b\u5b58\u5728\u200b\u9650\u5236\u200b\uff0c\u200b\u6700\u200b\u591a\u200b\u53ea\u80fd\u200b\u521b\u5efa\u200b 4096 \u200b\u4e2a\u200b datapath\uff0c \u200b\u6bcf\u4e2a\u200b datapath \u200b\u4e0b\u200b\u6700\u200b\u591a\u200b 4096 \u200b\u4e2a\u200b\u7aef\u53e3\u200b\u3002\u200b\u540c\u65f6\u200b\u7531\u4e8e\u200b\u7a7a\u95f4\u200b\u6709\u9650\u200b\uff0c\u200b\u57fa\u4e8e\u200b <code>inport</code> \u200b\u7684\u200b ACL \u200b\u6ca1\u6709\u200b\u8fdb\u884c\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b Mellanox \u200b\u6216\u200b\u82af\u542f\u6e90\u200b\u7684\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b OVS \u200b\u5378\u8f7d\u200b\uff0c<code>Vxlan</code> \u200b\u7684\u200b\u5378\u8f7d\u200b\u5728\u200b\u5e38\u89c1\u200b\u5185\u6838\u200b\u4e2d\u200b\u5df2\u200b\u83b7\u5f97\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u4f7f\u7528\u200b UDP \u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u8be5\u200b\u534f\u8bae\u200b\u5728\u200b\u5904\u7406\u200b TCP over UDP \u200b\u65f6\u200b\u4e0d\u80fd\u200b\u5f88\u200b\u597d\u200b\u7684\u200b\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u7684\u200b TCP \u200b\u76f8\u5173\u200b\u5378\u8f7d\u200b\uff0c\u200b\u5728\u200b\u5904\u7406\u200b\u5927\u5305\u200b\u65f6\u4f1a\u200b\u6d88\u8017\u200b\u8f83\u200b\u591a\u200b CPU \u200b\u8d44\u6e90\u200b\u3002</p>"},{"location":"reference/tunnel-protocol/#stt","title":"STT","text":"<p><code>STT</code> \u200b\u534f\u8bae\u200b\u4e3a\u200b OVN \u200b\u8f83\u200b\u65e9\u200b\u652f\u6301\u200b\u7684\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\uff0c\u200b\u8be5\u200b\u534f\u8bae\u200b\u4f7f\u7528\u200b\u7c7b\u200b TCP \u200b\u7684\u200b\u5934\u90e8\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5145\u5206\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u901a\u7528\u200b\u7684\u200b TCP \u200b\u5378\u8f7d\u200b\u80fd\u529b\u200b\uff0c\u200b\u5927\u5e45\u200b\u63d0\u5347\u200b TCP \u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u3002\u200b\u540c\u65f6\u200b\u8be5\u200b\u534f\u8bae\u200b\u5934\u90e8\u200b\u8f83\u957f\u200b\u53ef\u200b\u652f\u6301\u200b\u5b8c\u6574\u200b\u7684\u200b OVN \u200b\u80fd\u529b\u200b\u548c\u200b\u5927\u89c4\u6a21\u200b\u7684\u200b datapath\u3002</p> <p>\u200b\u8be5\u200b\u534f\u8bae\u200b\u672a\u200b\u5728\u200b\u5185\u6838\u200b\u4e2d\u200b\u652f\u6301\u200b\uff0c\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u9700\u8981\u200b\u989d\u5916\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\uff0c\u200b\u5e76\u200b\u5728\u200b\u5347\u7ea7\u200b\u5185\u6838\u200b\u65f6\u200b\u5bf9\u5e94\u200b\u518d\u6b21\u200b\u7f16\u8bd1\u200b\u65b0\u200b\u7248\u672c\u200b\u5185\u6838\u6a21\u5757\u200b\u3002</p> <p>\u200b\u8be5\u200b\u534f\u8bae\u200b\u76ee\u524d\u200b\u672a\u200b\u88ab\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b\u652f\u6301\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b OVS \u200b\u7684\u200b\u5378\u8f7d\u200b\u80fd\u529b\u200b\u3002</p>"},{"location":"reference/tunnel-protocol/#_2","title":"\u53c2\u8003\u8d44\u6599","text":"<ul> <li>https://ipwithease.com/vxlan-vs-geneve-understand-the-difference/</li> <li>OVN FAQ</li> <li>What is Geneve</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/underlay-topology/","title":"Underlay \u200b\u6d41\u91cf\u200b\u62d3\u6251","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u6d41\u91cf\u200b\u5728\u200b\u4e0d\u540c\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u7684\u200b\u8f6c\u53d1\u200b\u8def\u5f84\u200b\u3002</p>"},{"location":"reference/underlay-topology/#_1","title":"\u540c\u200b\u8282\u70b9\u200b\u540c\u200b\u5b50\u7f51","text":"<p>\u200b\u5185\u90e8\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u76f4\u63a5\u200b\u4ea4\u6362\u200b\u6570\u636e\u5305\u200b\uff0c\u200b\u4e0d\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u3002</p> <p></p>"},{"location":"reference/underlay-topology/#_2","title":"\u8de8\u200b\u8282\u70b9\u200b\u540c\u200b\u5b50\u7f51","text":"<p>\u200b\u6570\u636e\u5305\u200b\u7ecf\u7531\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\uff0c\u200b\u7531\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u8fdb\u884c\u200b\u4ea4\u6362\u200b\u3002</p> <p></p>"},{"location":"reference/underlay-topology/#_3","title":"\u540c\u200b\u8282\u70b9\u200b\u4e0d\u540c\u200b\u5b50\u7f51","text":"<p>\u200b\u6570\u636e\u5305\u200b\u7ecf\u7531\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7531\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u53ca\u200b\u8def\u7531\u5668\u200b\u8fdb\u884c\u200b\u4ea4\u6362\u200b\u548c\u200b\u8def\u7531\u200b\u8f6c\u53d1\u200b\u3002</p> <p></p> <p>\u200b\u6b64\u5904\u200b br-provider-1 \u200b\u548c\u200b br-provider-2 \u200b\u53ef\u4ee5\u200b\u662f\u200b\u540c\u4e00\u4e2a\u200b OVS \u200b\u7f51\u6865\u200b\uff0c\u200b\u5373\u200b\u591a\u4e2a\u200b\u4e0d\u540c\u200b\u5b50\u7f51\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u540c\u4e00\u4e2a\u200b Provider Network\u3002</p>"},{"location":"reference/underlay-topology/#_4","title":"\u8de8\u200b\u8282\u70b9\u200b\u4e0d\u540c\u200b\u5b50\u7f51","text":"<p>\u200b\u6570\u636e\u5305\u200b\u7ecf\u7531\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7531\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u53ca\u200b\u8def\u7531\u5668\u200b\u8fdb\u884c\u200b\u4ea4\u6362\u200b\u548c\u200b\u8def\u7531\u200b\u8f6c\u53d1\u200b\u3002</p> <p></p>"},{"location":"reference/underlay-topology/#_5","title":"\u8bbf\u95ee\u200b\u5916\u90e8","text":"<p>\u200b\u6570\u636e\u5305\u200b\u7ecf\u7531\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7531\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u53ca\u200b\u8def\u7531\u5668\u200b\u8fdb\u884c\u200b\u4ea4\u6362\u200b\u548c\u200b\u8def\u7531\u200b\u8f6c\u53d1\u200b\u3002</p> <p></p> <p>\u200b\u8282\u70b9\u200b\u4e0e\u200b Pod \u200b\u4e4b\u95f4\u200b\u7684\u200b\u901a\u4fe1\u200b\u5927\u4f53\u4e0a\u200b\u4e5f\u200b\u9075\u5faa\u200b\u6b64\u200b\u903b\u8f91\u200b\u3002</p>"},{"location":"reference/underlay-topology/#vlan-tag","title":"\u65e0\u200b Vlan Tag \u200b\u4e0b\u200b\u603b\u89c8","text":""},{"location":"reference/underlay-topology/#vlan","title":"\u591a\u200b VLAN \u200b\u603b\u89c8","text":""},{"location":"reference/underlay-topology/#pod-service-ip","title":"Pod \u200b\u8bbf\u95ee\u200b Service IP","text":"<p>Kube-OVN \u200b\u4e3a\u200b\u6bcf\u4e2a\u200b Kubernetes Service \u200b\u5728\u200b\u6bcf\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u4e0a\u200b\u914d\u7f6e\u200b\u4e86\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u3002 \u200b\u5f53\u200b Pod \u200b\u901a\u8fc7\u200b\u8bbf\u95ee\u200b Service IP \u200b\u8bbf\u95ee\u200b\u5176\u5b83\u200b Pod \u200b\u65f6\u200b\uff0c\u200b\u4f1a\u200b\u6784\u9020\u200b\u4e00\u4e2a\u200b\u76ee\u7684\u200b\u5730\u5740\u200b\u4e3a\u200b Service IP\u3001\u200b\u76ee\u7684\u200b MAC \u200b\u5730\u5740\u200b\u4e3a\u200b\u7f51\u5173\u200b MAC \u200b\u5730\u5740\u200b\u7684\u200b\u7f51\u7edc\u200b\u5305\u200b\u3002 \u200b\u7f51\u7edc\u200b\u5305\u200b\u8fdb\u5165\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u540e\u200b\uff0c\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u4f1a\u200b\u5bf9\u200b\u7f51\u7edc\u200b\u5305\u200b\u8fdb\u884c\u200b\u62e6\u622a\u200b\u548c\u200b DNAT \u200b\u5904\u7406\u200b\uff0c\u200b\u5c06\u200b\u76ee\u7684\u200b IP \u200b\u548c\u200b\u7aef\u53e3\u200b\u4fee\u6539\u200b\u4e3a\u200b Service \u200b\u5bf9\u5e94\u200b\u7684\u200b\u67d0\u4e2a\u200b Endpoint \u200b\u7684\u200b IP \u200b\u548c\u200b\u7aef\u53e3\u200b\u3002 \u200b\u7531\u4e8e\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u5e76\u672a\u200b\u4fee\u6539\u200b\u7f51\u7edc\u200b\u5305\u200b\u7684\u200b\u4e8c\u5c42\u200b\u76ee\u7684\u200b MAC \u200b\u5730\u5740\u200b\uff0c\u200b\u7f51\u7edc\u200b\u5305\u200b\u5728\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u540e\u200b\u4ecd\u7136\u200b\u4f1a\u200b\u9001\u5230\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\uff0c\u200b\u6b64\u65f6\u200b\u9700\u8981\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u5bf9\u200b\u7f51\u7edc\u200b\u5305\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\u3002</p>"},{"location":"reference/underlay-topology/#service-pod","title":"Service \u200b\u540e\u7aef\u200b\u4e3a\u200b\u540c\u200b\u8282\u70b9\u200b\u540c\u200b\u5b50\u7f51\u200b Pod","text":""},{"location":"reference/underlay-topology/#service-pod_1","title":"Service \u200b\u540e\u7aef\u200b\u4e3a\u200b\u540c\u200b\u8282\u70b9\u200b\u4e0d\u540c\u200b\u5b50\u7f51\u200b Pod","text":"<p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/one-step-install/","title":"\u4e00\u952e\u200b\u5b89\u88c5","text":"<p>Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u4f60\u200b\u5feb\u901f\u200b\u5b89\u88c5\u200b\u4e00\u4e2a\u200b\u9ad8\u200b\u53ef\u7528\u200b\uff0c\u200b\u751f\u4ea7\u200b\u5c31\u7eea\u200b\u7684\u200b Kube-OVN \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u90e8\u7f72\u200b\u4e3a\u200b Overlay \u200b\u7c7b\u578b\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u4ece\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c\u200b\u652f\u6301\u200b Helm Chart \u200b\u5b89\u88c5\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u90e8\u7f72\u200b\u4e3a\u200b Overlay \u200b\u7c7b\u578b\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u9ed8\u8ba4\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u642d\u5efa\u200b Underlay/Vlan \u200b\u7f51\u7edc\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b Underlay \u200b\u7f51\u7edc\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u53c2\u8003\u200b\u51c6\u5907\u200b\u5de5\u4f5c\u200b\u786e\u8ba4\u200b\u73af\u5883\u200b\u914d\u7f6e\u200b\u6b63\u786e\u200b\u3002</p>"},{"location":"start/one-step-install/#_2","title":"\u811a\u672c\u200b\u5b89\u88c5","text":""},{"location":"start/one-step-install/#_3","title":"\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c","text":"<p>\u200b\u6211\u4eec\u200b\u63a8\u8350\u200b\u5728\u200b\u751f\u4ea7\u200b\u73af\u5883\u200b\u4f7f\u7528\u200b\u7a33\u5b9a\u200b\u7684\u200b release \u200b\u7248\u672c\u200b\uff0c\u200b\u8bf7\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u200b\u7a33\u5b9a\u200b\u7248\u672c\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u5982\u679c\u200b\u5bf9\u200b master \u200b\u5206\u652f\u200b\u7684\u200b\u6700\u65b0\u200b\u529f\u80fd\u200b\u611f\u5174\u8da3\u200b\uff0c\u200b\u60f3\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u200b\u5f00\u53d1\u200b\u7248\u672c\u200b\u90e8\u7f72\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre>"},{"location":"start/one-step-install/#_4","title":"\u4fee\u6539\u200b\u914d\u7f6e\u200b\u53c2\u6570","text":"<p>\u200b\u4f7f\u7528\u200b\u7f16\u8f91\u5668\u200b\u6253\u5f00\u200b\u811a\u672c\u200b\uff0c\u200b\u5e76\u200b\u4fee\u6539\u200b\u4e0b\u5217\u200b\u53d8\u91cf\u200b\u4e3a\u200b\u9884\u671f\u200b\u503c\u200b\uff1a</p> <pre><code>REGISTRY=\"kubeovn\"                     # \u200b\u955c\u50cf\u200b\u4ed3\u5e93\u200b\u5730\u5740\u200b\nVERSION=\"v1.13.0\"                      # \u200b\u955c\u50cf\u200b\u7248\u672c\u200b/Tag\nPOD_CIDR=\"10.16.0.0/16\"                # \u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u8981\u200b\u548c\u200b SVC/NODE/JOIN CIDR \u200b\u91cd\u53e0\u200b\nSVC_CIDR=\"10.96.0.0/12\"                # \u200b\u9700\u8981\u200b\u548c\u200b apiserver \u200b\u7684\u200b service-cluster-ip-range \u200b\u4fdd\u6301\u4e00\u81f4\u200b\nJOIN_CIDR=\"100.64.0.0/16\"              # Pod \u200b\u548c\u200b\u4e3b\u673a\u200b\u901a\u4fe1\u200b\u7f51\u7edc\u200b CIDR\uff0c\u200b\u4e0d\u8981\u200b\u548c\u200b SVC/NODE/POD CIDR \u200b\u91cd\u53e0\u200b \nLABEL=\"node-role.kubernetes.io/master\" # \u200b\u90e8\u7f72\u200b OVN DB \u200b\u8282\u70b9\u200b\u7684\u200b\u6807\u7b7e\u200b\nIFACE=\"\"                               # \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u6240\u200b\u4f7f\u7528\u200b\u7684\u200b\u7684\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u5982\u679c\u200b\u4e3a\u200b\u7a7a\u5219\u200b\u4f7f\u7528\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b Node IP \u200b\u6240\u5728\u200b\u7f51\u5361\u200b\nTUNNEL_TYPE=\"geneve\"                   # \u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\uff0c\u200b\u53ef\u200b\u9009\u200b geneve, vxlan \u200b\u6216\u200b stt\uff0cstt \u200b\u9700\u8981\u200b\u5355\u72ec\u200b\u7f16\u8bd1\u200b ovs \u200b\u5185\u6838\u6a21\u5757\u200b\n</code></pre> <p>\u200b\u53ef\u200b\u4f7f\u7528\u200b\u6b63\u5219\u8868\u8fbe\u5f0f\u200b\u6765\u200b\u5339\u914d\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u4f8b\u5982\u200b <code>IFACE=enp6s0f0,eth.*</code>\u3002</p>"},{"location":"start/one-step-install/#_5","title":"\u6267\u884c\u200b\u5b89\u88c5\u200b\u811a\u672c","text":"<p><code>bash install.sh</code></p> <p>\u200b\u7b49\u5f85\u200b\u5b89\u88c5\u200b\u5b8c\u6210\u200b\u3002</p>"},{"location":"start/one-step-install/#helm-chart","title":"Helm Chart \u200b\u5b89\u88c5","text":"<p>\u200b\u7531\u4e8e\u200b Kube-OVN \u200b\u7684\u200b\u5b89\u88c5\u200b\uff0c\u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e00\u4e9b\u200b\u53c2\u6570\u200b\uff0c\u200b\u56e0\u6b64\u200b\u4f7f\u7528\u200b Helm \u200b\u5b89\u88c5\u200b Kube-OVN\uff0c\u200b\u9700\u8981\u200b\u6309\u7167\u200b\u4ee5\u4e0b\u200b\u6b65\u9aa4\u200b\u6267\u884c\u200b\u3002</p>"},{"location":"start/one-step-install/#ip","title":"\u67e5\u770b\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740","text":"<pre><code>$ kubectl get node -o wide\nNAME                     STATUS     ROLES           AGE   VERSION   INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION      CONTAINER-RUNTIME\nkube-ovn-control-plane   NotReady   control-plane   20h   v1.26.0   172.18.0.3    &lt;none&gt;        Ubuntu 22.04.1 LTS   5.10.104-linuxkit   containerd://1.6.9\nkube-ovn-worker          NotReady   &lt;none&gt;          20h   v1.26.0   172.18.0.2    &lt;none&gt;        Ubuntu 22.04.1 LTS   5.10.104-linuxkit   containerd://1.6.9\n</code></pre>"},{"location":"start/one-step-install/#master","title":"\u53bb\u6389\u200b\u96c6\u7fa4\u200b master \u200b\u8282\u70b9\u200b\u6c61\u70b9","text":"<pre><code>$ kubectl taint node kube-ovn-control-plane node-role.kubernetes.io/control-plane:NoSchedule-\nnode/kube-ovn-control-plane untainted\n</code></pre> <p>\u200b\u5982\u679c\u200b\u786e\u5b9a\u200b\u4e0d\u200b\u9700\u8981\u200b\u5728\u200b master \u200b\u8282\u70b9\u200b\u8c03\u5ea6\u200b\u4e1a\u52a1\u200b Pod\uff0c\u200b\u8fd9\u200b\u4e00\u6b65\u200b\u53ef\u4ee5\u200b\u8df3\u8fc7\u200b\u3002</p>"},{"location":"start/one-step-install/#label","title":"\u7ed9\u200b\u8282\u70b9\u200b\u6dfb\u52a0\u200b label","text":"<pre><code>$ kubectl label node -lbeta.kubernetes.io/os=linux kubernetes.io/os=linux --overwrite\nnode/kube-ovn-control-plane not labeled\nnode/kube-ovn-worker not labeled\n\n$ kubectl label node -lnode-role.kubernetes.io/control-plane kube-ovn/role=master --overwrite\nnode/kube-ovn-control-plane labeled\n\n# \u200b\u4ee5\u4e0b\u200b label \u200b\u7528\u4e8e\u200b dpdk \u200b\u955c\u50cf\u200b\u7684\u200b\u5b89\u88c5\u200b\uff0c\u200b\u975e\u200b dpdk \u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5ffd\u7565\u200b\n$ kubectl label node -lovn.kubernetes.io/ovs_dp_type!=userspace ovn.kubernetes.io/ovs_dp_type=kernel --overwrite\nnode/kube-ovn-control-plane labeled\nnode/kube-ovn-worker labeled\n</code></pre>"},{"location":"start/one-step-install/#helm-repo","title":"\u6dfb\u52a0\u200b Helm Repo \u200b\u4fe1\u606f","text":"<pre><code>$ helm repo add kubeovn https://kubeovn.github.io/kube-ovn/\n\"kubeovn\" has been added to your repositories\n\n$ helm repo list\nNAME            URL\nkubeovn         https://kubeovn.github.io/kube-ovn/\n\n$ helm search repo kubeovn\nNAME                CHART VERSION   APP VERSION DESCRIPTION\nkubeovn/kube-ovn    0.1.0           1.12.0      Helm chart for Kube-OVN\n</code></pre>"},{"location":"start/one-step-install/#helm-install-kube-ovn","title":"\u6267\u884c\u200b helm install \u200b\u5b89\u88c5\u200b Kube-OVN","text":"<p>Node0IP\u3001Node1IP\u3001Node2IP \u200b\u53c2\u6570\u200b\u5206\u522b\u200b\u4e3a\u200b\u96c6\u7fa4\u200b master \u200b\u8282\u70b9\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002\u200b\u5176\u4ed6\u200b\u53c2\u6570\u200b\u7684\u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b values.yaml \u200b\u6587\u4ef6\u200b\u4e2d\u200b\u53d8\u91cf\u200b\u5b9a\u4e49\u200b\u3002</p> <pre><code># \u200b\u5355\u200b master \u200b\u8282\u70b9\u200b\u73af\u5883\u200b\u5b89\u88c5\u200b\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=${Node0IP}\n\n# \u200b\u4ee5\u4e0a\u200b\u8fb9\u200b\u7684\u200b node \u200b\u4fe1\u606f\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u6267\u884c\u200b\u5b89\u88c5\u200b\u547d\u4ee4\u200b\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=172.18.0.3\nNAME: kube-ovn\nLAST DEPLOYED: Fri Mar 31 12:43:43 2023\nNAMESPACE: default\nSTATUS: deployed\nREVISION: 1\nTEST SUITE: None\n\n# \u200b\u9ad8\u200b\u53ef\u7528\u200b\u96c6\u7fa4\u200b\u5b89\u88c5\u200b\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=${Node0IP}\\,${Node1IP}\\,${Node2IP}\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/prepare/","title":"\u51c6\u5907\u200b\u5de5\u4f5c","text":"<p>Kube-OVN \u200b\u662f\u200b\u4e00\u4e2a\u200b\u7b26\u5408\u200b CNI \u200b\u89c4\u8303\u200b\u7684\u200b\u7f51\u7edc\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u5176\u200b\u8fd0\u884c\u200b\u9700\u8981\u200b\u4f9d\u8d56\u200b Kubernetes \u200b\u73af\u5883\u200b\u53ca\u200b\u5bf9\u5e94\u200b\u7684\u200b\u5185\u6838\u200b\u7f51\u7edc\u200b\u6a21\u5757\u200b\u3002 \u200b\u4ee5\u4e0b\u200b\u662f\u200b\u901a\u8fc7\u200b\u6d4b\u8bd5\u200b\u7684\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u548c\u200b\u8f6f\u4ef6\u200b\u7248\u672c\u200b\uff0c\u200b\u73af\u5883\u200b\u914d\u7f6e\u200b\u548c\u200b\u6240\u200b\u9700\u8981\u200b\u5f00\u653e\u200b\u7684\u200b\u7aef\u53e3\u200b\u4fe1\u606f\u200b\u3002</p>"},{"location":"start/prepare/#_2","title":"\u8f6f\u4ef6\u200b\u7248\u672c","text":"<ul> <li>Kubernetes &gt;= 1.23\u3002</li> <li>Docker &gt;= 1.12.6, Containerd &gt;= 1.3.4\u3002</li> <li>\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b: CentOS 7/8, Ubuntu 16.04/18.04/20.04\u3002</li> <li>\u200b\u5176\u4ed6\u200b Linux \u200b\u53d1\u884c\u7248\u200b\uff0c\u200b\u9700\u8981\u200b\u68c0\u67e5\u4e00\u4e0b\u200b\u5185\u6838\u6a21\u5757\u200b\u662f\u5426\u200b\u5b58\u5728\u200b <code>geneve</code>, <code>openvswitch</code>, <code>ip_tables</code> \u200b\u548c\u200b <code>iptable_nat</code>\uff0cKube-OVN \u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\u4f9d\u8d56\u200b\u4e0a\u8ff0\u200b\u6a21\u5757\u200b\u3002</li> </ul> <p>\u200b\u6ce8\u610f\u4e8b\u9879\u200b\uff1a</p> <ol> <li>\u200b\u5982\u679c\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u4e3a\u200b 3.10.0-862 \u200b\u5185\u6838\u200b <code>netfilter</code> \u200b\u6a21\u5757\u200b\u5b58\u5728\u200b bug \u200b\u4f1a\u200b\u5bfc\u81f4\u200b Kube-OVN \u200b\u5185\u7f6e\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u65e0\u6cd5\u200b\u5de5\u4f5c\u200b\uff0c\u200b\u9700\u8981\u200b\u5bf9\u200b\u5185\u6838\u200b\u5347\u7ea7\u200b\uff0c\u200b\u5efa\u8bae\u200b\u4f7f\u7528\u200b CentOS \u200b\u5b98\u65b9\u200b\u5bf9\u5e94\u200b\u7248\u672c\u200b\u6700\u65b0\u200b\u5185\u6838\u200b\u4fdd\u8bc1\u7cfb\u7edf\u200b\u7684\u200b\u5b89\u5168\u200b\u3002\u200b\u76f8\u5173\u200b\u5185\u6838\u200b bug \u200b\u53c2\u8003\u200b Floating IPs broken after kernel upgrade to Centos/RHEL 7.5 - DNAT not working\u3002</li> <li>Rocky Linux 8.6 \u200b\u7684\u200b\u5185\u6838\u200b 4.18.0-372.9.1.el8.x86_64 \u200b\u5b58\u5728\u200b TCP \u200b\u901a\u4fe1\u200b\u95ee\u9898\u200b TCP connection failed in Rocky Linux 8.6\uff0c\u200b\u8bf7\u200b\u5347\u7ea7\u200b\u5185\u6838\u200b\u81f3\u200b 4.18.0-372.13.1.el8_6.x86_64 \u200b\u6216\u200b\u66f4\u200b\u9ad8\u200b\u7248\u672c\u200b\u3002</li> <li>\u200b\u5982\u679c\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u4e3a\u200b 4.4 \u200b\u5219\u200b\u5bf9\u5e94\u200b\u7684\u200b\u5185\u6838\u200b <code>openvswitch</code> \u200b\u6a21\u5757\u200b\u5b58\u5728\u200b\u95ee\u9898\u200b\uff0c\u200b\u5efa\u8bae\u200b\u5347\u7ea7\u200b\u6216\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b <code>openvswitch</code> \u200b\u65b0\u200b\u7248\u672c\u200b\u6a21\u5757\u200b\u8fdb\u884c\u200b\u66f4\u65b0\u200b</li> <li>Geneve \u200b\u96a7\u9053\u200b\u5efa\u7acb\u200b\u9700\u8981\u200b\u68c0\u67e5\u200b IPv6\uff0c\u200b\u53ef\u200b\u901a\u8fc7\u200b <code>cat /proc/cmdline</code> \u200b\u68c0\u67e5\u200b\u5185\u6838\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\uff0c \u200b\u76f8\u5173\u200b\u5185\u6838\u200b bug \u200b\u8bf7\u200b\u53c2\u8003\u200b Geneve tunnels don't work when ipv6 is disabled\u3002</li> </ol>"},{"location":"start/prepare/#_3","title":"\u73af\u5883\u200b\u914d\u7f6e","text":"<ul> <li>Kernel \u200b\u542f\u52a8\u200b\u9700\u8981\u200b\u5f00\u542f\u200b IPv6, \u200b\u5982\u679c\u200b kernel \u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u5305\u542b\u200b <code>ipv6.disable=1</code> \u200b\u9700\u8981\u200b\u5c06\u200b\u5176\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b 0\u3002</li> <li><code>kube-proxy</code> \u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\uff0cKube-OVN \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Service ClusterIP \u200b\u8bbf\u95ee\u200b\u5230\u200b <code>kube-apiserver</code>\u3002</li> <li>\u200b\u786e\u8ba4\u200b kubelet \u200b\u914d\u7f6e\u200b\u53c2\u6570\u200b\u5f00\u542f\u200b\u4e86\u200b CNI\uff0c\u200b\u5e76\u4e14\u200b\u914d\u7f6e\u200b\u5728\u200b\u6807\u51c6\u200b\u8def\u5f84\u200b\u4e0b\u200b, kubelet \u200b\u542f\u52a8\u200b\u65f6\u5e94\u200b\u5305\u542b\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b <code>--network-plugin=cni --cni-bin-dir=/opt/cni/bin --cni-conf-dir=/etc/cni/net.d</code>\u3002</li> <li>\u200b\u786e\u8ba4\u200b\u672a\u200b\u5b89\u88c5\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u6216\u8005\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u5df2\u7ecf\u200b\u88ab\u200b\u6e05\u9664\u200b\uff0c\u200b\u68c0\u67e5\u200b <code>/etc/cni/net.d/</code> \u200b\u8def\u5f84\u200b\u4e0b\u200b\u65e0\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u914d\u7f6e\u6587\u4ef6\u200b\u3002\u200b\u5982\u679c\u200b\u4e4b\u524d\u200b\u5b89\u88c5\u200b\u8fc7\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u5efa\u8bae\u200b\u5220\u9664\u200b\u540e\u200b\u91cd\u542f\u200b\u673a\u5668\u200b\u6e05\u7406\u200b\u6b8b\u7559\u200b\u7f51\u7edc\u8d44\u6e90\u200b\u3002</li> </ul>"},{"location":"start/prepare/#_4","title":"\u7aef\u53e3\u200b\u4fe1\u606f","text":"\u7ec4\u4ef6\u200b \u200b\u7aef\u53e3\u200b \u200b\u7528\u9014\u200b ovn-central 6641/tcp, 6642/tcp, 6643/tcp, 6644/tcp ovn-db \u200b\u548c\u200b raft server \u200b\u76d1\u542c\u200b\u7aef\u53e3\u200b ovs-ovn Geneve 6081/udp, STT 7471/tcp, Vxlan 4789/udp \u200b\u96a7\u9053\u200b\u7aef\u53e3\u200b kube-ovn-controller 10660/tcp \u200b\u76d1\u63a7\u200b\u76d1\u542c\u200b\u7aef\u53e3\u200b kube-ovn-daemon 10665/tcp \u200b\u76d1\u63a7\u200b\u76d1\u542c\u200b\u7aef\u53e3\u200b kube-ovn-monitor 10661/tcp \u200b\u76d1\u63a7\u200b\u76d1\u542c\u200b\u7aef\u53e3\u200b <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/sealos-install/","title":"\u4f7f\u7528\u200b sealos \u200b\u4e00\u952e\u200b\u90e8\u7f72\u200b Kubernetes \u200b\u548c\u200b Kube-OVN","text":"<p>sealos \u200b\u4f5c\u4e3a\u200b Kubernetes \u200b\u7684\u200b\u4e00\u4e2a\u200b\u53d1\u884c\u7248\u200b\uff0c\u200b\u901a\u8fc7\u200b\u6781\u7b80\u200b\u7684\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u548c\u200b\u56fd\u5185\u200b\u7684\u200b\u955c\u50cf\u200b\u4ed3\u5e93\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u7528\u6237\u200b\u5feb\u901f\u200b\u4ece\u200b\u96f6\u200b\u521d\u59cb\u5316\u200b\u4e00\u4e2a\u200b\u5bb9\u5668\u200b\u96c6\u7fa4\u200b\u3002 \u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b sealos \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4e00\u6761\u200b\u547d\u4ee4\u200b\u5728\u200b\u51e0\u5206\u949f\u200b\u5185\u200b\u90e8\u7f72\u200b\u51fa\u200b\u4e00\u4e2a\u200b\u5b89\u88c5\u200b\u597d\u200b Kube-OVN \u200b\u7684\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u3002</p>"},{"location":"start/sealos-install/#sealos","title":"\u4e0b\u8f7d\u5b89\u88c5\u200b sealos","text":"AMD64 ARM64 <pre><code>wget  https://github.com/labring/sealos/releases/download/v4.1.4/sealos_4.1.4_linux_amd64.tar.gz  &amp;&amp; \\\ntar -zxvf sealos_4.1.4_linux_amd64.tar.gz sealos &amp;&amp;  chmod +x sealos &amp;&amp; mv sealos /usr/bin\n</code></pre> <pre><code>wget  https://github.com/labring/sealos/releases/download/v4.1.4/sealos_4.1.4_linux_arm64.tar.gz  &amp;&amp; \\\ntar -zxvf sealos_4.1.4_linux_arm64.tar.gz sealos &amp;&amp;  chmod +x sealos &amp;&amp; mv sealos /usr/bin\n</code></pre>"},{"location":"start/sealos-install/#kubernetes-kube-ovn","title":"\u90e8\u7f72\u200b Kubernetes \u200b\u548c\u200b Kube-OVN","text":"<pre><code>```bash\nsealos run labring/kubernetes:v1.24.3 labring/kube-ovn:v1.10.5 \\\n  --masters [masters ips seperated by comma] \\\n  --nodes [nodes ips seperated by comma] -p [your-ssh-passwd]\n```\n</code></pre>"},{"location":"start/sealos-install/#_1","title":"\u7b49\u5f85\u200b\u90e8\u7f72\u200b\u5b8c\u6210","text":"<pre><code>```bash\n[Step 6/6] Finish\n\n                    ,,,,\n                    ,::,\n                   ,,::,,,,\n            ,,,,,::::::::::::,,,,,\n         ,,,::::::::::::::::::::::,,,\n       ,,::::::::::::::::::::::::::::,,\n     ,,::::::::::::::::::::::::::::::::,,\n    ,::::::::::::::::::::::::::::::::::::,\n   ,:::::::::::::,,   ,,:::::,,,::::::::::,\n ,,:::::::::::::,       ,::,     ,:::::::::,\n ,:::::::::::::,   :x,  ,::  :,   ,:::::::::,\n,:::::::::::::::,  ,,,  ,::, ,,  ,::::::::::,\n,:::::::::::::::::,,,,,,:::::,,,,::::::::::::,    ,:,   ,:,            ,xx,                            ,:::::,   ,:,     ,:: :::,    ,x\n,::::::::::::::::::::::::::::::::::::::::::::,    :x: ,:xx:        ,   :xx,                          :xxxxxxxxx, :xx,   ,xx:,xxxx,   :x\n,::::::::::::::::::::::::::::::::::::::::::::,    :xxxxx:,  ,xx,  :x:  :xxx:x::,  ::xxxx:           :xx:,  ,:xxx  :xx, ,xx: ,xxxxx:, :x\n,::::::::::::::::::::::::::::::::::::::::::::,    :xxxxx,   :xx,  :x:  :xxx,,:xx,:xx:,:xx, ,,,,,,,,,xxx,    ,xx:   :xx:xx:  ,xxx,:xx::x\n,::::::,,::::::::,,::::::::,,:::::::,,,::::::,    :x:,xxx:  ,xx,  :xx  :xx:  ,xx,xxxxxx:, ,xxxxxxx:,xxx:,  ,xxx,    :xxx:   ,xxx, :xxxx\n,::::,    ,::::,   ,:::::,   ,,::::,    ,::::,    :x:  ,:xx,,:xx::xxxx,,xxx::xx: :xx::::x: ,,,,,,   ,xxxxxxxxx,     ,xx:    ,xxx,  :xxx\n,::::,    ,::::,    ,::::,    ,::::,    ,::::,    ,:,    ,:,  ,,::,,:,  ,::::,,   ,:::::,            ,,:::::,        ,,      :x:    ,::\n,::::,    ,::::,    ,::::,    ,::::,    ,::::,\n ,,,,,    ,::::,    ,::::,    ,::::,    ,:::,             ,,,,,,,,,,,,,\n          ,::::,    ,::::,    ,::::,    ,:::,        ,,,:::::::::::::::,\n          ,::::,    ,::::,    ,::::,    ,::::,  ,,,,:::::::::,,,,,,,:::,\n          ,::::,    ,::::,    ,::::,     ,::::::::::::,,,,,\n           ,,,,     ,::::,     ,,,,       ,,,::::,,,,\n                    ,::::,\n                    ,,::,\n\nThanks for choosing Kube-OVN!\nFor more advanced features, please read https://github.com/kubeovn/kube-ovn#documents\nIf you have any question, please file an issue https://github.com/kubeovn/kube-ovn/issues/new/choose\n2022-08-10T16:31:34 info succeeded in creating a new cluster, enjoy it!\n2022-08-10T16:31:34 info\n      ___           ___           ___           ___       ___           ___\n     /\\  \\         /\\  \\         /\\  \\         /\\__\\     /\\  \\         /\\  \\\n    /::\\  \\       /::\\  \\       /::\\  \\       /:/  /    /::\\  \\       /::\\  \\\n   /:/\\ \\  \\     /:/\\:\\  \\     /:/\\:\\  \\     /:/  /    /:/\\:\\  \\     /:/\\ \\  \\\n  _\\:\\~\\ \\  \\   /::\\~\\:\\  \\   /::\\~\\:\\  \\   /:/  /    /:/  \\:\\  \\   _\\:\\~\\ \\  \\\n /\\ \\:\\ \\ \\__\\ /:/\\:\\ \\:\\__\\ /:/\\:\\ \\:\\__\\ /:/__/    /:/__/ \\:\\__\\ /\\ \\:\\ \\ \\__\\\n \\:\\ \\:\\ \\/__/ \\:\\~\\:\\ \\/__/ \\/__\\:\\/:/  / \\:\\  \\    \\:\\  \\ /:/  / \\:\\ \\:\\ \\/__/\n  \\:\\ \\:\\__\\    \\:\\ \\:\\__\\        \\::/  /   \\:\\  \\    \\:\\  /:/  /   \\:\\ \\:\\__\\\n   \\:\\/:/  /     \\:\\ \\/__/        /:/  /     \\:\\  \\    \\:\\/:/  /     \\:\\/:/  /\n    \\::/  /       \\:\\__\\         /:/  /       \\:\\__\\    \\::/  /       \\::/  /\n     \\/__/         \\/__/         \\/__/         \\/__/     \\/__/         \\/__/\n\n                  Website :https://www.sealos.io/\n                  Address :github.com/labring/sealos\n```\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/underlay/","title":"Underlay \u200b\u7f51\u7edc\u200b\u5b89\u88c5","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Kube-OVN \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b Geneve \u200b\u5bf9\u200b\u8de8\u200b\u4e3b\u673a\u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u5728\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u4e4b\u4e0a\u200b\u62bd\u8c61\u200b\u51fa\u200b\u4e00\u5c42\u200b\u865a\u62df\u200b\u7684\u200b Overlay \u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5bf9\u4e8e\u200b\u5e0c\u671b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\u7269\u7406\u200b\u7f51\u7edc\u5730\u5740\u200b\u6bb5\u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5c06\u200b Kube-OVN \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u5de5\u4f5c\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u7ed9\u200b\u5bb9\u5668\u200b\u5206\u914d\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u4e2d\u200b\u7684\u200b\u5730\u5740\u200b\u8d44\u6e90\u200b\uff0c\u200b\u8fbe\u5230\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u4ee5\u53ca\u200b\u548c\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u3002</p> <p></p>"},{"location":"start/underlay/#_1","title":"\u529f\u80fd\u200b\u9650\u5236","text":"<p>\u200b\u7531\u4e8e\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u8fdb\u884c\u200b\u4e8c\u5c42\u200b\u5305\u8f6c\u53d1\u200b\uff0cOverlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u7684\u200b SNAT/EIP\uff0c \u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b/\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u7b49\u200b L3 \u200b\u529f\u80fd\u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\uff0cVPC \u200b\u7ea7\u522b\u200b\u7684\u200b\u9694\u79bb\u200b\u4e5f\u200b\u65e0\u6cd5\u200b\u5bf9\u200b Underlay \u200b\u5b50\u7f51\u200b\u751f\u6548\u200b\u3002</p>"},{"location":"start/underlay/#macvlan","title":"\u548c\u200b Macvlan \u200b\u6bd4\u8f83","text":"<p>Kube-OVN \u200b\u7684\u200b Underlay \u200b\u6a21\u5f0f\u200b\u548c\u200b Macvlan \u200b\u5de5\u4f5c\u200b\u6a21\u5f0f\u200b\u5341\u5206\u200b\u7c7b\u4f3c\u200b\uff0c\u200b\u5728\u200b\u529f\u80fd\u200b\u548c\u200b\u6027\u80fd\u200b\u4e0a\u200b\u4e3b\u8981\u200b\u6709\u200b\u4ee5\u4e0b\u200b\u51e0\u4e2a\u200b\u533a\u522b\u200b\uff1a</p> <ol> <li>\u200b\u7531\u4e8e\u200b Macvlan \u200b\u7684\u200b\u5185\u6838\u200b\u8def\u5f84\u200b\u66f4\u200b\u77ed\u200b\uff0c\u200b\u5e76\u4e14\u200b\u4e0d\u200b\u9700\u8981\u200b OVS \u200b\u5bf9\u200b\u6570\u636e\u5305\u200b\u8fdb\u884c\u200b\u5904\u7406\u200b\uff0cMacvlan \u200b\u5728\u200b\u541e\u5410\u91cf\u200b\u548c\u200b\u5ef6\u8fdf\u200b\u6027\u80fd\u6307\u6807\u200b\u4e0a\u200b\u8868\u73b0\u200b\u4f1a\u200b\u66f4\u597d\u200b\u3002</li> <li>Kube-OVN \u200b\u901a\u8fc7\u200b\u6d41\u8868\u200b\u63d0\u4f9b\u200b\u4e86\u200b arp-proxy \u200b\u529f\u80fd\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u7f13\u89e3\u200b\u5927\u89c4\u6a21\u200b\u7f51\u7edc\u200b\u4e0b\u200b\u7684\u200b arp \u200b\u5e7f\u64ad\u200b\u98ce\u66b4\u200b\u98ce\u9669\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b Macvlan \u200b\u5de5\u4f5c\u200b\u5728\u200b\u5185\u6838\u200b\u5e95\u5c42\u200b\uff0c\u200b\u4f1a\u200b\u7ed5\u8fc7\u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b netfilter\uff0cService \u200b\u548c\u200b NetworkPolicy \u200b\u529f\u80fd\u200b\u9700\u8981\u200b\u989d\u5916\u200b\u5f00\u53d1\u200b\u3002Kube-OVN \u200b\u901a\u8fc7\u200b OVS \u200b\u6d41\u8868\u200b\u63d0\u4f9b\u200b\u4e86\u200b Service \u200b\u548c\u200b NetworkPolicy \u200b\u7684\u200b\u80fd\u529b\u200b\u3002</li> <li>Kube-OVN \u200b\u7684\u200b Underlay \u200b\u6a21\u5f0f\u200b\u76f8\u6bd4\u200b Macvlan \u200b\u989d\u5916\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u5730\u5740\u200b\u7ba1\u7406\u200b\uff0c\u200b\u56fa\u5b9a\u200b IP \u200b\u548c\u200b QoS \u200b\u7b49\u200b\u529f\u80fd\u200b\u3002</li> </ol>"},{"location":"start/underlay/#_2","title":"\u73af\u5883\u200b\u8981\u6c42","text":"<p>\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0cOVS \u200b\u5c06\u4f1a\u200b\u6865\u63a5\u200b\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u5230\u200b OVS \u200b\u7f51\u6865\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u6570\u636e\u5305\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b\u8be5\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u5bf9\u5916\u200b\u53d1\u9001\u200b\uff0cL2/L3 \u200b\u5c42\u9762\u200b\u7684\u200b\u8f6c\u53d1\u200b\u80fd\u529b\u200b\u9700\u8981\u200b\u4f9d\u8d56\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u3002 \u200b\u9700\u8981\u200b\u9884\u5148\u200b\u5728\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u914d\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b\u7f51\u5173\u200b\u3001Vlan \u200b\u548c\u200b\u5b89\u5168\u7b56\u7565\u200b\u7b49\u200b\u914d\u7f6e\u200b\u3002</p> <ol> <li>\u200b\u5bf9\u4e8e\u200b OpenStack \u200b\u7684\u200b VM \u200b\u73af\u5883\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b\u5bf9\u5e94\u200b\u7f51\u7edc\u200b\u7aef\u53e3\u200b\u7684\u200b <code>PortSecurity</code> \u200b\u5173\u95ed\u200b\u3002</li> <li>\u200b\u5bf9\u4e8e\u200b VMware \u200b\u7684\u200b vSwitch \u200b\u7f51\u7edc\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b <code>MAC Address Changes</code>, <code>Forged Transmits</code> \u200b\u548c\u200b <code>Promiscuous Mode Operation</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>allow</code>\u3002</li> <li>\u200b\u5bf9\u4e8e\u200b Hyper-V \u200b\u865a\u62df\u5316\u200b\uff0c\u200b\u9700\u8981\u200b\u5f00\u542f\u200b\u865a\u62df\u673a\u200b\u7f51\u5361\u200b\u9ad8\u7ea7\u200b\u529f\u80fd\u200b\u4e2d\u200b\u7684\u200b <code>MAC Address Spoofing</code>\u3002</li> <li>\u200b\u516c\u6709\u200b\u4e91\u200b\uff0c\u200b\u4f8b\u5982\u200b AWS\u3001GCE\u3001\u200b\u963f\u91cc\u200b\u4e91\u200b\u7b49\u200b\u7531\u4e8e\u200b\u4e0d\u200b\u652f\u6301\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b Mac \u200b\u65e0\u6cd5\u200b\u652f\u6301\u200b Underlay \u200b\u6a21\u5f0f\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u8fd9\u79cd\u200b\u573a\u666f\u200b\u4e0b\u200b\u5982\u679c\u200b\u60f3\u200b\u4f7f\u7528\u200b Underlay \u200b\u63a8\u8350\u200b\u4f7f\u7528\u200b\u5bf9\u5e94\u200b\u516c\u6709\u200b\u4e91\u200b\u5382\u5546\u200b\u63d0\u4f9b\u200b\u7684\u200b VPC-CNI\u3002</li> <li>\u200b\u6865\u63a5\u200b\u7f51\u5361\u200b\u4e0d\u80fd\u200b\u4e3a\u200b Linux Bridge\u3002</li> </ol> <p>\u200b\u5bf9\u4e8e\u200b\u7ba1\u7406\u200b\u7f51\u200b\u548c\u200b\u5bb9\u5668\u200b\u7f51\u200b\u4f7f\u7528\u200b\u540c\u4e00\u4e2a\u200b\u7f51\u5361\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0cKube-OVN \u200b\u4f1a\u200b\u5c06\u200b\u7f51\u5361\u200b\u7684\u200b Mac \u200b\u5730\u5740\u200b\u3001IP \u200b\u5730\u5740\u200b\u3001\u200b\u8def\u7531\u200b\u4ee5\u53ca\u200b MTU \u200b\u5c06\u200b\u8f6c\u79fb\u200b\u6216\u200b\u590d\u5236\u200b\u81f3\u200b\u5bf9\u5e94\u200b\u7684\u200b OVS Bridge\uff0c \u200b\u4ee5\u200b\u652f\u6301\u200b\u5355\u200b\u7f51\u5361\u200b\u90e8\u7f72\u200b Underlay \u200b\u7f51\u7edc\u200b\u3002OVS Bridge \u200b\u540d\u79f0\u200b\u683c\u5f0f\u200b\u4e3a\u200b <code>br-PROVIDER_NAME</code>\uff0c<code>PROVIDER_NAME</code> \u200b\u4e3a\u200b Provider \u200b\u7f51\u7edc\u200b\u540d\u79f0\u200b\uff08\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b provider\uff09\u3002</p>"},{"location":"start/underlay/#_3","title":"\u90e8\u7f72\u200b\u65f6\u200b\u6307\u5b9a\u200b\u7f51\u7edc\u200b\u6a21\u5f0f","text":"<p>\u200b\u8be5\u200b\u90e8\u7f72\u200b\u6a21\u5f0f\u200b\u5c06\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b Underlay \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u6240\u6709\u200b\u672a\u6307\u5b9a\u200b\u5b50\u7f51\u200b\u7684\u200b Pod \u200b\u5747\u4f1a\u200b\u9ed8\u8ba4\u200b\u8fd0\u884c\u200b\u5728\u200b Underlay \u200b\u7f51\u7edc\u200b\u4e2d\u200b\u3002</p>"},{"location":"start/underlay/#_4","title":"\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c","text":"<pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre>"},{"location":"start/underlay/#_5","title":"\u4fee\u6539\u200b\u811a\u672c\u200b\u4e2d\u200b\u76f8\u5e94\u200b\u914d\u7f6e","text":"<pre><code>ENABLE_ARP_DETECT_IP_CONFLICT # \u200b\u5982\u200b\u6709\u200b\u9700\u8981\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b\u5173\u95ed\u200b vlan \u200b\u7f51\u7edc\u200b arp \u200b\u51b2\u7a81\u68c0\u6d4b\u200b\nNETWORK_TYPE                  # \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b vlan\nVLAN_INTERFACE_NAME           # \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5bbf\u4e3b\u673a\u200b\u4e0a\u200b\u627f\u62c5\u200b\u5bb9\u5668\u200b\u6d41\u91cf\u200b\u7684\u200b\u7f51\u5361\u200b\uff0c\u200b\u4f8b\u5982\u200b eth1\nVLAN_ID                       # \u200b\u4ea4\u6362\u673a\u200b\u6240\u200b\u63a5\u53d7\u200b\u7684\u200b VLAN Tag\uff0c\u200b\u82e5\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b 0 \u200b\u5219\u200b\u4e0d\u200b\u505a\u200b VLAN \u200b\u5c01\u88c5\u200b\nPOD_CIDR                      # \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b CIDR\uff0c \u200b\u4f8b\u5982\u200b 192.168.1.0/24\nPOD_GATEWAY                   # \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u7f51\u5173\u200b\uff0c\u200b\u4f8b\u5982\u200b 192.168.1.1\nEXCLUDE_IPS                   # \u200b\u6392\u9664\u200b\u8303\u56f4\u200b\uff0c\u200b\u907f\u514d\u200b\u5bb9\u5668\u200b\u7f51\u6bb5\u200b\u548c\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u5df2\u200b\u7528\u200b IP \u200b\u51b2\u7a81\u200b\uff0c\u200b\u4f8b\u5982\u200b 192.168.1.1..192.168.1.100\nENABLE_LB                     # \u200b\u5982\u679c\u200b Underlay \u200b\u5b50\u7f51\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b Service \u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b true \nEXCHANGE_LINK_NAME            # \u200b\u662f\u5426\u200b\u4ea4\u6362\u200b\u9ed8\u8ba4\u200b provider-network \u200b\u4e0b\u200b OVS \u200b\u7f51\u6865\u200b\u548c\u200b\u6865\u63a5\u200b\u7f51\u5361\u200b\u7684\u200b\u540d\u5b57\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b false\nLS_DNAT_MOD_DL_DST            # DNAT \u200b\u65f6\u200b\u662f\u5426\u200b\u5bf9\u200b MAC \u200b\u5730\u5740\u200b\u8fdb\u884c\u200b\u8f6c\u6362\u200b\uff0c\u200b\u53ef\u200b\u52a0\u901f\u200b Service \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b true\n</code></pre>"},{"location":"start/underlay/#_6","title":"\u8fd0\u884c\u200b\u5b89\u88c5\u200b\u811a\u672c","text":"<pre><code>bash install.sh\n</code></pre>"},{"location":"start/underlay/#crd-underlay","title":"\u901a\u8fc7\u200b CRD \u200b\u52a8\u6001\u521b\u5efa\u200b Underlay \u200b\u7f51\u7edc","text":"<p>\u200b\u8be5\u200b\u65b9\u5f0f\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u52a8\u6001\u200b\u7684\u200b\u521b\u5efa\u200b\u67d0\u4e2a\u200b Underlay \u200b\u5b50\u7f51\u200b\u4f9b\u200b Pod \u200b\u4f7f\u7528\u200b\u3002\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b <code>ProviderNetwork</code>\uff0c<code>Vlan</code> \u200b\u548c\u200b <code>Subnet</code> \u200b\u4e09\u79cd\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u3002</p>"},{"location":"start/underlay/#providernetwork","title":"\u521b\u5efa\u200b ProviderNetwork","text":"<p>ProviderNetwork \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e3b\u673a\u200b\u7f51\u5361\u200b\u5230\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u6620\u5c04\u200b\u7684\u200b\u62bd\u8c61\u200b\uff0c\u200b\u5c06\u200b\u540c\u5c5e\u200b\u4e00\u4e2a\u200b\u7f51\u7edc\u200b\u7684\u200b\u7f51\u5361\u200b\u8fdb\u884c\u200b\u7edf\u4e00\u200b\u7ba1\u7406\u200b\uff0c \u200b\u5e76\u200b\u89e3\u51b3\u200b\u5728\u200b\u590d\u6742\u200b\u73af\u5883\u200b\u4e0b\u540c\u200b\u673a\u5668\u200b\u591a\u200b\u7f51\u5361\u200b\u3001\u200b\u7f51\u5361\u200b\u540d\u200b\u4e0d\u200b\u4e00\u81f4\u200b\u3001\u200b\u5bf9\u5e94\u200b Underlay \u200b\u7f51\u7edc\u200b\u4e0d\u200b\u4e00\u81f4\u200b\u7b49\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u7684\u200b\u914d\u7f6e\u200b\u95ee\u9898\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b\u5982\u4e0b\u200b ProviderNetwork \u200b\u5e76\u200b\u5e94\u7528\u200b:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: net1\nspec:\n  defaultInterface: eth1\n  customInterfaces:\n    - interface: eth2\n      nodes:\n        - node1\n  excludeNodes:\n    - node2\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1aProviderNetwork \u200b\u8d44\u6e90\u200b\u540d\u79f0\u200b\u7684\u200b\u957f\u5ea6\u200b\u4e0d\u5f97\u200b\u8d85\u8fc7\u200b 12\u3002</p> <ul> <li><code>defaultInterface</code>: \u200b\u4e3a\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b\u7684\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u540d\u79f0\u200b\u3002 ProviderNetwork \u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\uff0c\u200b\u5404\u200b\u8282\u70b9\u200b\uff08\u200b\u9664\u200b excludeNodes \u200b\u5916\u200b\uff09\u200b\u4e2d\u200b\u4f1a\u200b\u521b\u5efa\u200b\u540d\u4e3a\u200b br-net1\uff08\u200b\u683c\u5f0f\u200b\u4e3a\u200b <code>br-NAME</code>\uff09\u200b\u7684\u200b OVS \u200b\u7f51\u6865\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u6307\u5b9a\u200b\u7684\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u6865\u63a5\u200b\u81f3\u6b64\u200b\u7f51\u6865\u200b\u3002</li> <li><code>customInterfaces</code>: \u200b\u4e3a\u200b\u53ef\u9009\u9879\u200b\uff0c\u200b\u53ef\u200b\u9488\u5bf9\u200b\u7279\u5b9a\u200b\u8282\u70b9\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\u3002</li> <li><code>excludeNodes</code>: \u200b\u53ef\u9009\u9879\u200b\uff0c\u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b\u4e0d\u200b\u6865\u63a5\u200b\u7f51\u5361\u200b\u7684\u200b\u8282\u70b9\u200b\u3002\u200b\u8be5\u200b\u5217\u8868\u200b\u4e2d\u200b\u7684\u200b\u8282\u70b9\u200b\u4f1a\u200b\u88ab\u200b\u6dfb\u52a0\u200b <code>net1.provider-network.ovn.kubernetes.io/exclude=true</code> \u200b\u6807\u7b7e\u200b\u3002</li> </ul> <p>\u200b\u5176\u5b83\u200b\u8282\u70b9\u200b\u4f1a\u200b\u88ab\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b\u6807\u7b7e\u200b\uff1a</p> Key Value \u200b\u63cf\u8ff0\u200b net1.provider-network.ovn.kubernetes.io/ready true \u200b\u8282\u70b9\u200b\u4e2d\u200b\u7684\u200b\u6865\u63a5\u200b\u5de5\u4f5c\u200b\u5df2\u200b\u5b8c\u6210\u200b\uff0cProviderNetwork \u200b\u5728\u200b\u8282\u70b9\u200b\u4e2d\u200b\u53ef\u7528\u200b net1.provider-network.ovn.kubernetes.io/interface eth1 \u200b\u8282\u70b9\u200b\u4e2d\u200b\u88ab\u200b\u6865\u63a5\u200b\u7684\u200b\u7f51\u5361\u200b\u7684\u200b\u540d\u79f0\u200b net1.provider-network.ovn.kubernetes.io/mtu 1500 \u200b\u8282\u70b9\u200b\u4e2d\u200b\u88ab\u200b\u6865\u63a5\u200b\u7684\u200b\u7f51\u5361\u200b\u7684\u200b MTU <p>\u200b\u5982\u679c\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u4e0a\u200b\u5df2\u7ecf\u200b\u914d\u7f6e\u200b\u4e86\u200b IP\uff0c\u200b\u5219\u200b IP \u200b\u5730\u5740\u200b\u548c\u200b\u7f51\u5361\u200b\u4e0a\u200b\u7684\u200b\u8def\u7531\u200b\u4f1a\u200b\u88ab\u200b\u8f6c\u79fb\u200b\u81f3\u200b\u5bf9\u5e94\u200b\u7684\u200b OVS \u200b\u7f51\u6865\u200b\u3002</p>"},{"location":"start/underlay/#vlan","title":"\u521b\u5efa\u200b VLAN","text":"<p>Vlan \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u5c06\u200b Vlan Tag \u200b\u548c\u200b ProviderNetwork \u200b\u8fdb\u884c\u200b\u7ed1\u5b9a\u200b\u7684\u200b\u80fd\u529b\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b\u5982\u4e0b\u200b VLAN \u200b\u5e76\u200b\u5e94\u7528\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan1\nspec:\n  id: 0\n  provider: net1\n</code></pre> <ul> <li><code>id</code>: \u200b\u4e3a\u200b VLAN ID/Tag\uff0cKube-OVN \u200b\u4f1a\u200b\u5bf9\u200b\u5bf9\u200b\u8be5\u200b Vlan \u200b\u4e0b\u200b\u7684\u200b\u6d41\u91cf\u200b\u589e\u52a0\u200b Vlan \u200b\u6807\u7b7e\u200b\uff0c\u200b\u4e3a\u200b 0 \u200b\u65f6\u200b\u4e0d\u200b\u589e\u52a0\u200b\u4efb\u4f55\u200b\u6807\u7b7e\u200b\uff0cvlan \u200b\u6807\u7b7e\u200b\u4f5c\u7528\u200b\u5728\u200b\u4e00\u4e2a\u200b localnet \u200b\u7aef\u53e3\u200b\u3002</li> <li><code>provider</code>: \u200b\u4e3a\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u7684\u200b ProviderNetwork \u200b\u8d44\u6e90\u200b\u7684\u200b\u540d\u79f0\u200b\u3002\u200b\u591a\u4e2a\u200b VLAN \u200b\u53ef\u4ee5\u200b\u5f15\u7528\u200b\u540c\u4e00\u4e2a\u200b ProviderNetwork\u3002</li> </ul>"},{"location":"start/underlay/#subnet","title":"\u521b\u5efa\u200b Subnet","text":"<p>\u200b\u5c06\u200b Vlan \u200b\u548c\u200b\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  vlan: vlan1\n</code></pre> <p>\u200b\u5c06\u200b <code>vlan</code> \u200b\u7684\u200b\u503c\u200b\u6307\u5b9a\u200b\u4e3a\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u7684\u200b VLAN \u200b\u540d\u79f0\u200b\u5373\u53ef\u200b\u3002\u200b\u591a\u4e2a\u200b Subnet \u200b\u53ef\u4ee5\u200b\u5f15\u7528\u200b\u540c\u4e00\u4e2a\u200b VLAN\u3002</p>"},{"location":"start/underlay/#_7","title":"\u5bb9\u5668\u200b\u521b\u5efa","text":"<p>\u200b\u53ef\u200b\u6309\u200b\u6b63\u5e38\u200b\u5bb9\u5668\u200b\u521b\u5efa\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b\u521b\u5efa\u200b\uff0c\u200b\u67e5\u770b\u200b\u5bb9\u5668\u200b IP \u200b\u662f\u5426\u200b\u5728\u200b\u89c4\u5b9a\u200b\u8303\u56f4\u200b\u5185\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5bb9\u5668\u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u548c\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\u3002</p> <p>\u200b\u5982\u200b\u6709\u200b\u56fa\u5b9a\u200b IP \u200b\u9700\u6c42\u200b\uff0c\u200b\u53ef\u200b\u53c2\u8003\u200b Pod \u200b\u56fa\u5b9a\u200b IP \u200b\u548c\u200b Mac</p>"},{"location":"start/underlay/#_8","title":"\u4f7f\u7528\u200b\u903b\u8f91\u200b\u7f51\u5173","text":"<p>\u200b\u5bf9\u4e8e\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u4e0d\u200b\u5b58\u5728\u200b\u7f51\u5173\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0cKube-OVN \u200b\u652f\u6301\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u914d\u7f6e\u200b\u4f7f\u7528\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\u3002 \u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u6b64\u200b\u529f\u80fd\u200b\uff0c\u200b\u8bbe\u7f6e\u200b\u5b50\u7f51\u200b\u7684\u200b <code>spec.logicalGateway</code> \u200b\u4e3a\u200b <code>true</code> \u200b\u5373\u53ef\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  vlan: vlan1\n  logicalGateway: true\n</code></pre> <p>\u200b\u5f00\u542f\u200b\u6b64\u200b\u529f\u80fd\u200b\u540e\u200b\uff0cPod \u200b\u4e0d\u200b\u4f7f\u7528\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\uff0c\u200b\u800c\u662f\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u521b\u5efa\u200b\u7684\u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\uff08Logical Router\uff09\u200b\u5bf9\u4e8e\u200b\u8de8\u200b\u7f51\u6bb5\u200b\u901a\u4fe1\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\u3002</p>"},{"location":"start/underlay/#underlay-overlay","title":"Underlay \u200b\u548c\u200b Overlay \u200b\u7f51\u7edc\u200b\u4e92\u901a","text":"<p>\u200b\u5982\u679c\u200b\u4e00\u4e2a\u200b\u96c6\u7fa4\u200b\u540c\u65f6\u200b\u5b58\u5728\u200b Underlay \u200b\u548c\u200b Overlay \u200b\u5b50\u7f51\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Overlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u7f51\u5173\u200b\u4ee5\u200b NAT \u200b\u7684\u200b\u65b9\u5f0f\u200b\u8bbf\u95ee\u200b Underlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod IP\u3002 \u200b\u5728\u200b Underlay \u200b\u5b50\u7f51\u200b\u7684\u200b Pod \u200b\u770b\u6765\u200b Overlay \u200b\u5b50\u7f51\u200b\u7684\u200b\u5730\u5740\u200b\u662f\u200b\u4e00\u4e2a\u200b\u5916\u90e8\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b\u5e95\u5c42\u200b\u7269\u7406\u200b\u8bbe\u5907\u200b\u53bb\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u4f46\u200b\u5e95\u5c42\u200b\u7269\u7406\u200b\u8bbe\u5907\u200b\u5e76\u200b\u4e0d\u200b\u6e05\u695a\u200b Overlay \u200b\u5b50\u7f51\u200b\u7684\u200b\u5730\u5740\u200b\u65e0\u6cd5\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\u3002 \u200b\u56e0\u6b64\u200b Underlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u65e0\u6cd5\u200b\u901a\u8fc7\u200b Pod IP \u200b\u76f4\u63a5\u200b\u8bbf\u95ee\u200b Overlay \u200b\u5b50\u7f51\u200b\u7684\u200b Pod\u3002</p> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b Underlay \u200b\u548c\u200b Overlay \u200b\u4e92\u901a\u200b\u9700\u8981\u200b\u5c06\u200b\u5b50\u7f51\u200b\u7684\u200b <code>u2oInterconnection</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>true</code>\uff0c\u200b\u5728\u200b\u8fd9\u4e2a\u200b\u60c5\u51b5\u200b\u4e0b\u200b Kube-OVN \u200b\u4f1a\u200b\u989d\u5916\u200b\u4f7f\u7528\u200b\u4e00\u4e2a\u200b Underlay IP \u200b\u5c06\u200b Underlay \u200b\u5b50\u7f51\u200b \u200b\u548c\u200b <code>ovn-cluster</code> \u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\u8fde\u63a5\u200b\uff0c\u200b\u5e76\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u5b9e\u73b0\u200b\u4e92\u901a\u200b\u3002 \u200b\u548c\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\u4e0d\u540c\u200b\uff0c\u200b\u8be5\u200b\u65b9\u6848\u200b\u53ea\u4f1a\u200b\u8fde\u63a5\u200b Kube-OVN \u200b\u5185\u90e8\u200b\u7684\u200b Underlay \u200b\u548c\u200b Overlay \u200b\u5b50\u7f51\u200b\uff0c\u200b\u5176\u4ed6\u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u7684\u200b\u6d41\u91cf\u200b\u8fd8\u662f\u200b\u4f1a\u200b\u901a\u8fc7\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\u3002</p>"},{"location":"start/underlay/#ip","title":"\u6307\u5b9a\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b IP","text":"<p>\u200b\u5f00\u542f\u200b\u4e92\u901a\u200b\u529f\u80fd\u200b\u540e\u200b\uff0c\u200b\u4f1a\u200b\u968f\u673a\u200b\u4ece\u200b subnet \u200b\u5185\u200b\u7684\u200b\u53d6\u200b\u4e00\u4e2a\u200b IP \u200b\u4f5c\u4e3a\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b Underlay Subnet \u200b\u7684\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\u53ef\u4ee5\u200b\u6307\u5b9a\u200b\u5b57\u200b\u6bb5\u200b <code>u2oInterconnectionIP</code>\u3002</p>"},{"location":"start/underlay/#underlay-subnet-vpc","title":"\u6307\u5b9a\u200b Underlay Subnet \u200b\u8fde\u63a5\u200b\u7684\u200b\u81ea\u5b9a\u4e49\u200b VPC","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Underlay Subnet \u200b\u4f1a\u200b\u548c\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0a\u200b\u7684\u200b Overlay Subnet \u200b\u4e92\u901a\u200b\uff0c\u200b\u5982\u679c\u200b\u8981\u200b\u6307\u5b9a\u200b\u548c\u200b\u67d0\u4e2a\u200b VPC \u200b\u4e92\u901a\u200b\uff0c\u200b\u5728\u200b <code>u2oInterconnection</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>true</code> \u200b\u540e\u200b\uff0c\u200b\u6307\u5b9a\u200b <code>subnet.spec.vpc</code> \u200b\u5b57\u6bb5\u200b\u4e3a\u200b\u8be5\u200b VPC \u200b\u540d\u5b57\u200b\u5373\u53ef\u200b\u3002</p>"},{"location":"start/underlay/#_9","title":"\u6ce8\u610f\u4e8b\u9879","text":"<p>\u200b\u5982\u679c\u200b\u60a8\u200b\u4f7f\u7528\u200b\u7684\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u4e0a\u200b\u914d\u7f6e\u200b\u6709\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u4e14\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u901a\u8fc7\u200b Netplan \u200b\u914d\u7f6e\u200b\u7f51\u7edc\u200b\uff08\u200b\u5982\u200b Ubuntu\uff09\uff0c\u200b\u5efa\u8bae\u60a8\u200b\u5c06\u200b Netplan \u200b\u7684\u200b renderer \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b NetworkManager\uff0c\u200b\u5e76\u200b\u4e3a\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b\u9759\u6001\u200b IP \u200b\u5730\u5740\u200b\uff08\u200b\u5173\u95ed\u200b DHCP\uff09\uff1a</p> <pre><code>network:\n  renderer: NetworkManager\n  ethernets:\n    eth0:\n      dhcp4: no\n      addresses:\n        - 172.16.143.129/24\n  version: 2\n</code></pre> <p>\u200b\u5982\u679c\u200b\u60a8\u200b\u8981\u200b\u4fee\u6539\u200b\u7f51\u5361\u200b\u7684\u200b IP \u200b\u6216\u200b\u8def\u7531\u200b\u914d\u7f6e\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u4fee\u6539\u200b netplan \u200b\u914d\u7f6e\u200b\u540e\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>netplan generate\n\nnmcli connection reload netplan-eth0\nnmcli device set eth0 managed yes\n</code></pre> <p>\u200b\u6267\u884c\u200b\u4ee5\u4e0a\u200b\u547d\u4ee4\u200b\u540e\u200b\uff0cKube-OVN \u200b\u4f1a\u200b\u5c06\u200b\u7f51\u5361\u200b\u4e0a\u200b\u7684\u200b IP \u200b\u53ca\u200b\u8def\u7531\u200b\u91cd\u65b0\u200b\u8f6c\u79fb\u200b\u81f3\u200b OVS \u200b\u7f51\u6865\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u60a8\u200b\u4f7f\u7528\u200b\u7684\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u901a\u8fc7\u200b NetworkManager \u200b\u7ba1\u7406\u7f51\u7edc\u200b\uff08\u200b\u5982\u200b CentOS\uff09\uff0c\u200b\u5728\u200b\u4fee\u6539\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b\u540e\u200b\u9700\u8981\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>nmcli connection reload eth0\nnmcli device set eth0 managed yes\nnmcli -t -f GENERAL.STATE device show eth0 | grep -qw unmanaged || nmcli device reapply eth0\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b\u7684\u200b\u52a8\u6001\u200b\u4fee\u6539\u200b\u4ec5\u200b\u652f\u6301\u200b IP \u200b\u548c\u200b\u8def\u7531\u200b\uff0c\u200b\u4e0d\u200b\u652f\u6301\u200b MAC \u200b\u5730\u5740\u200b\u7684\u200b\u4fee\u6539\u200b\u3002</p>"},{"location":"start/underlay/#_10","title":"\u5df2\u77e5\u200b\u95ee\u9898","text":""},{"location":"start/underlay/#hairpin-pod","title":"\u7269\u7406\u200b\u7f51\u7edc\u200b\u5f00\u542f\u200b hairpin \u200b\u65f6\u200b Pod \u200b\u7f51\u7edc\u200b\u5f02\u5e38","text":"<p>\u200b\u5f53\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u5f00\u542f\u200b hairpin \u200b\u6216\u200b\u7c7b\u4f3c\u200b\u884c\u4e3a\u200b\u65f6\u200b\uff0c\u200b\u53ef\u80fd\u200b\u51fa\u73b0\u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\u7f51\u5173\u200b\u68c0\u67e5\u200b\u5931\u8d25\u200b\u3001Pod \u200b\u7f51\u7edc\u901a\u4fe1\u200b\u5f02\u5e38\u200b\u7b49\u200b\u95ee\u9898\u200b\u3002\u200b\u8fd9\u200b\u662f\u56e0\u4e3a\u200b OVS \u200b\u7f51\u6865\u200b\u9ed8\u8ba4\u200b\u7684\u200b MAC \u200b\u5b66\u4e60\u200b\u529f\u80fd\u200b\u4e0d\u200b\u652f\u6301\u200b\u8fd9\u79cd\u200b\u7f51\u7edc\u200b\u73af\u5883\u200b\u3002</p> <p>\u200b\u8981\u200b\u89e3\u51b3\u200b\u6b64\u200b\u95ee\u9898\u200b\uff0c\u200b\u9700\u8981\u200b\u5173\u95ed\u200b hairpin\uff08\u200b\u6216\u200b\u4fee\u6539\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u7684\u200b\u76f8\u5173\u200b\u914d\u7f6e\u200b\uff09\uff0c\u200b\u6216\u200b\u66f4\u65b0\u200b Kube-OVN \u200b\u7248\u672c\u200b\u3002</p>"},{"location":"start/underlay/#pod-pod","title":"Pod \u200b\u6570\u91cf\u200b\u8f83\u591a\u65f6\u200b\u65b0\u5efa\u200b Pod \u200b\u7f51\u5173\u200b\u68c0\u67e5\u200b\u5931\u8d25","text":"<p>\u200b\u82e5\u200b\u540c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u8fd0\u884c\u200b\u7684\u200b Pod \u200b\u6570\u91cf\u200b\u8f83\u200b\u591a\u200b\uff08\u200b\u5927\u4e8e\u200b 300\uff09\uff0c\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u51fa\u73b0\u200b ARP \u200b\u5e7f\u64ad\u200b\u5305\u200b\u7684\u200b OVS \u200b\u6d41\u8868\u200b resubmit \u200b\u6b21\u6570\u200b\u8d85\u8fc7\u200b\u4e0a\u9650\u200b\u5bfc\u81f4\u200b\u4e22\u5305\u200b\u7684\u200b\u73b0\u8c61\u200b\uff1a</p> <pre><code>2022-11-13T08:43:46.782Z|00222|ofproto_dpif_upcall(handler5)|WARN|Flow: arp,in_port=331,vlan_tci=0x0000,dl_src=00:00:00:25:eb:39,dl_dst=ff:ff:ff:ff:ff:ff,arp_spa=10.213.131.240,arp_tpa=10.213.159.254,arp_op=1,arp_sha=00:00:00:25:eb:39,arp_tha=ff:ff:ff:ff:ff:ff\n\nbridge(\"br-int\")\n----------------\n 0. No match.\n     &gt;&gt;&gt;&gt; received packet on unknown port 331 &lt;&lt;&lt;&lt;\n    drop\n\nFinal flow: unchanged\nMegaflow: recirc_id=0,eth,arp,in_port=331,dl_src=00:00:00:25:eb:39\nDatapath actions: drop\n2022-11-13T08:44:34.077Z|00224|ofproto_dpif_xlate(handler5)|WARN|over 4096 resubmit actions on bridge br-int while processing arp,in_port=13483,vlan_tci=0x0000,dl_src=00:00:00:59:ef:13,dl_dst=ff:ff:ff:ff:ff:ff,arp_spa=10.213.152.3,arp_tpa=10.213.159.254,arp_op=1,arp_sha=00:00:00:59:ef:13,arp_tha=ff:ff:ff:ff:ff:ff\n</code></pre> <p>\u200b\u8981\u200b\u89e3\u51b3\u200b\u6b64\u200b\u95ee\u9898\u200b\uff0c\u200b\u53ef\u200b\u4fee\u6539\u200b OVN NB \u200b\u9009\u9879\u200b <code>bcast_arp_req_flood</code> \u200b\u4e3a\u200b <code>false</code>\uff1a</p> <pre><code>kubectl ko nbctl set NB_Global . options:bcast_arp_req_flood=false\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/uninstall/","title":"\u5378\u8f7d","text":"<p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u5220\u9664\u200b Kube-OVN \u200b\u5e76\u200b\u66f4\u6362\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u8bf7\u200b\u6309\u7167\u200b\u4e0b\u5217\u200b\u7684\u200b\u6b65\u9aa4\u200b\u5220\u9664\u200b\u5bf9\u5e94\u200b\u7684\u200b Kube-OVN \u200b\u7ec4\u4ef6\u200b\u4ee5\u53ca\u200b OVS \u200b\u914d\u7f6e\u200b\uff0c\u200b\u4ee5\u200b\u907f\u514d\u200b\u5bf9\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u4ea7\u751f\u200b\u5e72\u6270\u200b\u3002 \u200b\u4e5f\u200b\u6b22\u8fce\u200b\u63d0\u200b issue \u200b\u8054\u7cfb\u200b\u6211\u4eec\u200b\u53cd\u9988\u200b\u4e0d\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u7684\u200b\u539f\u56e0\u200b\u5e2e\u52a9\u200b\u6211\u4eec\u200b\u6539\u8fdb\u200b\u3002</p>"},{"location":"start/uninstall/#kubernetes","title":"\u5220\u9664\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u521b\u5efa\u200b\u7684\u200b\u8d44\u6e90","text":"<p>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u6267\u884c\u200b\u811a\u672c\u200b\u5220\u9664\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u521b\u5efa\u200b\u7684\u200b\u8d44\u6e90\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/cleanup.sh\nbash cleanup.sh\n</code></pre>"},{"location":"start/uninstall/#_2","title":"\u6e05\u7406\u200b\u4e3b\u673a\u200b\u4e0a\u200b\u7684\u200b\u65e5\u5fd7\u200b\u548c\u200b\u914d\u7f6e\u6587\u4ef6","text":"<p>\u200b\u5728\u200b\u6bcf\u53f0\u200b\u673a\u5668\u200b\u4e0a\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u6e05\u7406\u200b ovsdb \u200b\u4ee5\u53ca\u200b openvswitch \u200b\u4fdd\u5b58\u200b\u7684\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>rm -rf /var/run/openvswitch\nrm -rf /var/run/ovn\nrm -rf /etc/origin/openvswitch/\nrm -rf /etc/origin/ovn/\nrm -rf /etc/cni/net.d/00-kube-ovn.conflist\nrm -rf /etc/cni/net.d/01-kube-ovn.conflist\nrm -rf /var/log/openvswitch\nrm -rf /var/log/ovn\nrm -fr /var/log/kube-ovn\n</code></pre>"},{"location":"start/uninstall/#_3","title":"\u91cd\u542f\u200b\u8282\u70b9","text":"<p>\u200b\u91cd\u542f\u200b\u673a\u5668\u200b\u786e\u4fdd\u200b\u5bf9\u5e94\u200b\u7684\u200b\u7f51\u5361\u200b\u4fe1\u606f\u200b\uff0ciptable/ipset \u200b\u89c4\u5219\u200b\u5f97\u4ee5\u200b\u6e05\u9664\u200b\uff0c\u200b\u907f\u514d\u200b\u5bf9\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u7684\u200b\u5f71\u54cd\u200b\uff1a</p> <pre><code>reboot\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/","title":"Kube-OVN","text":"<p>Kube-OVN, a CNCF Sandbox Project, bridges the SDN into Cloud Native. It offers an advanced Container Network Fabric for Enterprises with the most functions, extreme performance and the easiest operation.</p> <p>Most Functions:</p> <p>If you miss the rich networking capabilities of the SDN age but are struggling to find them in the cloud-native age, Kube-OVN should be your best choice.</p> <p>Leveraging the proven capabilities of OVS/OVN in the SDN, Kube-OVN brings the rich capabilities of network virtualization to the cloud-native space. It currently supports Subnet Management, Static IP Allocation, Distributed/Centralized Gateways, Underlay/Overlay Hybrid Networks, VPC Multi-Tenant Networks, Cross-Cluster Interconnect, QoS Management, Multi-NIC Management, ACL, Traffic Mirroring, ARM Support, Windows Support, and many more.</p> <p>Extreme Performance:</p> <p>If you're concerned about the additional performance loss associated with container networks, then take a look at How Kube-OVN is doing everything it can to optimize performance.</p> <p>In the data plane, through a series of carefully optimized flow and kernel optimizations, and with emerging technologies such as eBPF, DPDK and SmartNIC Offload, Kube-OVN can approximate or exceed host network performance in terms of latency and throughput.</p> <p>In the control plane, Kube-OVN can support large-scale clusters of thousands of nodes and tens of thousands of Pods through the tailoring of OVN upstream flow tables and the use and tuning of various caching techniques.</p> <p>In addition, Kube-OVN is continuously optimizing the usage of resources such as CPU and memory to accommodate resource-limited scenarios such as the edge.</p> <p>Easiest Operation:</p> <p>If you're worried about container network operations, Kube-OVN has a number of built-in tools to help you simplify your operations.</p> <p>Kube-OVN provides one-click installation scripts to help users quickly build production-ready container networks. Also built-in rich monitoring metrics and Grafana dashboard help users to quickly set up monitoring system.</p> <p>Powerful command line tools simplify daily operations and maintenance for users. By combining with Cilium, users can enhance the observability of their networks with eBPF capabilities. In addition, the ability to mirror traffic makes it easy to customize traffic monitoring and interface with traditional NPM systems.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/contact/","title":"Contact US","text":"<p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/accelerate-intra-node-tcp-with-ebpf/","title":"Accelerate TCP Communication in Node with eBPF","text":"<p>At some edge and 5G scenarios, there will be a lot of TCP communication between Pods on the same node. By using the open source istio-tcpip-bypass project from Intel, Pods can use the ability of eBPF to bypass the host's TCP/IP protocol stack and communicate directly through sockets, thereby greatly reducing latency and improving throughput.</p>"},{"location":"en/advance/accelerate-intra-node-tcp-with-ebpf/#basic-principle","title":"Basic Principle","text":"<p>At present, two Pods on the same host need to go through a lot of network stacks, including TCP/IP, netfilter, OVS, etc., as shown in the following figure:</p> <p></p> <p>istio-tcpip-bypass plugin can automatically analyze and identify TCP communication within the same host, and bypass the complex kernel stack so that socket data transmission can be performed directly to reduce network stack processing overhead, as shown in the following figure:</p> <p></p> <p>Due to the fact that this component can automatically identify TCP communication within the same host and optimize it. In the Service Mesh environment based on the proxy mode, this component can also enhance the performance of Service Mesh.</p> <p>For more technical implementation details, please refer to Tanzu Service Mesh Acceleration using eBPF.</p>"},{"location":"en/advance/accelerate-intra-node-tcp-with-ebpf/#prerequisites","title":"Prerequisites","text":"<p>eBPF requires a kernel version of at least 5.4.0-74-generic. It is recommended to use Ubuntu 20.04 and Linux 5.4.0-74-generic kernel version for testing.</p>"},{"location":"en/advance/accelerate-intra-node-tcp-with-ebpf/#experimental-steps","title":"Experimental Steps","text":"<p>Deploy two performance test Pods on the same node. If there are multiple machines in the cluster, you need to specify <code>nodeSelector</code>:</p> <pre><code># kubectl create deployment perf --image=kubeovn/perf:dev --replicas=2\ndeployment.apps/perf created\n# kubectl get pod -o wide\nNAME                    READY   STATUS    RESTARTS   AGE   IP           NODE     NOMINATED NODE   READINESS GATES\nperf-7697bc6ddf-b2cpv   1/1     Running   0          28s   100.64.0.3   sealos   &lt;none&gt;           &lt;none&gt;\nperf-7697bc6ddf-p2xpt   1/1     Running   0          28s   100.64.0.2   sealos   &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>Enter one of the Pods to start the qperf server, and start the qperf client in another Pod for performance testing:</p> <pre><code># kubectl exec -it perf-7697bc6ddf-b2cpv sh\n/ # qperf\n\n# kubectl exec -it perf-7697bc6ddf-p2xpt sh\n/ # qperf -t 60 100.64.0.3 -ub -oo msg_size:1:16K:*4 -vu tcp_lat tcp_bw\n</code></pre> <p>Deploy the istio-tcpip-bypass plugin:</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/intel/istio-tcpip-bypass/main/bypass-tcpip-daemonset.yaml\n</code></pre> <p>Enter the perf client container again for performance testing:</p> <pre><code># kubectl exec -it perf-7697bc6ddf-p2xpt sh\n/ # qperf -t 60 100.64.0.3 -ub -oo msg_size:1:16K:*4 -vu tcp_lat tcp_bw\n</code></pre>"},{"location":"en/advance/accelerate-intra-node-tcp-with-ebpf/#test-results","title":"Test Results","text":"<p>According to the test results, the TCP latency will decrease by 40% ~ 60% under different packet sizes, and the throughput will increase by 40% ~ 80% when the packet size is greater than 1024 bytes.</p> Packet Size (byte) eBPF tcp_lat (us) Default tcp_lat (us) eBPF tcp_bw (Mb/s) Default tcp_bw(Mb/s) 1 20.2 44.5 1.36 4.27 4 20.2 48.7 5.48 16.7 16 19.6 41.6 21.7 63.5 64 18.8 41.3 96.8 201 256 19.2 36 395 539 1024 18.3 42.4 1360 846 4096 16.5 62.6 4460 2430 16384 20.2 58.8 9600 6900 <p>In the hardware environment under test, when the packet size is less than 512 bytes, the throughput indicator optimized by eBPF is lower than the throughput under the default configuration. This situation may be related to the TCP aggregation optimization of the network card under the default configuration. If the application scenario is sensitive to small packet throughput, you need to test in the corresponding environment Determine whether to enable eBPF optimization. We will also optimize the throughput of eBPF TCP small packet scenarios in the future.</p>"},{"location":"en/advance/accelerate-intra-node-tcp-with-ebpf/#references","title":"References","text":"<ol> <li>istio-tcpip-bypass</li> <li>Deep Dive TCP/IP Bypass with eBPF in Service Mesh</li> <li>Tanzu Service Mesh Acceleration using eBPF</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/cilium-hubble-observe/","title":"Cilium Network Traffic Observation","text":"<p>Kube-OVN supports Cilium integration, please refer to Cilium integration for details.</p> <p>Cilium provides rich network traffic observation capabilities, and the flow observability is provided by Hubble. Hubble can observe the traffic across nodes, clusters, and even multi-cluster scenarios.</p>"},{"location":"en/advance/cilium-hubble-observe/#install-hubble","title":"Install Hubble","text":"<p>In the default Cilium integration installation, the Hubble related components are not installed, so to support traffic observation, you need to supplement the installation of Hubble on the environment.</p> <p>Execute the following command to install Hubble using helm:</p> <pre><code>helm upgrade cilium cilium/cilium --version 1.11.6 \\\n   --namespace kube-system \\\n   --reuse-values \\\n   --set hubble.relay.enabled=true \\\n   --set hubble.ui.enabled=true\n</code></pre> <p>After installing Hubble, execute <code>cilium status</code> to check the status of the component and confirm that the installation is successful.</p> <pre><code># cilium status\n    /\u00af\u00af\\\n /\u00af\u00af\\__/\u00af\u00af\\    Cilium:         OK\n \\__/\u00af\u00af\\__/    Operator:       OK\n /\u00af\u00af\\__/\u00af\u00af\\    Hubble:         OK\n \\__/\u00af\u00af\\__/    ClusterMesh:    disabled\n    \\__/\n\nDeployment        hubble-relay       Desired: 1, Ready: 1/1, Available: 1/1\nDeployment        cilium-operator    Desired: 2, Ready: 2/2, Available: 2/2\nDaemonSet         cilium             Desired: 2, Ready: 2/2, Available: 2/2\nDeployment        hubble-ui          Desired: 1, Ready: 1/1, Available: 1/1\nContainers:       cilium             Running: 2\n                  hubble-ui          Running: 1\n                  hubble-relay       Running: 1\n                  cilium-operator    Running: 2\nCluster Pods:     16/17 managed by Cilium\nImage versions    hubble-relay       quay.io/cilium/hubble-relay:v1.11.6@sha256:fd9034a2d04d5b973f1e8ed44f230ea195b89c37955ff32e34e5aa68f3ed675a: 1\n                  cilium-operator    quay.io/cilium/operator-generic:v1.11.6@sha256:9f6063c7bcaede801a39315ec7c166309f6a6783e98665f6693939cf1701bc17: 2\n                  cilium             quay.io/cilium/cilium:v1.11.6@sha256:f7f93c26739b6641a3fa3d76b1e1605b15989f25d06625260099e01c8243f54c: 2\n                  hubble-ui          quay.io/cilium/hubble-ui:v0.9.0@sha256:0ef04e9a29212925da6bdfd0ba5b581765e41a01f1cc30563cef9b30b457fea0: 1\n                  hubble-ui          quay.io/cilium/hubble-ui-backend:v0.9.0@sha256:000df6b76719f607a9edefb9af94dfd1811a6f1b6a8a9c537cba90bf12df474b: 1\napple@bogon cilium %\n</code></pre> <p>After installing the Hubble component, you need to install the command line to view the traffic information in the environment. Execute the following command to install Hubble CLI:</p> <pre><code>curl -L --fail --remote-name-all https://github.com/cilium/hubble/releases/download/v0.10.0/hubble-linux-amd64.tar.gz\nsudo tar xzvfC hubble-linux-amd64.tar.gz /usr/local/bin\n</code></pre>"},{"location":"en/advance/cilium-hubble-observe/#deploy-and-test","title":"Deploy and test","text":"<p>Cilium offers a traffic test deployment solution, you can directly use the official deployment solution to deploy the test.</p> <p>Execute the command <code>cilium connectivity test</code>, Cilium will automatically create the <code>cilium-test</code> namespace, and deploy the test under cilium-test.</p> <p>After the normal deployment, you can view the resource information under the <code>cilium-test</code> namespace, as follows:</p> <pre><code># kubectl get all -n cilium-test\nNAME                                  READY   STATUS    RESTARTS   AGE\npod/client-7df6cfbf7b-z5t2j           1/1     Running   0          21s\npod/client2-547996d7d8-nvgxg          1/1     Running   0          21s\npod/echo-other-node-d79544ccf-hl4gg   2/2     Running   0          21s\npod/echo-same-node-5d466d5444-ml7tc   2/2     Running   0          21s\n\nNAME                      TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE\nservice/echo-other-node   NodePort   10.109.58.126   &lt;none&gt;        8080:32269/TCP   21s\nservice/echo-same-node    NodePort   10.108.70.32    &lt;none&gt;        8080:32490/TCP   21s\n\nNAME                              READY   UP-TO-DATE   AVAILABLE   AGE\ndeployment.apps/client            1/1     1            1           21s\ndeployment.apps/client2           1/1     1            1           21s\ndeployment.apps/echo-other-node   1/1     1            1           21s\ndeployment.apps/echo-same-node    1/1     1            1           21s\n\nNAME                                        DESIRED   CURRENT   READY   AGE\nreplicaset.apps/client-7df6cfbf7b           1         1         1       21s\nreplicaset.apps/client2-547996d7d8          1         1         1       21s\nreplicaset.apps/echo-other-node-d79544ccf   1         1         1       21s\nreplicaset.apps/echo-same-node-5d466d5444   1         1         1       21s\n</code></pre>"},{"location":"en/advance/cilium-hubble-observe/#use-the-command-line-to-observe-traffic","title":"Use the command line to observe traffic","text":"<p>By default, the network traffic observation only provides the traffic observed by the Cilium agent on each node.</p> <p>Execute the <code>hubble observe</code> command in the Cilium agent pod under the <code>kube-system namespace</code> to view the traffic information on the node.</p> <pre><code># kubectl get pod -n kube-system -o wide\nNAME                                             READY   STATUS    RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES\ncilium-d6h56                                     1/1     Running   0          2d20h   172.18.0.2   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\ncilium-operator-5887f78bbb-c7sb2                 1/1     Running   0          2d20h   172.18.0.2   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\ncilium-operator-5887f78bbb-wj8gt                 1/1     Running   0          2d20h   172.18.0.3   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\ncilium-tq5xb                                     1/1     Running   0          2d20h   172.18.0.3   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\nkube-ovn-pinger-7lgk8                            1/1     Running   0          21h     10.16.0.19   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\nkube-ovn-pinger-msvcn                            1/1     Running   0          21h     10.16.0.18   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\n\n# kubectl exec -it -n kube-system cilium-d6h56 -- bash\nroot@kube-ovn-worker:/home/cilium# hubble observe --from-namespace kube-system\nJul 29 03:24:25.551: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.561: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: RST)\nJul 29 03:24:25.561: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, RST)\nJul 29 03:24:25.572: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: SYN)\nJul 29 03:24:25.572: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.651: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.661: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: RST)\nJul 29 03:24:25.661: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, RST)\nJul 29 03:24:25.761: kube-system/kube-ovn-pinger-msvcn:52004 -&gt; 172.18.0.3:6443 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.779: kube-system/kube-ovn-pinger-msvcn -&gt; kube-system/kube-ovn-pinger-7lgk8 to-stack FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:25.779: kube-system/kube-ovn-pinger-msvcn &lt;- kube-system/kube-ovn-pinger-7lgk8 to-endpoint FORWARDED (ICMPv4 EchoReply)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 &lt;- kube-system/hubble-relay-959988db5-zc5vv:4245 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 &lt;- kube-system/hubble-relay-959988db5-zc5vv:80 to-endpoint FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 -&gt; kube-system/hubble-relay-959988db5-zc5vv:4245 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 -&gt; kube-system/hubble-relay-959988db5-zc5vv:4245 to-endpoint FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.975: kube-system/kube-ovn-pinger-7lgk8 -&gt; kube-system/kube-ovn-pinger-msvcn to-endpoint FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:25.975: kube-system/kube-ovn-pinger-7lgk8 &lt;- kube-system/kube-ovn-pinger-msvcn to-stack FORWARDED (ICMPv4 EchoReply)\nJul 29 03:24:25.979: kube-system/kube-ovn-pinger-msvcn -&gt; 172.18.0.3 to-stack FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:26.037: kube-system/coredns-6d4b75cb6d-lbgjg:36430 -&gt; 172.18.0.3:6443 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:26.282: kube-system/kube-ovn-pinger-msvcn -&gt; 172.18.0.2 to-stack FORWARDED (ICMPv4 EchoRequest)\n</code></pre> <p>After deploying Hubble Relay, Hubble can provide complete cluster-wide network traffic observation.</p>"},{"location":"en/advance/cilium-hubble-observe/#configure-port-forwarding","title":"Configure port forwarding","text":"<p>In order to access the Hubble API normally, you need to create a port forwarding to forward the local request to the Hubble Service. You can execute the <code>kubectl port-forward deployment/hubble-relay -n kube-system 4245:4245</code> command to open the port forwarding in the current terminal.</p> <p>The port forwarding configuration can refer to Port Forwarding.</p> <p><code>kubectl port-forward</code> is a blocking command, you can open a new terminal to execute the following command to observe the traffic information.</p> <p>After configuring the port forwarding, execute the <code>hubble status</code> command in the terminal. If there is an output similar to the following, the port forwarding configuration is correct, and you can use the command line to observe the traffic.</p> <pre><code># hubble status\nHealthcheck (via localhost:4245): Ok\nCurrent/Max Flows: 8,190/8,190 (100.00%)\nFlows/s: 22.86\nConnected Nodes: 2/2\n</code></pre>"},{"location":"en/advance/cilium-hubble-observe/#use-the-command-line-to-observe-traffic_1","title":"Use the command line to observe traffic","text":"<p>Execute the <code>hubble observe</code> command in the terminal to view the traffic information of the cluster.</p> <p>The traffic observed by the <code>cilium-test</code> namespace is as follows:</p> <p></p> <p>Pay attention to the <code>hubble observe</code> command display result, which is the traffic information queried when the current command line is executed. Executing the command line multiple times can view different traffic information. For more detailed observation information, you can execute the <code>hubble help observe</code> command to view the detailed usage of Hubble CLI.</p>"},{"location":"en/advance/cilium-hubble-observe/#use-ui-to-observe-traffic","title":"Use UI to observe traffic","text":"<p>Execute the <code>cilium status</code> command to confirm that the Hubble UI has been successfully installed. In the second step of the Hubble installation, the installation of the UI has been supplemented.</p> <p>Execute the command <code>cilium hubble ui</code> to automatically create port forwarding and map the <code>hubble-ui service</code> to the local port.</p> <p>When the command is executed normally, the local browser will be automatically opened and jump to the Hubble UI interface. If it does not jump automatically, enter <code>http://localhost:12000</code> in the browser to open the UI observation interface.</p> <p>On the top left of the UI, select the <code>cilium-test</code> namespace to view the test traffic information provided by Cilium. </p>"},{"location":"en/advance/cilium-hubble-observe/#hubble-traffic-monitoring","title":"Hubble Traffic Monitoring","text":"<p>Hubble component provides monitoring of Pod network behavior in the cluster. In order to support viewing the monitoring data provided by Hubble, you need to enable monitoring statistics.</p> <p>Refer to the following command to supplement the <code>hubble.metrics.enabled</code> configuration item:</p> <pre><code>helm upgrade cilium cilium/cilium --version 1.11.6 \\\n   --namespace kube-system \\\n   --reuse-values \\\n   --set hubble.relay.enabled=true \\\n   --set hubble.ui.enabled=true \\\n   --set hubble.metrics.enabled=\"{dns,drop,tcp,flow,icmp,http}\"\n</code></pre> <p>After the deployment is completed, you can view the monitoring data provided by Hubble through the <code>hubble-metrics</code> service. Execute the following command to view the monitoring data:</p> <pre><code># curl 172.18.0.2:9091/metrics\n# HELP hubble_drop_total Number of drops\n# TYPE hubble_drop_total counter\nhubble_drop_total{protocol=\"ICMPv6\",reason=\"Unsupported L3 protocol\"} 2\n# HELP hubble_flows_processed_total Total number of flows processed\n# TYPE hubble_flows_processed_total counter\nhubble_flows_processed_total{protocol=\"ICMPv4\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 335\nhubble_flows_processed_total{protocol=\"ICMPv4\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 335\nhubble_flows_processed_total{protocol=\"ICMPv6\",subtype=\"\",type=\"Drop\",verdict=\"DROPPED\"} 2\nhubble_flows_processed_total{protocol=\"TCP\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 8282\nhubble_flows_processed_total{protocol=\"TCP\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 6767\nhubble_flows_processed_total{protocol=\"UDP\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 1642\nhubble_flows_processed_total{protocol=\"UDP\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 1642\n# HELP hubble_icmp_total Number of ICMP messages\n# TYPE hubble_icmp_total counter\nhubble_icmp_total{family=\"IPv4\",type=\"EchoReply\"} 335\nhubble_icmp_total{family=\"IPv4\",type=\"EchoRequest\"} 335\nhubble_icmp_total{family=\"IPv4\",type=\"RouterSolicitation\"} 2\n# HELP hubble_tcp_flags_total TCP flag occurrences\n# TYPE hubble_tcp_flags_total counter\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"FIN\"} 2043\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"RST\"} 301\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"SYN\"} 1169\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"SYN-ACK\"} 1169\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/cilium-networkpolicy/","title":"Cilium NetworkPolicy Support","text":"<p>Kube-OVN currently supports integration with Cilium, and the specific operation can refer to Cilium integration.</p> <p>After integrating Cilium, you can use Cilium's excellent network policy capabilities to control the access of Pods in the cluster.The following documents provide integration verification of Cilium L3 and L4 network policy capabilities.</p>"},{"location":"en/advance/cilium-networkpolicy/#verification-steps","title":"Verification Steps","text":""},{"location":"en/advance/cilium-networkpolicy/#create-test-pod","title":"Create test Pod","text":"<p>Create namespace <code>test</code>. Refer to the following yaml, create Pod with label <code>app=test</code> in namespace <code>test</code> as the destination Pod for testing access.</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: test\n  name: test\n  namespace: test\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: test\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      labels:\n        app: test\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n</code></pre> <p>Similarly, refer to the following yaml, create Pod with label <code>app=dynamic</code> in namespace <code>default</code> as the Pod for testing access.</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: dynamic\n  name: dynamic\n  namespace: default\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: dynamic\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      creationTimestamp: null\n      labels:\n        app: dynamic\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n</code></pre> <p>View the test Pod and Label information:</p> <pre><code># kubectl get pod -o wide --show-labels\nNAME                         READY   STATUS    RESTARTS   AGE   IP           NODE                     NOMINATED NODE   READINESS GATES   LABELS\ndynamic-7d8d7874f5-9v5c4     1/1     Running   0          28h   10.16.0.35   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\ndynamic-7d8d7874f5-s8z2n     1/1     Running   0          28h   10.16.0.36   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\n# kubectl get pod -o wide -n test --show-labels\nNAME                           READY   STATUS    RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES   LABELS\ndynamic-7d8d7874f5-6dsg6       1/1     Running   0          7h20m   10.16.0.2    kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\ndynamic-7d8d7874f5-tjgtp       1/1     Running   0          7h46m   10.16.0.42   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\nlabel-test1-77b6764857-swq4k   1/1     Running   0          3h43m   10.16.0.12   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=test1,pod-template-hash=77b6764857\n\n// As the destination Pod for testing access.\ntest-54c98bc466-mft5s          1/1     Running   0          8h      10.16.0.41   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=test,pod-template-hash=54c98bc466\n</code></pre>"},{"location":"en/advance/cilium-networkpolicy/#l3-network-policy-test","title":"L3 Network Policy Test","text":"<p>Refer to the following yaml, create <code>CiliumNetworkPolicy</code> resource:</p> <pre><code>apiVersion: \"cilium.io/v2\"\nkind: CiliumNetworkPolicy\nmetadata:\n  name: \"l3-rule\"\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n</code></pre> <p>At this point, the test Pod in the default namespace cannot access the destination Pod, but the test Pod to the destination Pod in the test namespace is accessible.</p> <p>Test results in the default namespace:</p> <pre><code># kubectl exec -it dynamic-7d8d7874f5-9v5c4 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\n</code></pre> <p>Test results in the test namespace:</p> <pre><code># kubectl exec -it -n test dynamic-7d8d7874f5-6dsg6 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n64 bytes from 10.16.0.41: seq=0 ttl=64 time=2.558 ms\n64 bytes from 10.16.0.41: seq=1 ttl=64 time=0.223 ms\n64 bytes from 10.16.0.41: seq=2 ttl=64 time=0.304 ms\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.223/1.028/2.558 ms\n</code></pre> <p>Look at the Cilium official document explanation, the <code>CiliumNetworkPolicy</code> resource limits the control at the <code>namespace</code> level. For more information, please refer to Cilium Limitations.</p> <p>If there is a network policy rule match, only the Pod in the same namespace can access according to the rule, and the Pod in the other namespace is denied access by default.</p> <p>If you want to implement cross-namespace access, you need to specify the namespace information in the rule.</p> <p>Refer to the document, modify the <code>CiliumNetworkPolicy</code> resource, and add namespace information:</p> <pre><code>  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n        k8s:io.kubernetes.pod.namespace: default    // control the Pod access in other namespace\n</code></pre> <p>Look at the modified <code>CiliumNetworkPolicy</code> resource information:</p> <pre><code># kubectl get cnp -n test  -o yaml l3-rule\napiVersion: cilium.io/v2\nkind: CiliumNetworkPolicy\nmetadata:\n  name: l3-rule\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n    - matchLabels:\n        app: dynamic\n        k8s:io.kubernetes.pod.namespace: default\n</code></pre> <p>Test the Pod access in the default namespace again, and the destination Pod access is normal:</p> <pre><code># kubectl exec -it dynamic-7d8d7874f5-9v5c4 -n test -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n64 bytes from 10.16.0.41: seq=0 ttl=64 time=2.383 ms\n64 bytes from 10.16.0.41: seq=1 ttl=64 time=0.115 ms\n64 bytes from 10.16.0.41: seq=2 ttl=64 time=0.142 ms\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.115/0.880/2.383 ms\n</code></pre> <p>Using the standard Kubernetes network policy networkpolicy, the test results show that Cilium also restricts access within the same namespace, and cross-namespace access is prohibited.</p> <p>It is different from Kube-OVN implementation. Kube-OVN supports standard k8s network policy, which restricts the destination Pod in a specific namespace, but there is no namespace restriction on the source Pod. Any Pod that meets the restriction rules in any namespace can access the destination Pod.</p>"},{"location":"en/advance/cilium-networkpolicy/#l4-network-policy-test","title":"L4 Network Policy Test","text":"<p>Refer to the following yaml, create <code>CiliumNetworkPolicy</code> resource:</p> <pre><code>apiVersion: \"cilium.io/v2\"\nkind: CiliumNetworkPolicy\nmetadata:\n  name: \"l4-rule\"\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n    toPorts:\n    - ports:\n      - port: \"80\"\n        protocol: TCP\n</code></pre> <p>Test the access of the Pod that meets the network policy rules in the same namespace</p> <pre><code># kubectl exec -it -n test dynamic-7d8d7874f5-6dsg6 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\nbash-5.0#\nbash-5.0# curl 10.16.0.41:80\n&lt;html&gt;\n&lt;head&gt;\n        &lt;title&gt;Hello World!&lt;/title&gt;\n        &lt;link href='//fonts.googleapis.com/css?family=Open+Sans:400,700' rel='stylesheet' type='text/css'&gt;\n        &lt;style&gt;\n        body {\n                background-color: white;\n                text-align: center;\n                padding: 50px;\n                font-family: \"Open Sans\",\"Helvetica Neue\",Helvetica,Arial,sans-serif;\n        }\n        #logo {\n                margin-bottom: 40px;\n        }\n        &lt;/style&gt;\n&lt;/head&gt;\n&lt;body&gt;\n                &lt;h1&gt;Hello World!&lt;/h1&gt;\n                                &lt;h3&gt;Links found&lt;/h3&gt;\n        &lt;h3&gt;I am on  test-54c98bc466-mft5s&lt;/h3&gt;\n        &lt;h3&gt;Cookie                  =&lt;/h3&gt;\n                                        &lt;b&gt;KUBERNETES&lt;/b&gt; listening in 443 available at tcp://10.96.0.1:443&lt;br /&gt;\n                                                &lt;h3&gt;my name is hanhouchao!&lt;/h3&gt;\n                        &lt;h3&gt; RequestURI='/'&lt;/h3&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre> <p>The Pod that does not meet the network policy rules in the same namespace cannot access</p> <pre><code># kubectl exec -it -n test label-test1-77b6764857-swq4k -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\nbash-5.0#\nbash-5.0# curl -v 10.16.0.41:80 --connect-timeout 10\n*   Trying 10.16.0.41:80...\n* After 10000ms connect time, move on!\n* connect to 10.16.0.41 port 80 failed: Operation timed out\n* Connection timeout after 10001 ms\n* Closing connection 0\ncurl: (28) Connection timeout after 10001 ms\n</code></pre> <p>After the network policy takes effect, cross-namespace access is still prohibited, which is consistent with the L3 network policy test results.</p> <p>After the L4 network policy takes effect, ping cannot be used, but TCP access that meets the policy rules can be executed normally.</p> <p>About the restriction of ICMP, please refer to the official description L4 Limitation Description.</p>"},{"location":"en/advance/cilium-networkpolicy/#l7-network-policy-test","title":"L7 Network Policy Test","text":"<p>chaining mode, L7 network policy currently has problems. In the Cilium official document, there is an explanation for this situation, please refer to Generic Veth Chaining.</p> <p>This problem is tracked using issue 12454, and it has not been resolved yet.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/dhcp/","title":"DHCP","text":"<p>When using SR-IOV or DPDK type networks, KubeVirt's built-in DHCP does not work in this network mode. Kube-OVN can use the DHCP capabilities of OVN to set DHCP options at the subnet level to help KubeVirt VMs of these network types to properly use DHCP to obtain assigned IP addresses. Kube-OVN supports both DHCPv4 and DHCPv6.</p> <p>The subnet DHCP is configured as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sn-dual\nspec:\n  cidrBlock: \"10.0.0.0/24,240e::a00/120\"\n  default: false\n  disableGatewayCheck: true\n  disableInterConnection: false\n  excludeIps:\n    - 10.0.0.1\n    - 240e::a01\n  gateway: 10.0.0.1,240e::a01\n  gatewayNode: ''\n  gatewayType: distributed\n  natOutgoing: false\n  private: false\n  protocol: Dual\n  provider: ovn\n  vpc: vpc-test\n  enableDHCP: true\n  dhcpV4Options: \"lease_time=3600,router=10.0.0.1,server_id=169.254.0.254,server_mac=00:00:00:2E:2F:B8\"\n  dhcpV6Options: \"server_id=00:00:00:2E:2F:C5\"\n  enableIPv6RA: true\n  ipv6RAConfigs: \"address_mode=dhcpv6_stateful,max_interval=30,min_interval=5,send_periodic=true\"\n</code></pre> <ul> <li><code>enableDHCP</code>: Whether to enable the DHCP function for the subnet.</li> <li><code>dhcpV4Options</code>,<code>dhcpV6Options</code>: This field directly exposes DHCP-related options within ovn-nb, please reade DHCP Options for more detail. The default value is  <code>\"lease_time=3600, router=$ipv4_gateway, server_id=169.254.0.254, server_mac=$random_mac\"</code> and <code>server_id=$random_mac</code>\u3002</li> <li><code>enableIPv6RA</code>: Whether to enable the route broadcast function of DHCPv6.</li> <li><code>ipv6RAConfigs</code>\uff1aThis field directly exposes DHCP-related options within ovn-nb Logical_Router_Port, please read Logical Router Port for more detail. The default value is <code>address_mode=dhcpv6_stateful, max_interval=30, min_interval=5, send_periodic=true</code>\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/dpdk/","title":"DPDK Support","text":"<p>This document describes how Kube-OVN combines with OVS-DPDK to provide a DPDK-type network interface to KubeVirt's virtual machines.</p> <p>Upstream KubeVirt does not currently support OVS-DPDK, users need to use the downstream patch Vhostuser implementation to build KubeVirt by themselves or KVM Device Plugin to use OVS-DPDK.</p>"},{"location":"en/advance/dpdk/#prerequisites","title":"Prerequisites","text":"<ul> <li>The node needs to provide a dedicated NIC for the DPDK driver to run.</li> <li>The node needs to have Hugepages enabled.</li> </ul>"},{"location":"en/advance/dpdk/#set-dpdk-driver","title":"Set DPDK driver","text":"<p>Here we use <code>driverctl</code> for example, please refer to the DPDK documentation for specific parameters and other driver usage:</p> <pre><code>driverctl set-override 0000:00:0b.0 uio_pci_generic\n</code></pre>"},{"location":"en/advance/dpdk/#configure-nodes","title":"Configure Nodes","text":"<p>Labeling OVS-DPDK-enabled nodes for Kube-OVN to recognize:</p> <pre><code>kubectl label nodes &lt;node&gt; ovn.kubernetes.io/ovs_dp_type=\"userspace\"\n</code></pre> <p>Create the configuration file <code>ovs-dpdk-config</code> in the <code>/opt/ovs-config</code> directory on nodes that support DPDK.</p> <pre><code>ENCAP_IP=192.168.122.193/24\nDPDK_DEV=0000:00:0b.0\n</code></pre> <ul> <li><code>ENCAP_IP</code>: The tunnel endpoint address.</li> <li><code>DPDK_DEV</code>: The PCI ID of the device.</li> </ul>"},{"location":"en/advance/dpdk/#install-kube-ovn","title":"Install Kube-OVN","text":"<p>Download scripts:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>Enable the DPDK installation option:</p> <pre><code>bash install.sh --with-hybrid-dpdk\n</code></pre>"},{"location":"en/advance/dpdk/#usage","title":"Usage","text":"<p>Here we verify the OVS-DPDK functionality by creating a virtual machine with a vhostuser type NIC.</p> <p>Here we use the KVM Device Plugin to create virtual machines. For more information on how to use it, please refer to [KVM Device Plugin].(https://github.com/kubevirt/kubernetes-device-plugins/blob/master/docs/README.kvm.md).</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/kubevirt/kubernetes-device-plugins/master/manifests/kvm-ds.yml\n</code></pre> <p>Create NetworkAttachmentDefinition:</p> <pre><code>apiVersion: k8s.cni.cncf.io/v1\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-dpdk\n  namespace: default\nspec:\n  config: &gt;-\n    {\n        \"cniVersion\": \"0.3.0\", \n        \"type\": \"kube-ovn\", \n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\", \n        \"provider\": \"ovn-dpdk.default.ovn\",\n        \"vhost_user_socket_volume_name\": \"vhostuser-sockets\",\n        \"vhost_user_socket_name\": \"sock\"\n    }\n</code></pre> <p>Create a VM image using the following Dockerfile:</p> <pre><code>FROM quay.io/kubevirt/virt-launcher:v0.46.1\n\n# wget http://cloud.centos.org/centos/7/images/CentOS-7-x86_64-GenericCloud.qcow2\nCOPY CentOS-7-x86_64-GenericCloud.qcow2 /var/lib/libvirt/images/CentOS-7-x86_64-GenericCloud.qcow2\n</code></pre> <p>Create a virtual machine:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vm-config\ndata:\n  start.sh: |\n    chmod u+w /etc/libvirt/qemu.conf\n    echo \"hugetlbfs_mount = \\\"/dev/hugepages\\\"\" &gt;&gt; /etc/libvirt/qemu.conf\n    virtlogd &amp;\n    libvirtd &amp;\n\n    mkdir /var/lock\n\n    sleep 5\n\n    virsh define /root/vm/vm.xml\n    virsh start vm\n\n    tail -f /dev/null\n  vm.xml: |\n    &lt;domain type='kvm'&gt;\n      &lt;name&gt;vm&lt;/name&gt;\n      &lt;uuid&gt;4a9b3f53-fa2a-47f3-a757-dd87720d9d1d&lt;/uuid&gt;\n      &lt;memory unit='KiB'&gt;2097152&lt;/memory&gt;\n      &lt;currentMemory unit='KiB'&gt;2097152&lt;/currentMemory&gt;\n      &lt;memoryBacking&gt;\n        &lt;hugepages&gt;\n          &lt;page size='2' unit='M' nodeset='0'/&gt;\n        &lt;/hugepages&gt;\n      &lt;/memoryBacking&gt;\n      &lt;vcpu placement='static'&gt;2&lt;/vcpu&gt;\n      &lt;cputune&gt;\n        &lt;shares&gt;4096&lt;/shares&gt;\n        &lt;vcpupin vcpu='0' cpuset='4'/&gt;\n        &lt;vcpupin vcpu='1' cpuset='5'/&gt;\n        &lt;emulatorpin cpuset='1,3'/&gt;\n      &lt;/cputune&gt;\n      &lt;os&gt;\n        &lt;type arch='x86_64' machine='pc'&gt;hvm&lt;/type&gt;\n        &lt;boot dev='hd'/&gt;\n      &lt;/os&gt;\n      &lt;features&gt;\n        &lt;acpi/&gt;\n        &lt;apic/&gt;\n      &lt;/features&gt;\n      &lt;cpu mode='host-model'&gt;\n        &lt;model fallback='allow'/&gt;\n        &lt;topology sockets='1' cores='2' threads='1'/&gt;\n        &lt;numa&gt;\n          &lt;cell id='0' cpus='0-1' memory='2097152' unit='KiB' memAccess='shared'/&gt;\n        &lt;/numa&gt;\n      &lt;/cpu&gt;\n      &lt;on_reboot&gt;restart&lt;/on_reboot&gt;\n      &lt;devices&gt;\n        &lt;emulator&gt;/usr/libexec/qemu-kvm&lt;/emulator&gt;\n        &lt;disk type='file' device='disk'&gt;\n          &lt;driver name='qemu' type='qcow2' cache='none'/&gt;\n          &lt;source file='/var/lib/libvirt/images/CentOS-7-x86_64-GenericCloud.qcow2'/&gt;\n          &lt;target dev='vda' bus='virtio'/&gt;\n        &lt;/disk&gt;\n\n        &lt;interface type='vhostuser'&gt;\n          &lt;mac address='00:00:00:0A:30:89'/&gt;\n          &lt;source type='unix' path='/var/run/vm/sock' mode='server'/&gt;\n           &lt;model type='virtio'/&gt;\n          &lt;driver queues='2'&gt;\n            &lt;host mrg_rxbuf='off'/&gt;\n          &lt;/driver&gt;\n        &lt;/interface&gt;\n        &lt;serial type='pty'&gt;\n          &lt;target type='isa-serial' port='0'&gt;\n            &lt;model name='isa-serial'/&gt;\n          &lt;/target&gt;\n        &lt;/serial&gt;\n        &lt;console type='pty'&gt;\n          &lt;target type='serial' port='0'/&gt;\n        &lt;/console&gt;\n        &lt;channel type='unix'&gt;\n          &lt;source mode='bind' path='/var/lib/libvirt/qemu/channel/target/domain-1-vm/org.qemu.guest_agent.0'/&gt;\n          &lt;target type='virtio' name='org.qemu.guest_agent.0' state='connected'/&gt;\n          &lt;alias name='channel0'/&gt;\n          &lt;address type='virtio-serial' controller='0' bus='0' port='1'/&gt;\n        &lt;/channel&gt;\n\n      &lt;/devices&gt;\n    &lt;/domain&gt;\n---\napiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: vm-deployment\n  labels:\n    app: vm\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: vm\n  template:\n    metadata:\n      labels:\n        app: vm\n      annotations:\n        k8s.v1.cni.cncf.io/networks: default/ovn-dpdk\n        ovn-dpdk.default.ovn.kubernetes.io/ip_address: 10.16.0.96\n        ovn-dpdk.default.ovn.kubernetes.io/mac_address: 00:00:00:0A:30:89\n    spec:\n      nodeSelector:\n        ovn.kubernetes.io/ovs_dp_type: userspace\n      securityContext:\n        runAsUser: 0\n      volumes:\n        - name: vhostuser-sockets\n          emptyDir: {}\n        - name: xml\n          configMap:\n            name: vm-config\n        - name: hugepage\n          emptyDir:\n            medium: HugePages-2Mi\n        - name: libvirt-runtime\n          emptyDir: {}\n      containers:\n        - name: vm\n          image: vm-vhostuser:latest\n          command: [\"bash\", \"/root/vm/start.sh\"]\n          securityContext:\n            capabilities:\n              add:\n                - NET_BIND_SERVICE\n                - SYS_NICE\n                - NET_RAW\n                - NET_ADMIN\n            privileged: false\n            runAsUser: 0\n          resources:\n            limits:\n              cpu: '2'\n              devices.kubevirt.io/kvm: '1'\n              memory: '8784969729'\n              hugepages-2Mi: 2Gi\n            requests:\n              cpu: 666m\n              devices.kubevirt.io/kvm: '1'\n              ephemeral-storage: 50M\n              memory: '4490002433'\n          volumeMounts:\n            - name: vhostuser-sockets\n              mountPath: /var/run/vm\n            - name: xml\n              mountPath: /root/vm/\n            - mountPath: /dev/hugepages\n              name: hugepage\n            - name: libvirt-runtime\n              mountPath: /var/run/libvirt\n</code></pre> <p>Wait for the virtual machine to be created successfully and then go to the Pod to configure the virtual machine:</p> <pre><code># virsh set-user-password vm root 12345\nPassword set successfully for root in vm\n\n# virsh console vm\nConnected to domain 'vm'\nEscape character is ^] (Ctrl + ])\n\nCentOS Linux 7 (Core)\nKernel 3.10.0-1127.el7.x86_64 on an x86_64\n\nlocalhost login: root\nPassword:\nLast login: Fri Feb 25 09:52:54 on ttyS0\n</code></pre> <p>Next, you can log into the virtual machine for network configuration and test:</p> <pre><code>ip link set eth0 mtu 1400\nip addr add 10.16.0.96/16 dev eth0\nip ro add default via 10.16.0.1\nping 114.114.114.114\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/external-gateway/","title":"External Gateway","text":"<p>In some scenarios, all container traffic access to the outside needs to be managed and audited through an external gateway. Kube-OVN can forward outbound traffic to the corresponding external gateway by configuring the appropriate routes in the subnet.</p>"},{"location":"en/advance/external-gateway/#usage","title":"Usage","text":"<pre><code>kind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: external\nspec:\n  cidrBlock: 172.31.0.0/16\n  gatewayType: centralized\n  natOutgoing: false\n  externalEgressGateway: 192.168.0.1\n  policyRoutingTableID: 1000\n  policyRoutingPriority: 1500\n</code></pre> <ul> <li><code>natOutgoing</code>: needs to be set to <code>false</code>.</li> <li><code>externalEgressGateway</code>: Set to the address of the external gateway, which needs to be in the same Layer 2 reachable domain as the gateway node.</li> <li><code>policyRoutingTableID</code>: The TableID of the local policy routing table used needs to be different for each subnet to avoid conflicts.</li> <li><code>policyRoutingPriority</code>: Route priority, in order to avoid subsequent user customization of other routing operations conflict, here you can specify the route priority. If no special needs, you can fill in any value.</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/fastpath/","title":"Compile FastPath Module","text":"<p>After a data plane performance profile, <code>netfilter</code> consumes about 20% of CPU resources for related processing within the container and on the host. The FastPath module can bypass <code>netfilter</code> to reduce CPU consumption and latency, and increase throughput. This document will describe how to compile the FastPath module manually.</p>"},{"location":"en/advance/fastpath/#download-related-code","title":"Download Related Code","text":"<pre><code>git clone --depth=1 https://github.com/kubeovn/kube-ovn.git\n</code></pre>"},{"location":"en/advance/fastpath/#install-dependencies","title":"Install Dependencies","text":"<p>Here is an example of CentOS dependencies to download:</p> <pre><code>yum install -y kernel-devel-$(uname -r) gcc elfutils-libelf-devel\n</code></pre>"},{"location":"en/advance/fastpath/#compile-the-module","title":"Compile the Module","text":"<p>For the 3.x kernel:</p> <pre><code>cd kube-ovn/fastpath\nmake all\n</code></pre> <p>For the 4.x kernel:</p> <pre><code>cd kube-ovn/fastpath/4.18\ncp ../Makefile .\nmake all\n</code></pre>"},{"location":"en/advance/fastpath/#instal-the-kernel-module","title":"Instal the Kernel Module","text":"<p>Copy <code>kube_ovn_fastpath.ko</code> to each node that needs performance optimization, and run the following command:</p> <pre><code>insmod kube_ovn_fastpath.ko\n</code></pre> <p>Use <code>dmesg</code> to confirm successful installation:</p> <pre><code># dmesg\n[619631.323788] init_module,kube_ovn_fastpath_local_out\n[619631.323798] init_module,kube_ovn_fastpath_post_routing\n[619631.323800] init_module,kube_ovn_fastpath_pre_routing\n[619631.323801] init_module,kube_ovn_fastpath_local_in\n</code></pre> <p>To uninstall a module, use the following command.</p> <pre><code>rmmod kube_ovn_fastpath.ko\n</code></pre> <p>This module will not be loaded automatically after machine reboot. If you want to load it automatically, please write the corresponding autostart script according to the system configuration.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/multi-nic/","title":"Manage Multiple Interface","text":"<p>Kube-OVN can provide cluster-level IPAM capabilities for other CNI network plugins such as macvlan, vlan, host-device, etc. Other network plugins can then use the subnet and fixed IP capabilities in Kube-OVN.</p> <p>Kube-OVN also supports address management when multiple NICs are all of Kube-OVN type.</p>"},{"location":"en/advance/multi-nic/#working-principle","title":"Working Principle","text":"<p>Multi-nic management:</p> <p>Here's an illustration of the network interfaces attached to a pod, as provisioned by Multus CNI. The diagram shows the pod with three interfaces: eth0, net0 and net1. eth0 connects kubernetes cluster network to connect with kubernetes server/services (e.g. kubernetes api-server, kubelet and so on). net0 and net1 are additional network attachments and connect to other networks by using other CNI plugins (e.g. vlan/vxlan/ptp).</p> <p></p> <p>IPAM\uff1a</p> <p>By using Multus CNI, we can add multiple NICs of different networks to a Pod. However, we still lack the ability to manage the IP addresses of different networks within a cluster. In Kube-OVN, we have been able to perform advanced IP management such as subnet management, IP reservation, random assignment, fixed assignment, etc. through CRD of Subnet and IP. Now Kube-OVN extend the subnet to integrate with other different network plugins, so that other network plugins can also use the IPAM functionality of Kube-OVN.</p>"},{"location":"en/advance/multi-nic/#workflow","title":"Workflow","text":"<p>The above diagram shows how to manage the IP addresses of other network plugins via Kube-OVN. The eth0 NIC of the container is connected to the OVN network and the net1 NIC is connected to other CNI networks. The network definition for the net1 network is taken from the NetworkAttachmentDefinition resource definition in multus-cni.</p> <p>When a Pod is created, <code>kube-ovn-controller</code> will get the Pod add event, find the corresponding Subnet according to the annotation in the Pod, then manage the address from it, and write the address information assigned to the Pod back to the Pod annotation.</p> <p>The CNI on the container machine can configure <code>kube-ovn-cni</code> as the ipam plugin. <code>kube-ovn-cni</code> will read the Pod annotation and return the address information to the corresponding CNI plugin using the standard format of the CNI protocol.</p>"},{"location":"en/advance/multi-nic/#usage","title":"Usage","text":""},{"location":"en/advance/multi-nic/#install-kube-ovn-and-multus","title":"Install Kube-OVN and Multus","text":"<p>Please refer One-Click Installation and Multus how to use to install Kube-OVN and Multus-CNI.</p>"},{"location":"en/advance/multi-nic/#provide-ipam-for-other-types-of-cni","title":"Provide IPAM for other types of CNI","text":""},{"location":"en/advance/multi-nic/#create-networkattachmentdefinition","title":"Create NetworkAttachmentDefinition","text":"<p>Here we use macvlan as the second network of the container network and set its ipam to <code>kube-ovn</code>:</p> <pre><code># load macvlan module\nsudo modprobe macvlan\n</code></pre> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: macvlan\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth0\",\n      \"mode\": \"bridge\",\n      \"ipam\": {\n        \"type\": \"kube-ovn\",\n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n        \"provider\": \"macvlan.default\"\n      }\n    }'\n</code></pre> <ul> <li><code>spec.config.ipam.type</code>: Need to be set to <code>kube-ovn</code> to call the kube-ovn plugin to get the address information.</li> <li><code>server_socket</code>: The socket file used for communication to Kube-OVN. The default location is <code>/run/openvswitch/kube-ovn-daemon.sock</code>.</li> <li><code>provider</code>: The current NetworkAttachmentDefinition's <code>&lt;name&gt;. &lt;namespace&gt;</code> , Kube-OVN will use this information to find the corresponding Subnet resource.</li> <li><code>master</code>: the host\u2019s physical network card</li> </ul>"},{"location":"en/advance/multi-nic/#create-a-kube-ovn-subnet","title":"Create a Kube-OVN Subnet","text":"<p>Create a Kube-OVN Subnet, set the corresponding <code>cidrBlock</code> and <code>exclude_ips</code>, the <code>provider</code> should be set to the <code>&lt;name&gt;. &lt;namespace&gt;</code> of corresponding NetworkAttachmentDefinition. For example, to provide additional NICs with macvlan, create a Subnet as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: macvlan\nspec:\n  protocol: IPv4\n  provider: macvlan.default\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre> <p><code>gateway</code>, <code>private</code>, <code>nat</code> are only valid for networks with <code>provider</code> type ovn, not for attachment networks.</p>"},{"location":"en/advance/multi-nic/#create-a-pod-with-multiple-nic","title":"Create a Pod with Multiple NIC","text":"<p>For Pods with randomly assigned addresses, simply add the following annotation <code>k8s.v1.cni.cncf.io/networks</code>, taking the value <code>&lt;namespace&gt;/&lt;name&gt;</code> of the corresponding NetworkAttachmentDefinition.\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"en/advance/multi-nic/#create-pod-with-a-fixed-ip","title":"Create Pod with a Fixed IP","text":"<p>For Pods with fixed IPs, add <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/ip_address</code> annotation\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: static-ip\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\n    ovn.kubernetes.io/ip_address: 10.16.0.15\n    ovn.kubernetes.io/mac_address: 00:00:00:53:6B:B6\n    macvlan.default.kubernetes.io/ip_address: 172.17.0.100\n    macvlan.default.kubernetes.io/mac_address: 00:00:00:53:6B:BB\nspec:\n  containers:\n  - name: static-ip\n    image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"en/advance/multi-nic/#create-workloads-with-fixed-ips","title":"Create Workloads with Fixed IPs","text":"<p>For workloads that use ippool, add <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/ip_pool</code> annotations:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  namespace: default\n  name: static-workload\n  labels:\n    app: static-workload\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: static-workload\n  template:\n    metadata:\n      labels:\n        app: static-workload\n      annotations:\n        k8s.v1.cni.cncf.io/networks: default/macvlan\n        ovn.kubernetes.io/ip_pool: 10.16.0.15,10.16.0.16,10.16.0.17\n        macvlan.default.kubernetes.io/ip_pool: 172.17.0.200,172.17.0.201,172.17.0.202\n    spec:\n      containers:\n      - name: static-workload\n        image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"en/advance/multi-nic/#create-a-pod-using-macvlan-as-default-route","title":"Create a Pod using macvlan as default route","text":"<p>For Pods that use macvlan as an accessory network card, if you want to use the accessory network card as the default route of the Pod, you only need to add the following annotation, <code>default-route</code> is the gateway address:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod-route\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: '[{\n      \"name\": \"macvlan\",\n      \"namespace\": \"default\",\n      \"default-route\": [\"172.17.0.1\"]\n    }]'\nspec:\n  containers:\n  - name: samplepod-route\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"en/advance/multi-nic/#create-a-pod-using-macvlan-as-the-main-nic","title":"Create a Pod using macvlan as the main nic","text":"<p>For Pods that use macvlan as the main network card, you only need to add the following annotation <code>v1.multus-cni.io/default-network</code>, whose value is <code>&lt;namespace&gt;/&lt;name&gt;</code> of the corresponding NetworkAttachmentDefinition:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod-macvlan\n  namespace: default\n  annotations:\n    v1.multus-cni.io/default-network: default/macvlan\nspec:\n  containers:\n  - name: samplepod-macvlan\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"en/advance/multi-nic/#create-a-kube-ovn-subnet-provider-ovn","title":"Create a Kube-OVN Subnet (Provider ovn)","text":"<p>Create a Kube-OVN Subnet, set the corresponding <code>cidrBlock</code> and <code>exclude_ips</code>, <code>provider</code> is ovn, and create the Subnet as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: macvlan\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"en/advance/multi-nic/#create-a-pod-with-multiple-nic_1","title":"Create a Pod with Multiple NIC","text":"<p>For Pods that need to obtain IP from the subnet with <code>provider</code> type ovn, you need to combine the annotation <code>k8s.v1.cni.cncf.io/networks</code> and <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/logical_switch</code> use:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\n    macvlan.default.kubernetes.io/logical_switch: macvlan\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre> <ul> <li><code>k8s.v1.cni.cncf.io/networks</code>: The value is <code>&lt;namespace&gt;/&lt;name&gt;</code> of the corresponding NetworkAttachmentDefinition</li> <li><code>macvlan.default.kubernetes.io/logical_switch</code>: The value is the subnet name</li> </ul> <p>Note: Specifying a subnet through <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/logical_switch</code> has a higher priority than specifying a subnet through provider. Subnets based on ovn type provide ipam and also support the creation of fixed IP Pods and the creation of fixed IP pods. IP workload, create a Pod with the default route as macvlan, but creating a Pod with the main network card as macvlan is not supported.</p>"},{"location":"en/advance/multi-nic/#the-attached-nic-is-a-kube-ovn-type-nic","title":"The attached NIC is a Kube-OVN type NIC","text":"<p>At this point, the multiple NICs are all Kube-OVN type NICs.</p>"},{"location":"en/advance/multi-nic/#create-networkattachmentdefinition_1","title":"Create NetworkAttachmentDefinition","text":"<p>Set the <code>provider</code> suffix to <code>ovn</code>:</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: attachnet\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"attachnet.default.ovn\"\n    }'\n</code></pre> <ul> <li><code>spec.config.ipam.type</code>: Need to be set to <code>kube-ovn</code> to call the kube-ovn plugin to get the address information.</li> <li><code>server_socket</code>: The socket file used for communication to Kube-OVN. The default location is <code>/run/openvswitch/kube-ovn-daemon.sock</code>.</li> <li><code>provider</code>: The current NetworkAttachmentDefinition's <code>&lt;name&gt;. &lt;namespace&gt;</code> , Kube-OVN will use this information to find the corresponding Subnet resource. It should have the suffix <code>ovn</code> here.</li> </ul>"},{"location":"en/advance/multi-nic/#create-a-kube-ovn-subnet_1","title":"Create a Kube-OVN Subnet","text":"<p>If you are using Kube-OVN as an attached NIC, <code>provider</code> should be set to the <code>&lt;name&gt;. &lt;namespace&gt;.ovn</code> of the corresponding NetworkAttachmentDefinition, and should end with <code>ovn</code> as a suffix.</p> <p>An example of creating a Subnet with an additional NIC provided by Kube-OVN is as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attachnet\nspec:\n  protocol: IPv4\n  provider: attachnet.default.ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"en/advance/multi-nic/#create-a-pod-with-multiple-nic_2","title":"Create a Pod with Multiple NIC","text":"<p>For Pods with randomly assigned addresses, simply add the following annotation <code>k8s.v1.cni.cncf.io/networks</code>, taking the value <code>&lt;namespace&gt;/&lt;name&gt;</code> of the corresponding NetworkAttachmentDefinition.\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"en/advance/multi-nic/#create-a-kube-ovn-subnet-provider-ovn_1","title":"Create a Kube-OVN Subnet (Provider ovn)","text":"<p>Create a Kube-OVN Subnet, set the corresponding <code>cidrBlock</code> and <code>exclude_ips</code>, <code>provider</code> is ovn, and create the Subnet as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attachnet\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"en/advance/multi-nic/#create-a-pod-with-multiple-nic_3","title":"Create a Pod with Multiple NIC","text":"<p>For Pods that need to obtain IP from the subnet whose <code>provider</code> type is ovn, the annotation <code>k8s.v1.cni.cncf.io/networks</code> and <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.ovn.kubernetes.io/logical_switch</code> need to be used in conjunction with:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\n    attachnet.default.ovn.kubernetes.io/logical_switch: attachnet\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre> <ul> <li><code>k8s.v1.cni.cncf.io/networks</code>: The value is <code>&lt;namespace&gt;/&lt;name&gt;</code> of the corresponding NetworkAttachmentDefinition</li> <li><code>attachnet.default.ovn.kubernetes.io/logical_switch</code>: The value is the subnet name</li> </ul> <p>Note: Specifying a subnet through <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.ovn.kubernetes.io/logical_switch</code> has a higher priority than specifying a subnet through provider. For Pods with Kube-OVN attached network cards, the creation of fixed IPs is supported. Pod, create a workload using a fixed IP, create a Pod with the default route as macvlan, and also support the creation of a Pod with the main network card as Kube-OVN type. For the configuration method, please refer to the previous section.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/nat-policy-rule/","title":"Default VPC NAT Policy Rule","text":""},{"location":"en/advance/nat-policy-rule/#purpose","title":"Purpose","text":"<p>In the Overlay Subnet under the default VPC, when the <code>natOutgoing</code> switch is turned on, all Pods in the subnet need to do SNAT to access the external network, but in some scenarios we do not want all Pods in the subnet to access the external network by SNAT.</p> <p>So the NAT Policy Rule is to provide a way for users to decide which CIDRs or IPs in the subnet to access the external network need SNAT.</p>"},{"location":"en/advance/nat-policy-rule/#how-to-use-nat-policy-rules","title":"How to use NAT Policy Rules","text":"<p>Enable the <code>natOutgoing</code> switch in <code>subnet.Spec</code>, and add the field <code>natOutgoingPolicyRules</code> as follows:</p> <pre><code>spec:\n  natOutgoing: true\n  natOutgoingPolicyRules:\n    - action: forward\n      match:\n        srcIPs: 10.0.11.0/30,10.0.11.254\n    - action: nat\n      match:\n        srcIPs: 10.0.11.128/26\n        dstIPs: 114.114.114.114,8.8.8.8\n</code></pre> <p>The above case shows that there are two NAT policy rules:</p> <ol> <li>Packets with source IP 10.0.11.0/30 or 10.0.11.254 will not perform SNAT when accessing the external network.</li> <li>When a packet with source IP 10.0.11.128/26 and destination IP 114.114.114.114 or 8.8.8.8 accesses the external network, SNAT will be performed.</li> </ol> <p>Field description:</p> <p><code>action</code>: The action that will be executed for packets that meets the corresponding conditions of the <code>match</code>. The action is divided into two types: <code>forward</code> and <code>nat</code>. When natOutgoingPolicyRules is not configured, packets are still SNAT by default.</p> <p><code>match</code>: Indicates the matching segment of the message, the matching segment includes <code>srcIPs</code> and <code>dstIPs</code>, here indicates the source IP and destination IP of the message from the subnet to the external network. <code>match.srcIPs</code> and <code>match.dstIPs</code> support multiple cidr and ip, separated by commas. If multiple match rules overlap, the action that is matched first will be executed according to the order of the <code>natOutgoingPolicyRules</code> array.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/node-local-dns/","title":"NodeLocal DNSCache and Kube-OVN adaptation","text":"<p>NodeLocal DNSCache improves cluster DNS performance by running DNS cache as a DaemonSet on cluster nodes. This function can also be adapted to Kube-OVN.</p>"},{"location":"en/advance/node-local-dns/#nodelocal-dnscache-deployment","title":"Nodelocal DNSCache deployment","text":""},{"location":"en/advance/node-local-dns/#deploy-kubernetes-nodelocal-dnscache","title":"Deploy Kubernetes NodeLocal DNScache","text":"<p>This step refers to Kubernetes official website configuration nodelocaldnscache.</p> <p>Deploy with the following script:</p> <pre><code>#!bin/bash\n\nlocaldns=169.254.20.10\ndomain=cluster.local\nkubedns=10.96.0.10\n\nwget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/dns/nodelocaldns/nodelocaldns.yaml\nsed -i \"s/__PILLAR__LOCAL__DNS__/$localdns/g; s/__PILLAR__DNS__DOMAIN__/$domain/g; s/,__PILLAR__DNS__SERVER__//g; s/__PILLAR__CLUSTER__DNS__/$kubedns/g\" nodelocaldns.yaml\n\nkubectl apply -f nodelocaldns.yaml\n</code></pre> <p>Modify the kubelet configuration file on each node, modify the clusterDNS field in <code>/var/lib/kubelet/config.yaml</code> to the local DNS IP 169.254.20.10, and then restart the kubelet service.</p>"},{"location":"en/advance/node-local-dns/#kube-ovn-corresponding-dns-configuration","title":"Kube-OVN corresponding DNS configuration","text":"<p>After deploying the Nodelocal DNScache component of Kubernetes, Kube-OVN needs to make the following modifications:</p>"},{"location":"en/advance/node-local-dns/#underlay-subnet-enable-u2o-switch","title":"Underlay subnet enable U2O switch","text":"<p>If the underlay subnet needs to use the local DNS function, you need to enable the U2O function, that is, configure <code>spec.u2oInterconnection = true</code> in <code>kubectl edit subnet {your subnet}</code>. If it is an overlay subnet, this step is not required.</p>"},{"location":"en/advance/node-local-dns/#specify-the-corresponding-local-dns-ip-for-kube-ovn-controller","title":"Specify the corresponding local DNS IP for kube-ovn-controller","text":"<pre><code>kubectl edit deployment kube-ovn-controller -n kube-system\n</code></pre> <p>Add field to spec.template.spec.containers.args <code>--node-local-dns-ip=169.254.20.10</code></p>"},{"location":"en/advance/node-local-dns/#rebuild-the-created-pods","title":"Rebuild the created Pods","text":"<p>The reason for this step is to let the Pod regenerate <code>/etc/resolv.conf</code> so that the nameserver points to the local DNS IP. If the nameserver of the Pod is not rebuilt, it will still use the DNS ClusterIP of the cluster. At the same time, if the u2o switch is turned on, the Pod needs to be rebuilt to regenerate the Pod gateway.</p>"},{"location":"en/advance/node-local-dns/#validator-local-dns-cache-function","title":"Validator local DNS cache function","text":"<p>After the above configuration is completed, you can find the Pod verification as follows. You can see that the Pod's DNS server points to the local 169.254.20.10 and successfully resolves the domain name:</p> <pre><code># kubectl exec -it pod1 -- nslookup github.com\nServer:         169.254.20.10\nAddress:        169.254.20.10:53\n\n\nName:   github.com\nAddress: 20.205.243.166\n</code></pre> <p>You can also capture packets at the node and verify as follows. You can see that the DNS query message reaches the local DNS service through the ovn0 network card, and the DNS response message returns in the same way:</p> <pre><code># tcpdump -i any port 53\n\n06:20:00.441889 659246098c56_h P   ifindex 17 00:00:00:73:f1:06 ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1291+ A? baidu.com. (27)\n06:20:00.441889 ovn0  In  ifindex 7 00:00:00:50:32:cd ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1291+ A? baidu.com. (27)\n06:20:00.441950 659246098c56_h P   ifindex 17 00:00:00:73:f1:06 ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1611+ AAAA? baidu.com. (27)\n06:20:00.441950 ovn0  In  ifindex 7 00:00:00:50:32:cd ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1611+ AAAA? baidu.com. (27)\n06:20:00.442203 ovn0  Out ifindex 7 00:00:00:52:99:d8 ethertype IPv4 (0x0800), length 145: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1611* 0/1/0 (97)\n06:20:00.442219 659246098c56_h Out ifindex 17 00:00:00:ea:b3:5e ethertype IPv4 (0x0800), length 145: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1611* 0/1/0 (97)\n06:20:00.442273 ovn0  Out ifindex 7 00:00:00:52:99:d8 ethertype IPv4 (0x0800), length 125: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1291* 2/0/0 A 39.156.66.10, A 110.242.68.66 (77)\n06:20:00.442278 659246098c56_h Out ifindex 17 00:00:00:ea:b3:5e ethertype IPv4 (0x0800), length 125: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1291* 2/0/0 A 39.156.66.10, A 110.242.68.66 (77)\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/offload-corigine/","title":"Offload with Corigine","text":"<p>Kube-OVN uses OVS for traffic forwarding in the final data plane, and the associated flow table matching, tunnel encapsulation and other functions are CPU-intensive, which consumes a lot of CPU resources and leads to higher latency and lower throughput under heavy traffic. Corigine Agilio CX series SmartNIC can offload OVS-related operations to the hardware. This technology can shorten the data path without modifying the OVS control plane, avoiding the use of host CPU resources, which dramatically reduce latency and significantly increase the throughput.</p> <p></p>"},{"location":"en/advance/offload-corigine/#prerequisites","title":"Prerequisites","text":"<ul> <li>Corigine Agilio CX series SmartNIC.</li> <li>CentOS 8 Stream or Linux 5.7 above.</li> <li>Since the current NIC does not support <code>dp_hash</code> and <code>hash</code> operation offload, OVN LB function should be disabled.</li> </ul>"},{"location":"en/advance/offload-corigine/#setup-sr-iov","title":"Setup SR-IOV","text":"<p>Please read Agilio Open vSwitch TC User Guide for the detail usage of this SmartNIC.</p> <p>The following scripts are saved for subsequent execution of firmware-related operations:</p> <pre><code>#!/bin/bash\nDEVICE=${1}\nDEFAULT_ASSY=scan\nASSY=${2:-${DEFAULT_ASSY}}\nAPP=${3:-flower}\n\nif [ \"x${DEVICE}\" = \"x\" -o ! -e /sys/class/net/${DEVICE} ]; then\n    echo Syntax: ${0} device [ASSY] [APP]\n    echo\n    echo This script associates the TC Offload firmware\n    echo with a Netronome SmartNIC.\n    echo\n    echo device: is the network device associated with the SmartNIC\n    echo ASSY: defaults to ${DEFAULT_ASSY}\n    echo APP: defaults to flower. flower-next is supported if updated\n    echo      firmware has been installed.\n    exit 1\nfi\n\n# It is recommended that the assembly be determined by inspection\n# The following code determines the value via the debug interface\nif [ \"${ASSY}x\" = \"scanx\" ]; then\n    ethtool -W ${DEVICE} 0\n    DEBUG=$(ethtool -w ${DEVICE} data /dev/stdout | strings)\n    SERIAL=$(echo \"${DEBUG}\" | grep \"^SN:\")\n    ASSY=$(echo ${SERIAL} | grep -oE AMDA[0-9]{4})\nfi\n\nPCIADDR=$(basename $(readlink -e /sys/class/net/${DEVICE}/device))\nFWDIR=\"/lib/firmware/netronome\"\n\n# AMDA0081 and AMDA0097 uses the same firmware\nif [ \"${ASSY}\" = \"AMDA0081\" ]; then\n    if [ ! -e ${FWDIR}/${APP}/nic_AMDA0081.nffw ]; then\n       ln -sf nic_AMDA0097.nffw ${FWDIR}/${APP}/nic_AMDA0081.nffw\n   fi\nfi\n\nFW=\"${FWDIR}/pci-${PCIADDR}.nffw\"\nln -sf \"${APP}/nic_${ASSY}.nffw\" \"${FW}\"\n\n# insert distro-specific initramfs section here...\n</code></pre> <p>Switching firmware options and reloading the driver:</p> <pre><code>./agilio-tc-fw-select.sh ens47np0 scan\nrmmod nfp\nmodprobe nfp\n</code></pre> <p>Check the number of available VFs and create VFs.</p> <pre><code># cat /sys/class/net/ens3/device/sriov_totalvfs\n65\n\n# echo 4 &gt; /sys/class/net/ens47/device/sriov_numvfs\n</code></pre>"},{"location":"en/advance/offload-corigine/#install-sr-iov-device-plugin","title":"Install SR-IOV Device Plugin","text":"<p>Since each machine has a limited number of VFs and each Pod that uses acceleration will take up VF resources, we need to use the SR-IOV Device Plugin to manage the corresponding resources so that the scheduler knows how to schedule.</p> <p>Create SR-IOV Configmap:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: sriovdp-config\n  namespace: kube-system\ndata:\n  config.json: |\n    {\n      \"resourceList\": [{\n          \"resourcePrefix\": \"corigine.com\",\n          \"resourceName\": \"agilio_sriov\",\n          \"selectors\": {\n                  \"vendors\": [\"19ee\"],\n                  \"devices\": [\"6003\"],\n                  \"drivers\": [\"nfp_netvf\"]\n              }\n      }\n      ]\n    }\n</code></pre> <p>Please read the SR-IOV device plugin to deploy:</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/intel/sriov-network-device-plugin/master/deployments/k8s-v1.16/sriovdp-daemonset.yaml\n</code></pre> <p>Check if SR-IOV resources have been registered to Kubernetes Node:</p> <pre><code>kubectl describe no containerserver  | grep corigine\n\ncorigine.com/agilio_sriov:  4\ncorigine.com/agilio_sriov:  4\ncorigine.com/agilio_sriov  0           0\n</code></pre>"},{"location":"en/advance/offload-corigine/#install-multus-cni","title":"Install Multus-CNI","text":"<p>The device IDs obtained during SR-IOV Device Plugin scheduling need to be passed to Kube-OVN via Multus-CNI, so Multus-CNI needs to be configured to perform the related tasks.</p> <p>Please read Multus-CNI Document to deploy\uff1a</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/multus-cni/master/deployments/multus-daemonset.yml\n</code></pre> <p>Create <code>NetworkAttachmentDefinition</code>\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: default\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/resourceName: corigine.com/agilio_sriov\nspec:\n  config: '{\n    \"cniVersion\": \"0.3.1\",\n    \"name\": \"kube-ovn\",\n    \"plugins\":[\n        {\n            \"type\":\"kube-ovn\",\n            \"server_socket\":\"/run/openvswitch/kube-ovn-daemon.sock\",\n            \"provider\": \"default.default.ovn\"\n        },\n        {\n            \"type\":\"portmap\",\n            \"capabilities\":{\n                \"portMappings\":true\n            }\n        }\n    ]\n}'\n</code></pre> <ul> <li><code>provider</code>: the format should be {name}.{namespace}.ovn of related <code>NetworkAttachmentDefinition</code>.</li> </ul>"},{"location":"en/advance/offload-corigine/#enable-offload-in-kube-ovn","title":"Enable Offload in Kube-OVN","text":"<p>Download the scripts:</p> <pre><code>wget https://raw.githubusercontent.com/alauda/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>Change the related options\uff0c<code>IFACE</code> should be the physic NIC and has an IP:</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"ensp01\"\n</code></pre> <p>Install Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"en/advance/offload-corigine/#create-pods-with-vf-nics","title":"Create Pods with VF NICs","text":"<p>Pods that use VF for network offload acceleration can be created using the following yaml:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx\n  namespace: default\n  annotations:\n    v1.multus-cni.io/default-network: default/default\nspec:\n  containers:\n    - name: nginx\n      image: docker.io/library/nginx:alpine\n      resources:\n        requests:\n          corigine.com/agilio_sriov: '1'\n        limits:\n          corigine.com/agilio_sriov: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: should be the {namespace}/{name} of related <code>NetworkAttachmentDefinition</code>.</li> </ul> <p>Running the following command in the <code>ovs-ovn</code> container of the Pod run node to observe if offload success.</p> <pre><code># ovs-appctl dpctl/dump-flows -m type=offloaded\nufid:91cc45de-e7e9-4935-8f82-1890430b0f66, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(5b45c61b307e_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:c5:6d:4e,dst=00:00:00:e7:16:ce),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:941539, bytes:62142230, used:0.260s, offloaded:yes, dp:tc, actions:54235e5753b8_h\nufid:e00768d7-e652-4d79-8182-3291d852b791, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(54235e5753b8_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:e7:16:ce,dst=00:00:00:c5:6d:4e),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:82386659, bytes:115944854173, used:0.260s, offloaded:yes, dp:tc, actions:5b45c61b307e_h\n</code></pre> <p>If there is <code>offloaded:yes, dp:tc</code> content, the offloading is successful.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/offload-mellanox/","title":"Offload with Mellanox","text":"<p>Kube-OVN uses OVS for traffic forwarding in the final data plane, and the associated flow table matching, tunnel encapsulation and other functions are CPU-intensive, which consumes a lot of CPU resources and leads to higher latency and lower throughput under heavy traffic. Mellanox Accelerated Switching And Packet Processing (ASAP\u00b2) technology offloads OVS-related operations to an eSwitch within the eSwitch in the hardware. This technology can shorten the data path without modifying the OVS control plane, avoiding the use of host CPU resources, which dramatically reduce latency and significantly increase the throughput.</p> <p></p>"},{"location":"en/advance/offload-mellanox/#prerequisites","title":"Prerequisites","text":"<ul> <li>Mellanox CX5/CX6/BlueField that support ASAP\u00b2.</li> <li>CentOS 8 Stream or Linux 5.7 above.</li> <li>Since the current NIC does not support <code>dp_hash</code> and <code>hash</code> operation offload, OVN LB function should be disabled.</li> <li>In order to configure offload mode, the network card cannot be bound to a bond.</li> </ul>"},{"location":"en/advance/offload-mellanox/#configure-sr-iov-and-device-plugin","title":"Configure SR-IOV and Device Plugin","text":"<p>Mellanox network card supports two ways to configure offload, one is to manually configure the network card SR-IOV and Device Plugin, and the other is to use sriov-network-operator Perform automatic configuration.</p>"},{"location":"en/advance/offload-mellanox/#manually-configure-sr-iov-and-device-plugin","title":"Manually configure SR-IOV and Device Plugin","text":""},{"location":"en/advance/offload-mellanox/#configure-sr-iov","title":"Configure SR-IOV","text":"<p>Query the device ID of the network card, in the following example it is <code>84:00.0</code> and <code>84.00.1</code>:</p> <pre><code># lspci -nn | grep ConnectX-5\n84:00.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n84:00.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n</code></pre> <p>Find the corresponding NIC by its device ID:</p> <pre><code># ls -l /sys/class/net/ | grep 84:00.0\nlrwxrwxrwx 1 root root 0 Feb 4 16:16 enp132s0f0np0 -&gt; ../../devices/pci0000:80/0000:80:08.0/0000:84:00.0/net/enp132s0f0np0\n# ls -l /sys/class/net/ | grep 84:00.1\nlrwxrwxrwx 1 root root 0 Feb 4 16:16 enp132s0f1np1 -&gt; ../../devices/pci0000:80/0000:80:08.0/0000:84:00.1/net/enp132s0f1np1\n</code></pre> <p>Check whether the network card is bound to bond:</p> <p>In this example, the network cards enp132s0f0np0 and enp132s0f1np1 are bound to bond1</p> <pre><code># ip link show enp132s0f0np0 | grep bond\n160: enp132s0f0np0: &lt;BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP&gt; mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000\n# ip link show enp132s0f1np1 | grep bond\n169: enp132s0f1np1: &lt;BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP&gt; mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000\n</code></pre> <p>Remove bond and existing VF:</p> <pre><code>ifenslave -d bond1 enp132s0f0np0\nifenslave -d bond1 enp132s0f1np1\necho 0 &gt; /sys/class/net/enp132s0f0np0/device/sriov_numvfs\necho 0 &gt; /sys/class/net/enp132s0f1np1/device/sriov_numvfs\nip link set enp132s0f0np0 down\nip link set enp132s0f1np1 down\n</code></pre> <p>Steering Mode:</p> <p>OVS-kernel supports two steering modes for rule insertion into hardware:</p> <ul> <li>SMFS (software-managed flow steering): default mode; rules are inserted directly to the hardware by the software (driver). This mode is optimized for rule insertion.</li> <li>DMFS (device-managed flow steering): rule insertion is done using firmware commands. This mode is optimized for throughput with a small amount of rules in the system.</li> </ul> <p>The steering mode can be configured via sysfs or devlink API in kernels that support it:</p> <pre><code># Configure via sysfs\necho &lt;smfs|dmfs&gt; &gt; /sys/class/net/enp132s0f0np0/compat/devlink/steering_mode\necho &lt;smfs|dmfs&gt; &gt; /sys/class/net/enp132s0f1np1/compat/devlink/steering_mode\n# Configure via devlink\ndevlink dev param set pci/84:00.0 name flow_steering_mode value smfs cmode runtime\ndevlink dev param set pci/84:00.1 name flow_steering_mode value smfs cmode runtime\n</code></pre> <p>Note: If you don\u2019t know which mode to choose, you can use the default mode without configuration.</p> <p>Check the number of available VFs:</p> <pre><code># cat /sys/class/net/enp132s0f0np0/device/sriov_totalvfs\n127\n# cat /sys/class/net/enp132s1f0np1/device/sriov_totalvfs\n127\n</code></pre> <p>Create VFs and do not exceeding the number found above:</p> <pre><code># echo '4' &gt; /sys/class/net/enp132s0f0np0/device/sriov_numvfs\n# echo '4' &gt; /sys/class/net/enp132s1f0np1/device/sriov_numvfs\n# ip link show enp132s0f0np0\n160: enp132s0f0np0: &lt;NO-CARRIER,BROADCAST,MULTICAST,UP&gt; mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000\n    link/ether 08:c0:eb:74:c3:4a brd ff:ff:ff:ff:ff:ff\n    vf 0 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 1 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 2 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 3 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n# ip link show enp132s0f1np1\n169: enp132s0f1np1: &lt;NO-CARRIER,BROADCAST,MULTICAST,UP&gt; mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000\n    link/ether 08:c0:eb:74:c3:4b brd ff:ff:ff:ff:ff:ff\n    vf 0 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 1 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 2 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 3 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n# ip link set enp132s0f0np0 up\n# ip link set enp132s0f1np1 up\n</code></pre> <p>Find the device IDs corresponding to the above VFs:</p> <pre><code># lspci -nn | grep ConnectX-5 | grep Virtual\n84:00.2 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.3 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.4 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.5 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.6 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.7 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:01.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:01.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n</code></pre> <p>Unbound the VFs from the driver:</p> <pre><code>echo 0000:84:00.2 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.3 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.4 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.5 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.6 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.7 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:01.0 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:01.1 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\n</code></pre> <p>Enable eSwitch mode and set up hardware offload:</p> <pre><code>devlink dev eswitch set pci/0000:84:00.0 mode switchdev\ndevlink dev eswitch set pci/0000:84:00.1 mode switchdev\nethtool -K enp132s0f0np0 hw-tc-offload on\nethtool -K enp132s0f1np1 hw-tc-offload on\n</code></pre> <p>SR-IOV VF LAG:</p> <p>SR-IOV VF LAG allows the NIC's physical functions (PFs) to get the rules that the OVS tries to offload to the bond net-device, and to offload them to the hardware e-switch.The supported bond modes are as follows:</p> <ul> <li>Active-backup</li> <li>XOR</li> <li>LACP</li> </ul> <p>SR-IOV VF LAG enables complete offload of the LAG functionality to the hardware. The bonding creates a single bonded PF port. Packets from the up-link can arrive from any of the physical ports and are forwarded to the bond device.When hardware offload is used, packets from both ports can be forwarded to any of the VFs. Traffic from the VF can be forwarded to both ports according to the bonding state. This means that when in active-backup mode, only one PF is up, and traffic from any VF goes through this PF. When in XOR or LACP mode, if both PFs are up, traffic from any VF is split between these two PFs.</p> <p>In this example, LACP mode will be used, and the configuration is as follows:</p> <pre><code>modprobe bonding mode=802.3ad\nip link set enp132s0f0np0 master bond1\nip link set enp132s0f1np1 master bond1\nip link set enp132s0f0np0 up\nip link set enp132s0f1np1 up\nip link set bond1 up\n</code></pre> <p>Note: If you do not need to bind bond, please ignore the above operation.</p> <p>Rebind the driver and complete the VF setup:</p> <pre><code>echo 0000:84:00.2 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.3 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.4 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.5 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.6 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.7 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:01.0 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:01.1 &gt; /sys/bus/pci/drivers/mlx5_core/bind\n</code></pre> <p>Some behaviors of <code>NetworkManager</code> may cause driver exceptions, if offloading problems occur we recommended to close <code>NetworkManager</code> and try again.</p> <pre><code>systemctl stop NetworkManager\nsystemctl disable NetworkManager\n</code></pre>"},{"location":"en/advance/offload-mellanox/#configure-device-plugin","title":"Configure Device Plugin","text":"<p>Since each machine has a limited number of VFs and each Pod that uses acceleration will take up VF resources, we need to use the SR-IOV Device Plugin to manage the corresponding resources so that the scheduler knows how to schedule.</p> <p>Create SR-IOV Configmap:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: sriovdp-config\n  namespace: kube-system\ndata:\n  config.json: |\n    {\n      \"resourceList\": [{\n          \"resourcePrefix\": \"mellanox.com\",\n          \"resourceName\": \"cx5_sriov_switchdev\",\n          \"selectors\": {\n                  \"vendors\": [\"15b3\"],\n                  \"devices\": [\"1018\"],\n                  \"drivers\": [\"mlx5_core\"]\n              }\n      }\n      ]\n    }\n</code></pre> <p>This plugin creates device plugin endpoints based on the configurations given in the config map associated with the SR-IOV Network Device Plugin.</p> <ul> <li><code>selectors</code>: VF selectors</li> <li><code>vendors</code>: Target device's vendor Hex code as string</li> <li><code>devices</code>: Target Devices' device Hex code as string</li> <li><code>drivers</code>: Target device driver names as string</li> </ul> <p><code>selectors</code> also supports VF selection based on <code>pciAddresses</code>, <code>acpiIndexes</code> and other parameters. For more detailed configuration, please refer to SR-IOV ConfigMap configuration</p> <p>Please read the SR-IOV device plugin to deploy:</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/sriov-network-device-plugin/v3.6.2/deployments/sriovdp-daemonset.yaml\n</code></pre> <p>Check if SR-IOV resources have been registered to Kubernetes Node:</p> <pre><code>kubectl describe node kube-ovn-01  | grep mellanox\n\nmellanox.com/cx5_sriov_switchdev:  8\nmellanox.com/cx5_sriov_switchdev:  8\nmellanox.com/cx5_sriov_switchdev  0           0\n</code></pre>"},{"location":"en/advance/offload-mellanox/#configure-sr-iov-and-device-plugin-using-sriov-network-operator","title":"Configure SR-IOV and Device Plugin using sriov-network-operator","text":"<p>Install node-feature-discovery to automatically detect hardware functions and system configuration:</p> <pre><code>kubectl apply -k https://github.com/kubernetes-sigs/node-feature-discovery/deployment/overlays/default?ref=v0.11.3\n</code></pre> <p>Or use the following command to manually add annotation to the network card with offload capability:</p> <pre><code>kubectl label nodes [offloadNicNode] feature.node.kubernetes.io/network-sriov.capable=true\n</code></pre> <p>Clone the code repository and install the Operator:</p> <pre><code>git clone --depth=1 https://github.com/kubeovn/sriov-network-operator.git\nkubectl apply -k sriov-network-operator/deploy\n</code></pre> <p>Check if the Operator component is working properly:</p> <pre><code># kubectl get -n kube-system all | grep sriov\nNAME                                          READY   STATUS    RESTARTS   AGE\npod/sriov-network-config-daemon-bf9nt         1/1     Running   0          8s\npod/sriov-network-operator-54d7545f65-296gb   1/1     Running   0          10s\n\nNAME                                         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                                                 AGE\ndaemonset.apps/sriov-network-config-daemon   1         1         1       1            1           beta.kubernetes.io/os=linux,feature.node.kubernetes.io/network-sriov.capable=true   8s\n\nNAME                                     READY   UP-TO-DATE   AVAILABLE   AGE\ndeployment.apps/sriov-network-operator   1/1     1            1           10s\n\nNAME                                                DESIRED   CURRENT   READY   AGE\nreplicaset.apps/sriov-network-operator-54d7545f65   1         1         1       10s\n</code></pre> <p>Check <code>SriovNetworkNodeState</code>, taking the <code>node1</code> node as an example, there are two Mellanox network cards on this node:</p> <pre><code># kubectl get sriovnetworknodestates.sriovnetwork.openshift.io -n kube-system node1 -o yaml\napiVersion: sriovnetwork.openshift.io/v1\nkind: SriovNetworkNodeState\nspec: ...\nstatus:\n  interfaces:\n  - deviceID: \"1017\"\n    driver: mlx5_core\n    mtu: 1500\n    pciAddress: \"0000:5f:00.0\"\n    totalvfs: 8\n    vendor: \"15b3\"\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    name: ens41f0np0\n  - deviceID: \"1017\"\n    driver: mlx5_core\n    mtu: 1500\n    pciAddress: \"0000:5f:00.1\"\n    totalvfs: 8\n    vendor: \"15b3\"\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    name: ens41f1np1\n</code></pre> <p>Create the <code>SriovNetworkNodePolicy</code> resource and select the network card to be managed through <code>nicSelector</code>:</p> <pre><code>apiVersion: sriovnetwork.openshift.io/v1\nkind: SriovNetworkNodePolicy\nmetadata:\n  name: policy\n  namespace: kube-system\nspec:\n  nodeSelector:\n    feature.node.kubernetes.io/network-sriov.capable: \"true\"\n  eSwitchMode: switchdev\n  numVfs: 3\n  nicSelector:\n    pfNames:\n    - ens41f0np0\n    - ens41f1np1\n  resourceName: cx_sriov_switchdev\n</code></pre> <p>Check the <code>status</code> field of <code>SriovNetworkNodeState</code> again:</p> <pre><code># kubectl get sriovnetworknodestates.sriovnetwork.openshift.io -n kube-system node1 -o yaml\n\n...\nspec:\n  interfaces:\n  - eSwitchMode: switchdev\n    name: ens41f0np0\n    numVfs: 3\n    pciAddress: 0000:5f:00.0\n    vfGroups:\n    - policyName: policy\n      vfRange: 0-2\n      resourceName: cx_sriov_switchdev\n  - eSwitchMode: switchdev\n    name: ens41f1np1\n    numVfs: 3\n    pciAddress: 0000:5f:00.1\n    vfGroups:\n    - policyName: policy\n      vfRange: 0-2\n      resourceName: cx_sriov_switchdev\nstatus:\n  interfaces\n  - Vfs:\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.2\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.3\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.4\n      vendor: \"15b3\"\n    deviceID: \"1017\"\n    driver: mlx5_core\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:ab\n    mtu: 1500\n    name: ens41f0np0\n    numVfs: 3\n    pciAddress: 0000:5f:00.0\n    totalvfs: 3\n    vendor: \"15b3\"\n  - Vfs:\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.5\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.6\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.7\n      vendor: \"15b3\"\n    deviceID: \"1017\"\n    driver: mlx5_core\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    mtu: 1500\n    name: ens41f1np1\n    numVfs: 3\n    pciAddress: 0000:5f:00.1\n    totalvfs: 3\n    vendor: \"15b3\"\n</code></pre> <p>Check the status of VF:</p> <pre><code># lspci -nn | grep ConnectX\n5f:00.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n5f:00.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n5f:00.2 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.3 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.4 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.5 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.6 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.7 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n</code></pre> <p>Check PF working mode:</p> <pre><code># cat /sys/class/net/ens41f0np0/compat/devlink/mode\nswitchdev\n</code></pre>"},{"location":"en/advance/offload-mellanox/#install-multus-cni","title":"Install Multus-CNI","text":"<p>The device IDs obtained during SR-IOV Device Plugin scheduling need to be passed to Kube-OVN via Multus-CNI, so Multus-CNI needs to be configured to perform the related tasks.</p> <p>Please read Multus-CNI Document to deploy\uff1a</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/multus-cni/v4.0.2/deployments/multus-daemonset-thick.yml\n</code></pre> <p>Note: multus provides Thin and Thick versions of the plug-in. To support SR-IOV, you need to install the Thick version.</p> <p>Create <code>NetworkAttachmentDefinition</code>\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: sriov\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/resourceName: mellanox.com/cx5_sriov_switchdev\nspec:\n  config: '{\n    \"cniVersion\": \"0.3.1\",\n    \"name\": \"kube-ovn\",\n    \"plugins\":[\n        {\n            \"type\":\"kube-ovn\",\n            \"server_socket\":\"/run/openvswitch/kube-ovn-daemon.sock\",\n            \"provider\": \"sriov.default.ovn\"\n        },\n        {\n            \"type\":\"portmap\",\n            \"capabilities\":{\n                \"portMappings\":true\n            }\n        }\n    ]\n}'\n</code></pre> <ul> <li><code>provider</code>: the format should be {name}.{namespace}.ovn of related <code>NetworkAttachmentDefinition</code>.</li> </ul>"},{"location":"en/advance/offload-mellanox/#overlay-offload","title":"Overlay offload","text":""},{"location":"en/advance/offload-mellanox/#enable-offload-in-kube-ovn","title":"Enable Offload in Kube-OVN","text":"<p>Download the scripts:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>Change the related options\uff0c<code>IFACE</code> should be the physic NIC and has an IP:</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"bond1\"\n# Take manual configuration of the network card in SR-IOV and Device Plugin as an example. If bond is bound, set IFACE to bond1. If bond is not bound, set IFACE to enp132s0f0np0 or enp132s0f1np1.\n</code></pre> <p>Install Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"en/advance/offload-mellanox/#create-pods-with-vf-nics","title":"Create Pods with VF NICs","text":"<p>Pods that use VF for network offload acceleration can be created using the following yaml:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-overlay\n  annotations:\n    v1.multus-cni.io/default-network: default/sriov\n    sriov.default.ovn.kubernetes.io/logical_switch: ovn-default\nspec:\n  containers:\n  - name: nginx-overlay\n    image: docker.io/library/nginx:alpine\n    resources:\n      requests:\n        mellanox.com/cx5_sriov_switchdev: '1'\n      limits:\n        mellanox.com/cx5_sriov_switchdev: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: is the {namespace}/{name} of <code>NetworkAttachmentDefinition</code> in the previous step.</li> <li><code>sriov.default.ovn.kubernetes.io/logical_switch</code>: Specify the Subnet to which the Pod belongs. If you want the subnet to which the Pod belongs to be the default subnet, this line annotation can be omitted.</li> </ul>"},{"location":"en/advance/offload-mellanox/#underlay-offload","title":"Underlay offload","text":""},{"location":"en/advance/offload-mellanox/#enable-offload-in-kube-ovn_1","title":"Enable Offload in Kube-OVN","text":"<p>Download the scripts:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>Change the related options\uff0c<code>IFACE</code> should be the physic NIC and has an IP:</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"\"\n# If Underlay uninstallation is required, IFACE needs to be set to other non-PF network cards. (When IFACE is empty, the K8s cluster communication network card will be used by default. Note that this network card cannot be a PF network card)\n</code></pre> <p>Install Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"en/advance/offload-mellanox/#create-pods-with-vf-nics_1","title":"Create Pods with VF NICs","text":"<p>Pods that use VF for network offload acceleration can be created using the following yaml:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: underlay-offload\nspec:\n  defaultInterface: bond1\n\n---\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan0\nspec:\n  id: 0\n  provider: underlay-offload\n\n---\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vlan0\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 10.10.204.0/24\n  gateway: 10.10.204.254\n  vlan: vlan0\n  excludeIps:\n  - 10.10.204.1..10.10.204.100\n\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-underlay\n  annotations:\n    k8s.v1.cni.cncf.io/networks: '[{\n      \"name\": \"sriov\",\n      \"namespace\": \"default\",\n      \"default-route\": [\"10.10.204.254\"]\n    }]'\n    sriov.default.ovn.kubernetes.io/logical_switch: vlan0\nspec:\n  containers:\n  - name: nginx-underlay\n    image: docker.io/library/nginx:alpine\n    resources:\n      requests:\n        mellanox.com/cx5_sriov_switchdev: '1'\n      limits:\n        mellanox.com/cx5_sriov_switchdev: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: is the {namespace}/{name} of <code>NetworkAttachmentDefinition</code> in the previous step.</li> </ul> <p>Note: In the above example, multus is used to create a Pod using VF as the secondary network card, and VF is used as the default route of the Pod. You can also use VF as the main network card of the Pod. For more details on multus configuration, see Multiple Network Card Management.</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-underlay-noVF\n  annotations:\n    ovn.kubernetes.io/logical_switch: vlan0\nspec:\n  containers:\n  - name: nginx-underlay-noVF\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>The above example will create a Pod that does not use VF for network offload acceleration, and its flow table will still be delivered to ovs-kernel but not to e-switch.</p>"},{"location":"en/advance/offload-mellanox/#offload-verification","title":"offload verification","text":"<p>Running the following command in the <code>ovs-ovn</code> container of the Pod run node to observe if offload success.</p> <pre><code># ovs-appctl dpctl/dump-flows -m type=offloaded\nufid:91cc45de-e7e9-4935-8f82-1890430b0f66, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(5b45c61b307e_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:c5:6d:4e,dst=00:00:00:e7:16:ce),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:941539, bytes:62142230, used:0.260s, offloaded:yes, dp:tc, actions:54235e5753b8_h\nufid:e00768d7-e652-4d79-8182-3291d852b791, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(54235e5753b8_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:e7:16:ce,dst=00:00:00:c5:6d:4e),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:82386659, bytes:115944854173, used:0.260s, offloaded:yes, dp:tc, actions:5b45c61b307e_h\n</code></pre> <p>If there is <code>offloaded:yes, dp:tc</code> content, the offloading is successful.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/overlay-with-route/","title":"Interconnection with Routes in Overlay Mode","text":"<p>In some scenarios, the network environment does not support Underlay mode, but still need Pods and external devices directly access through IP, then you can use the routing method to connect the container network and the external.</p> <p>Only Overlay Subnets in default VPC support this method. In this case, the Pod IP goes directly to the underlying network, which needs to disable IP checks for source and destination addresses.</p>"},{"location":"en/advance/overlay-with-route/#prerequisites","title":"Prerequisites","text":"<ul> <li>In this mode, the host needs to open the <code>ip_forward</code>.</li> <li>Check if there is a <code>Drop</code> rule in the forward chain in the host iptables that should be modified for container-related traffic.</li> <li>Due to the possibility of asymmetric routing, the host needs to allow packets with a ct status of <code>INVALID</code>.</li> </ul>"},{"location":"en/advance/overlay-with-route/#steps","title":"Steps","text":"<p>For subnets that require direct external routing, you need to set <code>natOutgoing</code> of the subnet to <code>false</code> to turn off nat mapping and make the Pod IP directly accessible to the external network.</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: routed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: distributed\n  natOutgoing: false\n</code></pre> <p>At this point, the Pod's packets can reach the peer node via the host route, but the peer node does not yet know where the return packets should be sent to and needs to add a return route.</p> <p>If the peer host and the container host are on the same Layer 2 network, we can add a static route directly to the peer host to point the next hop of the container network to any machine in the Kubernetes cluster.</p> <pre><code>ip route add 10.166.0.0/16 via 192.168.2.10 dev eth0\n</code></pre> <p><code>10.166.0.0/16</code> is the container subnet CIDR, and <code>192.168.2.10</code> is one node in the Kubernetes cluster.</p> <p>If the peer host and the container host are not in the same layer 2 network, you need to configure the corresponding rules on the router.</p> <p>Note: Specifying an IP for a single node may lead to single point of failure. To achieve fast failover, Keepalived can be used to set up a VIP for multiple nodes, and the next hop of the route can be directed to the VIP.</p> <p>In some virtualized environments, the virtual network identifies asymmetric traffic as illegal traffic and drops it. In this case, you need to adjust the <code>gatewayType</code> of the Subnet to <code>centralized</code> and set the next hop to the IP of the <code>gatewayNode</code> node during route setup.</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: routed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: centralized\n  gatewayNode: \"node1\"\n  natOutgoing: false\n</code></pre> <p>If you still want to perform NAT processing for some traffic, such as traffic accessing the Internet, please refer to the Default VPC NAT Policy Rule.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/ovn-eip-fip-snat/","title":"Support OVN EIP,FIP and SNAT","text":"<pre><code>\ngraph LR\n\npod--&gt;subnet--&gt;vpc--&gt;lrp--bind--&gt;gw-chassis--&gt;snat--&gt;lsp--&gt;external-subnet\nlrp-.-peer-.-lsp\n</code></pre> <p>The pod access the public network based on the snat</p> <p>Pod uses a centralized gateway based on Fip, and the path is similar.</p> <pre><code>\ngraph LR\n\n\npod--&gt;subnet--&gt;vpc--&gt;lrp--bind--&gt;local-chassis--&gt;snat--&gt;lsp--&gt;external-subnet\n\n\nlrp-.-peer-.-lsp\n</code></pre> <p>Pod is based on the general flow of distributed gateway FIP (dnat_and_snat) to exit the public network. Finally, POD can exit the public network based on the public network NIC of the local node.</p> <p>The CRD supported by this function is basically the same as the iptable nat gw public network solution.</p> <ul> <li>ovn eip: occupies a public ip address and is allocated from the underlay provider network vlan subnet</li> <li>ovn fip: one-to-one dnat snat, which provides direct public network access for ip addresses and vip in a vpc</li> <li>ovn snat: a subnet cidr or a single vpc ip or vip can access public networks based on snat</li> <li>ovn dnat: based router lb, which enables direct access to a group of endpoints in a vpc based on a public endpoint</li> </ul>"},{"location":"en/advance/ovn-eip-fip-snat/#1-deployment","title":"1. Deployment","text":"<p>Currently allows all vpcs to share the same default provider vlan subnet resources, custom vpcs support extending provider vlan subnet to enable the use of multiple public networks. similar to neutron ovn mode. Compatible with previous scenarios default VPC EIP/SNAT.</p> <p>During the deployment phase, you may need to specify a default public network logical switch based on actual conditions. If no vlan is in use (vlan 0 is used), the following startup parameters do not need to be configured.</p> <pre><code># When deploying you need to refer to the above scenario and specify the following parameters as needed according to the actual situation\n# 1. kube-ovn-controller Startup parameters to be configured\uff1a\n          - --external-gateway-vlanid=204\n          - --external-gateway-switch=external204\n\n# 2. kube-ovn-cni Startup parameters to be configured:\n          - --external-gateway-switch=external204 \n\n# The above configuration is consistent with the following public network configuration vlan id and resource name, \n# currently only support to specify one underlay public network as the default external public network.\n</code></pre> <p>The design and use of this configuration item takes into account the following factors\uff1a</p> <ul> <li>Based on this configuration item can be docked to the provider network, vlan, subnet resources.</li> <li>Based on this configuration item, the default vpc enable_eip_snat function can be docked to the existing vlan, subnet resources, while supporting the ipam</li> <li>If only the default vpc's enable_eip_snat mode is used with the old pod annotaion based eip fip snat, then the following configuration is not required.</li> <li>Based on this configuration you can not use the default vpc enable_eip_snat process, only by corresponding to vlan, subnet process, can be compatible with only custom vpc use eip snat usage scenarios.</li> </ul> <p>The neutron ovn mode also has a certain static file configuration designation that is, for now, generally consistent.</p>"},{"location":"en/advance/ovn-eip-fip-snat/#11-create-the-underlay-public-network","title":"1.1 Create the underlay public network","text":"<pre><code># provider-network\uff0c vlan\uff0c subnet\n# cat 01-provider-network.yaml\n\napiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: external204\nspec:\n  defaultInterface: vlan\n\n# cat 02-vlan.yaml\n\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan204\nspec:\n  id: 204\n  provider: external204\n\n# cat 03-vlan-subnet.yaml\n\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: external204\nspec:\n  protocol: IPv4\n  cidrBlock: 10.5.204.0/24\n  gateway: 10.5.204.254\n  vlan: vlan204\n  excludeIps:\n  - 10.5.204.1..10.5.204.100\n</code></pre>"},{"location":"en/advance/ovn-eip-fip-snat/#12-default-vpc-enable-eip_snat","title":"1.2 Default vpc enable eip_snat","text":"<pre><code># Enable the default vpc and the above underlay public provider subnet interconnection\n\ncat 00-centralized-external-gw-no-ip.yaml\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-external-gw-config\n  namespace: kube-system\ndata:\n  enable-external-gw: \"true\"\n  external-gw-nodes: \"pc-node-1,pc-node-2,pc-node-3\" \n  type: \"centralized\"  \n  external-gw-nic: \"vlan\"\n  external-gw-addr: \"10.5.204.254/24\"\n</code></pre> <p>This feature currently supports the ability to create lrp type ovn eip resources without specifying the lrp ip and mac, which is already supported for automatic acquisition. If specified, it is equivalent to specifying the ip to create an ovn-eip of type lrp. Of course, you can also manually create the lrp type ovn eip in advance.</p>"},{"location":"en/advance/ovn-eip-fip-snat/#13-custom-vpc-enable-eip-snat-fip-function","title":"1.3 Custom vpc enable eip snat fip function","text":"<p>Clusters generally require multiple gateway nodes to achieve high availability. The configuration is as follows:</p> <pre><code># First specify external-gw-nodes by adding label\nkubectl label nodes pc-node-1 pc-node-2 pc-node-3 ovn.kubernetes.io/external-gw=true\n</code></pre> <pre><code># cat 00-ns.yml\n\napiVersion: v1\nkind: Namespace\nmetadata:\n  name: vpc1\n\n# cat 01-vpc-ecmp-enable-external-bfd.yml\n\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true\n# vpc enableExternal will automatically create an lrp association to the public network specified above\n\n# cat 02-subnet.yml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vpc1-subnet1\nspec:\n  cidrBlock: 192.168.0.0/24\n  default: false\n  disableGatewayCheck: false\n  disableInterConnection: true\n  enableEcmp: true\n  gatewayNode: \"\"\n  gatewayType: distributed\n  #gatewayType: centralized\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n  provider: ovn\n  vpc: vpc1\n  namespaces:\n  - vpc1\n</code></pre> <p>After the above template is applied, you should see the following resources exist</p> <pre><code># k ko nbctl show vpc1\n\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 21d853b0-f7b4-40bd-9a53-31d2e2745739\n        external ip: \"10.5.204.115\"\n        logical ip: \"192.168.0.0/24\"\n        type: \"snat\"\n</code></pre> <pre><code># k ko nbctl lr-route-list vpc1\n\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0              10.5.204.254 dst-ip\n# The route currently supports automatic maintenance\n</code></pre>"},{"location":"en/advance/ovn-eip-fip-snat/#14-use-additional-public-network","title":"1.4 Use additional public network","text":""},{"location":"en/advance/ovn-eip-fip-snat/#141-create-additional-underlay-public-network","title":"1.4.1 Create additional underlay public network","text":"<p>Additional public network functions will be enabled after the default eip snat fip function is enabled. If there is only 1 public network card, please use the default eip snat fip function.</p> <pre><code># provider-network, vlan, subnet\n# cat 01-extra-provider-network.yaml\napiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: extra\nspec:\n  defaultInterface: vlan\n# cat 02-extra-vlan.yaml\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan0\nspec:\n  id: 0\n  provider: extra\n# cat 03-extra-vlan-subnet.yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: extra\nspec:\n  protocol: IPv4\n  cidrBlock: 10.10.204.0/24\n  gateway: 10.10.204.254\n  vlan: vlan0\n  excludeIps:\n  - 10.10.204.1..10.10.204.100\n</code></pre>"},{"location":"en/advance/ovn-eip-fip-snat/#142-custom-vpc-configuration","title":"1.4.2 Custom vpc configuration","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vpc\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true  # vpc enableExternal will automatically create an lrp association to the public network specified above\n  addExternalSubnets: # configure addExternalSubnets to support connecting multiple additional public networks\n  - extra\n</code></pre> <p>After the above template is applied, you should see the following resources exist</p> <pre><code># k ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    port vpc1-extra\n        mac: \"00:00:00:EF:6A:C7\"\n        networks: [\"10.10.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n</code></pre>"},{"location":"en/advance/ovn-eip-fip-snat/#2-ovn-eip","title":"2. ovn-eip","text":"<p>This function is designed and used in the same way as iptables-eip, ovn-eip currently has three types</p> <ul> <li>nat: indicates ovn dnat, fip, and snat.</li> <li>lrp: indicates the resource used to connect a vpc to the public network</li> <li>lsp: In the ovn BFD-based ecmp static route scenario, an ovs internal port is provided on the gateway node as the next hop of the ecmp route</li> </ul> <pre><code>---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: external204\n  type: nat\n\n# Dynamically allocate an eip resource that is reserved for fip dnat_and_snat scenarios\n</code></pre> <p>The externalSubnet field does not need to be configured. If not configured, the default public network will be used. In the above configuration, the default public network is external204.</p> <p>If you want to use an additional public network, you need to explicitly specify the public network to be extended through externalSubnet. In the above configuration, the extended public network is extra.</p>"},{"location":"en/advance/ovn-eip-fip-snat/#21-create-an-fip-for-pod","title":"2.1 Create an fip for pod","text":"<pre><code># k get po -o wide -n vpc1 vpc-1-busybox01\nNAME              READY   STATUS    RESTARTS   AGE     IP            NODE\nvpc-1-busybox01   1/1     Running   0          3d15h   192.168.0.2   pc-node-2\n\n# k get ip vpc-1-busybox01.vpc1\nNAME                   V4IP          V6IP   MAC                 NODE        SUBNET\nvpc-1-busybox01.vpc1   192.168.0.2          00:00:00:0A:DD:27   pc-node-2   vpc1-subnet1\n\n---\n\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  ovnEip: eip-static\n  ipName: vpc-1-busybox01.vpc1  # the name of the ip crd, which is unique\n\n--\n# Alternatively, you can specify a vpc or Intranet ip address\n\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  ovnEip: eip-static\n  vpc: vpc1\n  v4Ip: 192.168.0.2\n</code></pre> <pre><code># k get ofip\nNAME          VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-for-vip   vpc1   10.5.204.106   192.168.0.3   true    vip      test-fip-vip\neip-static    vpc1   10.5.204.101   192.168.0.2   true             vpc-1-busybox01.vpc1\n# k get ofip eip-static\nNAME         VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-static   vpc1   10.5.204.101   192.168.0.2   true             vpc-1-busybox01.vpc1\n\n[root@pc-node-1 03-cust-vpc]# ping 10.5.204.101\nPING 10.5.204.101 (10.5.204.101) 56(84) bytes of data.\n64 bytes from 10.5.204.101: icmp_seq=2 ttl=62 time=1.21 ms\n64 bytes from 10.5.204.101: icmp_seq=3 ttl=62 time=0.624 ms\n64 bytes from 10.5.204.101: icmp_seq=4 ttl=62 time=0.368 ms\n^C\n--- 10.5.204.101 ping statistics ---\n4 packets transmitted, 3 received, 25% packet loss, time 3049ms\nrtt min/avg/max/mdev = 0.368/0.734/1.210/0.352 ms\n[root@pc-node-1 03-cust-vpc]#\n\n# pod &lt;--&gt; node ping is working\n</code></pre> <pre><code># The key resources that this public ip can pass include the following ovn nb resources\n\n# k ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 813523e7-c68c-408f-bd8c-cba30cb2e4f4\n        external ip: \"10.5.204.101\"\n        logical ip: \"192.168.0.2\"\n        type: \"dnat_and_snat\"\n</code></pre>"},{"location":"en/advance/ovn-eip-fip-snat/#22-create-an-fip-for-vip","title":"2.2 Create an fip for vip","text":"<p>In order to facilitate the use of some vip scenarios, such as inside kubevirt VM, keepalived use vip, kube-vip use vip, etc. the vip need public network access.</p> <pre><code># First create vip, eip, then bind eip to vip\n# cat vip.yaml\n\napiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: test-fip-vip\nspec:\n  subnet: vpc1-subnet1\n\n# cat 04-fip.yaml\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  ovnEip: eip-for-vip\n  ipType: vip         # By default fip is for pod ip, here you need to specify the docking to vip resources\n  ipName: test-fip-vip\n\n---\n# Alternatively, you can specify a vpc or Intranet ip address\n\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  ovnEip: eip-for-vip\n  ipType: vip         # By default fip is for pod ip, here you need to specify the docking to vip resources\n  vpc: vpc1\n  v4Ip: 192.168.0.3\n</code></pre> <pre><code># k get ofip\nNAME          VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-for-vip   vpc1   10.5.204.106   192.168.0.3   true    vip      test-fip-vip\n\n\n[root@pc-node-1 fip-vip]# ping  10.5.204.106\nPING 10.5.204.106 (10.5.204.106) 56(84) bytes of data.\n64 bytes from 10.5.204.106: icmp_seq=1 ttl=62 time=0.694 ms\n64 bytes from 10.5.204.106: icmp_seq=2 ttl=62 time=0.436 ms\n\n# node &lt;--&gt; pod fip is working\n\n# The way ip is used inside the pod is roughly as follows\n\n[root@pc-node-1 fip-vip]# k -n vpc1 exec -it vpc-1-busybox03 -- bash\n[root@vpc-1-busybox03 /]#\n[root@vpc-1-busybox03 /]#\n[root@vpc-1-busybox03 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1568: eth0@if1569: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:56:40:e5 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.5/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet 192.168.0.3/24 scope global secondary eth0  # vip here\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe56:40e5/64 scope link\n       valid_lft forever preferred_lft forever\n\n[root@vpc-1-busybox03 /]# tcpdump -i eth0 host  192.168.0.3 -netvv\ntcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes\n00:00:00:ed:8e:c7 &gt; 00:00:00:56:40:e5, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 62, id 44830, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.32.51 &gt; 192.168.0.3: ICMP echo request, id 177, seq 1, length 64\n00:00:00:56:40:e5 &gt; 00:00:00:ed:8e:c7, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 64, id 43962, offset 0, flags [none], proto ICMP (1), length 84)\n    192.168.0.3 &gt; 10.5.32.51: ICMP echo reply, id 177, seq 1, length 64\n\n# pod internal can catch fip related icmp packets\n</code></pre>"},{"location":"en/advance/ovn-eip-fip-snat/#31-ovn-snat-corresponds-to-the-cidr-of-a-subnet","title":"3.1 ovn-snat corresponds to the CIDR of a subnet","text":"<p>This feature is designed and used in much the same way as iptables-snat</p> <pre><code># cat 03-subnet-snat.yaml\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpcSubnet: vpc1-subnet1 # eip corresponds to the entire network segment\n\n---\n# Alternatively, you can specify a vpc and subnet cidr on an Intranet\n\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpc: vpc1\n  v4IpCidr: 192.168.0.0/24 # vpc subnet cidr or ip address\n</code></pre> <p>If you want to use an additional public network, you need to explicitly specify the public network to be extended through externalSubnet. In the above configuration, the extended public network is extra.</p>"},{"location":"en/advance/ovn-eip-fip-snat/#32-ovn-snat-corresponds-to-a-pod-ip","title":"3.2 ovn-snat corresponds to a pod IP","text":"<p>This feature is designed and used in much the same way as iptables-snat</p> <pre><code># cat 03-pod-snat.yaml\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-pod-vpc-ip\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat01\nspec:\n  ovnEip: snat-for-pod-vpc-ip\n  ipName: vpc-1-busybox02.vpc1 # eip corresponds to a single pod ip\n\n---\n# Alternatively, you can specify a vpc or Intranet ip address\n\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpc: vpc1\n  v4IpCidr: 192.168.0.4\n</code></pre> <p>If you want to use an additional public network, you need to explicitly specify the public network to be extended through externalSubnet. In the above configuration, the extended public network is extra.</p> <p>After the above resources are created, you can see the following resources that the snat public network feature depends on.</p> <pre><code># kubectl ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 21d853b0-f7b4-40bd-9a53-31d2e2745739\n        external ip: \"10.5.204.115\"\n        logical ip: \"192.168.0.0/24\"\n        type: \"snat\"\n    nat da77a11f-c523-439c-b1d1-72c664196a0f\n        external ip: \"10.5.204.116\"\n        logical ip: \"192.168.0.4\"\n        type: \"snat\"\n</code></pre> <pre><code>[root@pc-node-1 03-cust-vpc]# k get po -A -o wide  | grep busy\nvpc1            vpc-1-busybox01                                 1/1     Running   0                3d15h   192.168.0.2   pc-node-2   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox02                                 1/1     Running   0                17h     192.168.0.4   pc-node-1   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox03                                 1/1     Running   0                17h     192.168.0.5   pc-node-1   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox04                                 1/1     Running   0                17h     192.168.0.6   pc-node-3   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox05                                 1/1     Running   0                17h     192.168.0.7   pc-node-1   &lt;none&gt;           &lt;none&gt;\n\n# k exec -it -n vpc1            vpc-1-busybox04   bash\nkubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.\n[root@vpc-1-busybox04 /]#\n[root@vpc-1-busybox04 /]#\n[root@vpc-1-busybox04 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n17095: eth0@if17096: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:76:94:55 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.6/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe76:9455/64 scope link\n       valid_lft forever preferred_lft forever\n[root@vpc-1-busybox04 /]# ping 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=1 ttl=114 time=22.2 ms\n64 bytes from 223.5.5.5: icmp_seq=2 ttl=114 time=21.8 ms\n\n[root@pc-node-1 03-cust-vpc]# k exec -it -n vpc1            vpc-1-busybox02   bash\nkubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1566: eth0@if1567: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:0b:e9:d0 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.4/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe0b:e9d0/64 scope link\n       valid_lft forever preferred_lft forever\n[root@vpc-1-busybox02 /]# ping 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=2 ttl=114 time=22.7 ms\n64 bytes from 223.5.5.5: icmp_seq=3 ttl=114 time=22.6 ms\n64 bytes from 223.5.5.5: icmp_seq=4 ttl=114 time=22.1 ms\n^C\n--- 223.5.5.5 ping statistics ---\n4 packets transmitted, 3 received, 25% packet loss, time 3064ms\nrtt min/avg/max/mdev = 22.126/22.518/22.741/0.278 ms\n\n# the two pods can access the external network based on these two type snat resources respectively\n</code></pre>"},{"location":"en/advance/ovn-eip-fip-snat/#41-ovn-dnat-binds-a-dnat-to-a-pod","title":"4.1 ovn-dnat binds a DNAT to a pod","text":"<pre><code>kind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: underlay\n  type: nat\n---\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ovnEip: eip-dnat\n  ipName: vpc-1-busybox01.vpc1 # Note that this is the name of the pod IP CRD and it is unique\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n\n---\n# Alternatively, you can specify a vpc or Intranet ip address\n\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ovnEip: eip-dnat\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n  vpc: vpc1\n  v4Ip: 192.168.0.3\n</code></pre> <p>If you want to use an additional public network, you need to explicitly specify the public network to be extended through externalSubnet. In the above configuration, the extended public network is extra.</p> <p>The configuration of OvnDnatRule is similar to that of IptablesDnatRule.</p> <pre><code># kubectl get oeip eip-dnat\nNAME       V4IP        V6IP   MAC                 TYPE   READY\neip-dnat   10.5.49.4          00:00:00:4D:CE:49   dnat   true\n\n# kubectl get odnat\nNAME                   EIP                    PROTOCOL   V4EIP        V4IP           INTERNALPORT   EXTERNALPORT   IPNAME                                READY\neip-dnat               eip-dnat               tcp        10.5.49.4    192.168.0.3    22             22             vpc-1-busybox01.vpc1                  true\n</code></pre>"},{"location":"en/advance/ovn-eip-fip-snat/#42-ovn-dnat-binds-a-dnat-to-a-vip","title":"4.2 ovn-dnat binds a DNAT to a VIP","text":"<pre><code>kind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ipType: vip  # By default, Dnat is oriented towards pod IPs. Here, it is necessary to specify that it is connected to VIP resources\n  ovnEip: eip-dnat\n  ipName: test-dnat-vip\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n\n\n---\n# Alternatively, you can specify a vpc or Intranet ip address\n\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ipType: vip  # By default, Dnat is oriented towards pod IPs. Here, it is necessary to specify that it is connected to VIP resources\n  ovnEip: eip-dnat\n  ipName: test-dnat-vip\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n  vpc: vpc1\n  v4Ip: 192.168.0.4\n</code></pre> <p>The configuration of OvnDnatRule is similar to that of IptablesDnatRule.</p> <pre><code># kubectl get vip test-dnat-vip\nNAME            V4IP          PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET         READY\ntest-dnat-vip   192.168.0.4           00:00:00:D0:C0:B5                         vpc1-subnet1   true\n\n# kubectl get oeip eip-dnat\nNAME       V4IP        V6IP   MAC                 TYPE   READY\neip-dnat   10.5.49.4          00:00:00:4D:CE:49   dnat   true\n\n# kubectl get odnat eip-dnat \nNAME       EIP        PROTOCOL   V4EIP       V4IP          INTERNALPORT   EXTERNALPORT   IPNAME          READY\neip-dnat   eip-dnat   tcp        10.5.49.4   192.168.0.4   22             22             test-dnat-vip   true\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/ovn-ipsec/","title":"Encrypt inter-node communication using IPsec","text":"<p>This function is supported after v1.10.11 and v1.11.4, the kernel version is at least 3.10.0 or above, and UDP ports 500 and 4500 are available.</p>"},{"location":"en/advance/ovn-ipsec/#start-ipsec","title":"Start IPsec","text":"<p>Copy the script from the Kube-OVN source code ipsec.sh, execute the command as follows, the script will call ovs-pki to generate and distribute the certificate required for encryption:</p> <pre><code>bash ipsec.sh init\n</code></pre> <p>After the execution is completed, the nodes will negotiate for a period of time to establish an IPsec tunnel. The experience value is between ten seconds and one minute.You can check the IPsec status with the following command:</p> <pre><code># bash ipsec.sh status\n Pod {ovs-ovn-d7hdt} ipsec status...\nInterface name: ovn-a4718e-0 v1 (CONFIGURED)\n  Tunnel Type:    geneve\n  Local IP:       172.18.0.2\n  Remote IP:      172.18.0.4\n  Address Family: IPv4\n  SKB mark:       None\n  Local cert:     /etc/ipsec.d/certs/8aebd9df-46ef-47b9-85e3-73e9a765296d-cert.pem\n  Local name:     8aebd9df-46ef-47b9-85e3-73e9a765296d\n  Local key:      /etc/ipsec.d/private/8aebd9df-46ef-47b9-85e3-73e9a765296d-privkey.pem\n  Remote cert:    None\n  Remote name:    a4718e55-5b85-4f46-90e6-63527d080590\n  CA cert:        /etc/ipsec.d/cacerts/cacert.pem\n  PSK:            None\n  Custom Options: {}\n  Ofport:         2\n  CFM state:      Disabled\nKernel policies installed:\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\nKernel security associations installed:\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\nIPsec connections that are active:\n\n Pod {ovs-ovn-fvbbj} ipsec status...\nInterface name: ovn-8aebd9-0 v1 (CONFIGURED)\n  Tunnel Type:    geneve\n  Local IP:       172.18.0.4\n  Remote IP:      172.18.0.2\n  Address Family: IPv4\n  SKB mark:       None\n  Local cert:     /etc/ipsec.d/certs/a4718e55-5b85-4f46-90e6-63527d080590-cert.pem\n  Local name:     a4718e55-5b85-4f46-90e6-63527d080590\n  Local key:      /etc/ipsec.d/private/a4718e55-5b85-4f46-90e6-63527d080590-privkey.pem\n  Remote cert:    None\n  Remote name:    8aebd9df-46ef-47b9-85e3-73e9a765296d\n  CA cert:        /etc/ipsec.d/cacerts/cacert.pem\n  PSK:            None\n  Custom Options: {}\n  Ofport:         1\n  CFM state:      Disabled\nKernel policies installed:\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\nKernel security associations installed:\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\nIPsec connections that are active:\n</code></pre> <p>After the establishment is complete, you can capture packets and observe that the packets have been encrypted:</p> <pre><code># tcpdump -i eth0 -nel esp\n10:01:40.349896 IP kube-ovn-worker &gt; kube-ovn-control-plane.kind: ESP(spi=0xcc91322a,seq=0x13d0), length 156\n10:01:40.350015 IP kube-ovn-control-plane.kind &gt; kube-ovn-worker: ESP(spi=0xc8df4221,seq=0x1d37), length 156\n</code></pre> <p>After executing the script, you can turn off IPsec by executing the command:</p> <pre><code># bash ipsec.sh stop\n</code></pre> <p>Or execute the command to open it again:</p> <pre><code># bash ipsec.sh start\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/ovn-l3-ha-based-ecmp-with-bfd/","title":"Support OVN SNAT L3 HA Based ECMP and BFD Static Route","text":"<p>Custom vpc based on ovn snat after ecmp based static route hash to multiple gw node ovnext0 NICs out of the public network</p> <ul> <li>Supports bfd-based high availability</li> <li>Only supports hash load balancing</li> </ul> <pre><code>graph LR\n\npod--&gt;vpc-subnet--&gt;vpc--&gt;snat--&gt;ecmp--&gt;external-subnet--&gt;gw-node1-ovnext0--&gt; node1-external-switch\nexternal-subnet--&gt;gw-node2-ovnext0--&gt; node2-external-switch\nexternal-subnet--&gt;gw-node3-ovnext0--&gt; node3-external-switch</code></pre> <p>This functions basically the same as ovn-eip-fip-snat.md .</p> <p>As for the different parts, which will be specified in the following sections, mainly including the creation of ovn-eip of lsp type and the automatic maintenance of bfd as well as ecmp static routes based on vpc enable_bfd.</p>"},{"location":"en/advance/ovn-l3-ha-based-ecmp-with-bfd/#1-deployment","title":"1. Deployment","text":""},{"location":"en/advance/ovn-l3-ha-based-ecmp-with-bfd/#11-create-the-underlay-public-network","title":"1.1 Create the underlay public network","text":""},{"location":"en/advance/ovn-l3-ha-based-ecmp-with-bfd/#12-default-vpc-enable-eip_snat","title":"1.2 Default vpc enable eip_snat","text":""},{"location":"en/advance/ovn-l3-ha-based-ecmp-with-bfd/#13-custom-vpc-enable-eip-snat-fip-function","title":"1.3 Custom vpc enable eip snat fip function","text":"<p>The above section is exactly the same with ovn-eip-fip-snat.md.</p> <p>After these functions are verified, the vpc can be switched directly to the ecmp-based bfd static route based on the following way, or of course, switched directly back.</p> <p>Before customizing vpc to use this feature, you need to provide some gateway nodes, at least 2. Note that the name of the current implementation of ovn-eip must be consistent with the gateway node name, no automated maintenance is currently done for this resource.</p> <pre><code># cat gw-node-eip.yaml\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-1\nspec:\n  externalSubnet: external204\n  type: lsp\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-2\nspec:\n  externalSubnet: external204\n  type: lsp\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-3\nspec:\n  externalSubnet: external204\n  type: lsp\n</code></pre> <p>Since this scenario is currently designed for vpc ecmp out of the public network, the gateway node above will not trigger the creation of a gateway NIC when there is no vpc enabled bfd, i.e. when there is no ovn eip (lrp) with enable bfd labeled, and will not be able to successfully start listening to the bfd session on the other side.</p>"},{"location":"en/advance/ovn-l3-ha-based-ecmp-with-bfd/#2-custom-vpc-enable-ecmp-bfd-l3-ha-public-network-function","title":"2. Custom vpc enable ecmp bfd L3 HA public network function","text":"<pre><code># cat 01-vpc-ecmp-enable-external-bfd.yml\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true\n  enableBfd: true # bfd switch can be switched at will\n  #enableBfd: false \n\n\n# cat 02-subnet.yml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vpc1-subnet1\nspec:\n  cidrBlock: 192.168.0.0/24\n  default: false\n  disableGatewayCheck: false\n  disableInterConnection: true\n  enableEcmp: true  # enable ecmp\n  gatewayNode: \"\"\n  gatewayType: distributed\n  #gatewayType: centralized\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n  provider: ovn\n  vpc: vpc1\n  namespaces:\n  - vpc1\n</code></pre> <p>note:</p> <ol> <li>Customize ecmp under vpc to use only static ecmp bfd routes. vpc enableBfd and subnet enableEcmp will only take effect if they are enabled at the same time, before static ecmp bfd routes are automatically managed.</li> <li>If the above configuration is turned off, it will automatically switch back to the regular default static route.</li> <li>This feature is not available for the default vpc, only custom vpc is supported, the default vpc has more complex policy routing.</li> <li>The enableEcmp of the subnet of the custom vpc uses only static routes, the gateway type gatewayType has no effect.</li> <li>When EnableExternal is turned off in vpc, the external network cannot be passed inside vpc.</li> <li>When EnableExternal is enabled on vpc, when EnableBfd is turned off, it will be based on the normal default route to the external network and will not have high availability.</li> </ol> <pre><code># After the above template is applied the ovn logic layer should see the following resources\n# k get vpc\nNAME          ENABLEEXTERNAL   ENABLEBFD   STANDBY   SUBNETS                                NAMESPACES\novn-cluster   true                         true      [\"external204\",\"join\",\"ovn-default\"]\nvpc1          true             true        true      [\"vpc1-subnet1\"]                       [\"vpc1\"]\n\n# Default vpc does not support ENABLEBFD\n# Custom vpc is supported and enabled\n\n# 1. bfd table created\n# k ko nbctl list bfd\n_uuid               : be7df545-2c4c-4751-878f-b3507987f050\ndetect_mult         : 3\ndst_ip              : \"10.5.204.121\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n_uuid               : 684c4489-5b59-4693-8d8c-3beab93f8093\ndetect_mult         : 3\ndst_ip              : \"10.5.204.109\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n_uuid               : f0f62077-2ae9-4e79-b4f8-a446ec6e784c\ndetect_mult         : 3\ndst_ip              : \"10.5.204.108\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n### Note that all statuses should normally be up\n\n# 2. bfd ecmp static routes table created\n# k ko nbctl lr-route-list vpc1\nIPv4 Routes\nRoute Table &lt;main&gt;:\n           192.168.0.0/24              10.5.204.108 src-ip ecmp ecmp-symmetric-reply bfd\n           192.168.0.0/24              10.5.204.109 src-ip ecmp ecmp-symmetric-reply bfd\n           192.168.0.0/24              10.5.204.121 src-ip ecmp ecmp-symmetric-reply bfd\n\n# 3. Static Route Details\n# k ko nbctl find Logical_Router_Static_Route  policy=src-ip options=ecmp_symmetric_reply=\"true\"\n_uuid               : 3aacb384-d5ee-4b14-aebf-59e8c11717ba\nbfd                 : 684c4489-5b59-4693-8d8c-3beab93f8093\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.109\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n\n_uuid               : 18bcc585-bc05-430b-925b-ef673c8e1aef\nbfd                 : f0f62077-2ae9-4e79-b4f8-a446ec6e784c\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.108\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n\n_uuid               : 7d0a4e6b-cde0-4110-8176-fbaf19738498\nbfd                 : be7df545-2c4c-4751-878f-b3507987f050\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.121\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n</code></pre> <pre><code># Also, the following resources should be available at all gateway nodes\n\n[root@pc-node-1 ~]# ip netns exec ovnext bash ip a\n/usr/sbin/ip: /usr/sbin/ip: cannot execute binary file\n[root@pc-node-1 ~]#\n[root@pc-node-1 ~]# ip netns exec ovnext ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1541: ovnext0: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1400 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/ether 00:00:00:ab:bd:87 brd ff:ff:ff:ff:ff:ff\n    inet 10.5.204.108/24 brd 10.5.204.255 scope global ovnext0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:feab:bd87/64 scope link\n       valid_lft forever preferred_lft forever\n[root@pc-node-1 ~]#\n[root@pc-node-1 ~]# ip netns exec ovnext route -n\nKernel IP routing table\nDestination     Gateway         Genmask         Flags Metric Ref    Use Iface\n0.0.0.0         10.5.204.254    0.0.0.0         UG    0      0        0 ovnext0\n10.5.204.0      0.0.0.0         255.255.255.0   U     0      0        0 ovnext0\n\n\n[root@pc-node-1 ~]# ip netns exec ovnext bfdd-control status\nThere are 1 sessions:\nSession 1\n id=1 local=10.5.204.108 (p) remote=10.5.204.122 state=Up\n\n## This is the other end of the lrp bfd session and one of the next hops of the lrp ecmp\n\n\n[root@pc-node-1 ~]# ip netns exec ovnext ping -c1 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=1 ttl=115 time=21.6 ms\n\n# No problem to the public network\n</code></pre> <p>catch outgoing packets within the ovnext ns of a gateway node</p> <pre><code># tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n^C\n0 packets captured\n0 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-1 ~]# exit\n[root@pc-node-1 ~]# ssh pc-node-2\nLast login: Thu Feb 23 09:21:08 2023 from 10.5.32.51\n[root@pc-node-2 ~]# ip netns exec ovnext bash\n[root@pc-node-2 ~]# tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n^C\n0 packets captured\n0 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-2 ~]# exit\n[root@pc-node-2 ~]# logout\nConnection to pc-node-2 closed.\n[root@pc-node-1 ~]# ssh pc-node-3\nLast login: Thu Feb 23 08:32:41 2023 from 10.5.32.51\n[root@pc-node-3 ~]#  ip netns exec ovnext bash\n[root@pc-node-3 ~]# tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n00:00:00:2d:f8:ce &gt; 00:00:00:fd:b2:a4, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 63, id 57978, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.204.102 &gt; 223.5.5.5: ICMP echo request, id 22, seq 71, length 64\n00:00:00:fd:b2:a4 &gt; dc:ef:80:5a:44:1a, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 62, id 57978, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.204.102 &gt; 223.5.5.5: ICMP echo request, id 22, seq 71, length 64\n^C\n2 packets captured\n2 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-3 ~]#\n</code></pre>"},{"location":"en/advance/ovn-l3-ha-based-ecmp-with-bfd/#3-turn-off-bfd-mode","title":"3. Turn off bfd mode","text":"<p>In some scenarios, you may want to use a (centralized) single gateway directly out of the public network, which is the same as the default vpc enable_eip_snat usage pattern</p> <pre><code># cat 01-vpc-ecmp-enable-external-bfd.yml\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc2\nspec:\n  namespaces:\n  - vpc2\n  enableExternal: true\n  #enableBfd: true\n  enableBfd: false\n\n## set it false add apply\n\n# k ko nbctl lr-route-list vpc2\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0              10.5.204.254 dst-ip\n\n# After application the route will switch back to the normal default static route\n# nbctl list bfd, the bfd session associated with lrp has been removed\n# And the opposite side of the bfd session in ovnext ns is automatically removed\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/ovn-remote-port-mirroring/","title":"OVN Remote Port Mirroring","text":"<p>This feature provides ability to mirror the traffic of the specified Pod and direction, and to send the mirrored traffic to a remote destination.</p> <p>This feature requires Kube-OVN version not lower than v1.12.</p>"},{"location":"en/advance/ovn-remote-port-mirroring/#install-multus-cni","title":"Install Multus-CNI","text":"<p>Install Multus-CNI by referring the Multus-CNI Document.</p>"},{"location":"en/advance/ovn-remote-port-mirroring/#create-networkattachmentdefinition","title":"Create NetworkAttachmentDefinition","text":"<p>Create the following NetworkAttachmentDefinition:</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: attachnet\n  namespace: default\nspec:\n  config: |\n    {\n      \"cniVersion\": \"0.3.1\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"attachnet.default.ovn\"\n    }\n</code></pre> <p>Format of the <code>provider</code> field is <code>&lt;NAME&gt;.&lt;NAMESPACE&gt;.ovn</code>.</p>"},{"location":"en/advance/ovn-remote-port-mirroring/#create-underlay-network","title":"Create Underlay Network","text":"<p>The mirrored traffic is encapsulated before transmition, so MTU of the network used to transmit the traffic should be greater than the mirrored LSP/Pod. Here we are using an underlay network.</p> <p>Create the following underlay network:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: net1\nspec:\n  defaultInterface: eth1\n---\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan1\nspec:\n  id: 0\n  provider: net1\n---\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 172.19.0.0/16\n  excludeIps:\n  - 172.19.0.2..172.19.0.20\n  gateway: 172.19.0.1\n  vlan: vlan1\n  provider: attachnet.default.ovn\n</code></pre> <p>The subnet's <code>provider</code> MUST be the same as the <code>provider</code> of the NetworkAttachmentDefinition created above.</p>"},{"location":"en/advance/ovn-remote-port-mirroring/#create-receiving-pod","title":"Create Receiving Pod","text":"<p>Create the following Pod\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: pod1\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\nspec:\n  containers:\n  - name: bash\n    image: docker.io/kubeovn/kube-ovn:v1.13.0\n    args:\n    - bash\n    - -c\n    - sleep infinity\n    securityContext:\n      privileged: true\n</code></pre> <p>After the Pod has been created, checkout the IP addresses:</p> <pre><code>$ kubectl get ips | grep pod1\npod1.default                        10.16.0.12   00:00:00:FF:34:24  kube-ovn-worker  ovn-default\npod1.default.attachnet.default.ovn  172.19.0.21  00:00:00:A0:30:68  kube-ovn-worker  subnet1\n</code></pre> <p>The IP address <code>172.19.0.21</code> will be used later.</p>"},{"location":"en/advance/ovn-remote-port-mirroring/#create-ovn-remote-port-mirroring","title":"Create OVN Remote Port Mirroring","text":"<p>Create the following OVN remote port mirroring\uff1a</p> <pre><code>kubectl ko nbctl mirror-add mirror1 gre 99 from-lport 172.19.0.21\nkubectl ko nbctl lsp-attach-mirror coredns-787d4945fb-gpnkb.kube-system mirror1\n</code></pre> <p><code>coredns-787d4945fb-gpnkb.kube-system</code> is the OVN LSP name with a format <code>&lt;POD_NAME&gt;.&lt;POD_NAMESPACE&gt;</code>.</p> <p>Here is the OVN command usage:</p> <pre><code>ovn-nbctl mirror-add &lt;NAME&gt; &lt;TYPE&gt; &lt;INDEX&gt; &lt;FILTER&gt; &lt;IP&gt;\n\nNAME   - add a mirror with given name\nTYPE   - specify TYPE 'gre' or 'erspan'\nINDEX  - specify the tunnel INDEX value\n         (indicates key if GRE, erpsan_idx if ERSPAN)\nFILTER - specify FILTER for mirroring selection\n         ('to-lport' / 'from-lport')\nIP     - specify Sink / Destination i.e. Remote IP\n\novn-nbctl mirror-del [NAME]         remove mirrors\novn-nbctl mirror-list               print mirrors\n\novn-nbctl lsp-attach-mirror PORT MIRROR   attach source PORT to MIRROR\novn-nbctl lsp-detach-mirror PORT MIRROR   detach source PORT from MIRROR\n</code></pre>"},{"location":"en/advance/ovn-remote-port-mirroring/#configure-receiving-pod","title":"Configure Receiving Pod","text":"<p>Execute the following commands in the Pod:</p> <pre><code>root@pod1:/kube-ovn# ip link add mirror1 type gretap local 172.19.0.21 key 99 dev net1\nroot@pod1:/kube-ovn# ip link set mirror1 up\n</code></pre> <p>Now you can capture the mirrored packets:</p> <pre><code>root@pod1:/kube-ovn# tcpdump -i mirror1 -nnve\ntcpdump: listening on mirror1, link-type EN10MB (Ethernet), snapshot length 262144 bytes\n05:13:30.328808 00:00:00:a3:f5:e2 &gt; 00:00:00:97:0f:6e, ethertype ARP (0x0806), length 42: Ethernet (len 6), IPv4 (len 4), Request who-has 10.16.0.7 tell 10.16.0.4, length 28\n05:13:30.559167 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 212: (tos 0x0, ttl 64, id 57364, offset 0, flags [DF], proto UDP (17), length 198)\n    10.16.0.4.53 &gt; 10.16.0.6.50472: 34511 NXDomain*- 0/1/1 (170)\n05:13:30.559343 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 212: (tos 0x0, ttl 64, id 57365, offset 0, flags [DF], proto UDP (17), length 198)\n    10.16.0.4.53 &gt; 10.16.0.6.45177: 1659 NXDomain*- 0/1/1 (170)\n05:13:30.560625 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 200: (tos 0x0, ttl 64, id 57367, offset 0, flags [DF], proto UDP (17), length 186)\n    10.16.0.4.53 &gt; 10.16.0.6.43848: 2636*- 0/1/1 (158)\n05:13:30.562774 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 191: (tos 0x0, ttl 64, id 57368, offset 0, flags [DF], proto UDP (17), length 177)\n    10.16.0.4.53 &gt; 10.16.0.6.37755: 48737 NXDomain*- 0/1/1 (149)\n05:13:30.563523 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 187: (tos 0x0, ttl 64, id 57369, offset 0, flags [DF], proto UDP (17), length 173)\n    10.16.0.4.53 &gt; 10.16.0.6.53887: 45519 NXDomain*- 0/1/1 (145)\n05:13:30.564940 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 201: (tos 0x0, ttl 64, id 57370, offset 0, flags [DF], proto UDP (17), length 187)\n    10.16.0.4.53 &gt; 10.16.0.6.40846: 25745 NXDomain*- 0/1/1 (159)\n05:13:30.565140 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 201: (tos 0x0, ttl 64, id 57371, offset 0, flags [DF], proto UDP (17), length 187)\n    10.16.0.4.53 &gt; 10.16.0.6.45214: 61875 NXDomain*- 0/1/1 (159)\n05:13:30.566023 00:00:00:a3:f5:e2 &gt; 00:00:00:55:e4:4e, ethertype IPv4 (0x0800), length 80: (tos 0x0, ttl 64, id 45937, offset 0, flags [DF], proto UDP (17), length 66)\n    10.16.0.4.44116 &gt; 172.18.0.1.53: 16025+ [1au] AAAA? alauda.cn. (38)\n</code></pre>"},{"location":"en/advance/ovn-remote-port-mirroring/#notice","title":"Notice","text":"<ol> <li>If you are using ERSPAN as the encapsulation protocol, the Linux kernel version of the OVN nodes and remote devices must not be lower than 4.14. If you are using ERSPAN as the encapsulation protocol and using IPv6 as the transport network, the Linux kernel version must not be lower than 4.16.</li> <li>The transmission of mirrored traffic is unidirectional, so you only need to ensure that the OVN node can access the remote device.</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/performance-tuning/","title":"Performance Tuning","text":"<p>To keep the installation simple and feature-complete, the default installation script for Kube-OVN does not have performance-specific optimizations. If the applications are sensitive to latency and throughput, administrators can use this document to make specific performance optimizations.</p> <p>The community will continue to iterate on the performance. Some general performance optimizations have been integrated into the latest version, so it is recommended to use the latest version to get better default performance.</p> <p>For more on the process and methodology of performance optimization, please watch the video Kube-OVN \u200b\u5bb9\u5668\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u4e4b\u65c5\u200b\u3002</p>"},{"location":"en/advance/performance-tuning/#benchmarking","title":"Benchmarking","text":"<p>Because the hardware and software environments vary greatly, the performance test data provided here can only be used as a reference, and the actual test results may differ significantly from the results in this document. It is recommended to compare the performance test results before and after optimization, and the performance comparison between the host network and the container network.</p>"},{"location":"en/advance/performance-tuning/#overlay-performance-comparison-before-and-after-optimization","title":"Overlay Performance Comparison before and after Optimization","text":"<p>Environment:</p> <ul> <li>Kubernetes: 1.22.0</li> <li>OS: CentOS 7</li> <li>Kube-OVN: 1.8.0 Overlay Mode</li> <li>CPU: Intel(R) Xeon(R) E-2278G</li> <li>Network: 2*10Gbps, xmit_hash_policy=layer3+4</li> </ul> <p>We use <code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1 -vu tcp_lat tcp_bw udp_lat udp_bw</code> to test bandwidth and latency of tcp/udp in 1-byte packets and the host network, respectively.</p> Type tcp_lat (us) udp_lat (us) tcp_bw (Mb/s) udp_bw(Mb/s) Kube-OVN Default 25.7 22.9 27.1 1.59 Kube-OVN Optimized 13.9 12.9 27.6 5.57 HOST Network 13.1 12.4 28.2 6.02"},{"location":"en/advance/performance-tuning/#overlay-underlay-and-calico-comparison","title":"Overlay\uff0c Underlay and Calico Comparison","text":"<p>Next, we compare the overlay and underlay performance of the optimized Kube-OVN at different packet sizes with Calico's <code>IPIP Always</code>, <code>IPIP never</code> and the host network.</p> <p>Environment:</p> <ul> <li>Kubernetes: 1.22.0</li> <li>OS: CentOS 7</li> <li>Kube-OVN: 1.8.0</li> <li>CPU: AMD EPYC 7402P 24-Core Processor</li> <li>Network: Intel Corporation Ethernet Controller XXV710 for 25GbE SFP28</li> </ul> <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1 -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Mb/s) udp_bw(Mb/s) Kube-OVN Overlay 15.2 14.6 23.6 2.65 Kube-OVN Underlay 14.3 13.8 24.2 3.46 Calico IPIP 21.4 20.2 23.6 1.18 Calico NoEncap 19.3 16.9 23.6 1.76 HOST Network 16.6 15.4 24.8 2.64 <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1K -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Gb/s) udp_bw(Gb/s) Kube-OVN Overlay 16.5 15.8 10.2 2.77 Kube-OVN Underlay 15.9 14.5 9.6 3.22 Calico IPIP 22.5 21.5 1.45 1.14 Calico NoEncap 19.4 18.3 3.76 1.63 HOST Network 18.1 16.6 9.32 2.66 <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:4K -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Gb/s) udp_bw(Gb/s) Kube-OVN Overlay 34.7 41.6 16.0 9.23 Kube-OVN Underlay 32.6 44 15.1 6.71 Calico IPIP 44.8 52.9 2.94 3.26 Calico NoEncap 40 49.6 6.56 4.19 HOST Network 35.9 45.9 14.6 5.59 <p>In some cases the container network outperforms the host network, this is because the container network path is optimized to completely bypass netfilter. Due to the existence of <code>kube-proxy</code>, all packets in host network have to go through netfilter, which will lead to more CPU consumption, so that container network in some environments has better performance.</p>"},{"location":"en/advance/performance-tuning/#dataplane-performance-optimization-methods","title":"Dataplane performance optimization methods","text":"<p>The optimization methods described here are related to the hardware and software environment and the desired functionality, so please carefully understand the prerequisites for optimization before attempting it.</p>"},{"location":"en/advance/performance-tuning/#cpu-performance-mode-tuning","title":"CPU Performance Mode Tuning","text":"<p>In some environments the CPU is running in power saving mode, performance in this mode will be unstable and latency will increase significantly, it is recommended to use the CPU's performance mode for more stable performance.</p> <pre><code>cpupower frequency-set -g performance\n</code></pre>"},{"location":"en/advance/performance-tuning/#nic-hardware-queue-adjustment","title":"NIC Hardware Queue Adjustment","text":"<p>In the case of increased traffic, a small buffer queue may lead to significant performance degradation due to a high packet loss rate and needs to be tuned.</p> <p>Check the current NIC queue length:</p> <pre><code># ethtool -g eno1\n Ring parameters for eno1:\n Pre-set maximums:\n RX:             4096\n RX Mini:        0\n RX Jumbo:       0\n TX:             4096\n Current hardware settings:\n RX:             255\n RX Mini:        0\n RX Jumbo:       0\n TX:             255\n</code></pre> <p>Increase the queue length to the maximum:</p> <pre><code>ethtool -G eno1 rx 4096\nethtool -G eno1 tx 4096\n</code></pre>"},{"location":"en/advance/performance-tuning/#optimize-with-tuned","title":"Optimize with tuned","text":"<p>tuned can use a series of preconfigured profile files to perform system optimizations for a specific scenario.</p> <p>For latency-first scenarios:</p> <pre><code>tuned-adm profile network-latency\n</code></pre> <p>For throughput-first scenarios:</p> <pre><code>tuned-adm profile network-throughput\n</code></pre>"},{"location":"en/advance/performance-tuning/#interrupt-binding","title":"Interrupt Binding","text":"<p>We recommend disabling <code>irqbalance</code> and binding NIC interrupts to specific CPUs to avoid performance fluctuations caused by switching between multiple CPUs.</p>"},{"location":"en/advance/performance-tuning/#disable-ovn-lb","title":"Disable OVN LB","text":"<p>The L2 LB implementation of OVN requires calling the kernel's <code>conntrack</code> module and recirculate, resulting in a significant CPU overhead, which is tested to be around 20%. For Overlay networks you can use <code>kube-proxy</code> to complete the service forwarding function for better Pod-to-Pod performance. This can be turned off in <code>kube-ovn-controller</code> args:</p> <pre><code>command:\n- /kube-ovn/start-controller.sh\nargs:\n...\n- --enable-lb=false\n...\n</code></pre> <p>In Underlay mode <code>kube-proxy</code> cannot use iptables or ipvs to control container network traffic, if you want to disable the LB function, you need to confirm whether you do not need the Service function.</p>"},{"location":"en/advance/performance-tuning/#fastpath-kernel-module","title":"FastPath Kernel Module","text":"<p>Since the container network and the host network are on different network ns, the packets will pass through the netfilter module several times when they are transmitted across the host, which results in a CPU overhead of nearly 20%. The <code>FastPath</code> module can reduce CPU overhead by bypassing netfilter, since in most cases applications within a container network do not need to use the functionality of the netfilter module.</p> <p>If you need to use the functions provided by netfilter such as iptables, ipvs, nftables, etc. in the container network, this module will disable the related functions.</p> <p>Since kernel modules are kernel version dependent, it is not possible to provide a single kernel module artifact that adapts to all kernels. We pre-compiled the <code>FastPath</code> module for part of the kernels, which can be accessed by tunning-package.</p> <p>You can also compile it manually, see Compiling FastPath Module</p> <p>After obtaining the kernel module, you can load the <code>FastPath</code> module on each node using <code>insmod kube_ovn_fastpath.ko</code> and verify that the module was loaded successfully using <code>dmesg</code>:</p> <pre><code># dmesg\n...\n[619631.323788] init_module,kube_ovn_fastpath_local_out\n[619631.323798] init_module,kube_ovn_fastpath_post_routing\n[619631.323800] init_module,kube_ovn_fastpath_pre_routing\n[619631.323801] init_module,kube_ovn_fastpath_local_in\n...\n</code></pre>"},{"location":"en/advance/performance-tuning/#ovs-kernel-module-optimization","title":"OVS Kernel Module Optimization","text":"<p>OVS flow processing including hashing, matching, etc. consumes about 10% of the CPU resources. Some instruction sets on modern x86 CPUs such as <code>popcnt</code> and <code>sse4.2</code> can speed up the computation process, but the kernel is not compiled with these options enabled. It has been tested that the CPU consumption of flow-related operations is reduced to about 5% when the corresponding instruction set optimizations are enabled.</p> <p>Similar to the compilation of the <code>FastPath</code> module, it is not possible to provide a single kernel module artifact for all kernels. Users need to compile manually or go to tunning-package to see if a compiled package is available for download.</p> <p>Before using this kernel module, please check if the CPU supports the following instruction set:</p> <pre><code>cat /proc/cpuinfo  | grep popcnt\ncat /proc/cpuinfo  | grep sse4_2\n</code></pre>"},{"location":"en/advance/performance-tuning/#compile-and-install-in-centos","title":"Compile and Install in CentOS","text":"<p>Install the relevant compilation dependencies and kernel headers:</p> <pre><code>yum install -y gcc kernel-devel-$(uname -r) python3 autoconf automake libtool rpm-build openssl-devel\n</code></pre> <p>Compile the OVS kernel module and generate the corresponding RPM:</p> <pre><code>git clone -b branch-2.17 --depth=1 https://github.com/openvswitch/ovs.git\ncd ovs\ncurl -s  https://github.com/kubeovn/ovs/commit/2d2c83c26d4217446918f39d5cd5838e9ac27b32.patch |  git apply\n./boot.sh\n./configure --with-linux=/lib/modules/$(uname -r)/build CFLAGS=\"-g -O2 -mpopcnt -msse4.2\"\nmake rpm-fedora-kmod\ncd rpm/rpmbuild/RPMS/x86_64/\n</code></pre> <p>Copy the RPM to each node and install:</p> <pre><code>rpm -i openvswitch-kmod-2.15.2-1.el7.x86_64.rpm\n</code></pre> <p>If you have previously started Kube-OVN and the older version of the OVS module has been loaded into the kernel. It is recommended to reboot the machine to reload the new version of the kernel module.</p>"},{"location":"en/advance/performance-tuning/#compile-and-install-in-ubuntu","title":"Compile and Install in Ubuntu","text":"<p>Install the relevant compilation dependencies and kernel headers:</p> <pre><code>apt install -y autoconf automake libtool gcc build-essential libssl-dev\n</code></pre> <p>Compile the OVS kernel module and install:</p> <pre><code>apt install -y autoconf automake libtool gcc build-essential libssl-dev\n\ngit clone -b branch-2.17 --depth=1 https://github.com/openvswitch/ovs.git\ncd ovs\ncurl -s  https://github.com/kubeovn/ovs/commit/2d2c83c26d4217446918f39d5cd5838e9ac27b32.patch |  git apply\n./boot.sh\n./configure --prefix=/usr/ --localstatedir=/var --enable-ssl --with-linux=/lib/modules/$(uname -r)/build\nmake -j `nproc`\nmake install\nmake modules_install\n\ncat &gt; /etc/depmod.d/openvswitch.conf &lt;&lt; EOF\noverride openvswitch * extra\noverride vport-* * extra\nEOF\n\ndepmod -a\ncp debian/openvswitch-switch.init /etc/init.d/openvswitch-switch\n/etc/init.d/openvswitch-switch force-reload-kmod\n</code></pre> <p>If you have previously started Kube-OVN and the older version of the OVS module has been loaded into the kernel. It is recommended to reboot the machine to reload the new version of the kernel module.</p>"},{"location":"en/advance/performance-tuning/#using-stt-type-tunnel","title":"Using STT Type Tunnel","text":"<p>Common tunnel encapsulation protocols such as Geneve and Vxlan use the UDP protocol to encapsulate packets and are well supported in the kernel. However, when TCP packets are encapsulated using UDP, the optimization and offload features of modern operating systems and network cards for the TCP protocol do not work well, resulting in a significant drop in TCP throughput. In some virtualization scenarios, due to CPU limitations, TCP packet throughput may even be a tenth of that of the host network.</p> <p>STT provides an innovative tunneling protocol that uses TCP formatted header for encapsulation. This encapsulation only emulates the TCP protocol header format without actually establishing a TCP connection, but can take full advantage of the TCP optimization capabilities of modern operating systems and network cards. In our tests TCP packet throughput can be improved several times, reaching performance levels close to those of the host network.</p> <p>The STT tunnel is not pre-installed in the kernel and needs to be installed by compiling the OVS kernel module, which can be found in the previous section.</p> <p>Enable STT tunnel:</p> <pre><code>kubectl set env daemonset/ovs-ovn -n kube-system TUNNEL_TYPE=stt\n\nkubectl delete pod -n kube-system -lapp=ovs\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/security-group/","title":"SecurityGroup Usage","text":"<p>Kube-OVN has supported the configuration of security-groups, and the CRD used to configure security-groups is SecurityGroup.</p>"},{"location":"en/advance/security-group/#securitygroup-example","title":"SecurityGroup Example","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: SecurityGroup\nmetadata:\n  name: sg-example\nspec:\n  allowSameGroupTraffic: true\n  egressRules:\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: all\n    remoteAddress: 10.16.0.13 # 10.16.0.0/16 Configure network segment\n    remoteType: address\n  ingressRules:\n  - ipVersion: ipv4\n    policy: deny\n    priority: 1\n    protocol: icmp\n    remoteAddress: 10.16.0.14\n    remoteType: address\n</code></pre> <p>The specific meaning of each field of the SecurityGroup can be found in the Kube-OVN API Reference.</p> <p>Pods bind security-groups by adding annotations, two annotations are used.</p> <pre><code>    ovn.kubernetes.io/port_security: \"true\"\n    ovn.kubernetes.io/security_groups: sg-example\n</code></pre>"},{"location":"en/advance/security-group/#caution","title":"Caution","text":"<ul> <li> <p>Security-groups are finally restricted by setting ACL rules, and as mentioned in the OVN documentation, if two ACL rules match with the same priority, it is uncertain which ACL will actually work. Therefore, when setting up security-group rules, you need to be careful to differentiate the priority.</p> </li> <li> <p>When adding a security-group, it is important to know what restrictions are being added. As a CNI, Kube-OVN will perform a Pod-to-Gateway connectivity test after creating a Pod.</p> </li> </ul>"},{"location":"en/advance/security-group/#actual-test","title":"Actual test","text":"<p>Create a Pod using the following yaml, and specify the security-group in the annotation for the pod.</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  labels:\n    app: static\n  annotations:\n    ovn.kubernetes.io/port_security: 'true'\n    ovn.kubernetes.io/security_groups: 'sg-example'\n  name: sg-test-pod\n  namespace: default\nspec:\n  nodeName: kube-ovn-worker\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>The actual test results show as follows:</p> <pre><code># kubectl get pod -o wide\nNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES\nsg-test-pod 0/1 ContainerCreating 0 5h32m &lt;none&gt; kube-ovn-worker &lt;none&gt; &lt;none&gt;\ntest-99fff7f86-52h9r 1/1 Running 0 5h41m 10.16.0.14 kube-ovn-control-plane &lt;none&gt; &lt;none&gt;\ntest-99fff7f86-qcgjw 1/1 Running 0 5h43m 10.16.0.13 kube-ovn-worker &lt;none&gt; &lt;none&gt;\n</code></pre> <p>Execute <code>kubectl describe pod</code> to see information about the pod, and you can see the error message:</p> <pre><code># kubectl describe pod sg-test-pod\nName: sg-test-pod\nNamespace: default\nPriority: 0\nNode: kube-ovn-worker/172.18.0.2\nStart Time: Tue, 28 Feb 2023 10:29:36 +0800\nLabels: app=static\nAnnotations: ovn.kubernetes.io/allocated: true\n              ovn.kubernetes.io/cidr: 10.16.0.0/16\n              ovn.kubernetes.io/gateway: 10.16.0.1\n              ovn.kubernetes.io/ip_address: 10.16.0.15\n              ovn.kubernetes.io/logical_router: ovn-cluster\n              ovn.kubernetes.io/logical_switch: ovn-default\n              ovn.kubernetes.io/mac_address: 00:00:00:FA:17:97\n              ovn.kubernetes.io/pod_nic_type: veth-pair\n              ovn.kubernetes.io/port_security: true\n              ovn.kubernetes.io/routed: true\n              ovn.kubernetes.io/security_groups: sg-allow-reject\nStatus: Pending\nIP:\nIPs: &lt;none&gt;\n-\n- -\n- -\nEvents:\n  Type Reason Age From Message\n  ---- ------ ---- ---- -------\n  Warning FailedCreatePodSandBox 5m3s (x70 over 4h59m) kubelet (combined from similar events): Failed to create pod sandbox: rpc error: code = Unknown desc = failed to setup network for sandbox \"40636e0c7f1ade5500fa958486163d74f2e2300051a71522a9afd7ba0538afb6\": plugin type=\"kube-ovn\" failed ( add): RPC failed; request ip return 500 configure nic failed 10.16.0.15 network not ready after 200 ping 10.16.0.1\n</code></pre> <p>Modify the rules for the security group to add access rules to the gateway, refer to the following:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SecurityGroup\nmetadata:\n  name: sg-gw-both\nspec:\n  allowSameGroupTraffic: true\n  egressRules:\n  - ipVersion: ipv4\n    policy: allow\n    priority: 2\n    protocol: all\n    remoteAddress: 10.16.0.13\n    remoteType: address\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: all\n    remoteAddress: 10.16.0.1\n    remoteType: address\n  ingressRules:\n  - ipVersion: ipv4\n    policy: deny\n    priority: 2\n    protocol: icmp\n    remoteAddress: 10.16.0.14\n    remoteType: address\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: icmp\n    remoteAddress: 10.16.0.1\n    remoteType: address\n</code></pre> <p>In the inbound and outbound rules respectively, add a rule to allow access to the gateway, and set the rule to have the highest priority.</p> <p>Deploying with the following yaml to bind security group, confirm that the Pod is operational:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  labels:\n    app: static\n  annotations:\n    ovn.kubernetes.io/port_security: 'true'\n    ovn.kubernetes.io/security_groups: 'sg-gw-both'\n  name: sg-gw-both\n  namespace: default\nspec:\n  nodeName: kube-ovn-worker\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>To view Pod information after deployment:</p> <pre><code># kubectl get pod -o wide\nNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES\nsg-test-pod 0/1 ContainerCreating 0 5h41m &lt;none&gt; kube-ovn-worker &lt;none&gt; &lt;none&gt;\nsg-gw-both 1/1 Running 0 5h37m 10.16.0.19 kube-ovn-worker &lt;none&gt; &lt;none&gt;\n</code></pre> <p>So for the use of security groups, be particularly clear about the effect of the added restriction rules. If it is simply to restrict traffic access, consider using a network policy instead.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/vip/","title":"VIP reserved IP","text":"<p>VIP Virtual IP addresses are reserved for IP addresses. The reason for the design of VIP is that the IP and POD of kube-ovn are directly related in naming, so the function of reserving IP can not be realized directly based on IP. At the beginning of the design, VIP refers to the function of Openstack neutron Allowed-Address-Pairs\uff08AAP\uff09, which can be used for Openstack octavia load balancer projects. It can also be used to provide in-machine application (POD) IP, as seen in the aliyun terway project. In addition, because neutron has the function of reserving IP, VIP has been extended to a certain extent, so that VIP can be directly used to reserve IP for POD, but this design will lead to the function of VIP and IP become blurred, which is not an elegant way to achieve, so it is not recommended to use in production. In addition, since the Switch LB of OVN can provide a function of using the internal IP address of the subnet as the front-end VIP of the LB, the scenario of using the OVN Switch LB Rule in the subnet for the VIP is extended. In short, there are only three use cases for VIP design at present:</p> <ul> <li>Allowed-Address-Pairs VIP</li> <li>Switch LB rule VIP</li> <li>Pod uses VIP to fix IP</li> </ul>"},{"location":"en/advance/vip/#1-allowed-address-pairs-vip","title":"1. Allowed-Address-Pairs VIP","text":"<p>In this scenario, we want to dynamically reserve a part of the IP but not allocate it to Pods but to other infrastructure enables, such as:</p> <ul> <li>Kubernetes nesting scenarios In which the upper-layer Kubernetes uses the Underlay network, the underlying Subnet addresses are used.</li> <li>LB or other network infrastructure needs to use an IP within a Subnet, but does not have a separate Pod.</li> </ul> <p>In addition, VIP can reserve IP for Allowed-Address-Pairs to support the scenario in which a single NIC is configured with multiple IP addresses, for example:</p> <ul> <li>Keepalived can help with fast failover and flexible load balancing architecture by configuring additional IP address pairs</li> </ul>"},{"location":"en/advance/vip/#11-automatically-assign-addresses-to-vip","title":"1.1 Automatically assign addresses to VIP","text":"<p>If you just want to reserve a number of IP addresses without requiring the IP address itself, you can use the following yaml to create:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: vip-dynamic-01\nspec:\n  subnet: ovn-default\n  type: \"\"\n</code></pre> <ul> <li><code>subnet</code>: The IP address is reserved from the Subnet.</li> <li><code>type</code>: Currently, two types of ip addresses are supported. If the value is empty, it indicates that the ip address is used only for ipam ip addresses. switch_lb_vip indicates that the IP address is used only for switch lb.</li> </ul> <p>Query the VIP after it is created:</p> <pre><code># kubectl get vip\nNAME             V4IP         PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET        READY\nvip-dynamic-01   10.16.0.12           00:00:00:F0:DB:25                         ovn-default   true\n</code></pre> <p>It can be seen that the VIP is assigned an IP address of '10.16.0.12', which can be used by other network infrastructures later.</p>"},{"location":"en/advance/vip/#12-use-fixed-address-vip","title":"1.2 Use fixed address VIP","text":"<p>If there is a need for the reserved VIP IP address, the following yaml can be used for fixed allocation:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: static-vip01\nspec:\n  subnet: ovn-default \n  v4ip: \"10.16.0.121\"\n</code></pre> <ul> <li><code>subnet</code>: The IP address is reserved from the Subnet.</li> <li><code>v4ip</code>: Fixed assigned IP address, which must be within the CIDR range of 'subnet'.</li> </ul> <p>Query the VIP after it is created:</p> <pre><code># kubectl get vip\nNAME             V4IP         PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET        READY\nstatic-vip01   10.16.0.121           00:00:00:F0:DB:26                         ovn-default   true\n</code></pre>"},{"location":"en/advance/vip/#13-pod-uses-vip-to-enable-aap","title":"1.3 Pod Uses VIP to enable AAP","text":"<p>Pod can use annotation to specify VIP to enable AAP function. labels must meet the condition of node selector in VIP.</p> <p>Pod annotation supports specifying multiple VIPs. The configuration format is\uff1aovn.kubernetes.io/aaps: vip-aap,vip-aap2,vip-aap3</p> <p>AAP support multi nic\uff0cIf a Pod is configured with multiple nics, AAP will configure the Port corresponding to the same subnet of the Pod and VIP.</p>"},{"location":"en/advance/vip/#131-create-vip-support-aap","title":"1.3.1 Create VIP support AAP","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: vip-aap\nspec:\n  subnet: ovn-default\n  namespace: default\n  selector:\n    - \"app: aap1\"\n</code></pre> <p>VIP also supports the assignment of fixed and random addresses, as described above.</p> <ul> <li><code>namespace</code>: In AAP scenarios, a VIP needs to specify a namespace explicitly. Only resources in the same namespace can enable the AAP function.</li> <li><code>selector</code>: In the AAP scenario, the node selector used to select the Pod attached to the VIP has the same format as the NodeSelector format in Kubernetes.</li> </ul> <p>Query the Port corresponding to the VIP\uff1a</p> <pre><code># kubectl ko nbctl show ovn-default\nswitch e32e1d3b-c539-45f4-ab19-be4e33a061f6 (ovn-default)\n    port aap-vip\n        type: virtual\n</code></pre> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: busybox\n  annotations:\n    ovn.kubernetes.io/aaps: vip-aap\n  labels:\n    app: aap1\nspec:\n  containers:\n    - name: busybox\n      image: busybox\n      command: [\"sleep\", \"3600\"]\n      securityContext: \n        capabilities:\n          add:\n            - NET_ADMIN\n</code></pre> <p>Query the configuration of the AAP after the AAP is created\uff1a</p> <pre><code># kubectl ko nbctl list logical_switch_port aap-vip\n_uuid               : cd930750-0533-4f06-a6c0-217ddac73272\naddresses           : []\ndhcpv4_options      : []\ndhcpv6_options      : []\ndynamic_addresses   : []\nenabled             : []\nexternal_ids        : {ls=ovn-default, vendor=kube-ovn}\nha_chassis_group    : []\nmirror_rules        : []\nname                : aap-vip\noptions             : {virtual-ip=\"10.16.0.100\", virtual-parents=\"busybox.default\"}\nparent_name         : []\nport_security       : []\ntag                 : []\ntag_request         : []\ntype                : virtual\nup                  : false\n</code></pre> <p>virtual-ip is set to the IP address reserved for the VIP, and virtual-parents is set to the Port of the Pod whose AAP function is enabled.</p> <p>Query the configuration of the Pod after the POD is created:</p> <pre><code># kubectl exec -it busybox -- ip addr add 10.16.0.100/16 dev eth0\n# kubectl exec -it busybox01 -- ip addr show eth0\n35: eth0@if36: &lt;BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN&gt; mtu 1400 qdisc noqueue \n    link/ether 00:00:00:e2:ab:0c brd ff:ff:ff:ff:ff:ff\n    inet 10.16.0.7/16 brd 10.16.255.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet 10.16.0.100/16 scope global secondary eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fee2:ab0c/64 scope link \n       valid_lft forever preferred_lft forever\n</code></pre> <p>In addition to the IP assigned automatically when the Pod is created, the IP of the VIP is also successfully bound, and other Pods in the current subnet can communicate with these two IP addresses.</p>"},{"location":"en/advance/vip/#2-switch-lb-rule-vip","title":"2. Switch LB rule vip","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: slr-01\nspec:\n  subnet: ovn-default\n  type: switch_lb_vip\n</code></pre> <ul> <li><code>subnet</code>: The IP address is reserved from the Subnet.</li> <li><code>type</code>: Currently, two types of ip addresses are supported. If the value is empty, it indicates that the ip address is used only for ipam ip addresses. switch_lb_vip indicates that the IP address is used only for switch lb.</li> </ul>"},{"location":"en/advance/vip/#3-pod-use-vip-to-reserve-ip-address","title":"3. POD Use VIP to reserve IP address","text":"<p>It is not recommended to use this function in production because the distinction between this function and IP function is not clear.</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: pod-use-vip\nspec:\n  subnet: ovn-default\n  type: \"\"\n</code></pre> <p>This feature has been supported since v1.12.</p> <p>You can use annotations to assign a VIP to a Pod, then the pod will use the vip's ip address\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: static-ip\n  annotations:\n    ovn.kubernetes.io/vip: pod-use-vip # use vip name\n  namespace: default\nspec:\n  containers:\n    - name: static-ip\n      image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"en/advance/vip/#31-statefulset-and-kubevirt-vm-retain-vip","title":"3.1 StatefulSet and Kubevirt VM retain VIP","text":"<p>Due to the particularity of 'StatefulSet' and 'VM', after their Pod is destroyed and pulled up, it will re-use the previously set VIP.</p> <p>VM retention VIP needs to ensure that 'kube-ovn-controller' 'keep-vm-ip' parameter is' true '. Please refer to Kubevirt VM enable keep its ip</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/vpc-internal-dns/","title":"Custom VPC Internal DNS","text":"<p>Due to the isolation of the user-defined VPC and the default VPC network, the coredns deployed in the default VPC cannot be accessed from within the custom VPC. If you wish to use the intra-cluster domain name resolution capability provided by Kubernetes within your custom VPC, you can refer to this document and utilize the vpc-dns CRD to do so.</p> <p>This CRD eventually deploys a coredns that has two NICs, one in the user-defined VPC and the other in the default VPC to enable network interoperability and provide an internal load balancing within the custom VPC through the custom VPC internal load balancing.</p>"},{"location":"en/advance/vpc-internal-dns/#deployment-of-vpc-dns-dependent-resources","title":"Deployment of vpc-dns dependent resources","text":"<pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: system:vpc-dns\nrules:\n  - apiGroups:\n    - \"\"\n    resources:\n    - endpoints\n    - services\n    - pods\n    - namespaces\n    verbs:\n    - list\n    - watch\n  - apiGroups:\n    - discovery.k8s.io\n    resources:\n    - endpointslices\n    verbs:\n    - list\n    - watch\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  annotations:\n    rbac.authorization.kubernetes.io/autoupdate: \"true\"\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: vpc-dns\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: system:vpc-dns\nsubjects:\n- kind: ServiceAccount\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-corefile\n  namespace: kube-system\ndata:\n  Corefile: |\n    .:53 {\n        errors\n        health {\n          lameduck 5s\n        }\n        ready\n        kubernetes cluster.local in-addr.arpa ip6.arpa {\n          pods insecure\n          fallthrough in-addr.arpa ip6.arpa\n        }\n        prometheus :9153\n        forward . /etc/resolv.conf {\n          prefer_udp\n        }\n        cache 30\n        loop\n        reload\n        loadbalance\n    }\n</code></pre> <p>In addition to the above resources, the feature relies on the nat-gw-pod image for routing configuration.</p>"},{"location":"en/advance/vpc-internal-dns/#configuring-additional-network","title":"Configuring Additional Network","text":"<pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-nad\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"ovn-nad.default.ovn\"\n    }'\n</code></pre>"},{"location":"en/advance/vpc-internal-dns/#configuring-configmap-for-vpc-dns","title":"Configuring Configmap for vpc-dns","text":"<p>Create a configmap under the kube-system namespace to configure the vpc-dns usage parameters that will be used later to start the vpc-dns function:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-config\n  namespace: kube-system\ndata:\n  coredns-vip: 10.96.0.3\n  enable-vpc-dns: \"true\"\n  nad-name: ovn-nad\n  nad-provider: ovn-nad.default.ovn\n</code></pre> <ul> <li><code>enable-vpc-dns</code>\uff1aenable vpc dns feature, true as default</li> <li><code>coredns-image</code>\uff1adns deployment image. Defaults to the clustered coredns deployment version</li> <li><code>coredns-vip</code>\uff1aThe vip that provides lb services for coredns.</li> <li><code>coredns-template</code>\uff1aThe URL where the coredns deployment template is located. defaults to the current version of the ovn directory. <code>coredns-template.yaml</code> default is <code>https://raw.githubusercontent.com/kubeovn/kube-ovn/&lt;kube-ovn version&gt;/yamls/coredns-template.yaml</code>.</li> <li><code>nad-name</code>\uff1aConfigured network-attachment-definitions Resource name.</li> <li><code>nad-provider</code>\uff1aThe name of the provider to use.</li> <li><code>k8s-service-host</code>\uff1aThe ip used for coredns to access the k8s apiserver service, defaults to the apiserver address within the cluster.</li> <li><code>k8s-service-port</code>\uff1aThe port used for coredns to access the k8s apiserver service, defaults to the apiserver port within the cluster.</li> </ul>"},{"location":"en/advance/vpc-internal-dns/#deploying-vpc-dns","title":"Deploying vpc-dns","text":"<p>configure vpc-dns yaml\uff1a</p> <pre><code>kind: VpcDns\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-cjh1\nspec:\n  vpc: cjh-vpc-1\n  subnet: cjh-subnet-1\n  replicas: 2\n</code></pre> <ul> <li><code>vpc</code> \uff1a The name of the vpc used to deploy the dns component.</li> <li><code>subnet</code>\uff1aSub-name for deploying dns components.</li> <li><code>replicas</code>: vpc dns deployment replicas</li> </ul> <p>View information about deployed resources:</p> <pre><code># kubectl get vpc-dns\nNAME        ACTIVE   VPC         SUBNET   \ntest-cjh1   false    cjh-vpc-1   cjh-subnet-1   \ntest-cjh2   true     cjh-vpc-1   cjh-subnet-2 \n</code></pre> <p>ACTIVE : true Customized dns component deployed, false No deployment.</p> <p>Restrictions: only one custom dns component will be deployed under a VPC</p> <ul> <li>When multiple vpc-dns resources are configured under a VPC (i.e., different subnets for the same VPC), only one vpc-dns resource is in the state <code>true``, and the others are</code>fasle`.</li> <li>When the <code>true</code> vpc-dns is removed, the other <code>false</code> vpc-dns will be obtained for deployment.</li> </ul>"},{"location":"en/advance/vpc-internal-dns/#validate-deployment-results","title":"Validate deployment results","text":"<p>To view vpc-dns Pod status, use label app=vpc-dns to view all vpc-dns pod status:</p> <pre><code># kubectl -n kube-system get pods -l app=vpc-dns\nNAME                                 READY   STATUS    RESTARTS   AGE\nvpc-dns-test-cjh1-7b878d96b4-g5979   1/1     Running   0          28s\nvpc-dns-test-cjh1-7b878d96b4-ltmf9   1/1     Running   0          28s\n</code></pre> <p>View switch lb rule status information:</p> <pre><code># kubectl -n kube-system get slr\nNAME                VIP         PORT(S)                  SERVICE                             AGE\nvpc-dns-test-cjh1   10.96.0.3   53/UDP,53/TCP,9153/TCP   kube-system/slr-vpc-dns-test-cjh1   113s\n</code></pre> <p>Go to the Pod under this VPC and test the dns resolution:</p> <pre><code>nslookup kubernetes.default.svc.cluster.local 10.96.0.3\n</code></pre> <p>The subnet where the switch lb rule under this VPC is located and the pods under other subnets under the same VPC can be resolved.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/vpc-internal-lb/","title":"Customize VPC Internal Load Balancing","text":"<p>The Service provided by Kubernetes can be used for load balancing within the cluster. However, there are several issues with using Service as internal load balancing in customize VPC mode:</p> <ol> <li>The Service IP range is a cluster resource, shared by all customize VPCs, and cannot overlap.</li> <li>Users cannot set internal load balancing IP addresses according to their own preferences.</li> </ol> <p>To address the above issues, Kube OVN introduced the <code>SwitchLBRule</code> CRD in 1.11, allowing users to set internal load balancing rules within customize VPCs.</p> <p><code>SwitchLBRule</code> support the following two ways to set internal load balancing rules within a customize VPC.</p>"},{"location":"en/advance/vpc-internal-lb/#automatically-generate-load-balancing-rules-by-selector","title":"Automatically Generate Load Balancing Rules by <code>Selector</code>","text":"<p>Load balancing rules can be generated by <code>selector</code> automatic association with <code>pod</code> configuration through <code>label</code>.</p> <p>example of <code>SwitchLBRule</code> is as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  cjh-slr-nginx\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  selector:\n    - app:nginx\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\n\n  ```\n\n- usage of `selector`, `sessionAffinity`, and `port` is the same as Kubernetes Service.\n- `vip`\uff1acustomize load balancing IP address.\n- `namespace`\uff1anamespace of the `pod` selected by `selector`.\n\nKube OVN will determine the VPC of the selected `pod` based on the `SwitchLBRule` definition and set the corresponding L2 LB.\n\n## Manually Defined Load Balancing Rules by `Endpoints`\n\nLoad balancing rules can be customized configured by   `endpoints`, to support scenarios where load balancing rules cannot be automatically generated through `selector`.  For example, the load balancing backend is `vm` created by `kubevirt`.\n\nexample of `SwitchLBRule` is as follows:\n\n```yaml\napiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  cjh-slr-nginx\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  endpoints:\n    - 192.168.0.101\n    - 192.168.0.102\n    - 192.168.0.103\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\n</code></pre> <p>usage of <code>sessionAffinity</code>, and <code>port</code> is the same as Kubernetes Service.</p> <ul> <li><code>vip</code>\uff1acustomize load balancing IP address.</li> <li><code>namespace</code>\uff1anamespace of the <code>pod</code> selected by <code>selector</code>.</li> <li><code>endpoints</code>\uff1aload balancing backend IP list.</li> </ul> <p>If both <code>selector</code> and <code>endpoints</code> are configured, the <code>selector</code> configuration will be automatically ignored.</p>"},{"location":"en/advance/vpc-internal-lb/#health-check","title":"Health Check","text":"<p><code>OVN</code> supports health checks for load balancer endpoints, for IPv4 load balancers only. When health checks are enabled, the load balancer uses only healthy endpoints.</p> <p>[Health Checks](https://www.ovn.org/support/dist-docs/ovn-nb.5.html)</p> <p>Add a health check to <code>SwitchLBRule</code> based on the health check of the <code>ovn</code> load balancer.While creating the <code>SwitchLBRule</code>, obtain a reusable <code>vip</code> from the corresponding <code>VPC</code> and <code>subnet</code> as the detection endpoint and associate the corresponding <code>IP_Port_Mappings</code> and <code>Load_Balancer_Health_Check</code> to the corresponding load balancer.</p> <ul> <li>The detection endpoint <code>vip</code> will be automatically determined whether it exists in the corresponding <code>subnet</code> with the same name of the <code>subnet</code>. If it does not exist, it will be automatically created and deleted after all associated <code>SwitchLBRule</code> are deleted.</li> <li>Currently, only <code>SwitchLBRule</code> automatically generated through <code>Selector</code> are supported.</li> </ul>"},{"location":"en/advance/vpc-internal-lb/#create-switchlbrule","title":"Create <code>SwitchLBRule</code>","text":"<pre><code>root@server:~# kubectl get po -o wide -n vulpecula\nNAME                     READY   STATUS    RESTARTS   AGE     IP          NODE     NOMINATED NODE   READINESS GATES\nnginx-78d9578975-f4qn4   1/1     Running   3          4d16h   10.16.0.4   worker   &lt;none&gt;           &lt;none&gt;\nnginx-78d9578975-t8tm5   1/1     Running   3          4d16h   10.16.0.6   worker   &lt;none&gt;           &lt;none&gt;\n\n# create slr\n\nroot@server:~# cat &lt;&lt; END &gt; slr.yaml\napiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  nginx\n  namespace:  vulpecula\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  selector:\n    - app:nginx\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\nEND\n\nroot@server:~# kubectl apply -f slr.yaml\nroot@server:~# kubectl get slr\nNAME              VIP       PORT(S)    SERVICE                       AGE\nvulpecula-nginx   1.1.1.1   8888/TCP   default/slr-vulpecula-nginx   3d21h\n</code></pre> <p>The <code>vip</code> with the same name of the <code>subnet</code> has been created.</p> <pre><code># vip for check\n\nroot@server:~# kubectl get vip\nNAME          NS    V4IP        MAC                 V6IP    PMAC   SUBNET        READY   TYPE\nvulpecula-subnet    10.16.0.2   00:00:00:39:95:C1   &lt;nil&gt;          vulpecula-subnet   true   \n</code></pre> <p>Query the <code>Load_Balancer_Health_Check</code> and <code>Service_Monitor</code> by commands.</p> <pre><code>root@server:~# kubectl ko nbctl list Load_Balancer\n_uuid               : 3cbb6d43-44aa-4028-962f-30d2dba9f0b8\nexternal_ids        : {}\nhealth_check        : [5bee3f12-6b54-411c-9cc8-c9def8f67356]\nip_port_mappings    : {\"10.16.0.4\"=\"nginx-78d9578975-f4qn4.default:10.16.0.2\", \"10.16.0.6\"=\"nginx-78d9578975-t8tm5.default:10.16.0.2\"}\nname                : cluster-tcp-session-loadbalancer\noptions             : {affinity_timeout=\"10800\"}\nprotocol            : tcp\nselection_fields    : [ip_src]\nvips                : {\"1.1.1.1:8888\"=\"10.16.0.4:80,10.16.0.6:80\"}\n\nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\n_uuid               : 5bee3f12-6b54-411c-9cc8-c9def8f67356\nexternal_ids        : {switch_lb_subnet=vulpecula-subnet}\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nvip                 : \"1.1.1.1:8888\"\n\nroot@server:~# kubectl ko sbctl list Service_Monitor\n_uuid               : 1bddc541-cc49-44ea-9935-a4208f627a91\nexternal_ids        : {}\nip                  : \"10.16.0.4\"\nlogical_port        : nginx-78d9578975-f4qn4.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n\n_uuid               : 84dd24c5-e1b4-4e97-9daa-13687ed59785\nexternal_ids        : {}\nip                  : \"10.16.0.6\"\nlogical_port        : nginx-78d9578975-t8tm5.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n</code></pre> <p>At this point, the service response can be successfully obtained through load balancer <code>vip</code>.</p> <pre><code>root@server:~# kubectl exec -it -n vulpecula nginx-78d9578975-t8tm5 -- curl 1.1.1.1:8888\n&lt;!DOCTYPE html&gt;\n&lt;html&gt;\n&lt;head&gt;\n&lt;title&gt;Welcome to nginx!&lt;/title&gt;\n&lt;p&gt;&lt;em&gt;Thank you for using nginx.&lt;/em&gt;&lt;/p&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre>"},{"location":"en/advance/vpc-internal-lb/#update-load-balance-service-endpoints","title":"Update load balance service endpoints","text":"<p>Update the service endpoints of the load balancer by deleting the <code>pod</code>.</p> <pre><code>kubectl delete po nginx-78d9578975-f4qn4\nkubectl get po -o wide -n vulpecula\nNAME                     READY   STATUS    RESTARTS   AGE     IP          NODE     NOMINATED NODE   READINESS GATES\nnginx-78d9578975-lxmvh   1/1     Running   0          31s     10.16.0.8   worker   &lt;none&gt;           &lt;none&gt;\nnginx-78d9578975-t8tm5   1/1     Running   3          4d16h   10.16.0.6   worker   &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>Query the <code>Load_Balancer_Health_Check</code> and <code>Service_Monitor</code> by commands, the results have undergone corresponding changes.</p> <pre><code>root@server:~# kubectl ko nbctl list Load_Balancer\n_uuid               : 3cbb6d43-44aa-4028-962f-30d2dba9f0b8\nexternal_ids        : {}\nhealth_check        : [5bee3f12-6b54-411c-9cc8-c9def8f67356]\nip_port_mappings    : {\"10.16.0.4\"=\"nginx-78d9578975-f4qn4.default:10.16.0.2\", \"10.16.0.6\"=\"nginx-78d9578975-t8tm5.default:10.16.0.2\", \"10.16.0.8\"=\"nginx-78d9578975-lxmvh.default:10.16.0.2\"}\nname                : cluster-tcp-session-loadbalancer\noptions             : {affinity_timeout=\"10800\"}\nprotocol            : tcp\nselection_fields    : [ip_src]\nvips                : {\"1.1.1.1:8888\"=\"10.16.0.6:80,10.16.0.8:80\"}\n\nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\n_uuid               : 5bee3f12-6b54-411c-9cc8-c9def8f67356\nexternal_ids        : {switch_lb_subnet=vulpecula-subnet}\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nvip                 : \"1.1.1.1:8888\"\n\nroot@server:~# kubectl ko sbctl list Service_Monitor\n_uuid               : 84dd24c5-e1b4-4e97-9daa-13687ed59785\nexternal_ids        : {}\nip                  : \"10.16.0.6\"\nlogical_port        : nginx-78d9578975-t8tm5.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n\n_uuid               : 5917b7b7-a999-49f2-a42d-da81f1eeb28f\nexternal_ids        : {}\nip                  : \"10.16.0.8\"\nlogical_port        : nginx-78d9578975-lxmvh.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n</code></pre> <p>Delete <code>SwitchLBRule</code> and confirm the resource status, <code>Load_Balancer_Health_Check</code> adn <code>Service_Monitor</code> has been deleted, and the corresponding <code>vip</code> has also been deleted.</p> <pre><code>root@server:~# kubectl delete -f slr.yaml \nswitchlbrule.kubeovn.io \"vulpecula-nginx\" deleted\nroot@server:~# kubectl get vip\nNo resources found\nroot@server:~# kubectl ko sbctl list Service_Monitor\nroot@server:~# \nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\nroot@server:~# \n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/vpc-peering/","title":"VPC Peering","text":"<p>VPC peering provides a mechanism for bridging two VPC networks through logical routes so that workloads within two VPCs can access each other through private addresses as if they were on the same private network, without the need for NAT forwarding through a gateway.</p>"},{"location":"en/advance/vpc-peering/#prerequisites","title":"Prerequisites","text":"<ol> <li>This feature is only available for customized VPCs.</li> <li>To avoid route overlap the subnet CIDRs within the two VPCs cannot overlap.</li> <li>Currently, only interconnection of two VPCs is supported.</li> </ol>"},{"location":"en/advance/vpc-peering/#usage","title":"Usage","text":"<p>First create two non-interconnected VPCs with one Subnet under each VPC, and the CIDRs of the Subnets do not overlap with each other.</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-1\nspec: {}\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net1\nspec:\n  vpc: vpc-1\n  cidrBlock: 10.0.0.0/16\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-2\nspec: {}\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: vpc-2\n  cidrBlock: 172.31.0.0/16\n</code></pre> <p>Add <code>vpcPeerings</code> and the corresponding static routes within each VPC:</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-1\nspec: \n  vpcPeerings:\n    - remoteVpc: vpc-2\n      localConnectIP: 169.254.0.1/30\n  staticRoutes:\n    - cidr: 172.31.0.0/16\n      nextHopIP: 169.254.0.2\n      policy: policyDst\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-2\nspec:\n  vpcPeerings:\n    - remoteVpc: vpc-1\n      localConnectIP: 169.254.0.2/30\n  staticRoutes:\n    - cidr: 10.0.0.0/16\n      nextHopIP: 169.254.0.1\n      policy: policyDst\n</code></pre> <ul> <li><code>remoteVpc</code>: The name of another peering VPC.</li> <li><code>localConnectIP</code>: As the IP address and CIDR of the interconnection endpoint. Note that both IPs should belong to the same CIDR and should not conflict with existing subnets.</li> <li><code>cidr</code>\uff1aCIDR of the peering Subnet.</li> <li><code>nextHopIP</code>\uff1aThe <code>localConnectIP</code> on the other end of the peering VPC.</li> </ul> <p>Create Pods under the two Subnets</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net1\n  name: vpc-1-pod\nspec:\n  containers:\n    - name: vpc-1-pod\n      image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net2\n  name: vpc-2-pod\nspec:\n  containers:\n    - name: vpc-2-pod\n      image: docker.io/library/nginx:alpine\n</code></pre> <p>Test the network connectivity</p> <pre><code># kubectl exec -it vpc-1-pod -- ping $(kubectl get pod vpc-2-pod -o jsonpath='{.status.podIP}')\nPING 172.31.0.2 (172.31.0.2): 56 data bytes\n64 bytes from 172.31.0.2: seq=0 ttl=62 time=0.655 ms\n64 bytes from 172.31.0.2: seq=1 ttl=62 time=0.086 ms\n64 bytes from 172.31.0.2: seq=2 ttl=62 time=0.098 ms\n^C\n--- 172.31.0.2 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.086/0.279/0.655 ms\n# kubectl exec -it vpc-2-pod -- ping $(kubectl get pod vpc-1-pod -o jsonpath='{.status.podIP}')\nPING 10.0.0.2 (10.0.0.2): 56 data bytes\n64 bytes from 10.0.0.2: seq=0 ttl=62 time=0.594 ms\n64 bytes from 10.0.0.2: seq=1 ttl=62 time=0.093 ms\n64 bytes from 10.0.0.2: seq=2 ttl=62 time=0.088 ms\n^C\n--- 10.0.0.2 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.088/0.258/0.594 ms\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/windows/","title":"Windows Support","text":"<p>Kube-OVN supports Kubernetes cluster networks that include Windows system nodes, allowing unified containers network management.</p>"},{"location":"en/advance/windows/#prerequisites","title":"Prerequisites","text":"<ul> <li>Read Adding Windows nodes to add Windows nodes.</li> <li>Windows nodes must have the KB4489899 patch installed for Overlay/VXLAN networks to work properly, and it is recommended to update your system to the latest version.</li> <li>Hyper-V and management tools must be installed on the Windows node.</li> <li>Due to Windows restrictions tunnel encapsulation can only be used in Vxlan mode.</li> <li>SSL, IPv6, dual-stack, QoS features are not supported at this time.</li> <li>Dynamic subnet and dynamic tunnel interface are not supported at this time. You need to create the subnet and select the network interface before installing the Windows node.</li> <li>Multiple <code>ProviderNetwork</code>s are not supported, and the bridge interface configuration cannot be dynamically adjusted.</li> </ul>"},{"location":"en/advance/windows/#install-ovs-on-windows","title":"Install OVS on Windows","text":"<p>Due to some issues with upstream OVN and OVS support for Windows containers, a modified installation package provided by Kube-OVN is required.</p> <p>Use the following command to enable the <code>TESTSIGNING</code> startup item on the Windows node, which requires a system reboot to take effect.</p> <pre><code>bcdedit /set LOADOPTIONS DISABLE_INTEGRITY_CHECKS\nbcdedit /set TESTSIGNING ON\nbcdedit /set nointegritychecks ON\n</code></pre> <p>Download Windows package on Windows node and install.</p> <p>Confirm that the service is running properly after installation:</p> <pre><code>PS &gt; Get-Service | findstr ovs\nRunning  ovsdb-server  Open vSwitch DB Service\nRunning  ovs-vswitchd  Open vSwitch Service\n</code></pre>"},{"location":"en/advance/windows/#install-kube-ovn","title":"Install Kube-OVN","text":"<p>Download the installation script in the Windows node install.ps1.</p> <p>Add relevant parameters and run:</p> <pre><code>.\\install.ps1 -KubeConfig C:\\k\\admin.conf -ApiServer https://192.168.140.180:6443 -ServiceCIDR 10.96.0.0/12\n</code></pre> <p>By default, Kube-OVN uses the NIC where the node IP is located as the tunnel interface. If you need to use another NIC, you need to add the specified annotation to the Node before installation, e.g. <code>ovn.kubernetes.io/tunnel_interface=Ethernet1</code>.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/with-bgp/","title":"BGP Support","text":"<p>Kube-OVN supports broadcasting the IP address of the Pod or Subnet to the outside world via BGP protocol, so that the outside world can access the Pod directly through the Pod IP. To use this feature, you need to install <code>kube-ovn-speaker</code> on specific nodes and add the corresponding annotation to the Pod or Subnet that needs to be exposed to the outside world.</p>"},{"location":"en/advance/with-bgp/#install-kube-ovn-speaker","title":"Install kube-ovn-speaker","text":"<p><code>kube-ovn-speaker</code> use GoBGP to publish routing information to the outside world and set the next-hop route to itself.</p> <p>Since the node where <code>kube-ovn-speaker</code> is deployed needs to carry return traffic, specific labeled nodes need to be selected for deployment:</p> <pre><code>kubectl label nodes speaker-node-1 ovn.kubernetes.io/bgp=true\nkubectl label nodes speaker-node-2 ovn.kubernetes.io/bgp=true\n</code></pre> <p>When there are multiple instances of kube-ovn-speaker, each of them will publish routes to the outside world, the upstream router needs to support multi-path ECMP.</p> <p>Download the corresponding yaml:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/yamls/speaker.yaml\n</code></pre> <p>Modify the corresponding configuration in yaml:</p> <pre><code>--neighbor-address=10.32.32.1\n--neighbor-as=65030\n--cluster-as=65000\n</code></pre> <ul> <li><code>neighbor-address</code>: The address of the BGP Peer, usually the router gateway address.</li> <li><code>neighbor-as</code>: The AS number of the BGP Peer.</li> <li><code>cluster-as</code>: The AS number of the container network.</li> </ul> <p>Deploy yaml:</p> <pre><code>kubectl apply -f speaker.yaml\n</code></pre>"},{"location":"en/advance/with-bgp/#publish-podsubnet-routes","title":"Publish Pod/Subnet Routes","text":"<p>To use BGP for external routing, first set <code>natOutgoing</code> to <code>false</code> for the corresponding Subnet to allow the Pod IP to enter the underlying network directly.</p> <p>Add annotation to publish routes:</p> <pre><code>kubectl annotate pod sample ovn.kubernetes.io/bgp=true\nkubectl annotate subnet ovn-default ovn.kubernetes.io/bgp=true\n</code></pre> <p>Delete annotation to disable the publishing:</p> <pre><code>kubectl annotate pod perf-ovn-xzvd4 ovn.kubernetes.io/bgp-\nkubectl annotate subnet ovn-default ovn.kubernetes.io/bgp-\n</code></pre>"},{"location":"en/advance/with-bgp/#bgp-advance-options","title":"BGP Advance Options","text":"<p><code>kube-ovn-speaker</code> supports more BGP parameters for advanced configuration, which can be adjusted by users according to their network environment:</p> <ul> <li><code>announce-cluster-ip</code>: Whether to publish Service routes to the public, default is <code>false</code>.</li> <li><code>auth-password</code>: The access password for the BGP peer.</li> <li><code>holdtime</code>: The heartbeat detection time between BGP neighbors. Neighbors with no messages after the change time will be removed, the default is 90 seconds.</li> <li><code>graceful-restart</code>: Whether to enable BGP Graceful Restart.</li> <li><code>graceful-restart-time</code>: BGP Graceful restart time refer to RFC4724 3.</li> <li><code>graceful-restart-deferral-time</code>: BGP Graceful restart deferral time refer to RFC4724 4.1.</li> <li><code>passivemode</code>: The Speaker runs in Passive mode and does not actively connect to the peer.</li> <li><code>ebgp-multihop</code>: The TTL value of EBGP Peer, default is 1.</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/with-cilium/","title":"Integration with Cilium","text":"<p>Cilium is an eBPF-based networking and security component. Kube-OVN uses the CNI Chaining mode to enhance existing features. Users can use both the rich network abstraction capabilities of Kube-OVN and the monitoring and security capabilities that come with eBPF.</p> <p>By integrating Cilium, Kube-OVN users can have the following gains:</p> <ul> <li>Richer and more efficient security policies.</li> <li>Hubble-based monitoring and UI.</li> </ul> <p></p>"},{"location":"en/advance/with-cilium/#prerequisites","title":"Prerequisites","text":"<ol> <li>Linux kernel version above 4.19 or other compatible kernel for full eBPF capability support.</li> <li>Install Helm in advance to prepare for the installation of Cilium, please refer to Installing Helm to deploy Helm.</li> </ol>"},{"location":"en/advance/with-cilium/#configure-kube-ovn","title":"Configure Kube-OVN","text":"<p>In order to fully utilize the security capabilities of Cilium, you need to disable the <code>networkpolicy</code> feature within Kube-OVN and adjust the CNI configuration priority.</p> <p>Change the following variables in the <code>install.sh</code> script:</p> <pre><code>ENABLE_NP=false\nCNI_CONFIG_PRIORITY=10\n</code></pre> <p>If the deployment is complete, you can adjust the args of <code>kube-ovn-controller</code>:</p> <pre><code>args:\n- --enable-np=false\n</code></pre> <p>Modify the <code>kube-ovn-cni</code> args to adjust the CNI configuration priority:</p> <pre><code>args:\n- --cni-conf-name=10-kube-ovn.conflist\n</code></pre> <p>Adjust the Kube-OVN cni configuration name on each node:</p> <pre><code>mv /etc/cni/net.d/01-kube-ovn.conflist /etc/cni/net.d/10-kube-ovn.conflist\n</code></pre>"},{"location":"en/advance/with-cilium/#deploy-cilium","title":"Deploy Cilium","text":"<p>Create the <code>chaining.yaml</code> configuration file to use Cilium's <code>generic-veth</code> mode:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: cni-configuration\n  namespace: kube-system\ndata:\n  cni-config: |-\n    {\n      \"name\": \"generic-veth\",\n      \"cniVersion\": \"0.3.1\",\n      \"plugins\": [\n        {\n          \"type\": \"kube-ovn\",\n          \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n          \"ipam\": {\n              \"type\": \"kube-ovn\",\n              \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\"\n          }\n        },\n        {\n          \"type\": \"portmap\",\n          \"snat\": true,\n          \"capabilities\": {\"portMappings\": true}\n        },\n        {\n          \"type\": \"cilium-cni\"\n        }\n      ]\n    }\n</code></pre> <p>Installation the chaining config:</p> <pre><code>kubectl apply -f chaining.yaml\n</code></pre> <p>Deploying Cilium with Helm:</p> <pre><code>helm repo add cilium https://helm.cilium.io/\nhelm install cilium cilium/cilium --version 1.11.6 \\\n    --namespace kube-system \\\n    --set cni.chainingMode=generic-veth \\\n    --set cni.customConf=true \\\n    --set cni.configMap=cni-configuration \\\n    --set tunnel=disabled \\\n    --set enableIPv4Masquerade=false \\\n    --set enableIdentityMark=false \n</code></pre> <p>Confirm that the Cilium installation was successful:</p> <pre><code># cilium  status\n    /\u00af\u00af\\\n /\u00af\u00af\\__/\u00af\u00af\\    Cilium:         OK\n \\__/\u00af\u00af\\__/    Operator:       OK\n /\u00af\u00af\\__/\u00af\u00af\\    Hubble:         disabled\n \\__/\u00af\u00af\\__/    ClusterMesh:    disabled\n    \\__/\n\nDaemonSet         cilium             Desired: 2, Ready: 2/2, Available: 2/2\nDeployment        cilium-operator    Desired: 2, Ready: 2/2, Available: 2/2\nContainers:       cilium             Running: 2\n                  cilium-operator    Running: 2\nCluster Pods:     8/11 managed by Cilium\nImage versions    cilium             quay.io/cilium/cilium:v1.10.5@sha256:0612218e28288db360c63677c09fafa2d17edda4f13867bcabf87056046b33bb: 2\n                  cilium-operator    quay.io/cilium/operator-generic:v1.10.5@sha256:2d2f730f219d489ff0702923bf24c0002cd93eb4b47ba344375566202f56d972: 2\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/with-openstack/","title":"Integration with OpenStack","text":"<p>In some cases, users need to run virtual machines with OpenStack and containers with Kubernetes, and need the network to interoperate between containers and virtual machines and be under a unified control plane. If the OpenStack Neutron side also uses OVN as the underlying network, then Kube-OVN can use either cluster interconnection or shared underlying OVN to connect the OpenStack and Kubernetes networks.</p>"},{"location":"en/advance/with-openstack/#cluster-interconnection","title":"Cluster Interconnection","text":"<p>This pattern is similar to Cluster Inter-Connection with OVN-IC to connect two Kubernetes cluster networks, except that the two ends of the cluster are replaced with OpenStack and Kubernetes\u3002</p>"},{"location":"en/advance/with-openstack/#prerequisites","title":"Prerequisites","text":"<ol> <li>The subnet CIDRs within OpenStack and Kubernetes cannot overlap with each other in auto-route mode.</li> <li>A set of machines needs to exist that can be accessed by each cluster over the network and used to deploy controllers that interconnect across clusters.</li> <li>Each cluster needs to have a set of machines that can access each other across clusters via IP as the gateway nodes.</li> <li>This solution only connects to the Kubernetes default subnet with selected VPC in OpenStack.</li> </ol>"},{"location":"en/advance/with-openstack/#deploy-ovn-ic-db","title":"Deploy OVN-IC DB","text":"<p>Start the <code>OVN-IC</code> DB with the following command:</p> <pre><code>docker run --name=ovn-ic-db -d --network=host -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre>"},{"location":"en/advance/with-openstack/#kubernetes-side-operations","title":"Kubernetes Side Operations","text":"<p>Create <code>ovn-ic-config</code> ConfigMap in <code>kube-system</code> Namespace \uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre> <ul> <li><code>enable-ic</code>: Whether to enable cluster interconnection.</li> <li><code>az-name</code>: Distinguish the cluster names of different clusters, each interconnected cluster needs to be different.</li> <li><code>ic-db-host</code>: Address of the node where the <code>OVN-IC</code> DB is deployed.</li> <li><code>ic-nb-port</code>: <code>OVN-IC</code> Northbound Database port, default 6645.</li> <li><code>ic-sb-port</code>: <code>OVN-IC</code> Southbound Database port, default 6645.</li> <li><code>gw-nodes</code>: The name of the nodes in the cluster interconnection that takes on the work of the gateways, separated by commas.</li> <li><code>auto-route</code>: Whether to automatically publish and learn routes.</li> </ul>"},{"location":"en/advance/with-openstack/#openstack-side-operations","title":"OpenStack Side Operations","text":"<p>Create logical routers that interconnect with Kubernetes:</p> <pre><code># openstack router create router0\n# openstack router list\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| ID                                   | Name    | Status | State | Project                          |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| d5b38655-249a-4192-8046-71aa4d2b4af1 | router0 | ACTIVE | UP    | 98a29ab7388347e7b5ff8bdd181ba4f9 |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n</code></pre> <p>Set the availability zone name in the OVN northbound database within OpenStack, which needs to be different from the other interconnected clusters:</p> <pre><code>ovn-nbctl set NB_Global . name=op-az\n</code></pre> <p>Start the <code>OVN-IC</code> controller at a node that has access to the <code>OVN-IC</code> DB:</p> <pre><code>/usr/share/ovn/scripts/ovn-ctl --ovn-ic-nb-db=tcp:192.168.65.3:6645 \\\n  --ovn-ic-sb-db=tcp:192.168.65.3:6646 \\\n  --ovn-northd-nb-db=unix:/run/ovn/ovnnb_db.sock \\\n  --ovn-northd-sb-db=unix:/run/ovn/ovnsb_db.sock \\\n  start_ic\n</code></pre> <ul> <li><code>ovn-ic-nb-db</code>\uff0c<code>ovn-ic-sb-db</code>: OVN-IC Northbound database and southbound database addresses.</li> <li><code>ovn-northd-nb-db</code>\uff0c <code>ovn-northd-sb-db</code>: Current cluster OVN northbound database and southbound data address.</li> </ul> <p>Configuration gateway nodes:</p> <pre><code>ovs-vsctl set open_vswitch . external_ids:ovn-is-interconn=true\n</code></pre> <p>The next step is to create a logical topology by operating the OVN in OpenStack.</p> <p>Connect the <code>ts</code> interconnect switch and the <code>router0</code> logical router, and set the relevant rules:</p> <pre><code>ovn-nbctl lrp-add router0 lrp-router0-ts 00:02:ef:11:39:4f 169.254.100.73/24\novn-nbctl lsp-add ts lsp-ts-router0 -- lsp-set-addresses lsp-ts-router0 router \\\n  -- lsp-set-type lsp-ts-router0 router \\\n  -- lsp-set-options lsp-ts-router0  router-port=lrp-router0-ts\novn-nbctl lrp-set-gateway-chassis lrp-router0-ts {gateway chassis} 1000\novn-nbctl set NB_Global . options:ic-route-adv=true options:ic-route-learn=true\n</code></pre> <p>Verify that OpenStack has learned the Kubernetes routing rules:</p> <pre><code># ovn-nbctl lr-route-list router0\nIPv4 Routes\n                10.0.0.22            169.254.100.34 dst-ip (learned)\n             10.16.0.0/16            169.254.100.34 dst-ip (learned)\n</code></pre> <p>Next, you can create a virtual machine under the <code>router0</code> network to verify that it can interconnect with Pods under Kubernetes.</p>"},{"location":"en/advance/with-openstack/#shared-underlay-ovn","title":"Shared Underlay OVN","text":"<p>In this scenario, OpenStack and Kubernetes share the same OVN, so concepts such as VPC and Subnet can be pulled together for better control and interconnection.</p> <p>In this mode we deploy the OVN normally using Kube-OVN, and OpenStack modifies the Neutron configuration to connect to the same OVN DB. OpenStack requires networking-ovn as a Neutron backend implementation.</p>"},{"location":"en/advance/with-openstack/#neutron-modification","title":"Neutron Modification","text":"<p>Modify the Neutron configuration file <code>/etc/neutron/plugins/ml2/ml2_conf.ini</code>\uff1a</p> <pre><code>[ovn]\n...\novn_nb_connection = tcp:[192.168.137.176]:6641,tcp:[192.168.137.177]:6641,tcp:[192.168.137.178]:6641\novn_sb_connection = tcp:[192.168.137.176]:6642,tcp:[192.168.137.177]:6642,tcp:[192.168.137.178]:6642\novn_l3_scheduler = OVN_L3_SCHEDULER\n</code></pre> <ul> <li><code>ovn_nb_connection</code>\uff0c <code>ovn_sb_connection</code>: The address needs to be changed to the address of the <code>ovn-central</code> nodes deployed by Kube-OVN.</li> </ul> <p>Modify the OVS configuration for each node:</p> <pre><code>ovs-vsctl set open . external-ids:ovn-remote=tcp:[192.168.137.176]:6642,tcp:[192.168.137.177]:6642,tcp:[192.168.137.178]:6642\novs-vsctl set open . external-ids:ovn-encap-type=geneve\novs-vsctl set open . external-ids:ovn-encap-ip=192.168.137.200\n</code></pre> <ul> <li><code>external-ids:ovn-remote</code>: The address needs to be changed to the address of the <code>ovn-central</code> nodes deployed by Kube-OVN.</li> <li><code>ovn-encap-ip</code>: Change to the IP address of the current node.</li> </ul>"},{"location":"en/advance/with-openstack/#using-openstack-internal-resources-in-kubernetes","title":"Using OpenStack Internal Resources in Kubernetes","text":"<p>The next section describes how to query OpenStack's network resources in Kubernetes and create Pods in the subnet from OpenStack.</p> <p>Query the existing network resources in OpenStack for the following resources that have been pre-created.</p> <pre><code># openstack router list\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| ID                                   | Name    | Status | State | Project                          |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| 22040ed5-0598-4f77-bffd-e7fd4db47e93 | router0 | ACTIVE | UP    | 62381a21d569404aa236a5dd8712449c |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n# openstack network list\n+--------------------------------------+----------+--------------------------------------+\n| ID                                   | Name     | Subnets                              |\n+--------------------------------------+----------+--------------------------------------+\n| cd59e36a-37db-4c27-b709-d35379a7920f | provider | 01d73d9f-fdaa-426c-9b60-aa34abbfacae |\n+--------------------------------------+----------+--------------------------------------+\n# openstack subnet list\n+--------------------------------------+-------------+--------------------------------------+----------------+\n| ID                                   | Name        | Network                              | Subnet         |\n+--------------------------------------+-------------+--------------------------------------+----------------+\n| 01d73d9f-fdaa-426c-9b60-aa34abbfacae | provider-v4 | cd59e36a-37db-4c27-b709-d35379a7920f | 192.168.1.0/24 |\n+--------------------------------------+-------------+--------------------------------------+----------------+\n# openstack server list\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n| ID                                   | Name              | Status | Networks              | Image  | Flavor |\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n| 8433d622-a8d6-41a7-8b31-49abfd64f639 | provider-instance | ACTIVE | provider=192.168.1.61 | ubuntu | m1     |\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n</code></pre> <p>On the Kubernetes side, query the VPC resources from OpenStack:</p> <pre><code># kubectl get vpc\nNAME                                           STANDBY   SUBNETS\nneutron-22040ed5-0598-4f77-bffd-e7fd4db47e93   true      [\"neutron-cd59e36a-37db-4c27-b709-d35379a7920f\"]\novn-cluster                                    true      [\"join\",\"ovn-default\"]\n</code></pre> <p><code>neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93</code> is the VPC resources synchronized from OpenStack.</p> <p>Next, you can create Pods and run them according to Kube-OVN's native VPC and Subnet operations.</p> <p>Bind VPC, Subnet to Namespace <code>net2</code> and create Pod:</p> <pre><code>apiVersion: v1\nkind: Namespace\nmetadata:\n  name: net2\n---\napiVersion: kubeovn.io/v1\nkind: Vpc\nmetadata:\n  creationTimestamp: \"2021-06-20T13:34:11Z\"\n  generation: 2\n  labels:\n    ovn.kubernetes.io/vpc_external: \"true\"\n  name: neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93\n  resourceVersion: \"583728\"\n  uid: 18d4c654-f511-4def-a3a0-a6434d237c1e\nspec:\n  namespaces:\n  - net2\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93\n  namespaces:\n    - net2\n  cidrBlock: 12.0.1.0/24\n  natOutgoing: false\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: ubuntu\n  namespace: net2\nspec:\n  containers:\n    - image: docker.io/kubeovn/kube-ovn:v1.8.0\n      command:\n        - \"sleep\"\n        - \"604800\"\n      imagePullPolicy: IfNotPresent\n      name: ubuntu\n  restartPolicy: Always\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/with-ovn-ic/","title":"Cluster Inter-Connection with OVN-IC","text":"<p>Kube-OVN supports interconnecting two Kubernetes cluster Pod networks via OVN-IC, and the Pods in the two clusters can communicate directly via Pod IPs . Kube-OVN uses tunnels to encapsulate cross-cluster traffic, allowing container networks to interconnect between two clusters as long as there is a set of IP reachable machines.</p> <p>This mode of multi-cluster interconnection is for Overlay network. For Underlay network, it needs the underlying infrastructure to do the inter-connection work.</p> <p></p>"},{"location":"en/advance/with-ovn-ic/#prerequisites","title":"Prerequisites","text":"<ol> <li> <p>Clusters configured in versions after 1.11.16 have the cluster interconnection switch turned off by default. You need to mark the following in the configuration script <code>install.sh</code>:</p> <pre><code>ENABLE_IC=true\n</code></pre> </li> </ol> <p>After opening the switch and deploying the cluster, the component deployment ovn-ic-controller will appear. 2. The subnet CIDRs within OpenStack and Kubernetes cannot overlap with each other in auto-interconnect mode.    If there is overlap, you need to refer to the subsequent manual interconnection process, which can only connect non-overlapping Subnets. 3. A set of machines needs to exist that can be accessed by each cluster over the network and used to deploy controllers that interconnect across clusters. 4. Each cluster needs to have a set of machines that can access each other across clusters via IP as the gateway nodes. 5. This solution only connects to the Kubernetes default VPCs.</p>"},{"location":"en/advance/with-ovn-ic/#deploy-a-single-node-ovn-ic-db","title":"Deploy a single-node OVN-IC DB","text":""},{"location":"en/advance/with-ovn-ic/#single-node-deployment-solution-1","title":"Single node deployment solution 1","text":"<p>Solution 1 is recommended first, supported after Kube-OVN v1.11.16.</p> <p>This method does not distinguish between \"single node\" or \"multi-node high availability\" deployment. The controller will be deployed on the master node in the form of Deployment. The cluster master node is 1, which is a single node deployment, and the number of master nodes is multiple, that is, multi-node. Highly available deployment.</p> <p>First get the script <code>install-ovn-ic.sh</code> and use the following command:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install-ic-server.sh\n</code></pre> <p>Execute the command installation, where <code>TS_NUM</code> represents the number of ECMP Paths connected to the cluster:</p> <pre><code>sed 's/VERSION=.*/VERSION=v1.13.0/' dist/images/install-ic-server.sh | TS_NUM=3 bash\n</code></pre> <p>The output of successful execution is as follows:</p> <pre><code>deployment.apps/ovn-ic-server created\nWaiting for deployment spec update to be observed...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 0 out of 3 new replicas have been updated...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 0 of 3 updated replicas are available...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"ovn-ic-server\" successfully rolled out\nOVN IC Server installed Successfully\n</code></pre> <p>You can view the status of the current interconnected controller through the <code>kubectl ko icsbctl show</code> command. The command is as follows:</p> <pre><code>kubectl ko icsbctl show\navailability-zone az0\n    gateway 059b5c54-c540-4d77-b009-02d65f181a02\n        hostname: kube-ovn-worker\n        type: geneve\n            ip: 172.18.0.3\n        port ts-az0\n            transit switch: ts\n            address: [\"00:00:00:B4:8E:BE 169.254.100.97/24\"]\n    gateway 74ee4b9a-ba48-4a07-861e-1a8e4b9f905f\n        hostname: kube-ovn-worker2\n        type: geneve\n            ip: 172.18.0.2\n        port ts1-az0\n            transit switch: ts1\n            address: [\"00:00:00:19:2E:F7 169.254.101.90/24\"]\n    gateway 7e2428b6-344c-4dd5-a0d5-972c1ccec581\n        hostname: kube-ovn-control-plane\n        type: geneve\n            ip: 172.18.0.4\n        port ts2-az0\n            transit switch: ts2\n            address: [\"00:00:00:EA:32:BA 169.254.102.103/24\"]\navailability-zone az1\n    gateway 034da7cb-3826-4318-81ce-6a877a9bf285\n        hostname: kube-ovn1-worker\n        type: geneve\n            ip: 172.18.0.6\n        port ts-az1\n            transit switch: ts\n            address: [\"00:00:00:25:3A:B9 169.254.100.51/24\"]\n    gateway 2531a683-283e-4fb8-a619-bdbcb33539b8\n        hostname: kube-ovn1-worker2\n        type: geneve\n            ip: 172.18.0.5\n        port ts1-az1\n            transit switch: ts1\n            address: [\"00:00:00:52:87:F4 169.254.101.118/24\"]\n    gateway b0efb0be-e5a7-4323-ad4b-317637a757c4\n        hostname: kube-ovn1-control-plane\n        type: geneve\n            ip: 172.18.0.8\n        port ts2-az1\n            transit switch: ts2\n            address: [\"00:00:00:F6:93:1A 169.254.102.17/24\"]\n</code></pre>"},{"location":"en/advance/with-ovn-ic/#single-node-deployment-solution-2","title":"Single node deployment solution 2","text":"<p>Deploy the <code>OVN-IC</code> DB on a machine accessible by <code>kube-ovn-controller</code>, This DB will hold the network configuration information synchronized up from each cluster.</p> <p>An environment deploying <code>docker</code> can start the <code>OVN-IC</code> DB with the following command.</p> <pre><code>docker run --name=ovn-ic-db -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --network=host --privileged  -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>For deploying a <code>containerd</code> environment instead of <code>docker</code> you can use the following command:</p> <pre><code>ctr -n k8s.io run -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre>"},{"location":"en/advance/with-ovn-ic/#automatic-routing-mode","title":"Automatic Routing Mode","text":"<p>In auto-routing mode, each cluster synchronizes the CIDR information of the Subnet under its own default VPC to <code>OVN-IC</code>, so make sure there is no overlap between the Subnet CIDRs of the two clusters.</p> <p>Create <code>ovn-ic-config</code> ConfigMap in <code>kube-system</code> Namespace:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre> <ul> <li><code>enable-ic</code>: Whether to enable cluster interconnection.</li> <li><code>az-name</code>: Distinguish the cluster names of different clusters, each interconnected cluster needs to be different.</li> <li><code>ic-db-host</code>: Address of the node where the <code>OVN-IC</code> DB is deployed.</li> <li><code>ic-nb-port</code>: <code>OVN-IC</code> Northbound Database port, default 6645.</li> <li><code>ic-sb-port</code>: <code>OVN-IC</code> Southbound Database port, default 6645.</li> <li><code>gw-nodes</code>: The name of the nodes in the cluster interconnection that takes on the work of the gateways, separated by commas.</li> <li><code>auto-route</code>: Whether to automatically publish and learn routes.</li> </ul> <p>Note: To ensure the correct operation, the ConfigMap <code>ovn-ic-config</code> is not allowed to be modified. If any parameter needs to be changed, please delete this ConfigMap, modify it and then apply it again.</p> <p>Check if the interconnected logical switch <code>ts</code> has been established in the <code>ovn-ic</code> container with the following command\uff1a</p> <pre><code># ovn-ic-sbctl show\navailability-zone az1\n    gateway deee03e0-af16-4f45-91e9-b50c3960f809\n        hostname: az1-gw\n        type: geneve\n            ip: 192.168.42.145\n        port ts-az1\n            transit switch: ts\n            address: [\"00:00:00:50:AC:8C 169.254.100.45/24\"]\navailability-zone az2\n    gateway e94cc831-8143-40e3-a478-90352773327b\n        hostname: az2-gw\n        type: geneve\n            ip: 192.168.42.149\n        port ts-az2\n            transit switch: ts\n            address: [\"00:00:00:07:4A:59 169.254.100.63/24\"]\n</code></pre> <p>At each cluster observe if logical routes have learned peer routes:</p> <pre><code># kubectl ko nbctl lr-route-list ovn-cluster\nIPv4 Routes\n                10.42.1.1            169.254.100.45 dst-ip (learned)\n                10.42.1.3                100.64.0.2 dst-ip\n                10.16.0.2                100.64.0.2 src-ip\n                10.16.0.3                100.64.0.2 src-ip\n                10.16.0.4                100.64.0.2 src-ip\n                10.16.0.6                100.64.0.2 src-ip\n             10.17.0.0/16            169.254.100.45 dst-ip (learned)\n            100.65.0.0/16            169.254.100.45 dst-ip (learned)\n</code></pre> <p>Next, you can try <code>ping</code> a Pod IP in Cluster 1 directly from a Pod in Cluster 2 to see if you can work.</p> <p>For a subnet that does not want to automatically publish routes to the other end, you can disable route broadcasting by modifying <code>disableInterConnection</code> in the Subnet spec.</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: no-advertise\nspec:\n  cidrBlock: 10.199.0.0/16\n  disableInterConnection: true\n</code></pre>"},{"location":"en/advance/with-ovn-ic/#manual-routing-mode","title":"Manual Routing Mode","text":"<p>For cases where there are overlapping CIDRs between clusters, and you only want to do partial subnet interconnection, you can manually publish subnet routing by following the steps below.</p> <p>Create <code>ovn-ic-config</code> ConfigMap in <code>kube-system</code> Namespace, and set <code>auto-route</code> to <code>false</code>:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"false\"\n</code></pre> <p>Find the address of the remote logical ports in each cluster separately, for later manual configuration of the route:</p> <pre><code>[root@az1 ~]# kubectl ko nbctl show\nswitch a391d3a1-14a0-4841-9836-4bd930c447fb (ts)\n    port ts-az1\n        type: router\n        router-port: az1-ts\n    port ts-az2\n        type: remote\n        addresses: [\"00:00:00:4B:E2:9F 169.254.100.31/24\"]\n\n[root@az2 ~]# kubectl ko nbctl show\nswitch da6138b8-de81-4908-abf9-b2224ec4edf3 (ts)\n    port ts-az2\n        type: router\n        router-port: az2-ts\n    port ts-az1\n        type: remote\n        addresses: [\"00:00:00:FB:2A:F7 169.254.100.79/24\"]        \n</code></pre> <p>The output above shows that the remote address from cluster <code>az1</code> to cluster <code>az2</code> is <code>169.254.100.31</code> and the remote address from <code>az2</code> to <code>az1</code> is <code>169.254.100.79</code>.</p> <p>In this example, the subnet CIDR within cluster <code>az1</code> is <code>10.16.0.0/24</code> and the subnet CIDR within cluster <code>az2</code> is <code>10.17.0.0/24</code>.</p> <p>Set up a route from cluster <code>az1</code> to cluster <code>az2</code> in cluster <code>az1</code>:</p> <pre><code>kubectl ko nbctl lr-route-add ovn-cluster 10.17.0.0/24 169.254.100.31\n</code></pre> <p>Set up a route to cluster <code>az1</code> in cluster <code>az2</code>:</p> <pre><code>kubectl ko nbctl lr-route-add ovn-cluster 10.16.0.0/24 169.254.100.79\n</code></pre>"},{"location":"en/advance/with-ovn-ic/#highly-available-ovn-ic-db-installation","title":"Highly Available OVN-IC DB Installation","text":""},{"location":"en/advance/with-ovn-ic/#high-availability-deployment-solution-1","title":"High availability deployment solution 1","text":"<p>Solution 1 is recommended first, supported after Kube-OVN v1.11.16.</p> <p>The method is the same as Single node deployment solution 1</p>"},{"location":"en/advance/with-ovn-ic/#high-availability-deployment-solution-2","title":"High availability deployment solution 2","text":"<p>A highly available cluster can be formed between <code>OVN-IC</code> DB via the Raft protocol, which requires a minimum of 3 nodes for this deployment model.</p> <p>First start the leader of the <code>OVN-IC</code> DB on the first node.</p> <p>Users deploying a <code>docker</code> environment can use the following command:</p> <pre><code>docker run --name=ovn-ic-db -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --network=host --privileged -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn -e LOCAL_IP=\"192.168.65.3\"  -e NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"   kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>If you are  using <code>containerd</code> you can use the following command:</p> <pre><code>ctr -n k8s.io run -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\"  --env=\"NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"\" --env=\"LOCAL_IP=\"192.168.65.3\"\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre> <ul> <li><code>LOCAL_IP</code>\uff1a The IP address of the node where the current container is located.</li> <li><code>NODE_IPS</code>\uff1a The IP addresses of the three nodes running the <code>OVN-IC</code> database, separated by commas.</li> </ul> <p>Next, deploy the follower of the <code>OVN-IC</code> DB on the other two nodes.</p> <p><code>docker</code> environment can use the following command.</p> <pre><code>docker run --name=ovn-ic-db -d --network=host --privileged -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn -e LOCAL_IP=\"192.168.65.2\"  -e NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\" -e LEADER_IP=\"192.168.65.3\"  kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>If using <code>containerd</code> you can use the following command:</p> <pre><code>ctr -n k8s.io run -d --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\"  --env=\"NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"\" --env=\"LOCAL_IP=\"192.168.65.2\"\" --env=\"LEADER_IP=\"192.168.65.3\"\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre> <ul> <li><code>LOCAL_IP</code>\uff1a The IP address of the node where the current container is located.</li> <li><code>NODE_IPS</code>\uff1a The IP addresses of the three nodes running the <code>OVN-IC</code> database, separated by commas.</li> <li><code>LEADER_IP</code>: The IP address of the <code>OVN-IC</code> DB leader node.</li> </ul> <p>Specify multiple <code>OVN-IC</code> database node addresses when creating <code>ovn-ic-config</code> for each cluster:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3,192.168.65.2,192.168.65.1\"\n  ic-nb-port: \"6645\"\n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre>"},{"location":"en/advance/with-ovn-ic/#support-cluster-interconnection-ecmp","title":"Support cluster interconnection ECMP","text":"<p>The premise controller is deployed according to Single Node Deployment Solution 1</p> <p>This solution supports cluster interconnection ECMP by default. The default ECMP path is 3. It also supports modifying the number of ECMP paths. Use the command:</p> <pre><code>kubectl edit deployment ovn-ic-server -n kube-system\n</code></pre> <p>Just modify the value of the environment variable 'TS_NUM'. <code>TS_NUM</code> represents the number of ECMP Paths accessed between the two clusters.</p>"},{"location":"en/advance/with-ovn-ic/#manual-reset","title":"Manual Reset","text":"<p>In some cases, the entire interconnection configuration needs to be cleaned up due to configuration errors, you can refer to the following steps to clean up your environment.</p> <p>Delete the current <code>ovn-ic-config</code> Configmap:</p> <pre><code>kubectl -n kube-system delete cm ovn-ic-config\n</code></pre> <p>Delete <code>ts</code> logical switch:</p> <pre><code>kubectl ko nbctl ls-del ts\n</code></pre> <p>Repeat the same steps at the peer cluster.</p>"},{"location":"en/advance/with-ovn-ic/#clean-ovn-ic","title":"Clean OVN-IC","text":"<p>Delete the <code>ovn-ic-config</code> Configmap for all clusters:</p> <pre><code>kubectl -n kube-system delete cm ovn-ic-config\n</code></pre> <p>Delete all clusters' <code>ts</code> logical switches:</p> <pre><code>kubectl ko nbctl ls-del ts\n</code></pre> <p>Delete the cluster interconnect controller. If it is a high-availability OVN-IC database deployment, all need to be cleaned up.</p> <p>If the controller is <code>docker</code> deploy execute command:</p> <pre><code>docker stop ovn-ic-db \ndocker rm ovn-ic-db\n</code></pre> <p>If the controller is <code>containerd</code> deploy the command:</p> <pre><code>ctr -n k8s.io task kill ovn-ic-db\nctr -n k8s.io containers rm ovn-ic-db\n</code></pre> <p>If the controller is deployed using deployment <code>ovn-ic-server</code>:</p> <pre><code>kubectl delete deployment ovn-ic-server -n kube-system\n</code></pre> <p>Then clean up the interconnection-related DB on each master node. The command is as follows:</p> <pre><code>rm -f /etc/origin/ovn/ovn_ic_nb_db.db\nrm -f /etc/origin/ovn/ovn_ic_sb_db.db\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/advance/with-submariner/","title":"Cluster Inter-Connection with Submariner","text":"<p>Submariner is an open source networking component that connects multiple Kubernetes cluster Pod and Service networks which can help Kube-OVN interconnect multiple clusters.</p> <p>Compared to OVN-IC, Submariner can connect Kube-OVN and non-Kube-OVN cluster networks, and Submariner can provide cross-cluster capability for services. However, Submariner currently only enables the default subnets to be connected, and cannot selectively connect multiple subnets.</p>"},{"location":"en/advance/with-submariner/#prerequisites","title":"Prerequisites","text":"<ul> <li>The Service CIDRs of the two clusters and the CIDR of the default Subnet cannot overlap.</li> </ul>"},{"location":"en/advance/with-submariner/#install-submariner","title":"Install Submariner","text":"<p>Download the <code>subctl</code> binary and deploy it to the appropriate path:</p> <pre><code>curl -Ls https://get.submariner.io | bash\nexport PATH=$PATH:~/.local/bin\necho export PATH=\\$PATH:~/.local/bin &gt;&gt; ~/.profile\n</code></pre> <p>Change <code>kubeconfig</code> context to the cluster that need to deploy <code>submariner-broker</code>:</p> <pre><code>subctl deploy-broker\n</code></pre> <p>In this document the default subnet CIDR for <code>cluster0</code> is <code>10.16.0.0/16</code> and the join subnet CIDR for <code>cluster0</code> is <code>100.64.0.0/16</code>, the default subnet CIDR for <code>cluster1</code> is <code>11.16.0.0/16</code> and the join subnet CIDR for <code>cluster1</code> is <code>100.68.0.0/16</code>.</p> <p>Switch <code>kubeconfig</code> to <code>cluster0</code> to register the cluster to the broker, and register the gateway node:</p> <pre><code>subctl  join broker-info.subm --clusterid  cluster0 --clustercidr 100.64.0.0/16,10.16.0.0/16  --natt=false --cable-driver vxlan --health-check=false\nkubectl label nodes cluster0 submariner.io/gateway=true\n</code></pre> <p>Switch <code>kubeconfig</code> to <code>cluster1</code> to register the cluster to the broker, and register the gateway node:</p> <pre><code>subctl  join broker-info.subm --clusterid  cluster1 --clustercidr 100.68.0.0/16,11.16.0.0/16  --natt=false --cable-driver vxlan --health-check=false\nkubectl label nodes cluster1 submariner.io/gateway=true\n</code></pre> <p>Next, you can start Pods in each of the two clusters and try to access each other using IPs.</p> <p>Network communication problems can be diagnosed by using the <code>subctl</code> command:</p> <pre><code>subctl show all\nsubctl diagnose all\n</code></pre> <p>For more Submariner operations please read Submariner Usage.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/custom-routes/","title":"Custom Routes","text":"<p>Custom routes can be configured via Pod's annotations. Here is an example:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: custom-routes\n  annotations:\n    ovn.kubernetes.io/routes: |\n      [{\n        \"dst\": \"192.168.0.101/24\",\n        \"gw\": \"10.16.0.254\"\n      }, {\n        \"gw\": \"10.16.0.254\"\n      }]\nspec:\n  containers:\n  - name: nginx\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>Do not set the <code>dst</code> field if you want to configure the default route.</p> <p>For workloads such as Deployment, DaemonSet and StatefulSet, custom routes must be configured via <code>.spec.template.metadata.annotations</code>:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: custom-routes\n  labels:\n    app: nginx\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: nginx\n  template:\n    metadata:\n      labels:\n        app: nginx\n      annotations:\n        ovn.kubernetes.io/routes: |\n          [{\n            \"dst\": \"192.168.0.101/24\",\n            \"gw\": \"10.16.0.254\"\n          }, {\n            \"gw\": \"10.16.0.254\"\n          }]\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/library/nginx:alpine\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/dual-stack/","title":"DualStack","text":"<p>Different subnets in Kube-OVN can support different IP protocols. IPv4, IPv6 and dual-stack types of subnets can exist within one cluster. However, it is recommended to use a uniform protocol type within a cluster to simplify usage and maintenance.</p> <p>In order to support dual-stack, the host network needs to meet the dual-stack requirements, and the Kubernetes-related parameters need to be adjusted, please refer to official guide to dual-stack.</p>"},{"location":"en/guide/dual-stack/#create-dual-stack-subnet","title":"Create dual-stack Subnet","text":"<p>When configuring a dual stack Subnet, you only need to set the corresponding subnet CIDR format as <code>cidr=&lt;IPv4 CIDR&gt;,&lt;IPv6 CIDR&gt;</code>.</p> <p>The CIDR order requires IPv4 to come first and IPv6 to come second, as follows.</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata: \n  name: ovn-test\nspec:\n  cidrBlock: 10.16.0.0/16,fd00:10:16::/64\n  excludeIps:\n  - 10.16.0.1\n  - fd00:10:16::1\n  gateway: 10.16.0.1,fd00:10:16::1\n</code></pre> <p>If you need to use a dual stack for the default subnet during installation, you need to change the following parameters in the installation script:</p> <pre><code>POD_CIDR=\"10.16.0.0/16,fd00:10:16::/64\"\nJOIN_CIDR=\"100.64.0.0/16,fd00:100:64::/64\"\n</code></pre>"},{"location":"en/guide/dual-stack/#check-pod-address","title":"Check Pod Address","text":"<p>Pods configured for dual-stack networks will be assigned both IPv4 and IPv6 addresses from that subnet, and the results will be displayed in the annotation of the Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/allocated: \"true\"\n    ovn.kubernetes.io/cidr: 10.16.0.0/16,fd00:10:16::/64\n    ovn.kubernetes.io/gateway: 10.16.0.1,fd00:10:16::1\n    ovn.kubernetes.io/ip_address: 10.16.0.9,fd00:10:16::9\n    ovn.kubernetes.io/logical_switch: ovn-default\n    ovn.kubernetes.io/mac_address: 00:00:00:14:88:09\n    ovn.kubernetes.io/network_types: geneve\n    ovn.kubernetes.io/routed: \"true\"\n...\npodIP: 10.16.0.9\n  podIPs:\n  - ip: 10.16.0.9\n  - ip: fd00:10:16::9\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/eip-snat/","title":"EIP and SNAT","text":"<p>This configuration is for the network under default VPC, for custom VPC please refer to VPC Gateway</p> <p>Kube-OVN supports SNAT and EIP functionality at the Pod level using the L3 Gateway feature in OVN. By using SNAT, a group of Pods can share an IP address for external access. With the EIP feature, a Pod can be directly associated with an external IP. External services can access the Pod directly through the EIP, and the Pod will also access external services through this EIP.</p> <p></p>"},{"location":"en/guide/eip-snat/#preparation","title":"Preparation","text":"<ul> <li>In order to use the OVN's L3 Gateway capability, a separate NIC must be bridged into the OVS bridge for overlay and underlay network communication.   The host must have other NICs for management.</li> <li>Since packets passing through NAT will go directly to the Underlay network, it is important to confirm that such packets can pass safely on the current network architecture.</li> <li>Currently, there is no conflict detection for EIP and SNAT addresses, and an administrator needs to manually assign them to avoid address conflicts.</li> </ul>"},{"location":"en/guide/eip-snat/#create-config","title":"Create Config","text":"<p>Create ConfigMap <code>ovn-external-gw-config</code> in <code>kube-system</code> Namespace:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-external-gw-config\n  namespace: kube-system\ndata:\n  enable-external-gw: \"true\"\n  external-gw-nodes: \"kube-ovn-worker\"\n  external-gw-nic: \"eth1\"\n  external-gw-addr: \"172.56.0.1/16\"\n  nic-ip: \"172.56.0.254/16\"\n  nic-mac: \"16:52:f3:13:6a:25\"\n</code></pre> <ul> <li><code>enable-external-gw</code>: Whether to enable SNAT and EIP functions.</li> <li><code>type</code>: <code>centrailized</code> or <code>distributed</code>\uff0c Default is <code>centralized</code> If <code>distributed</code> is used, all nodes of the cluster need to have the same name NIC to perform the gateway function.</li> <li><code>external-gw-nodes</code>: In <code>centralized</code> mode\uff0cThe names of the node performing the gateway role, comma separated.</li> <li><code>external-gw-nic</code>: The name of the NIC that performs the role of a gateway on the node.</li> <li><code>external-gw-addr</code>: The IP and mask of the physical network gateway.</li> <li><code>nic-ip</code>,<code>nic-mac</code>: The IP and Mac assigned to the logical gateway port needs to be an unoccupied IP and Mac for the physical subnet.</li> </ul>"},{"location":"en/guide/eip-snat/#confirm-the-configuration-take-effect","title":"Confirm the Configuration Take Effect","text":"<p>Check the OVN-NB status to confirm that the <code>ovn-external</code> logical switch exists and that the correct address and chassis are bound to the <code>ovn-cluster-ovn-external</code> logical router port.</p> <pre><code># kubectl ko nbctl show\nswitch 3de4cea7-1a71-43f3-8b62-435a57ef16a6 (ovn-external)\n    port ln-ovn-external\n        type: localnet\n        addresses: [\"unknown\"]\n    port ovn-external-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-external\nrouter e1eb83ad-34be-4ed5-9a02-fcc8b1d357c4 (ovn-cluster)\n    port ovn-cluster-ovn-external\n        mac: \"ac:1f:6b:2d:33:f1\"\n        networks: [\"172.56.0.100/16\"]\n        gateway chassis: [a5682814-2e2c-46dd-9c1c-6803ef0dab66]\n</code></pre> <p>Check the OVS status to confirm that the corresponding NIC is bridged into the <code>br-external</code> bridge:</p> <pre><code># kubectl ko vsctl ${gateway node name} show\ne7d81150-7743-4d6e-9e6f-5c688232e130\n    Bridge br-external\n        Port br-external\n            Interface br-external\n                type: internal\n        Port eno2\n            Interface eno2\n        Port patch-ln-ovn-external-to-br-int\n            Interface patch-ln-ovn-external-to-br-int\n                type: patch\n                options: {peer=patch-br-int-to-ln-ovn-external}\n</code></pre>"},{"location":"en/guide/eip-snat/#config-eip-amd-snat-on-pod","title":"Config EIP amd SNAT on Pod","text":"<p>SNAT and EIP can be configured by adding the <code>ovn.kubernetes.io/snat</code> or <code>ovn.kubernetes.io/eip</code> annotation to the Pod, respectively:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: pod-gw\n  annotations:\n    ovn.kubernetes.io/snat: 172.56.0.200\nspec:\n  containers:\n  - name: snat-pod\n    image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: pod-gw\n  annotations:\n    ovn.kubernetes.io/eip: 172.56.0.233\nspec:\n  containers:\n  - name: eip-pod\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>The EIP or SNAT rules configured by the Pod can be dynamically adjusted via kubectl or other tools, remember to remove the <code>ovn.kubernetes.io/routed</code> annotation to trigger the routing change.</p> <pre><code>kubectl annotate pod pod-gw ovn.kubernetes.io/eip=172.56.0.221 --overwrite\nkubectl annotate pod pod-gw ovn.kubernetes.io/routed-\n</code></pre> <p>When the EIP or SNAT takes into effect, the <code>ovn.kubernetes.io/routed</code> annotation will be added back.</p>"},{"location":"en/guide/eip-snat/#advanced-configuration","title":"Advanced Configuration","text":"<p>Some args of <code>kube-ovn-controller</code> allow for advanced configuration of SNAT and EIP:</p> <ul> <li><code>--external-gateway-config-ns</code>: The Namespace of Configmap <code>ovn-external-gw-config</code>, default is <code>kube-system</code>\u3002</li> <li><code>--external-gateway-net</code>: The name of the bridge to which the physical NIC is bridged, default is <code>external</code>.</li> <li><code>--external-gateway-vlanid</code>: Physical network Vlan Tag number, default is 0, i.e. no Vlan is used.</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/ip/","title":"Reserved IP for Specific Resources","text":"<p>IP is used to maintain the IP address of Pod or VirtualMachine (VM). The lifecycle maintenance of IP includes the following business scenarios:</p> <ul> <li> <ol> <li>IP is created with Pod and deleted with Pod.</li> </ol> </li> <li> <ol> <li>VM IP is retained by configuring ENABLE_KEEP_VM_IP. This type of IP is created with VM Pod, but not deleted with VM Pod.</li> </ol> </li> <li> <ol> <li>Statefulset Pod IP will automatically decide whether to retain Pod IP based on the capacity of Statefulset and the sequence number of Pod.</li> </ol> </li> </ul> <p>In actual business use, it is often necessary to reserve IP resources in advance. The business scenarios for reserving IP include the following two types:</p> <ul> <li> <ol> <li>Pod or VM has been created and needs to reserve IP</li> </ol> </li> <li> <ol> <li>Pod or VM has not been created yet and needs to reserve IP</li> </ol> </li> </ul> <p>In the above scenarios, the naming correspondence between IP and Pod remains consistent:</p> <ul> <li>Naming format of Pod IP: Pod-name.Pod-namespace(.subnet-provider)</li> <li>Naming format of VM Pod IP: vm-name.Pod-namespace.(subnet-provider)</li> </ul> <p>If you are unsure about these parameters and just want to simply reserve IP, please use IP Pool.</p> <p>Specifically, this function is to reserve IP for specific Pod or VM. In the creation process of reserved IP, it is necessary to specify resource name, resource type, namespace, subnet and other necessary parameters. For fixed IP reservation, it is necessary to specify IP address and MAC address (if necessary).</p> <p>Note: The previous implementation of Pod using vip to occupy IP is deprecated. (These two functions overlap)</p>"},{"location":"en/guide/ip/#1-create-reserved-ip","title":"1. Create Reserved IP","text":"<ul> <li>Pod or VM has been created and needs to reserve IP</li> <li>Pod or VM has not been created yet and needs to reserve IP</li> </ul> <p>Reserving IP is just an extended function, which supports Pod to use the reserved IP, but the usage method, naming rules and business logic of IP created with Pod are consistent. Therefore, when creating a reserved IP, it is necessary to clearly know what resources will use this IP in the future, and the type, Pod name or VM name, namespace, subnet and other information must be accurately filled in. When using this IP, the business needs to verify whether the Pod and VM bound to the IP are consistent with the attributes of the IP itself, otherwise the Pod or VM cannot use this IP.</p> <p>The creation process of IP CR controller only handles the business scenario of reserving IP, and does not handle the IP resources created with Pod. In the process of IP resources created with Pod, the creation of LSP is before the creation of IP CR, so it can be judged based on whether LSP exists. In the processing process of IP CR controller, it will first judge whether LSP exists. If it exists, it will not handle this business logic: the business logic of IP created with Pod. The creation of reserved IP supports automatic allocation of IP and manual specification of IP. The creation process of IP will only implement IP occupation, but will not create LSP. The creation of LSP is still maintained in the process of Pod creation. The creation process of IP CR is just to reserve IP. This kind of IP will automatically add a keep-ip label, indicating that it is permanently reserved and will not be cleaned up with the deletion of Pod. This kind of reserved IP needs to be managed by the business or administrator, and GC will not automatically handle this IP.</p>"},{"location":"en/guide/ip/#11-auto-allocate-address-for-reserved-ip","title":"1.1 Auto Allocate Address for Reserved IP","text":"<p>If you just want to reserve some IPs and have no requirements for the IP address itself, you can use the following yaml to create:</p> <pre><code># cat 01-dynamic.yaml\n\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  name: vm-dynamic-01.default\nspec:\n  subnet: ovn-default\n  podType: \"VirtualMachine\"\n  namespace: default\n  podName: vm-dynamic-01\n</code></pre> <ul> <li><code>subnet</code>: The IP address is reserved from the Subnet.</li> <li><code>podType</code>: Used to specify the Owner type of the Pod: \"StatefulSet\", \"VirtualMachine\".</li> <li><code>podName</code>: Pod name or VirtualMachine name.</li> <li><code>namespace</code>: Used to specify the namespace where the IP resource resides\uff0cPod namespace or VirtualMachine namespace.</li> </ul> <p>Note: These IP properties are not allowed to change</p> <p>Query the IP address after the IP address is created:</p> <pre><code># kubectl get subnet ovn-default\nNAME          PROVIDER   VPC           PROTOCOL   CIDR           PRIVATE   NAT    DEFAULT   GATEWAYTYPE   V4USED   V4AVAILABLE   V6USED   V6AVAILABLE   EXCLUDEIPS      U2OINTERCONNECTIONIP\novn-default   ovn        ovn-cluster   IPv4       10.16.0.0/16   false     true   true      distributed   7        65526         0        0             [\"10.16.0.1\"]\n\n# kubectl get ip vm-dynamic-01.default -o yaml\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  annotations:\n    kubectl.kubernetes.io/last-applied-configuration: |\n      {\"apiVersion\":\"kubeovn.io/v1\",\"kind\":\"IP\",\"metadata\":{\"annotations\":{},\"name\":\"vm-dynamic-01.default\"},\"spec\":{\"namespace\":\"default\",\"podName\":\"vm-dynamic-01\",\"podType\":\"VirtualMachine\",\"subnet\":\"ovn-default\"}}\n  creationTimestamp: \"2024-01-29T03:05:40Z\"\n  finalizers:\n  - kube-ovn-controller\n  generation: 2\n  labels:\n    ovn.kubernetes.io/ip_reserved: \"true\" # reserved ip\n    ovn.kubernetes.io/node-name: \"\"\n    ovn.kubernetes.io/subnet: ovn-default\n  name: vm-dynamic-01.default\n  resourceVersion: \"1571\"\n  uid: 89d05a26-294a-450b-ab63-1eaa957984d7\nspec:\n  attachIps: []\n  attachMacs: []\n  attachSubnets: []\n  containerID: \"\"\n  ipAddress: 10.16.0.13\n  macAddress: 00:00:00:86:C6:36\n  namespace: default\n  nodeName: \"\"\n  podName: vm-dynamic-01\n  podType: VirtualMachine\n  subnet: ovn-default\n  v4IpAddress: 10.16.0.13\n  v6IpAddress: \"\"\n\n# kubectl ko nbctl show ovn-default | grep vm-dynamic-01.default\n# The reserved IP address is assigned only in the IPAM, and the LSP is not created. Therefore, you cannot view the IP address\n</code></pre>"},{"location":"en/guide/ip/#12-specifies-the-reserved-ip-address","title":"1.2 Specifies the reserved IP address","text":"<p>If there is a need for the IP address of the reserved IP, the following yaml can be used for fixed allocation:</p> <pre><code># cat  02-static.yaml\n\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  name: pod-static-01.default\nspec:\n  subnet: ovn-default\n  podType: \"\"\n  namespace: default\n  podName: pod-static-01\n  v4IpAddress: 10.16.0.3\n  v6IpAddress:\n\n# kubectl get ip pod-static-01.default -o yaml\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  annotations:\n    kubectl.kubernetes.io/last-applied-configuration: |\n      {\"apiVersion\":\"kubeovn.io/v1\",\"kind\":\"IP\",\"metadata\":{\"annotations\":{},\"name\":\"pod-static-01.default\"},\"spec\":{\"namespace\":\"default\",\"podName\":\"pod-static-01\",\"podType\":\"\",\"subnet\":\"ovn-default\",\"v4IpAddress\":\"10.16.0.3\",\"v6IpAddress\":null}}\n  creationTimestamp: \"2024-01-29T03:08:28Z\"\n  finalizers:\n  - kube-ovn-controller\n  generation: 2\n  labels:\n    ovn.kubernetes.io/ip_reserved: \"true\"\n    ovn.kubernetes.io/node-name: \"\"\n    ovn.kubernetes.io/subnet: ovn-default\n  name: pod-static-01.default\n  resourceVersion: \"1864\"\n  uid: 11fc767d-f57d-4520-89f9-448f9b272bca\nspec:\n  attachIps: []\n  attachMacs: []\n  attachSubnets: []\n  containerID: \"\"\n  ipAddress: 10.16.0.3\n  macAddress: 00:00:00:4D:B4:36\n  namespace: default\n  nodeName: \"\"\n  podName: pod-static-01\n  podType: \"\"\n  subnet: ovn-default\n  v4IpAddress: 10.16.0.3\n  v6IpAddress: \"\"\n</code></pre> <ul> <li><code>v4IpAddress</code>: Specify an IPv4 address that is within the CIDR range of the subnet.</li> <li><code>v6IpAddress</code>: Specify an IPv6 address that is within the CIDR range of the subnet.</li> </ul>"},{"location":"en/guide/ip/#pod-use-reserved-ip","title":"Pod use reserved IP","text":"<p>Note: The Pod(VMS) name and namespace must be the same as the reserved IP address, otherwise the Pod(VMS) cannot use the IP address.</p> <p>After a Pod or VM is deleted, the IP CR remains.</p> <pre><code>root@base:~/test/ip# kubectl get po -n default -o wide\nNAME            READY   STATUS    RESTARTS   AGE   IP          NODE              NOMINATED NODE   READINESS GATES\npod-static-01   1/1     Running   0          30s   10.16.0.3   kube-ovn-worker   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"en/guide/ip/#2-delete","title":"2. Delete","text":"<p>The kube-ovn-controller GC process does not clean up individual IP resources. To clear an IP address and its LSPS, delete the IP CR resource.</p> <p>The IP deletion process formats the ipam key and LSP name based on the podName, namespace, and subnet provider in the IP attribute, releases the IPAM slot, deletes the LSP, and clears the Finalizer of the IP.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/ippool/","title":"Configure IPPool","text":"<p>IPPool is a more granular IPAM management unit than Subnet. You can subdivide the subnet segment into multiple units through IPPool, and each unit is bound to one or more namespaces.</p>"},{"location":"en/guide/ippool/#instructions","title":"Instructions","text":"<p>Below is an example\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: IPPool\nmetadata:\n  name: pool-1\nspec:\n  subnet: ovn-default\n  ips:\n  - \"10.16.0.201\"\n  - \"10.16.0.210/30\"\n  - \"10.16.0.220..10.16.0.230\"\n  namespaces:\n  - ns-1\n</code></pre> <p>Field description:</p> Field Usage Comment subnet Specify the subnet to which it belongs Required ips Specify IP ranges Support three formats: ,  and ... Support IPv6. namespaces Specifies the bound namespaces Optional"},{"location":"en/guide/ippool/#precautions","title":"Precautions","text":"<ol> <li>To ensure compatibility with Workload Universal IP Pool Fixed Address, the name of the IP pool cannot be an IP address;</li> <li>The <code>.spec.ips</code> of the IP pool can specify an IP address beyond the scope of the subnet, but the actual effective IP address is the intersection of <code>.spec.ips</code> and the CIDR of the subnet;</li> <li>Different IP pools of the same subnet cannot contain the same (effective) IP address;</li> <li>The <code>.spec.ips</code> of the IP pool can be modified dynamically;</li> <li>The IP pool will inherit the reserved IP of the subnet. When randomly assigning an IP address from the IP pool, the reserved IP included in the IP pool will be skipped;</li> <li>When randomly assigning an IP address from a subnet, it will only be assigned from a range other than all IP pools in the subnet.</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/loadbalancer-service/","title":"LoadBalancer Type Service","text":"<p>Kube-OVN supports the implementation of VPC and VPC gateway. For specific configurations, please refer to the VPC configuration.</p> <p>Due to the complexity of using VPC gateways, the implementation based on VPC gateways has been simplified. It supports creating LoadBalancer type Services in the default VPC, allowing access to Services in the default VPC through LoadBalancerIP.</p> <p>First, make sure the following conditions are met in the environment:</p> <ol> <li>Install <code>multus-cni</code> and <code>macvlan cni</code>\u3002</li> <li>LoadBalancer Service support relies on simplified implementation of VPC gateway code, still utilizing the vpc-nat-gw image and depending on macvlan for multi-interface functionality support.</li> <li>Currently, it only supports configuration in the default VPC. Support for LoadBalancers in custom VPCs can be referred to in the VPC configuration.</li> </ol>"},{"location":"en/guide/loadbalancer-service/#steps-to-configure-default-vpc-loadbalancer-service","title":"Steps to Configure Default VPC LoadBalancer Service","text":""},{"location":"en/guide/loadbalancer-service/#enable-feature-flag","title":"Enable Feature Flag","text":"<p>Modify the deployment <code>kube-ovn-controller</code> under the kube-system namespace and add the parameter <code>--enable-lb-svc=true</code> to the <code>args</code> section to enable the feature (by default it's set to false).</p> <pre><code>containers:\n- args:\n  - /kube-ovn/start-controller.sh\n  - --default-cidr=10.16.0.0/16\n  - --default-gateway=10.16.0.1\n  - --default-gateway-check=true\n  - --enable-lb-svc=true                  // parameter is set to true\n</code></pre>"},{"location":"en/guide/loadbalancer-service/#create-networkattachmentdefinition-crd-resource","title":"Create NetworkAttachmentDefinition CRD Resource","text":"<p>Refer to the following YAML and create the <code>net-attach-def</code> resource:</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: lb-svc-attachment\n  namespace: kube-system\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth0\",                            //Physical network card, configure according to the actual situation\n      \"mode\": \"bridge\"\n    }'\n</code></pre> <p>By default, the physical NIC <code>eth0</code> is used to implement the multi-interface functionality. If another physical NIC is needed, modify the <code>master</code> value to specify the name of the desired physical NIC.</p>"},{"location":"en/guide/loadbalancer-service/#create-subnet","title":"Create Subnet","text":"<p>The created Subnet is used to allocate LoadBalancerIP for the LoadBalancer Service, which should normally  be accessible from outside the cluster. An Underlay Subnet can be configured for address allocation.</p> <p>Refer to the following YAML to create a new subnet:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attach-subnet\nspec:\n  protocol: IPv4\n  provider: lb-svc-attachment.kube-system          //The provider format is fixed and consists of the Name.Namespace of the net-attach-def resource created in the previous step\n  cidrBlock: 172.18.0.0/16\n  gateway: 172.18.0.1\n  excludeIps:\n  - 172.18.0.0..172.18.0.10\n</code></pre> <p>In the <code>provider</code> parameter of the Subnet, <code>ovn</code> or <code>.ovn</code> suffix is used to indicate that the subnet is managed by Kube-OVN and requires corresponding logical switch records to be created.</p> <p>If <code>provider</code> is neither <code>ovn</code> nor ends with <code>.ovn</code>, Kube-OVN only provides the IPAM functionality to record IP address allocation without handling business logic for the subnet.</p>"},{"location":"en/guide/loadbalancer-service/#create-loadbalancer-service","title":"Create LoadBalancer Service","text":"<p>Refer to the following YAML to create a LoadBalancer Service:</p> <pre><code>apiVersion: v1\nkind: Service\nmetadata:\n   annotations:\n     lb-svc-attachment.kube-system.kubernetes.io/logical_switch: attach-subnet #Optional\n     ovn.kubernetes.io/attachmentprovider: lb-svc-attachment.kube-system #Required\n   labels:\n     app: dynamic\n   name: test-service\n   namespace: default\nspec:\n   loadBalancerIP: 172.18.0.18 #Optional\n   ports:\n     - name: test\n       protocol: TCP\n       port: 80\n       targetPort: 80\n   selector:\n     app: dynamic\n   sessionAffinity: None\n   type: LoadBalancer\n</code></pre> <p>In the yaml, the annotation <code>ovn.kubernetes.io/attachmentprovider</code> is required, and its value is composed of the Name.Namespace of the <code>net-attach-def</code> resource created in the first step. This annotation is used to find the <code>net-attach-def</code> resources when creating Pods.</p> <p>The subnet used for multi-interface address allocation can be specified through an annotation. The annotation key format is <code>net-attach-def</code> resource's <code>Name.Namespace.kubernetes.io/logical_switch</code>. This configuration is <code>optional</code> and if LoadBalancerIP address is not specified, addresses will be dynamically allocated from this subnet and filled into the LoadBalancerIP field.</p> <p>If a static LoadBalancerIP address is required, the <code>spec.loadBalancerIP</code> field can be configured. The address must be within the specified subnet's address range.</p> <p>After creating the Service using the YAML, you can see the Pod startup information in the same namespace as the Service:</p> <pre><code># kubectl get pod\nNAME READY STATUS RESTARTS AGE\nlb-svc-test-service-6869d98dd8-cjvll 1/1 Running 0 107m\n# kubectl get svc\nNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE\ntest-service LoadBalancer 10.109.201.193 172.18.0.18 80:30056/TCP 107m\n</code></pre> <p>When specifying the <code>service.spec.loadBalancerIP</code> parameter, it will be assigned to the service's external IP field. If not specified, the parameter will be assigned a random value.</p> <p>View the YAML output of the test Pod to see the assigned multi-interface addresses:</p> <pre><code># kubectl get pod -o yaml lb-svc-test-service-6869d98dd8-cjvll\napiVersion: v1\nkind: Pod\nmetadata:\n   annotations:\n     k8s.v1.cni.cncf.io/network-status: |-\n       [{\n           \"name\": \"kube-ovn\",\n           \"ips\": [\n               \"10.16.0.2\"\n           ],\n           \"default\": true,\n           \"dns\": {}\n       },{\n           \"name\": \"default/test-service\",\n           \"interface\": \"net1\",\n           \"mac\": \"ba:85:f7:02:9f:42\",\n           \"dns\": {}\n       }]\n     k8s.v1.cni.cncf.io/networks: default/test-service\n     k8s.v1.cni.cncf.io/networks-status: |-\n       [{\n           \"name\": \"kube-ovn\",\n           \"ips\": [\n               \"10.16.0.2\"\n           ],\n           \"default\": true,\n           \"dns\": {}\n       },{\n           \"name\": \"default/test-service\",\n           \"interface\": \"net1\",\n           \"mac\": \"ba:85:f7:02:9f:42\",\n           \"dns\": {}\n       }]\n     ovn.kubernetes.io/allocated: \"true\"\n     ovn.kubernetes.io/cidr: 10.16.0.0/16\n     ovn.kubernetes.io/gateway: 10.16.0.1\n     ovn.kubernetes.io/ip_address: 10.16.0.2\n     ovn.kubernetes.io/logical_router: ovn-cluster\n     ovn.kubernetes.io/logical_switch: ovn-default\n     ovn.kubernetes.io/mac_address: 00:00:00:45:F4:29\n     ovn.kubernetes.io/pod_nic_type: veth-pair\n     ovn.kubernetes.io/routed: \"true\"\n     test-service.default.kubernetes.io/allocated: \"true\"\n     test-service.default.kubernetes.io/cidr: 172.18.0.0/16\n     test-service.default.kubernetes.io/gateway: 172.18.0.1\n     test-service.default.kubernetes.io/ip_address: 172.18.0.18\n     test-service.default.kubernetes.io/logical_switch: attach-subnet\n     test-service.default.kubernetes.io/mac_address: 00:00:00:AF:AA:BF\n     test-service.default.kubernetes.io/pod_nic_type: veth-pair\n</code></pre> <p>Check the service information:</p> <pre><code># kubectl get svc -o yaml test-service\napiVersion: v1\nkind: Service\nmetadata:\n   annotations:\n     kubectl.kubernetes.io/last-applied-configuration: |\n       {\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{\"test-service.default.kubernetes.io/logical_switch\":\"attach-subnet\"},\"labels \":{\"app\":\"dynamic\"},\"name\":\"test-service\",\"namespace\":\"default\"},\"spec\":{\"ports\":[{\"name\":\"test\", \"port\":80,\"protocol\":\"TCP\",\"targetPort\":80}],\"selector\":{\"app\":\"dynamic\"},\"sessionAffinity\":\"None\",\"type\":\"LoadBalancer \"}}\n     ovn.kubernetes.io/vpc:ovn-cluster\n     test-service.default.kubernetes.io/logical_switch: attach-subnet\n   creationTimestamp: \"2022-06-15T09:01:58Z\"\n   labels:\n     app: dynamic\n   name: test-service\n   namespace: default\n   resourceVersion: \"38485\"\n   uid: 161edee1-7f6e-40f5-9e09-5a52c44267d0\nspec:\n   allocateLoadBalancerNodePorts: true\n   clusterIP: 10.109.201.193\n   clusterIPs:\n   - 10.109.201.193\n   externalTrafficPolicy: Cluster\n   internalTrafficPolicy: Cluster\n   ipFamilies:\n   - IPv4\n   ipFamilyPolicy: SingleStack\n   ports:\n   - name: test\n     nodePort: 30056\n     port: 80\n     protocol: TCP\n     targetPort: 80\n   selector:\n     app: dynamic\n   sessionAffinity: None\n   type: LoadBalancer\nstatus:\n   loadBalancer:\n     ingress:\n     - ip: 172.18.0.18\n</code></pre>"},{"location":"en/guide/loadbalancer-service/#testing-loadbalancerip-access","title":"Testing LoadBalancerIP access","text":"<p>Refer to the following YAML to create a test Pod that serves as the Endpoints for the Service:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: dynamic\n  name: dynamic\n  namespace: default\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: dynamic\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      creationTimestamp: null\n      labels:\n        app: dynamic\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n      dnsPolicy: ClusterFirst\n      restartPolicy: Always\n</code></pre> <p>Under normal circumstances, the provided subnet addresses should be accessible from outside the cluster. To verify, access the Service's <code>LoadBalancerIP:Port</code> from within the cluster and check if the access is successful.</p> <pre><code># curl 172.18.0.11:80\n&lt;html&gt;\n&lt;head&gt;\n        &lt;title&gt;Hello World!&lt;/title&gt;\n        &lt;link href='//fonts.googleapis.com/css?family=Open+Sans:400,700' rel='stylesheet' type='text/css'&gt;\n        &lt;style&gt;\n        body {\n                background-color: white;\n                text-align: center;\n                padding: 50px;\n                font-family: \"Open Sans\",\"Helvetica Neue\",Helvetica,Arial,sans-serif;\n        }\n        #logo {\n                margin-bottom: 40px;\n        }\n        &lt;/style&gt;\n&lt;/head&gt;\n&lt;body&gt;\n                &lt;h1&gt;Hello World!&lt;/h1&gt;\n                                &lt;h3&gt;Links found&lt;/h3&gt;\n        &lt;h3&gt;I am on  dynamic-7d8d7874f5-hsgc4&lt;/h3&gt;\n        &lt;h3&gt;Cookie                  =&lt;/h3&gt;\n                                        &lt;b&gt;KUBERNETES&lt;/b&gt; listening in 443 available at tcp://10.96.0.1:443&lt;br /&gt;\n                                                &lt;h3&gt;my name is hanhouchao!&lt;/h3&gt;\n                        &lt;h3&gt; RequestURI='/'&lt;/h3&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre> <p>Enter the Pod created by the Service and check the network information:</p> <pre><code># ip a\n4: net1@if62: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether ba:85:f7:02:9f:42 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 172.18.0.18/16 scope global net1\n       valid_lft forever preferred_lft forever\n    inet6 fe80::b885:f7ff:fe02:9f42/64 scope link\n       valid_lft forever preferred_lft forever\n36: eth0@if37: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1400 qdisc noqueue state UP group default\n    link/ether 00:00:00:45:f4:29 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 10.16.0.2/16 brd 10.16.255.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe45:f429/64 scope link\n       valid_lft forever preferred_lft forever\n\n# ip rule\n0: from all lookup local\n32764: from all iif eth0 lookup 100\n32765: from all iif net1 lookup 100\n32766: from all lookup main\n32767: from all lookup default\n\n# ip route show table 100\ndefault via 172.18.0.1 dev net1\n10.109.201.193 via 10.16.0.1 dev eth0\n172.18.0.0/16 dev net1 scope link\n\n# iptables -t nat -L -n -v\nChain PREROUTING (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            172.18.0.18          tcp dpt:80 to:10.109.201.193:80\n\nChain INPUT (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n\nChain OUTPUT (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n\nChain POSTROUTING (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n    0     0 MASQUERADE  all  --  *      *       0.0.0.0/0            10.109.201.193\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/mirror/","title":"Traffic Mirror","text":"<p>The traffic mirroring feature allows packets to and from the container network to be copied to a specific NIC of the host. Administrators or developers can listen to this NIC to get the complete container network traffic for further analysis, monitoring, security auditing and other operations. It can also be integrated with traditional NPM for more fine-grained traffic visibility.</p> <p>The traffic mirroring feature introduces some performance loss, with an additional CPU consumption of 5% to 10% depending on CPU performance and traffic characteristics.</p> <p></p>"},{"location":"en/guide/mirror/#global-traffic-mirroring-settings","title":"Global Traffic Mirroring Settings","text":"<p>The traffic mirroring is disabled by default, please modify the args of <code>kube-ovn-cni</code> DaemonSet to enable it:</p> <ul> <li><code>--enable-mirror=true</code>: Whether to enable traffic mirroring.</li> <li><code>--mirror-iface=mirror0</code>: The name of the NIC that the traffic mirror is copied to. This NIC can be a physical NIC that already exists on the host machine.   At this point the NIC will be bridged into the br-int bridge and the mirrored traffic will go directly to the underlying switch.   If the NIC name does not exist, Kube-OVN will automatically create a virtual NIC with the same name, through which the administrator or developer can access all traffic on the current node on the host.   The default is <code>mirror0</code>.</li> </ul> <p>Next, you can listen to the traffic on <code>mirror0</code> with tcpdump or other traffic analysis tools.</p> <pre><code>tcpdump -ni mirror0\n</code></pre>"},{"location":"en/guide/mirror/#pod-level-mirroring-settings","title":"Pod Level Mirroring Settings","text":"<p>If you only need to mirror some Pod traffic, you need to disable the global traffic mirroring and then add the <code>ovn.kubernetes.io/mirror</code> annotation on a specific Pod to enable Pod-level traffic mirroring.</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: mirror-pod\n  namespace: ls1\n  annotations:\n    ovn.kubernetes.io/mirror: \"true\"\nspec:\n  containers:\n  - name: mirror-pod\n    image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"en/guide/mirror/#performance-test","title":"Performance Test","text":"<p>Test on the same environment with the traffic mirroring switch on and off, respectively</p>"},{"location":"en/guide/mirror/#enable-traffic-mirroring","title":"Enable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 12.7 us 289 Mbits/sec 12.6 us (1.8%) 77.9 Mbits/sec 128 15.5 us 517 Mbits/sec 12.7 us (0%) 155 Mbits/sec 512 12.2 us 1.64 Gbits/sec 12.4 us (0%) 624 Mbits/sec 1k 13 us 2.96 Gbits/sec 11.4 us (0.53%) 1.22 Gbits/sec 4k 18 us 7.67 Gbits/sec 25.7 us (0.41%) 1.50 Gbits/sec"},{"location":"en/guide/mirror/#disable-traffic-mirroring","title":"Disable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 11.9 us 324 Mbits/sec 12.2 us (0.22%) 102 Mbits/sec 128 10.5 us 582 Mbits/sec 9.5 us (0.21%) 198 Mbits/sec 512 11.6 us 1.84 Gbits/sec 9.32 us (0.091%) 827 Mbits/sec 1k 10.5 us 3.44 Gbits/sec 10 us (1.2%) 1.52 Gbits/sec 4k 16.7 us 8.52 Gbits/sec 18.2 us (1.3%) 2.42 Gbits/sec"},{"location":"en/guide/mirror/#enable-traffic-mirroring_1","title":"Enable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 258 us 143 Mbits/sec 237 us (61%) 28.5 Mbits/sec 128 240 us 252 Mbits/sec 231 us (64%) 54.9 Mbits/sec 512 236 us 763 Mbits/sec 256 us (68%) 194 Mbits/sec 1k 242 us 969 Mbits/sec 225 us (62%) 449 Mbits/sec 4k 352 us 1.12 Gbits/sec 382 us (0.71%) 21.4 Mbits/sec"},{"location":"en/guide/mirror/#disable-traffic-mirroring_1","title":"Disable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 278 us 140 Mbits/sec 227 us (24%) 59.6 Mbits/sec 128 249 us 265 Mbits/sec 265 us (23%) 114 Mbits/sec 512 233 us 914 Mbits/sec 235 us (21%) 468 Mbits/sec 1k 238 us 1.14 Gbits/sec 240 us (15%) 891 Mbits/sec 4k 370 us 1.25 Gbits/sec 361 us (0.43%) 7.54 Mbits/sec"},{"location":"en/guide/mirror/#enable-traffic-mirroring_2","title":"Enable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 205 us 162 Mbits/sec 183 us (11%) 74.2 Mbits/sec 128 222 us 280 Mbits/sec 206 us (6.3%) 155 Mbits/sec 512 220 us 1.04 Gbits/sec 177 us (20%) 503 Mbits/sec 1k 213 us 2.06 Gbits/sec 201 us (8.6%) 1.14 Gbits/sec 4k 280 us 5.01 Gbits/sec 315 us (37%) 1.20 Gbits/sec"},{"location":"en/guide/mirror/#disable-traffic-mirroring_2","title":"Disable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 204 us 157 Mbits/sec 204 us (8.8%) 81.9 Mbits/sec 128 213 us 262 Mbits/sec 225 us (19%) 136 Mbits/sec 512 220 us 1.02 Gbits/sec 227 us (21%) 486 Mbits/sec 1k 217 us 1.79 Gbits/sec 218 us (29%) 845 Mbits/sec 4k 275 us 5.27 Gbits/sec 336 us (34%) 1.21 Gbits/sec"},{"location":"en/guide/mirror/#enable-traffic-mirroring_3","title":"Enable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 12.2 us 295 Mbits/sec 12.7 us (0.27%) 74.1 Mbits/sec 128 14.1 us 549 Mbits/sec 10.6 us (0.41%) 153 Mbits/sec 512 13.5 us 1.83 Gbits/sec 12.7 us (0.23%) 586 Mbits/sec 1k 12 us 2.69 Gbits/sec 13 us (1%) 1.16 Gbits/sec 4k 18.9 us 4.51 Gbits/sec 21.8 us (0.42%) 1.81 Gbits/sec"},{"location":"en/guide/mirror/#disable-traffic-mirroring_3","title":"Disable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 10.4 us 335 Mbits/sec 12.2 us (0.75%) 95.4 Mbits/sec 128 12.1 us 561 Mbits/sec 11.3 us (0.25%) 194 Mbits/sec 512 11.6 us 1.87 Gbits/sec 10.7 us (0.66%) 745 Mbits/sec 1k 12.7 us 3.12 Gbits/sec 10.9 us (1.2%) 1.46 Gbits/sec 4k 16.5 us 8.23 Gbits/sec 17.9 us (1.5%) 2.51 Gbits/sec"},{"location":"en/guide/mirror/#enable-traffic-mirroring_4","title":"Enable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 234 us 153 Mbits/sec 232 us (63%) 29.4 Mbits/sec 128 237 us 261 Mbits/sec 238 us (49%) 76.1 Mbits/sec 512 231 us 701 Mbits/sec 238 us (57%) 279 Mbits/sec 1k 256 us 1.05 Gbits/sec 228 us (56%) 524 Mbits/sec 4k 330 us 1.08 Gbits/sec 359 us (1.5%) 35.7 Mbits/sec"},{"location":"en/guide/mirror/#disable-traffic-mirroring_4","title":"Disable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 283 us 141 Mbits/sec 230 us (26%) 55.8 Mbits/sec 128 234 us 255 Mbits/sec 234 us (25%) 113 Mbits/sec 512 246 us 760 Mbits/sec 234 us (22%) 458 Mbits/sec 1k 268 us 1.23 Gbits/sec 242 us (20%) 879 Mbits/sec 4k 326 us 1.20 Gbits/sec 369 us (0.5%) 7.87 Mbits/sec"},{"location":"en/guide/mirror/#enable-traffic-mirroring_5","title":"Enable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 237 us 133 Mbits/sec 213 us (65%) 25.5 Mbits/sec 128 232 us 271 Mbits/sec 222 us (62%) 54.8 Mbits/sec 512 266 us 800 Mbits/sec 234 us (60%) 232 Mbits/sec 1k 248 us 986 Mbits/sec 239 us (50%) 511 Mbits/sec 4k 314 us 1.03 Gbits/sec 367 us (0.6%) 13.2 Mbits/sec TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14305.17 0.87ms 1.48ms 24.46ms 100 29082.07 3.87ms 4.35ms 102.85ms"},{"location":"en/guide/mirror/#disable-traffic-mirroring_5","title":"Disable traffic mirroring","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 241 us 145 Mbits/sec 225 us (19%) 60.2 Mbits/sec 128 245 us 261 Mbits/sec 212 us (15%) 123 Mbits/sec 512 252 us 821 Mbits/sec 219 us (14%) 499 Mbits/sec 1k 253 us 1.08 Gbits/sec 242 us (16%) 852 Mbits/sec 4k 320 us 1.32 Gbits/sec 360 us (0.47%) 6.70 Mbits/sec TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 13634.07 0.96ms 1.72ms 30.07ms 100 30215.23 3.59ms 3.20ms 77.56ms"},{"location":"en/guide/mirror/#enable-traffic-mirroring_6","title":"Enable traffic mirroring","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14802.73 0.88ms 1.66ms 31.49ms 100 29809.58 3.78ms 4.12ms 105.34ms"},{"location":"en/guide/mirror/#disable-traffic-mirroring_6","title":"Disable traffic mirroring","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14273.33 0.90ms 1.60ms 37.16ms 100 30757.81 3.62ms 3.41ms 59.78ms"},{"location":"en/guide/mirror/#enable-traffic-mirroring_7","title":"Enable traffic mirroring","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 15402.39 802.50us 1.42ms 30.91ms 100 29424.66 4.05ms 4.31ms 90.60ms"},{"location":"en/guide/mirror/#disable-traffic-mirroring_7","title":"Disable traffic mirroring","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14649.21 0.91ms 1.72ms 43.92ms 100 32143.61 3.66ms 3.76ms 67.02ms <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/networkpolicy-log/","title":"NetworkPolicy Logging","text":"<p>NetworkPolicy is a interface provided by Kubernetes and implemented by Kube-OVN through OVN's ACLs. With NetworkPolicy, if the networks are down, it is difficult to determine whether it is caused by a network failure or a NetworkPolicy rule problem. Kube-OVN provides NetworkPolicy logging to help administrators quickly locate whether a NetworkPolicy drop rule has been hit, and to record the illegal accesses.</p> <p>Once NetworkPolicy logging is turned on, logs need to be printed for every packet that hits a Drop rule, which introduces additional performance overhead. Under a malicious attack, a large number of logs in a short period of time may exhaust the CPU. We recommend turning off logging by default in production environments and dynamically turning it on when you need to troubleshoot problems.</p>"},{"location":"en/guide/networkpolicy-log/#enable-networkpolicy-logging","title":"Enable NetworkPolicy Logging","text":"<p>Add the annotation <code>ovn.kubernetes.io/enable_log</code> to the NetworkPolicy where logging needs to be enabled, as follows:</p> <pre><code>apiVersion: networking.k8s.io/v1\nkind: NetworkPolicy\nmetadata:\n  name: default-deny-ingress\n  namespace: kube-system\n  annotations:\n    ovn.kubernetes.io/enable_log: \"true\"\nspec:\n  podSelector: {}\n  policyTypes:\n  - Ingress\n</code></pre> <p>Next, you can observe the log of dropped packets in <code>/var/log/ovn/ovn-controller.log</code> on the host of the corresponding Pod:</p> <pre><code># tail -f /var/log/ovn/ovn-controller.log\n2022-07-20T05:55:03.229Z|00394|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=54343,tp_dst=53\n2022-07-20T05:55:06.229Z|00395|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=44187,tp_dst=53\n2022-07-20T05:55:08.230Z|00396|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=54274,tp_dst=53\n2022-07-20T05:55:11.231Z|00397|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=32778,tp_dst=53\n2022-07-20T05:55:11.231Z|00398|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=34188,tp_dst=53\n2022-07-20T05:55:13.231Z|00399|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=43290,tp_dst=53\n2022-07-20T05:55:22.096Z|00400|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n2022-07-20T05:55:22.097Z|00401|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n2022-07-20T05:55:22.098Z|00402|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n</code></pre>"},{"location":"en/guide/networkpolicy-log/#disable-networkpolicy-logging","title":"Disable NetworkPolicy Logging","text":"<p>Set annotation <code>ovn.kubernetes.io/enable_log</code> in the corresponding NetworkPolicy to <code>false</code> to disable NetworkPolicy logging:</p> <pre><code>kubectl annotate networkpolicy -n kube-system default-deny-ingress ovn.kubernetes.io/enable_log=false --overwrite\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/prometheus-grafana/","title":"Monitor and Dashboard","text":"<p>Kube-OVN can export network control plane information and network data plane quality information metrics to the external in formats supported by Prometheus.</p> <p>We use the CRD provided by kube-prometheus to define the corresponding Prometheus monitoring rules. For all monitoring metrics supported by Kube-OVN, please refer to Kube-OVN Monitoring Metrics.</p> <p>If you are using native Prometheus, please refer to Configuring Native Prometheus for configuration.</p>"},{"location":"en/guide/prometheus-grafana/#install-prometheus-monitor","title":"Install Prometheus Monitor","text":"<p>Kube-OVN uses Prometheus Monitor CRD to manage the monitoring output.</p> <pre><code># network quality related monitoring metrics\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/pinger-monitor.yaml\n# kube-ovn-controller metrics\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/controller-monitor.yaml\n# kube-ovn-cni metrics\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/cni-monitor.yaml\n# ovn metrics\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovn-monitor.yaml\n</code></pre> <p>The default interval for Prometheus pull is 15s, if you need to adjust it, modify the <code>interval</code> value in yaml.</p>"},{"location":"en/guide/prometheus-grafana/#import-grafana-dashboard","title":"Import Grafana Dashboard","text":"<p>Kube-OVN provides a predefined Grafana Dashboard to display control plane and data plane related metrics.</p> <p>Download the corresponding Dashboard template:</p> <pre><code># network quality related monitoring dashboard\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/pinger-grafana.json\n# kube-ovn-controller dashboard\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/controller-grafana.json\n# kube-ovn-cni dashboard\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/cni-grafana.json\n# ovn dashboard\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovn-grafana.json\n# ovs dashboard\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovs-grafana.json\n</code></pre> <p>Import these templates into Grafana and set the data source to the corresponding Prometheus to see the following Dashboards.</p> <p><code>kube-ovn-controller</code> dashboard:</p> <p></p> <p><code>kube-ovn-pinger</code> dashboard:</p> <p></p> <p><code>kube-ovn-cni</code> dashboard:</p> <p></p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/prometheus/","title":"Config Native Prometheus","text":"<p>Kube-OVN provides rich monitoring data for OVN/OVS health status checks and connectivity checks of container and host networks, and Kube-OVN is configured with ServiceMonitor for Prometheus to dynamically obtain monitoring metrics.</p> <p>In some cases, where only Prometheus Server is installed and no other components are installed, you can dynamically obtain monitoring data for the cluster environment by modifying the configuration of Prometheus.</p>"},{"location":"en/guide/prometheus/#config-prometheus","title":"Config Prometheus","text":"<p>The following configuration documentation, referenced from Prometheus Service Discovery.</p>"},{"location":"en/guide/prometheus/#permission-configuration","title":"Permission Configuration","text":"<p>Prometheus is deployed in the cluster and needs to access the k8s apiserver to query the monitoring data of the containers.</p> <p>Refer to the following yaml to configure the permissions required by Prometheus:</p> <pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  name: prometheus\nrules:\n- apiGroups: [\"\"]\n  resources:\n  - nodes\n  - nodes/proxy\n  - services\n  - endpoints\n  - pods\n  verbs: [\"get\", \"list\", \"watch\"]\n- apiGroups:\n  - extensions\n  resources:\n  - ingresses\n  verbs: [\"get\", \"list\", \"watch\"]\n- nonResourceURLs: [\"/metrics\"]\n  verbs: [\"get\"]\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: prometheus\n  namespace: default\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  name: prometheus\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: prometheus\nsubjects:\n- kind: ServiceAccount\n  name: prometheus\n  namespace: default\n</code></pre>"},{"location":"en/guide/prometheus/#prometheus-configmap","title":"Prometheus ConfigMap","text":"<p>The startup of Prometheus relies on the configuration file prometheus.yml, the contents of which can be configured in ConfigMap and dynamically mounted to the Pod.</p> <p>Create the ConfigMap file used by Prometheus by referring to the following yaml:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: prometheus-config\ndata:\n  prometheus.yml: |-\n    global:\n      scrape_interval:     15s \n      evaluation_interval: 15s\n    scrape_configs:\n    - job_name: 'prometheus'\n      static_configs:\n      - targets: ['localhost:9090']\n\n    - job_name: 'kubernetes-nodes'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: node\n\n    - job_name: 'kubernetes-service'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: service\n\n    - job_name: 'kubernetes-endpoints'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: endpoints\n\n    - job_name: 'kubernetes-ingress'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: ingress\n\n    - job_name: 'kubernetes-pods'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: pod\n</code></pre> <p>Prometheus provides role-based querying of Kubernetes resource monitoring operations, which can be configured in the official documentation kubernetes_sd_config\u3002</p>"},{"location":"en/guide/prometheus/#deploy-prometheus","title":"Deploy Prometheus","text":"<p>Deploy Prometheus Server by referring to the following yaml:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: prometheus\n  name: prometheus\n  namespace: default\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: prometheus\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      labels:\n        app: prometheus\n    spec:\n      serviceAccountName: prometheus\n      serviceAccount: prometheus\n      containers:\n      - image: docker.io/prom/prometheus:latest\n        imagePullPolicy: IfNotPresent\n        name: prometheus\n        command:\n        - \"/bin/prometheus\"\n        args:\n        - \"--config.file=/etc/prometheus/prometheus.yml\"\n        ports:\n        - containerPort: 9090\n          protocol: TCP\n        volumeMounts:\n        - mountPath: \"/etc/prometheus\"\n          name: prometheus-config\n      volumes:\n      - name: prometheus-config\n        configMap:\n          name: prometheus-config\n</code></pre> <p>Deploy Prometheus Service by referring to the following yaml:</p> <pre><code>kind: Service\napiVersion: v1\nmetadata:\n  name: prometheus\n  namespace: default\n  labels:\n    name: prometheus\nspec:\n  ports:\n    - name: test\n      protocol: TCP\n      port: 9090\n      targetPort: 9090\n  type: NodePort\n  selector:\n    app: prometheus\n  sessionAffinity: None\n</code></pre> <p>After exposing Prometheus through NodePort, Prometheus can be accessed through the node address.</p>"},{"location":"en/guide/prometheus/#prometheus-metrics-config","title":"Prometheus Metrics Config","text":"<p>View information about Prometheus on the environment:</p> <pre><code># kubectl get svc \nNAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE\nkubernetes   ClusterIP   10.4.0.1       &lt;none&gt;        443/TCP          8d\nprometheus   NodePort    10.4.102.222   &lt;none&gt;        9090:32611/TCP   8d\n# kubectl get pod -o wide\nNAME                          READY   STATUS    RESTARTS   AGE    IP          NODE              NOMINATED NODE   READINESS GATES\nprometheus-7544b6b84d-v9m8s   1/1     Running   0          3d5h   10.3.0.7    192.168.137.219   &lt;none&gt;           &lt;none&gt;\n# kubectl get endpoints -o wide\nNAME         ENDPOINTS                                                        AGE\nkubernetes   192.168.136.228:6443,192.168.136.232:6443,192.168.137.219:6443   8d\nprometheus   10.3.0.7:9090                                                    8d\n</code></pre> <p>Access Prometheus via NodePort to see the data dynamically queried by Status/Service Discovery:</p> <p></p> <p>You can see that you can currently query all the service data information on the cluster.</p>"},{"location":"en/guide/prometheus/#configure-to-query-specified-resource","title":"Configure to Query Specified Resource","text":"<p>The ConfigMap configuration above queries all resource data. If you only need resource data for a certain role, you can add filter conditions.</p> <p>Take Service as an example, modify the ConfigMap content to query only the service monitoring data:</p> <pre><code>    - job_name: 'kubernetes-service'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n        - role: service\n      relabel_configs:\n        - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape]\n          action: \"keep\"\n          regex: \"true\"\n        - action: labelmap\n          regex: __meta_kubernetes_service_label_(.+)\n        - source_labels: [__meta_kubernetes_namespace]\n          target_label: kubernetes_namespace\n        - source_labels: [__meta_kubernetes_service_name]\n          target_label: kubernetes_service_name\n        - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_path]\n          action: replace\n          target_label: __metrics_path__\n          regex: \"(.+)\"\n</code></pre> <p>Check the Kube-OVN Service in kube-system Namespace:</p> <pre><code># kubectl get svc -n kube-system\nNAME                  TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)                  AGE\nkube-dns              ClusterIP   10.4.0.10      &lt;none&gt;        53/UDP,53/TCP,9153/TCP   13d\nkube-ovn-cni          ClusterIP   10.4.228.60    &lt;none&gt;        10665/TCP                13d\nkube-ovn-controller   ClusterIP   10.4.172.213   &lt;none&gt;        10660/TCP                13d\nkube-ovn-monitor      ClusterIP   10.4.242.9     &lt;none&gt;        10661/TCP                13d\nkube-ovn-pinger       ClusterIP   10.4.122.52    &lt;none&gt;        8080/TCP                 13d\novn-nb                ClusterIP   10.4.80.213    &lt;none&gt;        6641/TCP                 13d\novn-northd            ClusterIP   10.4.126.234   &lt;none&gt;        6643/TCP                 13d\novn-sb                ClusterIP   10.4.216.249   &lt;none&gt;        6642/TCP                 13d\n</code></pre> <p>Add annotation <code>prometheus.io/scrape=\"true\"</code> to Service\uff1a</p> <pre><code># kubectl annotate svc -n kube-system kube-ovn-cni  prometheus.io/scrape=true\nservice/kube-ovn-cni annotated\n# kubectl annotate svc -n kube-system kube-ovn-controller  prometheus.io/scrape=true\nservice/kube-ovn-controller annotated\n# kubectl annotate svc -n kube-system kube-ovn-monitor  prometheus.io/scrape=true\nservice/kube-ovn-monitor annotated\n# kubectl annotate svc -n kube-system kube-ovn-pinger  prometheus.io/scrape=true\nservice/kube-ovn-pinger annotated\n</code></pre> <p>Check the configured Service information:</p> <pre><code># kubectl get svc -o yaml -n kube-system kube-ovn-controller\napiVersion: v1\nkind: Service\nmetadata:\n  annotations:\n    helm.sh/chart-version: v3.10.0-alpha.55\n    helm.sh/original-name: kube-ovn-controller\n    ovn.kubernetes.io/vpc: ovn-cluster\n    prometheus.io/scrape: \"true\"                        // added annotation\n  labels:\n    app: kube-ovn-controller\n  name: kube-ovn-controller\n  namespace: kube-system\nspec:\n  clusterIP: 10.4.172.213\n  clusterIPs:\n  - 10.4.172.213\n  internalTrafficPolicy: Cluster\n  ipFamilies:\n  - IPv4\n  ipFamilyPolicy: SingleStack\n  ports:\n  - name: metrics\n    port: 10660\n    protocol: TCP\n    targetPort: 10660\n  selector:\n    app: kube-ovn-controller\n  sessionAffinity: None\n  type: ClusterIP\nstatus:\n  loadBalancer: {}\n</code></pre> <p>Looking at the Prometheus Status Targets information, you can only see the Services with annotation:</p> <p></p> <p>For more information about adding filter parameters to relabel, please check Prometheus-Relabel\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/qos/","title":"Manage QoS","text":"<p>Kube-OVN supports two types of Pod level QoS:</p> <ul> <li>Maximum bandwidth limit QoS.</li> <li><code>linux-netem</code>, QoS for simulating latency and packet loss that can be used for simulation testing.</li> </ul> <p>Currently, only Pod level QoS is supported, and QoS restrictions at the Namespace or Subnet level are not supported.</p>"},{"location":"en/guide/qos/#maximum-bandwidth-limit-qos","title":"Maximum Bandwidth Limit QoS","text":"<p>This type of QoS can be dynamically configured via Pod annotation and can be adjusted without restarting running Pod. Bandwidth speed limit unit is <code>Mbit/s</code>.</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: qos\n  namespace: ls1\n  annotations:\n    ovn.kubernetes.io/ingress_rate: \"3\"\n    ovn.kubernetes.io/egress_rate: \"1\"\nspec:\n  containers:\n  - name: qos\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>Use annotation to dynamically adjust QoS:</p> <pre><code>kubectl annotate --overwrite  pod nginx-74d5899f46-d7qkn ovn.kubernetes.io/ingress_rate=3\n</code></pre>"},{"location":"en/guide/qos/#test-qos","title":"Test QoS","text":"<p>Deploy the containers needed for performance testing:</p> <pre><code>kind: DaemonSet\napiVersion: apps/v1\nmetadata:\n  name: perf\n  namespace: ls1\n  labels:\n    app: perf\nspec:\n  selector:\n    matchLabels:\n      app: perf\n  template:\n    metadata:\n      labels:\n        app: perf\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/kubeovn/perf\n</code></pre> <p>Exec into one Pod and run iperf3 server:</p> <pre><code># kubectl exec -it perf-4n4gt -n ls1 sh\n# iperf3 -s\n-----------------------------------------------------------\nServer listening on 5201\n-----------------------------------------------------------\n</code></pre> <p>Exec into the other Pod and run iperf3 client to connect above server address:</p> <pre><code># kubectl exec -it perf-d4mqc -n ls1 sh\n# iperf3 -c 10.66.0.12\nConnecting to host 10.66.0.12, port 5201\n[  4] local 10.66.0.14 port 51544 connected to 10.66.0.12 port 5201\n[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd\n[  4]   0.00-1.00   sec  86.4 MBytes   725 Mbits/sec    3    350 KBytes\n[  4]   1.00-2.00   sec  89.9 MBytes   754 Mbits/sec  118    473 KBytes\n[  4]   2.00-3.00   sec   101 MBytes   848 Mbits/sec  184    586 KBytes\n[  4]   3.00-4.00   sec   104 MBytes   875 Mbits/sec  217    671 KBytes\n[  4]   4.00-5.00   sec   111 MBytes   935 Mbits/sec  175    772 KBytes\n[  4]   5.00-6.00   sec   100 MBytes   840 Mbits/sec  658    598 KBytes\n[  4]   6.00-7.00   sec   106 MBytes   890 Mbits/sec  742    668 KBytes\n[  4]   7.00-8.00   sec   102 MBytes   857 Mbits/sec  764    724 KBytes\n[  4]   8.00-9.00   sec  97.4 MBytes   817 Mbits/sec  1175    764 KBytes\n[  4]   9.00-10.00  sec   111 MBytes   934 Mbits/sec  1083    838 KBytes\n- - - - - - - - - - - - - - - - - - - - - - - - -\n[ ID] Interval           Transfer     Bandwidth       Retr\n[  4]   0.00-10.00  sec  1010 MBytes   848 Mbits/sec  5119             sender\n[  4]   0.00-10.00  sec  1008 MBytes   846 Mbits/sec                  receiver\n\niperf Done.\n</code></pre> <p>Modify the ingress bandwidth QoS for the first Pod:</p> <pre><code>kubectl annotate --overwrite  pod perf-4n4gt -n ls1 ovn.kubernetes.io/ingress_rate=30\n</code></pre> <p>Test the Pod bandwidth again from the second Pod:</p> <pre><code># iperf3 -c 10.66.0.12\nConnecting to host 10.66.0.12, port 5201\n[  4] local 10.66.0.14 port 52372 connected to 10.66.0.12 port 5201\n[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd\n[  4]   0.00-1.00   sec  3.66 MBytes  30.7 Mbits/sec    2   76.1 KBytes\n[  4]   1.00-2.00   sec  3.43 MBytes  28.8 Mbits/sec    0    104 KBytes\n[  4]   2.00-3.00   sec  3.50 MBytes  29.4 Mbits/sec    0    126 KBytes\n[  4]   3.00-4.00   sec  3.50 MBytes  29.3 Mbits/sec    0    144 KBytes\n[  4]   4.00-5.00   sec  3.43 MBytes  28.8 Mbits/sec    0    160 KBytes\n[  4]   5.00-6.00   sec  3.43 MBytes  28.8 Mbits/sec    0    175 KBytes\n[  4]   6.00-7.00   sec  3.50 MBytes  29.3 Mbits/sec    0    212 KBytes\n[  4]   7.00-8.00   sec  3.68 MBytes  30.9 Mbits/sec    0    294 KBytes\n[  4]   8.00-9.00   sec  3.74 MBytes  31.4 Mbits/sec    0    398 KBytes\n[  4]   9.00-10.00  sec  3.80 MBytes  31.9 Mbits/sec    0    526 KBytes\n- - - - - - - - - - - - - - - - - - - - - - - - -\n[ ID] Interval           Transfer     Bandwidth       Retr\n[  4]   0.00-10.00  sec  35.7 MBytes  29.9 Mbits/sec    2             sender\n[  4]   0.00-10.00  sec  34.5 MBytes  29.0 Mbits/sec                  receiver\n\niperf Done.\n</code></pre>"},{"location":"en/guide/qos/#linux-netem-qos","title":"linux-netem QoS","text":"<p>Pod can use annotation below to config <code>linux-netem</code> type QoS\uff1a <code>ovn.kubernetes.io/latency</code>\u3001<code>ovn.kubernetes.io/limit</code> and <code>ovn.kubernetes.io/loss</code>\u3002</p> <p>To install netem related modules on RHEL series operating systems, follow these instructions: yum install -y kernel-modules-extra &amp;&amp; modprobe sch_netem</p> <ul> <li><code>ovn.kubernetes.io/latency</code>: Set the Pod traffic delay to an integer value in ms.</li> <li><code>ovn.kubernetes.io/limit</code>\uff1a Set the maximum number of packets that the <code>qdisc</code> queue can hold, and takes an integer value, such as 1000.</li> <li><code>ovn.kubernetes.io/loss</code>\uff1a Set packet loss probability, the value is float type, for example, the value is 20, then it is set 20% packet loss probability.</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/setup-options/","title":"Installation and Configuration Options","text":"<p>In One-Click Installation we use the default configuration for installation. Kube-OVN also supports more custom configurations, which can be configured in the installation script, or later by changing the parameters of individual components. This document will describe what these customization options do, and how to configure them.</p>"},{"location":"en/guide/setup-options/#built-in-network-settings","title":"Built-in Network Settings","text":"<p>Kube-OVN will configure two built-in Subnets during installation:</p> <ol> <li><code>default</code> Subnet, as the default subnet used by the Pod to assign IPs, with a default CIDR of <code>10.16.0.0/16</code> and a gateway of <code>10.16.0.1</code>.</li> <li>The <code>join</code> subnet, as a special subnet for network communication between the Node and Pod, has a default CIDR of <code>100.64.0.0/16</code> and a gateway of <code>100.64.0.1</code>.</li> </ol> <p>The configuration of these two subnets can be changed during installation via the installation scripts variables:</p> <pre><code>POD_CIDR=\"10.16.0.0/16\"\nPOD_GATEWAY=\"10.16.0.1\"\nJOIN_CIDR=\"100.64.0.0/16\"\nEXCLUDE_IPS=\"\"\n</code></pre> <p><code>EXCLUDE_IP</code> sets the address range for which <code>kube-ovn-controller</code> will not automatically assign from it, the format is: <code>192.168.10.20..192.168.10.30</code>.</p> <p>Note that in the Overlay case these two Subnets CIDRs cannot conflict with existing host networks and Service CIDRs.</p> <p>You can change the address range of both Subnets after installation by referring to Change Subnet CIDR and Change Join Subnet CIDR.</p>"},{"location":"en/guide/setup-options/#config-service-cidr","title":"Config Service CIDR","text":"<p>Since some of the iptables and routing rules set by <code>kube-proxy</code> will conflict with the rules set by Kube-OVN, Kube-OVN needs to know the CIDR of the service to set the corresponding rules correctly.</p> <p>This can be done by modifying the installation script:</p> <pre><code>SVC_CIDR=\"10.96.0.0/12\"  \n</code></pre> <p>You can also modify the args of the <code>kube-ovn-controller</code> Deployment after installation:</p> <pre><code>args:\n- --service-cluster-ip-range=10.96.0.0/12\n</code></pre>"},{"location":"en/guide/setup-options/#overlay-nic-selection","title":"Overlay NIC Selection","text":"<p>In the case of multiple NICs on a node, Kube-OVN will select the NIC corresponding to the Kubernetes Node IP as the NIC for cross-node communication between containers and establish the corresponding tunnel.</p> <p>If you need to select another NIC to create a container tunnel, you can change it in the installation script:</p> <pre><code>IFACE=eth1\n</code></pre> <p>This option supports regular expressions separated by commas, e.g. 'ens[a-z0-9],eth[a-z0-9]'.</p> <p>It can also be adjusted after installation by modifying the args of the <code>kube-ovn-cni</code> DaemonSet:</p> <pre><code>args:\n- --iface=eth1\n</code></pre> <p>If each machine has a different NIC name and there is no fixed pattern, you can use the node annotation <code>ovn.kubernetes.io/tunnel_interface</code> to configure each node one by one. This annotation will override the configuration of <code>iface</code>.</p> <pre><code>kubectl annotate node no1 ovn.kubernetes.io/tunnel_interface=ethx\n</code></pre>"},{"location":"en/guide/setup-options/#config-mtu","title":"Config MTU","text":"<p>Since Overlay encapsulation requires additional space, Kube-OVN will adjust the MTU of the container NIC based on the MTU of the selected NIC when creating the container NIC. By default, the Pod NIC MTU is the host NIC MTU - 100 on the Overlay Subnet, and the Pod NIC and host NIC have the same MTU on the Underlay Subnet.</p> <p>If you need to adjust the size of the MTU under the Overlay subnet, you can modify the parameters of the <code>kube-ovn-cni</code> DaemonSet:</p> <pre><code>args:\n- --mtu=1333\n</code></pre>"},{"location":"en/guide/setup-options/#global-traffic-mirroring-setting","title":"Global Traffic Mirroring Setting","text":"<p>When global traffic mirroring is enabled, Kube-OVN will create a <code>mirror0</code> virtual NIC on each node and copy all container network traffic from the current machine to that NIC\uff0c Users can perform traffic analysis with tcpdump and other tools. This function can be enabled in the installation script:</p> <pre><code>ENABLE_MIRROR=true\n</code></pre> <p>It can also be adjusted after installation by modifying the args of the <code>kube-ovn-cni</code> DaemonSet:</p> <pre><code>args:\n- --enable-mirror=true\n</code></pre> <p>The ability to mirror traffic is disabled in the default installation, if you need fine-grained traffic mirroring or need to mirror traffic to additional NICs please refer to Traffic Mirror.</p>"},{"location":"en/guide/setup-options/#lb-settings","title":"LB Settings","text":"<p>Kube-OVN uses L2 LB in OVN to implement service forwarding. In Overlay scenarios, users can choose to use <code>kube-proxy</code> for service traffic forwarding, in which case the LB function of Kube-OVN can be disabled to achieve better performance on the control plane and data plane.</p> <p>This feature can be configured in the installation script:</p> <pre><code>ENABLE_LB=false\n</code></pre> <p>It can also be configured after installation by changing the args of the <code>kube-ovn-controller</code> Deployment:</p> <pre><code>args:\n- --enable-lb=false\n</code></pre> <p>The LB feature is enabled in the default installation.</p> <p>The spec field <code>enableLb</code> has been added to the subnet crd definition since Kube-OVN v1.12.0 to migrate the LB function of Kube-OVN to the subnet level. You can set whether to enable the LB function based on different subnets. The <code>enable-lb</code> parameter in the <code>kube-ovn-controller</code> deployment is used as a global switch to control whether to create a load-balancer record. The <code>enableLb</code> parameter added in the subnet is used to control whether the subnet is associated with a load-balancer record. After the previous version is upgraded to v1.12.0, the <code>enableLb</code> parameter of the subnet will automatically inherit the value of the original global switch parameter.</p>"},{"location":"en/guide/setup-options/#networkpolicy-settings","title":"NetworkPolicy Settings","text":"<p>Kube-OVN uses ACLs in OVN to implement NetworkPolicy. Users can choose to disable the NetworkPolicy feature or use the Cilium Chain approach to implement NetworkPolicy using eBPF. In this case, the NetworkPolicy feature of Kube-OVN can be disabled to achieve better performance on the control plane and data plane.</p> <p>This feature can be configured in the installation script:</p> <pre><code>ENABLE_NP=false\n</code></pre> <p>It can also be configured after installation by changing the args of the <code>kube-ovn-controller</code> Deployment:</p> <pre><code>args:\n- --enable-np=false\n</code></pre> <p>NetworkPolicy is enabled by default.</p>"},{"location":"en/guide/setup-options/#eip-and-snat-settings","title":"EIP and SNAT Settings","text":"<p>If the EIP and SNAT capabilities are not required on the default VPC, users can choose to disable them to reduce the performance overhead of <code>kube-ovn-controller</code> in large scale cluster environments and improve processing speed.</p> <p>This feature can be configured in the installation script:</p> <pre><code>ENABLE_EIP_SNAT=false\n</code></pre> <p>It can also be configured after installation by changing the args of the <code>kube-ovn-controller</code> Deployment:</p> <pre><code>args:\n- --enable-eip-snat=false\n</code></pre> <p>EIP and SNAT is enabled by default. More information can refer to EIP and SNAT\u3002</p>"},{"location":"en/guide/setup-options/#centralized-gateway-ecmp-settings","title":"Centralized Gateway ECMP Settings","text":"<p>The centralized gateway supports two mode of high availability, primary-backup and ECMP. If you want to enable ECMP mode, you need to change the args of <code>kube-ovn-controller</code> Deployment:</p> <pre><code>args:\n- --enable-ecmp=true \n</code></pre> <p>Centralized gateway default installation under the primary-backup mode, more gateway-related content please refer to Config Subnet.</p> <p>The spec field <code>enableEcmp</code> has been added to the subnet crd definition since Kube-OVN v1.12.0 to migrate the ECMP switch to the subnet level. You can set whether to enable ECMP mode based on different subnets. The <code>enable-ecmp</code> parameter in the <code>kube-ovn-controller</code> deployment is no longer used. After the previous version is upgraded to v1.12.0, the subnet switch will automatically inherit the value of the original global switch parameter.</p>"},{"location":"en/guide/setup-options/#kubevirt-vm-fixed-address-settings","title":"Kubevirt VM Fixed Address Settings","text":"<p>For VM instances created by Kubevirt, <code>kube-ovn-controller</code> can assign and manage IP addresses in a similar way to the StatefulSet Pod. This allows VM instances address fixed during start-up, shutdown, upgrade, migration, and other operations throughout their lifecycle, making them more compatible with the actual virtualization user experience.</p> <p>This feature is enabled by default after v1.10.6. To disable this feature, you need to change the following args in the <code>kube-ovn-controller</code> Deployment:</p> <pre><code>args:\n- --keep-vm-ip=false\n</code></pre>"},{"location":"en/guide/setup-options/#cni-settings","title":"CNI Settings","text":"<p>By default, Kube-OVN installs the CNI binary in the <code>/opt/cni/bin</code> directory and the CNI configuration file <code>01-kube-ovn.conflist</code> in the <code>/etc/cni/net.d</code> directory. If you need to change the installation location and the priority of the CNI configuration file, you can modify the following parameters of the installation script.</p> <pre><code>CNI_CONF_DIR=\"/etc/cni/net.d\"\nCNI_BIN_DIR=\"/opt/cni/bin\"\nCNI_CONFIG_PRIORITY=\"01\"\n</code></pre> <p>Or change the Volume mount and args of the <code>kube-ovn-cni</code> DaemonSet after installation:</p> <pre><code>volumes:\n- name: cni-conf\n  hostPath:\n    path: \"/etc/cni/net.d\"\n- name: cni-bin\n  hostPath:\n    path:\"/opt/cni/bin\"\n...\nargs:\n- --cni-conf-name=01-kube-ovn.conflist\n</code></pre>"},{"location":"en/guide/setup-options/#tunnel-type-settings","title":"Tunnel Type Settings","text":"<p>The default encapsulation mode of Kube-OVN Overlay is Geneve, if you want to change it to Vxlan or STT, please adjust the following parameters in the installation script:</p> <pre><code>TUNNEL_TYPE=\"vxlan\"\n</code></pre> <p>Or change the environment variables of <code>ovs-ovn</code> DaemonSet after installation:</p> <pre><code>env:\n- name: TUNNEL_TYPE\n  value: \"vxlan\"\n</code></pre> <p>If you need to use the STT tunnel and need to compile additional kernel modules for ovs, please refer to Performance Tunning\u3002</p> <p>Please refer to Tunneling Protocol Selection for the differences between the different protocols in practice.</p>"},{"location":"en/guide/setup-options/#ssl-settings","title":"SSL Settings","text":"<p>The OVN DB API interface supports SSL encryption to secure the connection. To enable it, adjust the following parameters in the installation script:</p> <pre><code>ENABLE_SSL=true\n</code></pre> <p>The SSL is disabled by default.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/static-ip-mac/","title":"Fixed Addresses","text":"<p>By default, Kube-OVN randomly assigns IPs and Macs based on the Subnet to which the Pod's Namespace belongs. For workloads that require fixed addresses, Kube-OVN provides multiple methods of fixing addresses depending on the scenario.</p> <ul> <li>Single Pod fixed IP/Mac.</li> <li>Workload IP Pool to specify fixed addresses.</li> <li>StatefulSet fixed address.</li> <li>KubeVirt VM fixed address.</li> </ul>"},{"location":"en/guide/static-ip-mac/#single-pod-fixed-ipmac","title":"Single Pod Fixed IP/Mac","text":"<p>You can specify the IP/Mac required for the Pod by annotation when creating the Pod. The <code>kube-ovn-controller</code> will skip the address random assignment phase and use the specified address directly after conflict detection, as follows:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: ippool\n  labels:\n    app: ippool\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: ippool\n  template:\n    metadata:\n      labels:\n        app: ippool\n      annotations:\n        ovn.kubernetes.io/ip_pool: 10.16.0.15,10.16.0.16,10.16.0.17 // for dualstack ippool use semicolon to separate addresses 10.16.0.15,fd00:10:16::000E;10.16.0.16,fd00:10:16::0\n    spec:\n      containers:\n        - name: ippool\n          image: docker.io/library/nginx:alpine\n</code></pre> <p>The following points need to be noted when using annotation.</p> <ol> <li>The IP/Mac used cannot conflict with an existing IP/Mac.</li> <li>The IP must be in the CIDR range of the Subnet it belongs to.</li> <li>You can specify only IP or Mac. When you specify only one, the other one will be assigned randomly.</li> </ol>"},{"location":"en/guide/static-ip-mac/#workload-ip-pool","title":"Workload IP Pool","text":"<p>Kube-OVN supports setting fixed IPs for Workloads (Deployment/StatefulSet/DaemonSet/Job/CronJob) via annotation <code>ovn.kubernetes.io/ip_pool</code>. <code>kube-ovn-controller</code> will automatically select the IP specified in <code>ovn.kubernetes.io/ip_pool</code> and perform conflict detection.</p> <p>The Annotation of the IP Pool needs to be added to the <code>annotation</code> field in the <code>template</code>. In addition to Kubernetes built-in workload types, other user-defined workloads can also be assigned fixed addresses using the same approach.</p>"},{"location":"en/guide/static-ip-mac/#deployment-with-fixed-ips","title":"Deployment With Fixed IPs","text":"<pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  namespace: ls1\n  name: starter-backend\n  labels:\n    app: starter-backend\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: starter-backend\n  template:\n    metadata:\n      labels:\n        app: starter-backend\n      annotations:\n        ovn.kubernetes.io/ip_pool: 10.16.0.15,10.16.0.16,10.16.0.17 // for dualstack ippool use semicolon to separate addresses 10.16.0.15,fd00:10:16::000E;10.16.0.16,fd00:10:16::000F;10.16.0.17,fd00:10:16::0010\n    spec:\n      containers:\n      - name: backend\n        image: docker.io/library/nginx:alpine\n</code></pre> <p>Using a fixed IP for Workload requires the following:</p> <ol> <li>The IP in <code>ovn.kubernetes.io/ip_pool</code> should belong to the CIDR of the Subnet.</li> <li>The IP in <code>ovn.kubernetes.io/ip_pool</code> cannot conflict with an IP already in use.</li> <li>When the number of IPs in <code>ovn.kubernetes.io/ip_pool</code> is less than the number of replicas, the extra Pods will not be created. You need to adjust the number of IPs in <code>ovn.kubernetes.io/ip_pool</code> according to the update policy of the workload and the scaling plan.</li> </ol>"},{"location":"en/guide/static-ip-mac/#statefulset-fixed-address","title":"StatefulSet Fixed Address","text":"<p>StatefulSet supports fixed IP by default, and like other Workload, you can use <code>ovn.kubernetes.io/ip_pool</code> to specify the range of IP used by a Pod.</p> <p>Since StatefulSet is mostly used for stateful services, which have higher requirements for fixed addresses, Kube-OVN has made special enhancements:</p> <ol> <li>Pods are assigned IPs in <code>ovn.kubernetes.io/ip_pool</code> in order. For example, if the name of the StatefulSet is web, web-0 will use the first IP in <code>ovn.kubernetes.io/ip_pool</code>, web-1 will use the second IP, and so on.</li> <li>The logical_switch_port in the OVN is not deleted during update or deletion of the StatefulSet Pod, and the newly generated Pod directly reuses the old logical port information. Pods can therefore reuse IP/Mac and other network information to achieve similar state retention as StatefulSet Volumes.</li> <li>Based on the capabilities of 2, for StatefulSet without the <code>ovn.kubernetes.io/ip_pool</code> annotation, a Pod is randomly assigned an IP/Mac when it is first generated, and then the network information remains fixed for the lifetime of the StatefulSet.</li> </ol>"},{"location":"en/guide/static-ip-mac/#statefulset-example","title":"StatefulSet Example","text":"<pre><code>apiVersion: apps/v1\nkind: StatefulSet\nmetadata:\n  name: web\nspec:\n  serviceName: \"nginx\"\n  replicas: 2\n  selector:\n    matchLabels:\n      app: nginx\n  template:\n    metadata:\n      labels:\n        app: nginx\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/library/nginx:alpine\n        ports:\n        - containerPort: 80\n          name: web\n</code></pre> <p>You can try to delete the Pod under StatefulSet to observe if the Pod IP changes.</p>"},{"location":"en/guide/static-ip-mac/#kubevirt-vm-fixed-address","title":"KubeVirt VM Fixed Address","text":"<p>For VM instances created by KubeVirt, <code>kube-ovn-controller</code> can assign and manage IP addresses in a similar way to the StatefulSet Pod. This allows VM instances address fixed during start-up, shutdown, upgrade, migration, and other operations throughout their lifecycle, making them more compatible with the actual virtualization user experience.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/subnet/","title":"Config Subnet","text":"<p>Subnet is a core concept and basic unit of use in Kube-OVN, and Kube-OVN organizes IP and network configuration in terms of Subnet. Each Namespace can belong to a specific Subnet, and Pods under the Namespace automatically obtain IPs from the Subnet they belong to and share the network configuration (CIDR, gateway type, access control, NAT control, etc.).</p> <p>Unlike other CNI implementations where each node is bound to a subnet, in Kube-OVN the Subnet is a global level virtual network configuration, and the addresses of one Subnet can be distributed on any node.</p> <p>Note: Different subnets under the same VPC cannot contain the same IP, and different subnets connected to each other based on VPC peering or VPN cannot contain the same IP.</p> <p></p> <p>There are some differences in the usage and configuration of Overlay and Underlay Subnets, and this document will describe the common configurations and differentiated features of the different types of Subnets.</p>"},{"location":"en/guide/subnet/#default-subnet","title":"Default Subnet","text":"<p>To make it easier for users to get started quickly, Kube-OVN has a built-in default Subnet, all Namespaces that do not explicitly declare subnet affiliation are automatically assigned IPs from the default subnet and the network information. The configuration of this Subnet is specified at installation time, you can refer to Built-in Network Settings for more details. To change the CIDR of the default Subnet after installation please refer to Change Subnet CIDR.</p> <p>In Overlay mode, the default Subnet uses a distributed gateway and NAT translation for outbound traffic, which behaves much the same as the Flannel's default behavior, allowing users to use most of the network features without additional configuration.</p> <p>In Underlay mode, the default Subnet uses the physical gateway as the outgoing gateway and enables arping to check network connectivity.</p>"},{"location":"en/guide/subnet/#check-the-default-subnet","title":"Check the Default Subnet","text":"<p>The <code>default</code> field in the default Subnet spec is set to <code>true</code>, and there is only one default Subnet in a cluster, named <code>ovn-default</code>.</p> <pre><code># kubectl get subnet ovn-default -o yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  creationTimestamp: \"2019-08-06T09:33:43Z\"\n  generation: 1\n  name: ovn-default\n  resourceVersion: \"1571334\"\n  selfLink: /apis/kubeovn.io/v1/subnets/ovn-default\n  uid: 7e2451f8-fb44-4f7f-b3e0-cfd27f6fd5d6\nspec:\n  cidrBlock: 10.16.0.0/16\n  default: true\n  excludeIps:\n  - 10.16.0.1\n  gateway: 10.16.0.1\n  gatewayType: distributed\n  natOutgoing: true\n  private: false\n  protocol: IPv4\n</code></pre>"},{"location":"en/guide/subnet/#join-subnet","title":"Join Subnet","text":"<p>In the Kubernetes network specification, it is required that Nodes can communicate directly with all Pods. To achieve this in Overlay network mode, Kube-OVN creates a <code>join</code> Subnet and creates a virtual NIC <code>ovn0</code> at each node that connect to the <code>join</code> subnet, through which the nodes and Pods can communicate with each other.</p> <p>The configuration of this Subnet is specified at installation time, you can refer to Built-in Network Settings for more details. To change the CIDR of the Join Subnet after installation please refer to Change Join CIDR.</p>"},{"location":"en/guide/subnet/#check-the-join-subnet","title":"Check the Join Subnet","text":"<p>The default name of this subnet is <code>join</code>. There is generally no need to make changes to the network configuration except the CIDR.</p> <pre><code># kubectl get subnet join -o yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  creationTimestamp: \"2019-08-06T09:33:43Z\"\n  generation: 1\n  name: join\n  resourceVersion: \"1571333\"\n  selfLink: /apis/kubeovn.io/v1/subnets/join\n  uid: 9c744810-c678-4d50-8a7d-b8ec12ef91b8\nspec:\n  cidrBlock: 100.64.0.0/16\n  default: false\n  excludeIps:\n  - 100.64.0.1\n  gateway: 100.64.0.1\n  gatewayNode: \"\"\n  gatewayType: \"\"\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n</code></pre> <p>Check the ovn0 NIC at the node:</p> <pre><code># ifconfig ovn0\novn0: flags=4163&lt;UP,BROADCAST,RUNNING,MULTICAST&gt;  mtu 1420\n        inet 100.64.0.4  netmask 255.255.0.0  broadcast 100.64.255.255\n        inet6 fe80::800:ff:fe40:5  prefixlen 64  scopeid 0x20&lt;link&gt;\n        ether 0a:00:00:40:00:05  txqueuelen 1000  (Ethernet)\n        RX packets 18  bytes 1428 (1.3 KiB)\n        RX errors 0  dropped 0  overruns 0  frame 0\n        TX packets 19  bytes 1810 (1.7 KiB)\n        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0\n</code></pre>"},{"location":"en/guide/subnet/#create-custom-subnets","title":"Create Custom Subnets","text":"<p>Here we describe the basic operation of how to create a Subnet and associate it with a Namespace, for more advanced configuration, please refer to the subsequent content.</p>"},{"location":"en/guide/subnet/#create-subnet","title":"Create Subnet","text":"<pre><code>cat &lt;&lt;EOF | kubectl create -f -\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 10.66.0.0/16\n  excludeIps:\n  - 10.66.0.1..10.66.0.10\n  - 10.66.0.101..10.66.0.151\n  gateway: 10.66.0.1\n  gatewayType: distributed\n  natOutgoing: true\n  routeTable: \"\"\n  namespaces:\n  - ns1\n  - ns2\nEOF\n</code></pre> <ul> <li><code>cidrBlock</code>: Subnet CIDR range, different Subnet CIDRs under the same VPC cannot overlap.</li> <li><code>excludeIps</code>: The address list is reserved so that the container network will not automatically assign addresses in the list, which can be used as a fixed IP address assignment segment or to avoid conflicts with existing devices in the physical network in Underlay mode.</li> <li><code>gateway</code>\uff1aFor this subnet gateway address, Kube-OVN will automatically assign the corresponding logical gateway in Overlay mode, and the address should be the underlying physical gateway address in Underlay mode.</li> <li><code>namespaces</code>: Bind the list of Namespace for this Subnet. Pods under the Namespace will be assigned addresses from the current Subnet after binding.</li> <li><code>routeTable</code>: Associate the route table, default is main table, route table definition please defer to Static Routes</li> </ul>"},{"location":"en/guide/subnet/#create-pod-in-the-subnet","title":"Create Pod in the Subnet","text":"<pre><code># kubectl create ns ns1\nnamespace/ns1 created\n\n# kubectl run nginx --image=docker.io/library/nginx:alpine -n ns1\ndeployment.apps/nginx created\n\n# kubectl get pod -n ns1 -o wide\nNAME                     READY   STATUS    RESTARTS   AGE   IP           NODE    NOMINATED NODE   READINESS GATES\nnginx-74d5899f46-n8wtg   1/1     Running   0          10s   10.66.0.11   node1   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"en/guide/subnet/#workload-subnet-binding","title":"Workload Subnet Binding","text":"<p>By default, Pods will be assigned IP addresses from the subnet belonging to the Namespace. If a specific subnet needs to be specified for a Workload, it can be achieved by setting the Pod's annotation <code>ovn.kubernetes.io/logical_switch</code>:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: another-subnet\n  annotations:\n    ovn.kubernetes.io/logical_switch: subnet1\nspec:\n  containers:\n  - name: another-subnet\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>If you need to bind a subnet to a Workload type resource such as Deployment or StatefulSet, you need to set the <code>ovn.kubernetes.io/logical_switch</code> Annotation in <code>spec.template.metadata.annotations</code>.</p>"},{"location":"en/guide/subnet/#overlay-subnet-gateway-settings","title":"Overlay Subnet Gateway Settings","text":"<p>This feature only works for Overlay mode Subnets, Underlay type Subnets need to use the underlying physical gateway to access the external network.</p> <p>Pods under the Overlay Subnet need to access the external network through a gateway, and Kube-OVN currently supports two types of gateways: distributed gateway and centralized gateway which can be changed in the Subnet spec.</p> <p>Both types of gateways support the <code>natOutgoing</code> setting, which allows the user to choose whether snat is required when the Pod accesses the external network.</p>"},{"location":"en/guide/subnet/#distributed-gateway","title":"Distributed Gateway","text":"<p>The default type of gateway for the Subnet, each node will act as a gateway for the pod on the current node to access the external network. The packets from container will flow into the host network stack from the local <code>ovn0</code> NIC, and then forwarding the network according to the host's routing rules. When <code>natOutgoing</code> is <code>true</code>, the Pod will use the IP of the current host when accessing the external network.</p> <p></p> <p>Example of a Subnet, where the <code>gatewayType</code> field is <code>distributed</code>:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: distributed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: distributed\n  natOutgoing: true\n</code></pre>"},{"location":"en/guide/subnet/#centralized-gateway","title":"Centralized Gateway","text":"<p>Note: Pods under a centralized subnet cannot be accessed through <code>hostport</code> or a NodePort type Service with <code>externalTrafficPolicy: Local</code>.</p> <p></p> <p>If you want traffic within the Subnet to access the external network using a fixed IP for security operations such as auditing and whitelisting, you can set the gateway type in the Subnet to centralized. In centralized gateway mode, packets from Pods accessing the external network are first routed to the <code>ovn0</code> NIC of a specific nodes, and then outbound through the host's routing rules. When <code>natOutgoing</code> is <code>true</code>, the Pod will use the IP of a specific nodes when accessing the external network.</p> <p>The centralized gateway example is as follows, where the <code>gatewayType</code> field is <code>centralized</code> and <code>gatewayNode</code> is the NodeName of the particular machine in Kubernetes.</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: centralized\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: centralized\n  gatewayNode: \"node1,node2\"\n  natOutgoing: true\n</code></pre> <ul> <li>If a centralized gateway wants to specify a specific NIC of a machine for outbound networking, <code>gatewayNode</code> format can be changed to <code>kube-ovn-worker:172.18.0.2, kube-ovn-control-plane:172.18.0.3</code>.</li> <li>The centralized gateway defaults to primary-backup mode, with only the primary node performing traffic forwarding.   If you need to switch to ECMP mode, please refer to ECMP Settings.</li> <li>The spec field <code>enableEcmp</code> has been added to the subnet crd definition since Kube-OVN v1.12.0 to migrate the ECMP switch to the subnet level. You can set whether to enable ECMP mode based on different subnets. The <code>enable-ecmp</code> parameter in the <code>kube-ovn-controller</code> deployment is no longer used. After the previous version is upgraded to v1.12.0, the subnet switch will automatically inherit the value of the original global switch parameter.</li> </ul>"},{"location":"en/guide/subnet/#subnet-acl","title":"Subnet ACL","text":"<p>For scenarios with fine-grained ACL control, Subnet of Kube-OVN provides ACL to enable fine-grained rules.</p> <p>The ACL rules in Subnet are the same as the ACL rules in OVN, and you can refer to ovn-nb ACL Table for more details. The supported filed in <code>match</code> can refer to ovn-sb Logical Flow Table.</p> <p>Example of an ACL rule that allows Pods with IP address <code>10.10.0.2</code> to access all addresses, but does not allow other addresses to access itself, is as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: acl\nspec:\n  allowEWTraffic: false\n  acls:\n    - action: drop\n      direction: to-lport\n      match: ip4.dst == 10.10.0.2 &amp;&amp; ip\n      priority: 1002\n    - action: allow-related\n      direction: from-lport\n      match: ip4.src == 10.10.0.2 &amp;&amp; ip\n      priority: 1002\n  cidrBlock: 10.10.0.0/24\n</code></pre> <p>In some scenarios, users hope that the internal traffic of the subnet configured with ACL rules will not be affected, which can be achieved by configuring <code>allowEWTraffic: true</code>.</p>"},{"location":"en/guide/subnet/#subnet-isolation","title":"Subnet Isolation","text":"<p>The function of Subnet ACL can cover the function of Subnet isolation with better flexibility, we recommend using Subnet ACL to do the corresponding configuration.</p> <p>By default the Subnets created by Kube-OVN can communicate with each other, and Pods can also access external networks through the gateway.</p> <p>To control access between Subnets, set <code>private</code> to true in the subnet spec, and the Subnet will be isolated from other Subnets and external networks and can only communicate within the Subnet. If you want to open a whitelist, you can set it by <code>allowSubnets</code>. The CIDRs in <code>allowSubnets</code> can access the Subnet bidirectionally.</p>"},{"location":"en/guide/subnet/#enable-subnet-isolation-examples","title":"Enable Subnet Isolation Examples","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: private\nspec:\n  protocol: IPv4\n  default: false\n  namespaces:\n  - ns1\n  - ns2\n  cidrBlock: 10.69.0.0/16\n  private: true\n  allowSubnets:\n  - 10.16.0.0/16\n  - 10.18.0.0/16\n</code></pre>"},{"location":"en/guide/subnet/#underlay-settings","title":"Underlay Settings","text":"<p>This part of the feature is only available for Underlay type Subnets.</p> <ul> <li><code>vlan</code>: If an Underlay network is used, this field is used to control which Vlan CR the Subnet is bound to. This option defaults to the empty string, meaning that the Underlay network is not used.</li> <li><code>logicalGateway</code>: Some Underlay environments are pure Layer 2 networks, with no physical Layer 3 gateway. In this case a virtual gateway can be set up with the OVN to connect the Underlay and Overlay networks. The default value is: <code>false</code>.</li> </ul>"},{"location":"en/guide/subnet/#gateway-check-settings","title":"Gateway Check Settings","text":"<p>By default <code>kube-ovn-cni</code> will request the gateway using ICMP or ARP protocol after starting the Pod and wait for the return to verify that the network is working properly. Some Underlay environment gateways cannot respond to ICMP requests, or scenarios that do not require external connectivity, the checking can be disabled .</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: disable-gw-check\nspec:\n  disableGatewayCheck: true\n</code></pre>"},{"location":"en/guide/subnet/#multicast-snoop-setting","title":"Multicast-Snoop Setting","text":"<p>By default, if a Pod in a subnet sends a multicast packet, OVN's default behavior is to broadcast the multicast packet to all Pods in the subnet. If turned on the subnet's multicast snoop switch, OVN will forward based on the multicast table <code>Multicast_Group</code> in the <code>South Database</code> instead of broadcasting.</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sample1\nspec:\n  enableMulticastSnoop: true\n</code></pre>"},{"location":"en/guide/subnet/#subnet-mtu-setting","title":"Subnet MTU Setting","text":"<p>Configure the MTU of the Pod under Subnet. After configuration, you need to restart the Pod under Subnet to take effect.</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sample1\nspec:\n  mtu: 1300\n</code></pre>"},{"location":"en/guide/subnet/#other-advanced-settings","title":"Other Advanced Settings","text":"<ul> <li>Configure IPPool</li> <li>Default VPC NAT Policy Rule</li> <li>Manage QoS</li> <li>Manage Multiple Interface</li> <li>DHCP</li> <li>External Gateway</li> <li>Cluster Inter-Connection with OVN-IC</li> <li>VIP Reservation</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/vpc-qos/","title":"VPC QoS","text":"<p>Kube-OVN supports using QoSPolicy CRD to limit the traffic rate of custom VPC.</p>"},{"location":"en/guide/vpc-qos/#eip-qos","title":"EIP QoS","text":"<p>Limit the speed of EIP to 1Mbps and the priority to 1, and <code>shared=false</code> here means that this QoSPolicy can only be used for this EIP and support dynamically modifying QoSPolicy to change QoS rules.</p> <p>The QoSPolicy configuration is as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-eip-example\nspec:\n  shared: false\n  bindingType: EIP\n  bandwidthLimitRules:\n  - name: eip-ingress\n    rateMax: \"1\" # Mbps\n    burstMax: \"1\" # Mbps\n    priority: 1\n    direction: ingress\n  - name: eip-egress\n    rateMax: \"1\" # Mbps\n    burstMax: \"1\" # Mbps\n    priority: 1\n    direction: egress\n</code></pre> <p>The IptablesEIP configuration is as follows:</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-1\nspec:\n  natGwDp: gw1\n  qosPolicy: qos-eip-example\n</code></pre> <p>The value of <code>.spec.qosPolicy</code> supports being specified during creation and also supports modification after creation.</p>"},{"location":"en/guide/vpc-qos/#view-eips-with-qos-enabled","title":"View EIPs with QoS enabled","text":"<p>View the corresponding EIPs that have been set up using <code>label</code>:</p> <pre><code># kubectl get eip  -l ovn.kubernetes.io/qos=qos-eip-example\nNAME    IP             MAC                 NAT   NATGWDP   READY\neip-1   172.18.11.24   00:00:00:34:41:0B   fip   gw1       true\n</code></pre>"},{"location":"en/guide/vpc-qos/#qos-for-vpc-natgw-net1-nic","title":"QoS for VPC NATGW net1 NIC","text":"<p>Limit the speed of the net1 NIC on VPC NATGW to 10Mbps and set the priority to 3. Here <code>shared=true</code>, which means that this QoSPolicy can be used by multiple resources at the same time, and does not allow the modification of the contents of the QoSPolicy in this scenario.</p> <p>The QoSPolicy configuration is as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-natgw-example\nspec:\n  shared: true\n  bindingType: NATGW\n  bandwidthLimitRules:\n  - name: net1-ingress\n    interface: net1\n    rateMax: \"10\" # Mbps\n    burstMax: \"10\" # Mbps\n    priority: 3\n    direction: ingress\n  - name: net1-egress\n    interface: net1\n    rateMax: \"10\" # Mbps\n    burstMax: \"10\" # Mbps\n    priority: 3\n    direction: egress\n</code></pre> <p>The VpcNatGateway configuration is as follows:</p> <pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  qosPolicy: qos-natgw-example\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n</code></pre> <p>The value of <code>.spec.qosPolicy</code> supports both creation and subsequent modification.</p>"},{"location":"en/guide/vpc-qos/#qos-for-specific-traffic-on-net1-nic","title":"QoS for specific traffic on net1 NIC","text":"<p>Limit the specific traffic on net1 NIC to 5Mbps and set the priority to 2. Here <code>shared=true</code>, which means that this QoSPolicy can be used by multiple resources at the same time, and does not allow the modification of the contents of the QoSPolicy in this scenario.</p> <p>The QoSPolicy configuration is as follows:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-natgw-example\nspec:\n  shared: true\n  bindingType: NATGW\n  bandwidthLimitRules:\n  - name: net1-extip-ingress\n    interface: net1\n    rateMax: \"5\" # Mbps\n    burstMax: \"5\" # Mbps\n    priority: 2\n    direction: ingress\n    matchType: ip\n    matchValue: src 172.18.11.22/32\n  - name: net1-extip-egress\n    interface: net1\n    rateMax: \"5\" # Mbps\n    burstMax: \"5\" # Mbps\n    priority: 2\n    direction: egress\n    matchType: ip\n    matchValue: dst 172.18.11.23/32\n</code></pre> <p>The VpcNatGateway configuration is as follows:</p> <pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  qosPolicy: qos-natgw-example\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n</code></pre>"},{"location":"en/guide/vpc-qos/#view-natgws-with-qos-enabled","title":"View NATGWs with QoS enabled","text":"<p>View the corresponding NATGWs that have been set up using <code>label</code>:</p> <pre><code># kubectl get vpc-nat-gw  -l ovn.kubernetes.io/qos=qos-natgw-example\nNAME   VPC          SUBNET   LANIP\ngw1    test-vpc-1   net1     10.0.1.254\n</code></pre>"},{"location":"en/guide/vpc-qos/#view-qos-rules","title":"View QoS rules","text":"<pre><code># kubectl get qos -A\nNAME                SHARED   BINDINGTYPE\nqos-eip-example     false    EIP\nqos-natgw-example   true     NATGW\n</code></pre>"},{"location":"en/guide/vpc-qos/#limitations","title":"Limitations","text":"<ul> <li>QoSPolicy can only be deleted when it is not in use. Therefore, before deleting the QoSPolicy, please check the EIP and NATGW that have enabled QoS, and remove their <code>spec.qosPolicy</code> configuration.</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/vpc/","title":"Config VPC","text":"<p>Kube-OVN supports multi-tenant isolation level VPC networks. Different VPC networks are independent of each other and can be configured separately with Subnet CIDRs, routing policies, security policies, outbound gateways, EIP, etc.</p> <p>VPC is mainly used in scenarios where there requires strong isolation of multi-tenant networks and some Kubernetes networking features conflict under multi-tenant networks. For example, node and pod access, NodePort functionality, network access-based health checks, and DNS capabilities are not supported in multi-tenant network scenarios at this time. In order to facilitate common Kubernetes usage scenarios, Kube-OVN has a special design for the default VPC where the Subnet under the VPC can meet the Kubernetes specification. The custom VPC supports static routing, EIP and NAT gateways as described in this document. Common isolation requirements can be achieved through network policies and Subnet ACLs under the default VPC, so before using a custom VPC, please make sure whether you need VPC-level isolation and understand the limitations under the custom VPC. For Underlay subnets, physical switches are responsible for data-plane forwarding, so VPCs cannot isolate Underlay subnets.</p> <p></p>"},{"location":"en/guide/vpc/#creating-custom-vpcs","title":"Creating Custom VPCs","text":"<p>Create two VPCs:</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  namespaces:\n  - ns1\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-2\nspec:\n  namespaces:\n    - ns2\n</code></pre> <ul> <li><code>namespaces</code>: Limit which namespaces can use this VPC. If empty, all namespaces can use this VPC.</li> </ul> <p>Create two Subnets, belonging to two different VPCs and having the same CIDR:</p> <pre><code>kind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net1\nspec:\n  vpc: test-vpc-1\n  cidrBlock: 10.0.1.0/24\n  protocol: IPv4\n  namespaces:\n    - ns1\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: test-vpc-2\n  cidrBlock: 10.0.1.0/24\n  protocol: IPv4\n  namespaces:\n    - ns2\n</code></pre> <p>Create Pods under two separate Namespaces:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net1\n  namespace: ns1\n  name: vpc1-pod\nspec:\n  containers:\n    - name: vpc1-pod\n      image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net2\n  namespace: ns2\n  name: vpc2-pod\nspec:\n  containers:\n    - name: vpc2-pod\n      image: docker.io/library/nginx:alpine\n</code></pre> <p>After running successfully, you can observe that the two Pod addresses belong to the same CIDR, but the two Pods cannot access each other because they are running on different tenant VPCs.</p>"},{"location":"en/guide/vpc/#custom-vpc-pod-supports-livenessprobe-and-readinessprobe","title":"Custom VPC Pod supports livenessProbe and readinessProbe","text":"<p>Since the Pods under the custom VPC do not communicate with the network of the node, the probe packets sent by the kubelet cannot reach the Pods in the custom VPC. Kube-OVN uses TProxy to redirect the detection packets sent by kubelet to Pods in the custom VPC to achieve this function.</p> <p>The configuration method is as follows, add the parameter <code>--enable-tproxy=true</code> in Daemonset <code>kube-ovn-cni</code>:</p> <pre><code>spec:\n  template:\n    spec:\n      containers:\n      - args:\n        - --enable-tproxy=true\n</code></pre> <p>Restrictions for this feature:</p> <ol> <li>When Pods under different VPCs have the same IP under the same node, the detection function fails.</li> <li>Currently, only <code>tcpSocket</code> and <code>httpGet</code> are supported.</li> </ol>"},{"location":"en/guide/vpc/#create-vpc-nat-gateway","title":"Create VPC NAT Gateway","text":"<p>Subnets under custom VPCs do not support distributed gateways and centralized gateways under default VPCs.</p> <p>Pod access to the external network within the VPC requires a VPC gateway, which bridges the physical and tenant networks and provides floating IP, SNAT and DNAT capabilities.</p> <p>The VPC gateway function relies on Multus-CNI function, please refer to multus-cni.</p>"},{"location":"en/guide/vpc/#configuring-the-external-network","title":"Configuring the External Network","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: ovn-vpc-external-network\nspec:\n  protocol: IPv4\n  provider: ovn-vpc-external-network.kube-system\n  cidrBlock: 192.168.0.0/24\n  gateway: 192.168.0.1  # IP address of the physical gateway\n  excludeIps:\n  - 192.168.0.1..192.168.0.10\n---\napiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-vpc-external-network\n  namespace: kube-system\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth1\",\n      \"mode\": \"bridge\",\n      \"ipam\": {\n        \"type\": \"kube-ovn\",\n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n        \"provider\": \"ovn-vpc-external-network.kube-system\"\n      }\n    }'\n</code></pre> <ul> <li>This Subnet is used to manage the available external addresses and the address will be allocated to VPC NAT Gateway through Macvlan, so please communicate with your network management to give you the available physical segment IPs.</li> <li>The VPC gateway uses Macvlan for physical network configuration, and <code>master</code> of <code>NetworkAttachmentDefinition</code> should be the NIC name of the corresponding physical network NIC.</li> <li><code>name</code>: External network name.</li> </ul> <p>For macvlan mode, the nic will send packets directly through that node NIC, relying on the underlying network devices for L2/L3 level forwarding capabilities. You need to configure the corresponding gateway, Vlan and security policy in the underlying network device in advance.</p> <ol> <li>For OpenStack VM environments, you need to turn off <code>PortSecurity</code> on the corresponding network port.</li> <li>For VMware vSwitch networks, <code>MAC Address Changes</code>, <code>Forged Transmits</code> and <code>Promiscuous Mode Operation</code> should be set to <code>allow</code>.</li> <li>For Hyper-V virtualization,  <code>MAC Address Spoofing</code> should be enabled in VM nic advanced features.</li> <li>Public clouds, such as AWS, GCE, AliCloud, etc., do not support user-defined Mac, so they cannot support Macvlan mode network.</li> <li>Due to the limitations of Macvlan, the Macvlan sub-interface cannot access the parent interface address.</li> <li>If the physical network card corresponds to a switch interface in Trunk mode, a sub-interface needs to be created on the network card and provided to Macvlan for use.</li> </ol>"},{"location":"en/guide/vpc/#enabling-the-vpc-gateway","title":"Enabling the VPC Gateway","text":"<p>VPC gateway functionality needs to be enabled via <code>ovn-vpc-nat-gw-config</code> under <code>kube-system</code>:</p> <pre><code>---\nkind: ConfigMap\napiVersion: v1\nmetadata:\n  name: ovn-vpc-nat-config\n  namespace: kube-system\ndata:\n  image: docker.io/kubeovn/vpc-nat-gateway:v1.13.0\n---\nkind: ConfigMap\napiVersion: v1\nmetadata:\n  name: ovn-vpc-nat-gw-config\n  namespace: kube-system\ndata:\n  enable-vpc-nat-gw: 'true'\n</code></pre> <ul> <li><code>image</code>: The image used by the Gateway Pod.</li> <li><code>enable-vpc-nat-gw</code>: Controls whether the VPC Gateway feature is enabled.</li> </ul>"},{"location":"en/guide/vpc/#create-vpc-gateway-and-set-the-default-route","title":"Create VPC Gateway and Set the Default Route","text":"<pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n  externalSubnets:\n    - ovn-vpc-external-network\n</code></pre> <ul> <li><code>vpc</code>: The VPC to which this VpcNatGateway belongs.</li> <li><code>subnet</code>: A Subnet within the VPC, the VPC Gateway Pod will use <code>lanIp</code> to connect to the tenant network under that subnet.</li> <li><code>lanIp</code>: An unused IP within the <code>subnet</code> that the VPC Gateway Pod will eventually use for the Pod. When configuring routing for a VPC, the  <code>nextHopIP</code> needs to be set to the <code>lanIp</code> of the current VpcNatGateway.</li> <li><code>selector</code>: The node selector for VpcNatGateway Pod has the same format as NodeSelector in Kubernetes.</li> <li><code>externalSubnets</code>: External network used by the VPC gateway, if not configured, <code>ovn-vpc-external-network</code> is used by default, and only one external network is supported in the current version.</li> </ul> <p>Other configurable parameters:</p> <ul> <li><code>tolerations</code>: Configure tolerance for the VPC gateway. For details, see Taints and Tolerations</li> <li><code>affinity</code>: Configure affinity for the Pod or node of the VPC gateway. For details, see Assigning Pods to Nodes</li> </ul> <p>Things to note when using VPC-NAT-GW:</p> <ol> <li>After the nat gw pod is created, the nic net1 arp is disabled and the physical gateway cannot be pinged. After creating the eip, the arp will be automatically enabled and the ping to underlay gateway should be ok.</li> </ol>"},{"location":"en/guide/vpc/#create-eip","title":"Create EIP","text":"<p>EIP allows for floating IP, SNAT, and DNAT operations after assigning an IP from an external network segment to a VPC gateway.</p> <p>Randomly assign an address to the EIP:</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-random\nspec:\n  natGwDp: gw1\n</code></pre> <p>Fixed EIP address assignment:</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  natGwDp: gw1\n  v4ip: 10.0.1.111\n</code></pre> <p>Specify the external network on which the EIP is located:</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-random\nspec:\n  natGwDp: gw1\n  externalSubnet: ovn-vpc-external-network\n</code></pre> <ul> <li><code>externalSubnet</code>: The name of the external network on which the EIP is located. If not specified, it defaults to <code>ovn-vpc-external-network</code>. If specified, it must be one of the <code>externalSubnets</code> of the VPC gateway.</li> </ul>"},{"location":"en/guide/vpc/#create-dnat-rules","title":"Create DNAT Rules","text":"<p>Through the DNAT rules, external can access to an IP and port within a VPC through an EIP and port.</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eipd01\nspec:\n  natGwDp: gw1\n\n---\nkind: IptablesDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: dnat01\nspec:\n  eip: eipd01 \n  externalPort: '8888'\n  internalIp: 10.0.1.10\n  internalPort: '80'\n  protocol: tcp\n</code></pre>"},{"location":"en/guide/vpc/#create-snat-rules","title":"Create SNAT Rules","text":"<p>Through SNAT rules, when a Pod in the VPC accesses an external address, it will go through the corresponding EIP for SNAT.</p> <pre><code>---\nkind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eips01\nspec:\n  natGwDp: gw1\n---\nkind: IptablesSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat01\nspec:\n  eip: eips01\n  internalCIDR: 10.0.1.0/24\n</code></pre>"},{"location":"en/guide/vpc/#create-floating-ip","title":"Create Floating IP","text":"<p>Through floating IP rules, one IP in the VPC will be completely mapped to the EIP, and the external can access the IP in the VPC through this EIP. When the IP in the VPC accesses the external address, it will be SNAT to this EIP</p> <pre><code>---\nkind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eipf01\nspec:\n  natGwDp: gw1\n\n---\nkind: IptablesFIPRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: fip01\nspec:\n  eip: eipf01\n  internalIp: 10.0.1.5\n</code></pre>"},{"location":"en/guide/vpc/#custom-routing","title":"Custom Routing","text":"<p>Within the custom VPC, users can customize the routing rules within the VPC and combine it with the gateway for more flexible forwarding. Kube-OVN supports static routes and more flexible policy routes.</p>"},{"location":"en/guide/vpc/#static-routes","title":"Static Routes","text":"<pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  staticRoutes:\n    - cidr: 0.0.0.0/0\n      nextHopIP: 10.0.1.254\n      policy: policyDst\n    - cidr: 172.31.0.0/24\n      nextHopIP: 10.0.1.253\n      policy: policySrc\n      routeTable: \"rtb1\"\n</code></pre> <ul> <li><code>policy</code>: Supports destination routing <code>policyDst</code> and source routing <code>policySrc</code>.</li> <li>When there are overlapping routing rules, the rule with the longer CIDR mask has higher priority,   and if the mask length is the same, the destination route has a higher priority over the source route.</li> <li><code>routeTable</code>: You can store the route in specific table, default is main table. Associate with subnet please defer to Create Custom Subnets</li> </ul>"},{"location":"en/guide/vpc/#policy-routes","title":"Policy Routes","text":"<p>Traffic matched by static routes can be controlled at a finer granularity by policy routing. Policy routing provides more precise matching rules, priority control and more forwarding actions. This feature brings the OVN internal logical router policy function directly to the outside world, for more information on its use, please refer to Logical Router Policy.</p> <p>An example of policy routes:</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  policyRoutes:\n    - action: drop\n      match: ip4.src==10.0.1.0/24 &amp;&amp; ip4.dst==10.0.1.250\n      priority: 11\n    - action: reroute\n      match: ip4.src==10.0.1.0/24\n      nextHopIP: 10.0.1.252\n      priority: 10\n</code></pre>"},{"location":"en/guide/vpc/#custom-vpc-dns","title":"Custom vpc-dns","text":"<p>Due to the isolation between custom VPCs and default VPC networks, Pods in VPCs cannot use the default coredns service for domain name resolution. If you want to use coredns to resolve Service domain names within the custom VPC, you can use the <code>vpc-dns</code> resource provided by Kube-OVN.</p>"},{"location":"en/guide/vpc/#create-an-additional-network","title":"Create an Additional Network","text":"<pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-nad\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"ovn-nad.default.ovn\"\n    }'\n</code></pre>"},{"location":"en/guide/vpc/#modify-the-provider-of-the-ovn-default-logical-switch","title":"Modify the Provider of the ovn-default Logical Switch","text":"<p>Modify the provider of ovn-default to the provider <code>ovn-nad.default.ovn</code> configured above in nad\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: ovn-default\nspec:\n  cidrBlock: 10.16.0.0/16\n  default: true\n  disableGatewayCheck: false\n  disableInterConnection: false\n  enableDHCP: false\n  enableIPv6RA: false\n  excludeIps:\n  - 10.16.0.1\n  gateway: 10.16.0.1\n  gatewayType: distributed\n  logicalGateway: false\n  natOutgoing: true\n  private: false\n  protocol: IPv4\n  provider: ovn-nad.default.ovn\n  vpc: ovn-cluster\n</code></pre>"},{"location":"en/guide/vpc/#modify-the-vpc-dns-configmap","title":"Modify the vpc-dns ConfigMap","text":"<p>Create a ConfigMap in the kube-system namespace, configure the vpc-dns parameters to be used for the subsequent vpc-dns feature activation:</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-config\n  namespace: kube-system\ndata:\n  coredns-vip: 10.96.0.3\n  enable-vpc-dns: \"true\"\n  nad-name: ovn-nad\n  nad-provider: ovn-nad.default.ovn\n</code></pre> <ul> <li><code>enable-vpc-dns</code>: (optional) <code>true</code> to enable the feature, <code>false</code> to disable the feature. Default <code>true</code>.</li> <li><code>coredns-image</code>: (optional): DNS deployment image. Default is the cluster coredns deployment version.</li> <li><code>coredns-template</code>: (optional): URL of the DNS deployment template. Default: <code>yamls/coredns-template.yaml</code> in the current version repository.</li> <li><code>coredns-vip</code>: VIP providing LB service for coredns.</li> <li><code>nad-name</code>: Name of the configured <code>network-attachment-definitions</code> resource.</li> <li><code>nad-provider</code>: Name of the used provider.</li> <li><code>k8s-service-host</code>: (optional) IP used by coredns to access the k8s apiserver service.</li> <li><code>k8s-service-port</code>: (optional) Port used by coredns to access the k8s apiserver service.</li> </ul>"},{"location":"en/guide/vpc/#deploying-vpc-dns-dependent-resources","title":"Deploying VPC-DNS Dependent Resources","text":"<pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: system:vpc-dns\nrules:\n  - apiGroups:\n    - \"\"\n    resources:\n    - endpoints\n    - services\n    - pods\n    - namespaces\n    verbs:\n    - list\n    - watch\n  - apiGroups:\n    - discovery.k8s.io\n    resources:\n    - endpointslices\n    verbs:\n    - list\n    - watch\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  annotations:\n    rbac.authorization.kubernetes.io/autoupdate: \"true\"\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: vpc-dns\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: system:vpc-dns\nsubjects:\n- kind: ServiceAccount\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-corefile\n  namespace: kube-system\ndata:\n  Corefile: |\n    .:53 {\n        errors\n        health {\n          lameduck 5s\n        }\n        ready\n        kubernetes cluster.local in-addr.arpa ip6.arpa {\n          pods insecure\n          fallthrough in-addr.arpa ip6.arpa\n        }\n        prometheus :9153\n        forward . /etc/resolv.conf {\n          prefer_udp\n        }\n        cache 30\n        loop\n        reload\n        loadbalance\n    }\n</code></pre>"},{"location":"en/guide/vpc/#deploy-vpc-dns","title":"Deploy vpc-dns","text":"<pre><code>kind: VpcDns\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-cjh1\nspec:\n  vpc: cjh-vpc-1\n  subnet: cjh-subnet-1\n</code></pre> <ul> <li><code>vpc</code>: The VPC name used to deploy the DNS component.</li> <li><code>subnet</code>: The subnet name used to deploy the DNS component.</li> </ul> <p>View resource information:</p> <pre><code>[root@hci-dev-mst-1 kubeovn]# kubectl get vpc-dns\nNAME        ACTIVE   VPC         SUBNET   \ntest-cjh1   false    cjh-vpc-1   cjh-subnet-1   \ntest-cjh2   true     cjh-vpc-1   cjh-subnet-2 \n</code></pre> <ul> <li><code>ACTIVE</code>: if the custom vpc-dns is ready.</li> </ul>"},{"location":"en/guide/vpc/#restrictions","title":"Restrictions","text":"<ul> <li>Only one custom DNS component will be deployed in one VPC;</li> <li>When multiple VPC-DNS resources (i.e. different subnets in the same VPC) are configured in one VPC, only one VPC-DNS resource with status <code>true</code> will be active, while the others will be <code>false</code>;</li> <li>When the <code>true</code> VPC-DNS is deleted, another <code>false</code> VPC-DNS will be deployed.</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/guide/webhook/","title":"Webhook","text":"<p>Using Webhook, you can verify CRD resources within Kube-OVN. Currently, Webhook mainly performs fixed IP address conflict detection and Subnet CIDR conflict detection, and prompts errors when such conflicts happen.</p> <p>Since Webhook intercepts all Subnet and Pod creation requests, you need to deploy Kube-OVN first and Webhook later.</p>"},{"location":"en/guide/webhook/#install-cert-manager","title":"Install Cert-Manager","text":"<p>Webhook deployment requires certificate, we use cert-manager to generate the associated certificate, we need to deploy cert-manager before deploying Webhook.</p> <p>You can use the following command to deploy cert-manager:</p> <pre><code>kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.8.0/cert-manager.yaml\n</code></pre> <p>More cert-manager usage please refer to cert-manager document\u3002</p>"},{"location":"en/guide/webhook/#install-webhook","title":"Install Webhook","text":"<p>Download Webhook yaml and install:</p> <pre><code># kubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/yamls/webhook.yaml\ndeployment.apps/kube-ovn-webhook created\nservice/kube-ovn-webhook created\nvalidatingwebhookconfiguration.admissionregistration.k8s.io/kube-ovn-webhook created\ncertificate.cert-manager.io/kube-ovn-webhook-serving-cert created\nissuer.cert-manager.io/kube-ovn-webhook-selfsigned-issuer created\n</code></pre>"},{"location":"en/guide/webhook/#verify-webhook-take-effect","title":"Verify Webhook Take Effect","text":"<p>Check the running Pod and get the Pod IP <code>10.16.0.15</code>:</p> <pre><code># kubectl get pod -o wide\nNAME                      READY   STATUS    RESTARTS   AGE     IP           NODE              NOMINATED NODE   READINESS GATES\nstatic-7584848b74-fw9dm   1/1     Running   0          2d13h   10.16.0.15   kube-ovn-worker   &lt;none&gt; \n</code></pre> <p>Write yaml to create a Pod with the same IP:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/ip_address: 10.16.0.15\n    ovn.kubernetes.io/mac_address: 00:00:00:53:6B:B6\n  labels:\n    app: static\n  managedFields:\n  name: staticip-pod\n  namespace: default\nspec:\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>When using the above yaml to create a fixed address Pod, it prompts an IP address conflict:</p> <pre><code># kubectl apply -f pod-static.yaml\nError from server (annotation ip address 10.16.0.15 is conflict with ip crd static-7584848b74-fw9dm.default 10.16.0.15): error when creating \"pod-static.yaml\": admission webhook \"pod-ip-validaing.kube-ovn.io\" denied the request: annotation ip address 10.16.0.15 is conflict with ip crd static-7584848b74-fw9dm.default 10.16.0.15\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/change-default-subnet/","title":"Change Subnet CIDR","text":"<p>If a subnet CIDR is created that conflicts or does not meet expectations, it can be modified by following the steps in this document.</p> <p>After modifying the subnet CIDR, the previously created Pods will not be able to access the network properly and need to be rebuilt. Careful consideration is recommended before operating\u3002This document is only for business subnet CIDR changes, if you need to Change the Join subnet CIDR, please refer to Change Join CIDR.</p>"},{"location":"en/ops/change-default-subnet/#edit-subnet","title":"Edit Subnet","text":"<p>Use <code>kubectl edit</code> to modify <code>cidrBlock</code>\uff0c<code>gateway</code> and <code>excludeIps</code>.</p> <pre><code>kubectl edit subnet test-subnet\n</code></pre>"},{"location":"en/ops/change-default-subnet/#rebuild-all-pods-under-this-subnet","title":"Rebuild all Pods under this Subnet","text":"<p>Take the subnet binding <code>test</code> Namespace as example:</p> <pre><code>for pod in $(kubectl get pod --no-headers -n \"$ns\" --field-selector spec.restartPolicy=Always -o custom-columns=NAME:.metadata.name,HOST:spec.hostNetwork | awk '{if ($2!=\"true\") print $1}'); do\n  kubectl delete pod \"$pod\" -n test --ignore-not-found\ndone\n</code></pre> <p>If only the default subnet is used, you can delete all Pods that are not in host network mode using the following command:</p> <pre><code>for ns in $(kubectl get ns --no-headers -o custom-columns=NAME:.metadata.name); do\n  for pod in $(kubectl get pod --no-headers -n \"$ns\" --field-selector spec.restartPolicy=Always -o custom-columns=NAME:.metadata.name,HOST:spec.hostNetwork | awk '{if ($2!=\"true\") print $1}'); do\n    kubectl delete pod \"$pod\" -n \"$ns\" --ignore-not-found\n  done\ndone\n</code></pre>"},{"location":"en/ops/change-default-subnet/#change-default-subnet-settings","title":"Change Default Subnet Settings","text":"<p>If you are modifying the CIDR for the default Subnet, you also need to change the args of the <code>kube-ovn-controller</code> Deployment:</p> <pre><code>args:\n- --default-cidr=10.17.0.0/16\n- --default-gateway=10.17.0.1\n- --default-exclude-ips=10.17.0.1\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/change-join-subnet/","title":"Change Join Subnet CIDR","text":"<p>If the Join subnet CIDR created conflicts or does not meet expectations, you can use this document to modify.</p> <p>After modifying the Join Subnet CIDR, the previously created Pods will not be able to access the external network normally and need to wait for the rebuild completed.</p>"},{"location":"en/ops/change-join-subnet/#delete-join-subnet","title":"Delete Join Subnet","text":"<pre><code>kubectl patch subnet join --type='json' -p '[{\"op\": \"replace\", \"path\": \"/metadata/finalizers\", \"value\": []}]'\nkubectl delete subnet join\n</code></pre>"},{"location":"en/ops/change-join-subnet/#cleanup-allocated-config","title":"Cleanup Allocated Config","text":"<pre><code>kubectl annotate node ovn.kubernetes.io/allocated=false --all --overwrite\n</code></pre>"},{"location":"en/ops/change-join-subnet/#modify-join-subnet","title":"Modify Join Subnet","text":"<p>Change Join Subnet args in <code>kube-ovn-controller</code>:</p> <pre><code>kubectl edit deployment -n kube-system kube-ovn-controller\n</code></pre> <p>Change the CIDR below:</p> <pre><code>args:\n- --node-switch-cidr=100.51.0.0/16\n</code></pre> <p>Reboot the <code>kube-ovn-controller</code> and rebuild <code>join</code> Subnet:</p> <pre><code>kubectl delete pod -n kube-system -lapp=kube-ovn-controller\n</code></pre> <p>Check the new Join Subnet information:</p> <pre><code># kubectl get subnet\nNAME          PROVIDER   VPC           PROTOCOL   CIDR            PRIVATE   NAT     DEFAULT   GATEWAYTYPE   V4USED   V4AVAILABLE   V6USED   V6AVAILABLE   EXCLUDEIPS\njoin          ovn        ovn-cluster   IPv4       100.51.0.0/16   false     false   false     distributed   2        65531         0        0             [\"100.51.0.1\"]\novn-default   ovn        ovn-cluster   IPv4       10.17.0.0/16    false     true    true      distributed   5        65528         0        0             [\"10.17.0.1\"]\n</code></pre>"},{"location":"en/ops/change-join-subnet/#reconfigure-ovn0-nic-address","title":"Reconfigure ovn0 NIC Address","text":"<p>The <code>ovn0</code> NIC information for each node needs to be re-updated, which can be done by restarting <code>kube-ovn-cni</code>:</p> <pre><code>kubectl delete pod -n kube-system -l app=kube-ovn-cni\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/change-log-level/","title":"Change Log Level","text":"<p>Open <code>kube-ovn.yaml</code> and set the log level in the parameter list of the service startup script, such as:</p> <pre><code>vi kube-ovn.yaml\n# ...\n        - name: kube-ovn-controller\n          image: \"docker.io/kubeovn/kube-ovn:v1.13.0\"\n          imagePullPolicy: IfNotPresent\n          args:\n          - /kube-ovn/start-controller.sh\n          - --v=3\n# ...\n# The higher the log level, the more detailed the log\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/change-ovn-central-node/","title":"Replace ovn-central Node","text":"<p>Since <code>ovn-nb</code> and <code>ovn-sb</code> within <code>ovn-central</code> create separate etcd-like raft clusters, replacing the <code>ovn-central</code> node requires additional operations to ensure correct cluster state and consistent data. It is recommended that only one node be up and down at a time to avoid the cluster going into an unavailable state and affecting the overall cluster network.</p>"},{"location":"en/ops/change-ovn-central-node/#ovn-central-nodes-offline","title":"ovn-central Nodes Offline","text":"<p>This document use the cluster below to describes how to remove the <code>kube-ovn-control-plane2</code> node from the <code>ovn-central</code> as an example.</p> <pre><code># kubectl -n kube-system get pod -o wide | grep central\novn-central-6bf58cbc97-2cdhg                      1/1     Running   0             21m   172.18.0.3   kube-ovn-control-plane    &lt;none&gt;           &lt;none&gt;\novn-central-6bf58cbc97-crmfp                      1/1     Running   0             21m   172.18.0.5   kube-ovn-control-plane2   &lt;none&gt;           &lt;none&gt;\novn-central-6bf58cbc97-lxmpl                      1/1     Running   0             21m   172.18.0.4   kube-ovn-control-plane3   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"en/ops/change-ovn-central-node/#kick-node-in-ovn-nb","title":"Kick Node in ovn-nb","text":"<p>First check the ID of the node within the cluster for subsequent operations.</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2135194 ms ago, reason: timeout\nLast Election won: 2135188 ms ago\nElection timer: 5000\nLog: [135, 135]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-d64b -&gt;d64b &lt;-4984 -&gt;4984\nDisconnections: 0\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=135 match_index=134 last msg 1084 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=2 match_index=134\n    d64b (d64b at tcp:[172.18.0.5]:6643) next_index=135 match_index=134 last msg 1084 ms ago\nstatus: ok\n</code></pre> <p><code>kube-ovn-control-plane2</code> corresponds to a node IP of <code>172.18.0.5</code> and the corresponding ID within the cluster is <code>d64b</code>. Next, kick the node out of the ovn-nb cluster.</p> <pre><code># kubectl ko nb kick d64b\nstarted removal\n</code></pre> <p>Check if the node has been kicked:</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2297649 ms ago, reason: timeout\nLast Election won: 2297643 ms ago\nElection timer: 5000\nLog: [136, 136]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-4984 -&gt;4984\nDisconnections: 2\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=136 match_index=135 last msg 1270 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=2 match_index=135\nstatus: ok\n</code></pre>"},{"location":"en/ops/change-ovn-central-node/#kick-node-in-ovn-sb","title":"Kick Node in ovn-sb","text":"<p>Next, for the ovn-sb cluster, you need to first check the ID of the node within the cluster for subsequent operations.</p> <pre><code>kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2395317 ms ago, reason: timeout\nLast Election won: 2395316 ms ago\nElection timer: 5000\nLog: [130, 130]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-e9f7 -&gt;e9f7 &lt;-6e84 -&gt;6e84\nDisconnections: 0\nServers:\n    e9f7 (e9f7 at tcp:[172.18.0.5]:6644) next_index=130 match_index=129 last msg 1006 ms ago\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=130 match_index=129 last msg 1004 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=2 match_index=129\nstatus: ok\n</code></pre> <p><code>kube-ovn-control-plane2</code> corresponds to node IP <code>172.18.0.5</code> and the corresponding ID within the cluster is <code>e9f7</code>. Next, kick the node out of the ovn-sb cluster.</p> <pre><code># kubectl ko sb kick e9f7\nstarted removal\n</code></pre> <p>Check if the node has been kicked:</p> <pre><code># kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2481636 ms ago, reason: timeout\nLast Election won: 2481635 ms ago\nElection timer: 5000\nLog: [131, 131]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-6e84 -&gt;6e84\nDisconnections: 2\nServers:\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=131 match_index=130 last msg 642 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=2 match_index=130\nstatus: ok\n</code></pre>"},{"location":"en/ops/change-ovn-central-node/#delete-node-label-and-downscale-ovn-central","title":"Delete Node Label and Downscale ovn-central","text":"<p>Note that you need to remove the offline node from the node address of the ovn-central environment variable <code>NODE_IPS</code>.</p> <pre><code>kubectl label node kube-ovn-control-plane2 kube-ovn/role-\nkubectl scale deployment -n kube-system ovn-central --replicas=2\nkubectl set env deployment/ovn-central -n kube-system NODE_IPS=\"172.18.0.3,172.18.0.4\"\nkubectl rollout status deployment/ovn-central -n kube-system \n</code></pre>"},{"location":"en/ops/change-ovn-central-node/#modify-components-address-to-ovn-central","title":"Modify Components Address to ovn-central","text":"<p>Modify <code>ovs-ovn</code> to remove the offline Node address:</p> <pre><code># kubectl set env daemonset/ovs-ovn -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4\"\ndaemonset.apps/ovs-ovn env updated\n# kubectl delete pod -n kube-system -lapp=ovs\npod \"ovs-ovn-4f6jc\" deleted\npod \"ovs-ovn-csn2w\" deleted\npod \"ovs-ovn-mpbmb\" deleted\n</code></pre> <p>Modify <code>kube-ovn-controller</code> to remove the offline Node address:</p> <pre><code># kubectl set env deployment/kube-ovn-controller -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4\"\ndeployment.apps/kube-ovn-controller env updated\n\n# kubectl rollout status deployment/kube-ovn-controller -n kube-system\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\n</code></pre>"},{"location":"en/ops/change-ovn-central-node/#clean-node","title":"Clean Node","text":"<p>Delete the database files in the <code>kube-ovn-control-plane2</code> node to avoid errors when adding the node again:</p> <pre><code>rm -rf /etc/origin/ovn\n</code></pre> <p>To take a node offline from a Kubernetes cluster entirely, please continue with Delete Work Node.</p>"},{"location":"en/ops/change-ovn-central-node/#ovn-central-online","title":"ovn-central Online","text":"<p>The following steps will add a new Kubernetes node to the <code>ovn-central</code> cluster.</p>"},{"location":"en/ops/change-ovn-central-node/#directory-check","title":"Directory Check","text":"<p>Check if the <code>ovnnb_db.db</code> or <code>ovnsb_db.db</code> file exists in the <code>/etc/origin/ovn</code> directory of the new node, and if so, delete it:</p> <pre><code>rm -rf /etc/origin/ovn\n</code></pre>"},{"location":"en/ops/change-ovn-central-node/#check-current-ovn-central-status","title":"Check Current ovn-central Status","text":"<p>If the current <code>ovn-central</code> cluster state is already abnormal, adding new nodes may cause the voting election to fail to pass the majority, affecting subsequent operations.</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 44\nLeader: self\nVote: self\n\nLast Election started 1855739 ms ago, reason: timeout\nLast Election won: 1855729 ms ago\nElection timer: 5000\nLog: [147, 147]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: -&gt;4984 &lt;-4984\nDisconnections: 0\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=147 match_index=146 last msg 367 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=140 match_index=146\nstatus: ok\n\n# kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 33\nLeader: self\nVote: self\n\nLast Election started 1868589 ms ago, reason: timeout\nLast Election won: 1868579 ms ago\nElection timer: 5000\nLog: [142, 142]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: -&gt;6e84 &lt;-6e84\nDisconnections: 0\nServers:\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=142 match_index=141 last msg 728 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=134 match_index=141\nstatus: ok\n</code></pre>"},{"location":"en/ops/change-ovn-central-node/#label-node-and-scale-ovn-central","title":"Label Node and Scale ovn-central","text":"<p>Note that you need to add the online node address to the node address of the ovn-central environment variable <code>NODE_IPS</code>.</p> <pre><code>kubectl label node kube-ovn-control-plane2 kube-ovn/role=master\nkubectl scale deployment -n kube-system ovn-central --replicas=3\nkubectl set env deployment/ovn-central -n kube-system NODE_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\nkubectl rollout status deployment/ovn-central -n kube-system\n</code></pre>"},{"location":"en/ops/change-ovn-central-node/#modify-components-address-to-ovn-central_1","title":"Modify Components Address to ovn-central","text":"<p>Modify <code>ovs-ovn</code> to add the online Node address:</p> <pre><code># kubectl set env daemonset/ovs-ovn -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\ndaemonset.apps/ovs-ovn env updated\n# kubectl delete pod -n kube-system -lapp=ovs\npod \"ovs-ovn-4f6jc\" deleted\npod \"ovs-ovn-csn2w\" deleted\npod \"ovs-ovn-mpbmb\" deleted\n</code></pre> <p>Modify <code>kube-ovn-controller</code> to add the online Node address:</p> <pre><code># kubectl set env deployment/kube-ovn-controller -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\ndeployment.apps/kube-ovn-controller env updated\n\n# kubectl rollout status deployment/kube-ovn-controller -n kube-system\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/delete-worker-node/","title":"Delete Work Node","text":"<p>If the node is simply removed from Kubernetes, the <code>ovn-controller</code> process running in <code>ovs-ovn</code> on the node will periodically connect to <code>ovn-central</code> to register relevant network information. This leads to additional resource waste and potential rule conflict risk\u3002 Therefore, when removing nodes from within Kubernetes, follow the steps below to ensure that related resources are cleaned up properly.</p> <p>This document describes the steps to delete a worker node, if you want to change the node where <code>ovn-central</code> is located, please refer to Replace ovn-central Node.</p>"},{"location":"en/ops/delete-worker-node/#evict-pods-on-the-node","title":"Evict Pods on the Node","text":"<pre><code> # kubectl drain kube-ovn-worker --ignore-daemonsets --force\n node/kube-ovn-worker cordoned\n WARNING: ignoring DaemonSet-managed Pods: kube-system/kube-ovn-cni-zt74b, kube-system/kube-ovn-pinger-5rxfs, kube-system/kube-proxy-jpmnm, kube-system/ovs-ovn-v2kll\n evicting pod kube-system/coredns-64897985d-qsgpt\n evicting pod local-path-storage/local-path-provisioner-5ddd94ff66-llss6\n evicting pod kube-system/kube-ovn-controller-8459db5ff4-94lxb\n pod/kube-ovn-controller-8459db5ff4-94lxb evicted\n pod/coredns-64897985d-qsgpt evicted\n pod/local-path-provisioner-5ddd94ff66-llss6 evicted\n node/kube-ovn-worker drained\n</code></pre>"},{"location":"en/ops/delete-worker-node/#stop-kubelet-and-docker","title":"Stop kubelet and docker","text":"<p>This step stops the <code>ovs-ovn</code> container to avoid registering information to <code>ovn-central</code>. Log into to the corresponding node and ruu the following commands:</p> <pre><code>systemctl stop kubelet\nsystemctl stop docker\n</code></pre> <p>If using containerd as the CRI, the following command needs to be executed to stop the <code>ovs-ovn</code> container:</p> <pre><code>crictl rm -f $(crictl ps | grep openvswitch | awk '{print $1}')\n</code></pre>"},{"location":"en/ops/delete-worker-node/#cleanup-files-on-node","title":"Cleanup Files on Node","text":"<pre><code>rm -rf /var/run/openvswitch\nrm -rf /var/run/ovn\nrm -rf /etc/origin/openvswitch/\nrm -rf /etc/origin/ovn/\nrm -rf /etc/cni/net.d/00-kube-ovn.conflist\nrm -rf /etc/cni/net.d/01-kube-ovn.conflist\nrm -rf /var/log/openvswitch\nrm -rf /var/log/ovn\n</code></pre>"},{"location":"en/ops/delete-worker-node/#delete-the-node","title":"Delete the Node","text":"<pre><code>kubectl delete no kube-ovn-01\n</code></pre>"},{"location":"en/ops/delete-worker-node/#check-if-node-removed-from-ovn-sb","title":"Check If Node Removed from OVN-SB","text":"<p>In the example below, the node <code>kube-ovn-worker</code> is not removed:</p> <pre><code># kubectl ko sbctl show\nChassis \"b0564934-5a0d-4804-a4c0-476c93596a17\"\n  hostname: kube-ovn-worker\n  Encap geneve\n      ip: \"172.18.0.2\"\n      options: {csum=\"true\"}\n  Port_Binding kube-ovn-pinger-5rxfs.kube-system\nChassis \"6a29de7e-d731-4eaf-bacd-2f239ee52b28\"\n  hostname: kube-ovn-control-plane\n  Encap geneve\n      ip: \"172.18.0.3\"\n      options: {csum=\"true\"}\n  Port_Binding coredns-64897985d-nbfln.kube-system\n  Port_Binding node-kube-ovn-control-plane\n  Port_Binding local-path-provisioner-5ddd94ff66-h4tn9.local-path-storage\n  Port_Binding kube-ovn-pinger-hf2p6.kube-system\n  Port_Binding coredns-64897985d-fhwlw.kube-system\n</code></pre>"},{"location":"en/ops/delete-worker-node/#delete-the-chassis-manually","title":"Delete the Chassis Manually","text":"<p>Use the uuid find above to delete the chassis:</p> <pre><code># kubectl ko sbctl chassis-del b0564934-5a0d-4804-a4c0-476c93596a17\n# kubectl ko sbctl show\nChassis \"6a29de7e-d731-4eaf-bacd-2f239ee52b28\"\n  hostname: kube-ovn-control-plane\n  Encap geneve\n      ip: \"172.18.0.3\"\n      options: {csum=\"true\"}\n  Port_Binding coredns-64897985d-nbfln.kube-system\n  Port_Binding node-kube-ovn-control-plane\n  Port_Binding local-path-provisioner-5ddd94ff66-h4tn9.local-path-storage\n  Port_Binding kube-ovn-pinger-hf2p6.kube-system\n  Port_Binding coredns-64897985d-fhwlw.kube-system\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/faq/","title":"FAQ","text":""},{"location":"en/ops/faq/#kylin-arm-system-cross-host-container-access-intermittently-fails","title":"Kylin ARM system cross-host container access intermittently fails","text":""},{"location":"en/ops/faq/#behavior","title":"Behavior","text":"<p>There is a problem with Kylin ARM system and some NIC offload, which can cause intermittent container network failure.</p> <p>Use <code>netstat</code> to identify the problem:</p> <pre><code># netstat -us\nIcmpMsg:\n    InType0: 22\n    InType3: 24\n    InType8: 117852\n    OutType0: 117852\n    OutType3: 29\n    OutType8: 22\nUdp:\n    3040636 packets received\n    0 packets to unknown port received.\n    4 packet receive errors\n    602 packets sent\n    0 receive buffer errors\n    0 send buffer errors\n    InCsumErrors: 4\nUdpLite:\nIpExt:\n    InBcastPkts: 10244\n    InOctets: 4446320361\n    OutOctets: 1496815600\n    InBcastOctets: 3095950\n    InNoECTPkts: 7683903\n</code></pre> <p>If <code>InCsumErrors</code> is present and increases with netwoork failures, you can confirm that this is the problem.</p>"},{"location":"en/ops/faq/#solution","title":"Solution","text":"<p>The fundamental solution requires communication with Kylin and the corresponding network card manufacturer to update the system and drivers. A temporary solution would be to turn off <code>tx offload</code> on the physical NIC, but this would cause a significant degradation in tcp performance.</p> <pre><code>ethtool -K eth0 tx off\n</code></pre> <p>From the community feedback, the problem can be solved by the <code>4.19.90-25.16.v2101</code> kernel.</p>"},{"location":"en/ops/faq/#pod-can-not-access-service","title":"Pod can not Access Service","text":""},{"location":"en/ops/faq/#behavior_1","title":"Behavior","text":"<p>Pod can not access Service, and <code>dmesg</code> show errors:</p> <pre><code>netlink\uff1aUnknown conntrack attr (type=6, max=5)\nopenvswitch: netlink: Flow actions may not be safe on all matching packets.\n</code></pre> <p>This log indicates that the in-kernel OVS version is too low to support the corresponding NAT operation.</p>"},{"location":"en/ops/faq/#solution_1","title":"Solution","text":"<ol> <li>Upgrade the kernel module or compile the OVS kernel module manually.</li> <li>If you are using an Overlay network you can change the <code>kube-ovn-controller</code> args, setting <code>--enable-lb=false</code> to disable the OVN LB to use kube-proxy for service forwarding.</li> </ol>"},{"location":"en/ops/faq/#frequent-leader-selection-occurs-in-ovn-central","title":"Frequent leader selection occurs in ovn-central","text":""},{"location":"en/ops/faq/#behavior_2","title":"Behavior","text":"<p>Starting from the v1.11.x version, in a cluster with 1w Pod or more, if OVN NB or SB frequently elects the master, the possible reason is that Kube-OVN periodically performs the ovsdb-server/compact action, which affects the master selection logic.</p>"},{"location":"en/ops/faq/#solution_2","title":"Solution","text":"<p>You can configure the environment variables for ovn-central as follows and turn off compact:</p> <pre><code>- name: ENABLE_COMPACT\n  value: \"false\"\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/from-calico/","title":"Install Kube-OVN From Calico","text":"<p>If a Kubernetes cluster already has Calico installed and needs to change to Kube-OVN you can refer to this document.</p> <p>Since the installation of Calico may vary from version to version and the existing Pod network may be disrupted during the replacement process, it is recommended that you plan ahead and compare the differences in Calico installation from version to version.</p>"},{"location":"en/ops/from-calico/#uninstall-calico","title":"Uninstall Calico","text":"<p>For Calico installed from an Operator:</p> <pre><code>kubectl delete -f https://projectcalico.docs.tigera.io/manifests/tigera-operator.yaml\nkubectl delete -f https://projectcalico.docs.tigera.io/manifests/custom-resources.yaml\n</code></pre> <p>For Calico installed from manifests:</p> <pre><code>kubectl delete -f https://projectcalico.docs.tigera.io/manifests/calico.yaml \n</code></pre>"},{"location":"en/ops/from-calico/#cleanup-config-files","title":"Cleanup Config Files","text":"<p>Delete the CNI-related configuration files on each machine, depending on the environment:</p> <pre><code>rm -f /etc/cni/net.d/10-calico.conflist\nrm -f /etc/cni/net.d/calico-kubeconfig\n</code></pre> <p>Calico still leaves routing rules, iptables rules, veth network interfaces and other configuration information on the node, so it is recommended to reboot the node to clean up the relevant configuration to avoid problems that are difficult to troubleshoot.</p>"},{"location":"en/ops/from-calico/#install-kube-ovn","title":"Install Kube-OVN","text":"<p>You can refer to One Click Installation to install Kube-OVN as usual.</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/kubectl-ko/","title":"Kubectl Plugin","text":"<p>To facilitate daily operations and maintenance, Kube-OVN provides the kubectl plug-in tool, which allows administrators to perform daily operations through this command. For examples: Check OVN database information and status, OVN database backup and restore, OVS related information, tcpdump specific containers, specific link logical topology, network problem diagnosis and performance optimization.</p>"},{"location":"en/ops/kubectl-ko/#plugin-installation","title":"Plugin Installation","text":"<p>Kube-OVN installation will deploy the plugin to each node by default. If the machine that runs kubectl is not in the cluster, or if you need to reinstall the plugin, please refer to the following steps:</p> <p>Download <code>kubectl-ko</code> file:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/kubectl-ko\n</code></pre> <p>Move file to <code>$PATH</code>:</p> <pre><code>mv kubectl-ko /usr/local/bin/kubectl-ko\n</code></pre> <p>Add executable permissions:</p> <pre><code>chmod +x /usr/local/bin/kubectl-ko\n</code></pre> <p>Check if the plugin works properly:</p> <pre><code># kubectl plugin list\nThe following compatible plugins are available:\n\n/usr/local/bin/kubectl-ko\n</code></pre>"},{"location":"en/ops/kubectl-ko/#plugin-usage","title":"Plugin Usage","text":"<p>Running <code>kubectl ko</code> will show all the available commands and usage descriptions, as follows:</p> <pre><code># kubectl ko\nkubectl ko {subcommand} [option...]\nAvailable Subcommands:\n  [nb|sb] [status|kick|backup|dbstatus|restore]     ovn-db operations show cluster status, kick stale server, backup database, get db consistency status or restore ovn nb db when met 'inconsistent data' error\n  nbctl [ovn-nbctl options ...]    invoke ovn-nbctl\n  sbctl [ovn-sbctl options ...]    invoke ovn-sbctl\n  vsctl {nodeName} [ovs-vsctl options ...]   invoke ovs-vsctl on the specified node\n  ofctl {nodeName} [ovs-ofctl options ...]   invoke ovs-ofctl on the specified node\n  dpctl {nodeName} [ovs-dpctl options ...]   invoke ovs-dpctl on the specified node\n  appctl {nodeName} [ovs-appctl options ...]   invoke ovs-appctl on the specified node\n  tcpdump {namespace/podname} [tcpdump options ...]     capture pod traffic\n  {trace|ovn-trace} ...    trace ovn microflow of specific packet\"\n    {trace|ovn-trace} {namespace/podname} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]    trace ICMP/TCP/UDP\n    {trace|ovn-trace} {namespace/podname} {target ip address} [target mac address] arp {request|reply}                     trace ARP request/reply\n    {trace|ovn-trace} {node//nodename} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]       trace ICMP/TCP/UDP\n    {trace|ovn-trace} {node//nodename} {target ip address} [target mac address] arp {request|reply}                        trace ARP request/reply\n  echo \"  diagnose {all|node|subnet|IPPorts} [nodename|subnetName|{proto1}-{IP1}-{Port1},{proto2}-{IP2}-{Port2}]    diagnose connectivity of all nodes or a specific node or specify subnet's ds pod or IPPorts like 'tcp-172.18.0.2-53,udp-172.18.0.3-53'\"\n  tuning {install-fastpath|local-install-fastpath|remove-fastpath|install-stt|local-install-stt|remove-stt} {centos7|centos8}} [kernel-devel-version]  deploy  kernel optimisation components to the system\n  reload    restart all kube-ovn components\n  log {kube-ovn|ovn|ovs|linux|all}    save log to ./kubectl-ko-log/\n  perf [image] performance test default image is kubeovn/test:v1.12.0  \n</code></pre> <p>The specific functions and usage of each command are described below.</p>"},{"location":"en/ops/kubectl-ko/#nb-sb-status-kick-backup-dbstatus-restore","title":"[nb | sb] [status | kick | backup | dbstatus | restore]","text":"<p>This subcommand mainly operates on OVN northbound or southbound databases, including database cluster status check, database node offline, database backup, database storage status check and database repair.</p>"},{"location":"en/ops/kubectl-ko/#db-cluster-status-check","title":"DB Cluster Status Check","text":"<p>This command executes <code>ovs-appctl cluster/status</code> on the leader node of the corresponding OVN database to show the cluster status:</p> <pre><code># kubectl ko nb status\n306b\nName: OVN_Northbound\nCluster ID: 9a87 (9a872522-3e7d-47ca-83a3-d74333e1a7ca)\nServer ID: 306b (306b256b-b5e1-4eb0-be91-4ca96adf6bad)\nAddress: tcp:[172.18.0.2]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 280309 ms ago, reason: timeout\nLast Election won: 280309 ms ago\nElection timer: 5000\nLog: [139, 139]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-8723 -&gt;8723 &lt;-85d6 -&gt;85d6\nDisconnections: 0\nServers:\n    85d6 (85d6 at tcp:[172.18.0.4]:6643) next_index=139 match_index=138 last msg 763 ms ago\n    8723 (8723 at tcp:[172.18.0.3]:6643) next_index=139 match_index=138 last msg 763 ms ago\n    306b (306b at tcp:[172.18.0.2]:6643) (self) next_index=2 match_index=138\nstatus: ok\n</code></pre> <p>If the <code>match_index</code> under <code>Server</code> has a large difference and the <code>last msg</code> time is long, the corresponding Server may not respond for a long time and needs to be checked further.</p>"},{"location":"en/ops/kubectl-ko/#db-nodes-offline","title":"DB Nodes Offline","text":"<p>This command removes a node from the OVN database and is required when a node is taken offline or replaced. The following is an example of the cluster status from the previous command, to offline the <code>172.18.0.3</code> node:</p> <pre><code># kubectl ko nb kick 8723\nstarted removal\n</code></pre> <p>Check the database cluster status again to confirm that the node has been removed:</p> <pre><code># kubectl ko nb status\n306b\nName: OVN_Northbound\nCluster ID: 9a87 (9a872522-3e7d-47ca-83a3-d74333e1a7ca)\nServer ID: 306b (306b256b-b5e1-4eb0-be91-4ca96adf6bad)\nAddress: tcp:[172.18.0.2]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 324356 ms ago, reason: timeout\nLast Election won: 324356 ms ago\nElection timer: 5000\nLog: [140, 140]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-85d6 -&gt;85d6\nDisconnections: 2\nServers:\n    85d6 (85d6 at tcp:[172.18.0.4]:6643) next_index=140 match_index=139 last msg 848 ms ago\n    306b (306b at tcp:[172.18.0.2]:6643) (self) next_index=2 match_index=139\nstatus: ok\n</code></pre>"},{"location":"en/ops/kubectl-ko/#db-backup","title":"DB Backup","text":"<p>This subcommand backs up the current OVN database locally and can be used for disaster recovery:</p> <pre><code># kubectl ko nb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnnb_db.060223191654183154.backup\n</code></pre>"},{"location":"en/ops/kubectl-ko/#database-storage-status-check","title":"Database Storage Status Check","text":"<p>This command is used to check if the database file is corrupt:</p> <pre><code># kubectl ko nb dbstatus\nstatus: ok\n</code></pre> <p>If error happens, <code>inconsistent data</code> is displayed and needs to be fixed with the following command.</p>"},{"location":"en/ops/kubectl-ko/#database-repair","title":"Database Repair","text":"<p>If the database status goes to <code>inconsistent data</code>, this command can be used to repair:</p> <pre><code># kubectl ko nb restore\ndeployment.apps/ovn-central scaled\novn-central original replicas is 3\nfirst nodeIP is 172.18.0.5\novs-ovn pod on node 172.18.0.5 is ovs-ovn-8jxv9\novs-ovn pod on node 172.18.0.3 is ovs-ovn-sjzb6\novs-ovn pod on node 172.18.0.4 is ovs-ovn-t87zk\nbackup nb db file\nrestore nb db file, operate in pod ovs-ovn-8jxv9\ndeployment.apps/ovn-central scaled\nfinish restore nb db file and ovn-central replicas\nrecreate ovs-ovn pods\npod \"ovs-ovn-8jxv9\" deleted\npod \"ovs-ovn-sjzb6\" deleted\npod \"ovs-ovn-t87zk\" deleted\n</code></pre>"},{"location":"en/ops/kubectl-ko/#nbctl-sbctl-options","title":"[nbctl | sbctl] [options ...]","text":"<p>This subcommand executes the <code>ovn-nbctl</code> and <code>ovn-sbctl</code> commands directly into the leader node of the OVN northbound or southbound database. For more detailed usage of this command, please refer to the official documentation of the upstream OVN ovn-nbctl(8) \u200b\u548c\u200b ovn-sbctl(8)\u3002</p> <pre><code># kubectl ko nbctl show\nswitch c7cd17e8-ceee-4a91-9bb3-e5a313fe1ece (snat)\n    port snat-ovn-cluster\n        type: router\n        router-port: ovn-cluster-snat\nswitch 20e0c6d0-023a-4756-aec5-200e0c60f95d (join)\n    port node-liumengxin-ovn3-192.168.137.178\n        addresses: [\"00:00:00:64:FF:A8 100.64.0.4\"]\n    port node-liumengxin-ovn1-192.168.137.176\n        addresses: [\"00:00:00:AF:98:62 100.64.0.2\"]\n    port node-liumengxin-ovn2-192.168.137.177\n        addresses: [\"00:00:00:D9:58:B8 100.64.0.3\"]\n    port join-ovn-cluster\n        type: router\n        router-port: ovn-cluster-join\nswitch 0191705c-f827-427b-9de3-3c3b7d971ba5 (central)\n    port central-ovn-cluster\n        type: router\n        router-port: ovn-cluster-central\nswitch 2a45ff05-388d-4f85-9daf-e6fccd5833dc (ovn-default)\n    port alertmanager-main-0.monitoring\n        addresses: [\"00:00:00:6C:DF:A3 10.16.0.19\"]\n    port kube-state-metrics-5d6885d89-4nf8h.monitoring\n        addresses: [\"00:00:00:6F:02:1C 10.16.0.15\"]\n    port fake-kubelet-67c55dfd89-pv86k.kube-system\n        addresses: [\"00:00:00:5C:12:E8 10.16.19.177\"]\n    port ovn-default-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-default\nrouter 212f73dd-d63d-4d72-864b-a537e9afbee1 (ovn-cluster)\n    port ovn-cluster-snat\n        mac: \"00:00:00:7A:82:8F\"\n        networks: [\"172.22.0.1/16\"]\n    port ovn-cluster-join\n        mac: \"00:00:00:F8:18:5A\"\n        networks: [\"100.64.0.1/16\"]\n    port ovn-cluster-central\n        mac: \"00:00:00:4D:8C:F5\"\n        networks: [\"192.101.0.1/16\"]\n    port ovn-cluster-ovn-default\n        mac: \"00:00:00:A3:F8:18\"\n        networks: [\"10.16.0.1/16\"]\n</code></pre>"},{"location":"en/ops/kubectl-ko/#vsctl-nodename-options","title":"vsctl {nodeName} [options ...]","text":"<p>This command will go to the <code>ovs-ovn</code> container on the corresponding <code>nodeName</code> and execute the corresponding <code>ovs-vsctl</code> command to query and configure <code>vswitchd</code>. For more detailed usage of this command, please refer to the official documentation of the upstream OVS ovs-vsctl(8)\u3002</p> <pre><code># kubectl ko vsctl kube-ovn-01 show\n0d4c4675-c9cc-440a-8c1a-878e17f81b88\n    Bridge br-int\n        fail_mode: secure\n        datapath_type: system\n        Port a2c1a8a8b83a_h\n            Interface a2c1a8a8b83a_h\n        Port \"4fa5c4cbb1a5_h\"\n            Interface \"4fa5c4cbb1a5_h\"\n        Port ovn-eef07d-0\n            Interface ovn-eef07d-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.178\"}\n        Port ovn0\n            Interface ovn0\n                type: internal\n        Port mirror0\n            Interface mirror0\n                type: internal\n        Port ovn-efa253-0\n            Interface ovn-efa253-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.177\"}\n        Port br-int\n            Interface br-int\n                type: internal\n    ovs_version: \"2.17.2\"\n</code></pre>"},{"location":"en/ops/kubectl-ko/#ofctl-nodename-options","title":"ofctl {nodeName} [options ...]","text":"<p>This command will go to the <code>ovs-ovn</code> container on the corresponding <code>nodeName</code> and execute the corresponding <code>ovs-ofctl</code> command to query or manage OpenFlow. For more detailed usage of this command, please refer to the official documentation of the upstream OVS ovs-ofctl(8)\u3002</p> <pre><code># kubectl ko ofctl kube-ovn-01 dump-flows br-int\nNXST_FLOW reply (xid=0x4): flags=[more]\n cookie=0xcf3429e6, duration=671791.432s, table=0, n_packets=0, n_bytes=0, idle_age=65534, hard_age=65534, priority=100,in_port=2 actions=load:0x4-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x1-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0xc91413c6, duration=671791.431s, table=0, n_packets=907489, n_bytes=99978275, idle_age=0, hard_age=65534, priority=100,in_port=7 actions=load:0x1-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x4-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0xf180459, duration=671791.431s, table=0, n_packets=17348582, n_bytes=2667811214, idle_age=0, hard_age=65534, priority=100,in_port=6317 actions=load:0xa-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x9-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0x7806dd90, duration=671791.431s, table=0, n_packets=3235428, n_bytes=833821312, idle_age=0, hard_age=65534, priority=100,in_port=1 actions=load:0xd-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x3-&gt;NXM_NX_REG14[],resubmit(,8)\n...\n</code></pre>"},{"location":"en/ops/kubectl-ko/#dpctl-nodename-options","title":"dpctl {nodeName} [options ...]","text":"<p>This command will go to the <code>ovs-ovn</code> container on the corresponding <code>nodeName</code> and execute the corresponding <code>ovs-dpctl</code> command to query or manage the OVS datapath. For more detailed usage of this command, please refer to the official documentation of the upstream OVS ovs-dpctl(8)\u3002</p> <pre><code># kubectl ko dpctl kube-ovn-01 show\nsystem@ovs-system:\n  lookups: hit:350805055 missed:21983648 lost:73\n  flows: 105\n  masks: hit:1970748791 total:22 hit/pkt:5.29\n  port 0: ovs-system (internal)\n  port 1: ovn0 (internal)\n  port 2: mirror0 (internal)\n  port 3: br-int (internal)\n  port 4: stt_sys_7471 (stt: packet_type=ptap)\n  port 5: eeb4d9e51b5d_h\n  port 6: a2c1a8a8b83a_h\n  port 7: 4fa5c4cbb1a5_h\n</code></pre>"},{"location":"en/ops/kubectl-ko/#appctl-nodename-options","title":"appctl {nodeName} [options ...]","text":"<p>This command will enter the <code>ovs-ovn</code> container on the corresponding <code>nodeName</code> and execute the corresponding <code>ovs-appctl</code> command to operate the associated daemon process. For more detailed usage of this command, please refer to the official documentation of the upstream OVS ovs-appctl(8)\u3002</p> <pre><code># kubectl ko appctl kube-ovn-01 vlog/list\n                 console    syslog    file\n                 -------    ------    ------\nbacktrace          OFF        ERR       INFO\nbfd                OFF        ERR       INFO\nbond               OFF        ERR       INFO\nbridge             OFF        ERR       INFO\nbundle             OFF        ERR       INFO\nbundles            OFF        ERR       INFO\n...\n</code></pre>"},{"location":"en/ops/kubectl-ko/#tcpdump-namespacepodname-tcpdump-options","title":"tcpdump {namespace/podname} [tcpdump options ...]","text":"<p>This command will enter the <code>kube-ovn-cni</code> container on the machine where <code>namespace/podname</code> is located, and run <code>tcpdump</code> to capture the traffic on the veth NIC of the corresponding container, which can be used to troubleshoot network-related problems.</p> <pre><code># kubectl ko tcpdump default/ds1-l6n7p icmp\n+ kubectl exec -it kube-ovn-cni-wlg4s -n kube-ovn -- tcpdump -nn -i d7176fe7b4e0_h icmp\ntcpdump: verbose output suppressed, use -v or -vv for full protocol decode\nlistening on d7176fe7b4e0_h, link-type EN10MB (Ethernet), capture size 262144 bytes\n06:52:36.619688 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 1, length 64\n06:52:36.619746 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 1, length 64\n06:52:37.619588 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 2, length 64\n06:52:37.619630 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 2, length 64\n06:52:38.619933 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 3, length 64\n06:52:38.619973 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 3, length 64\n</code></pre>"},{"location":"en/ops/kubectl-ko/#trace-arguments","title":"trace [arguments ...]","text":"<p>This command will print the OVN logical flow table and the final Openflow flow table when the Pod/node accesses an address through a specific protocol, so that it make locate flow table related problems during development or troubleshooting much easy.</p> <p>Supported commands:</p> <pre><code>kubectl ko trace {namespace/podname} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]\nkubectl ko trace {namespace/podname} {target ip address} [target mac address] arp {request|reply}\nkubectl ko trace {node//nodename} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]\nkubectl ko trace {node//nodename} {target ip address} [target mac address] arp {request|reply}\n</code></pre> <p>Example:</p> <pre><code># kubectl ko trace default/ds1-l6n7p 8.8.8.8 icmp\n+ kubectl exec ovn-central-5bc494cb5-np9hm -n kube-ovn -- ovn-trace --ct=new ovn-default 'inport == \"ds1-l6n7p.default\" &amp;&amp; ip.ttl == 64 &amp;&amp; icmp &amp;&amp; eth.src == 0a:00:00:10:00:05 &amp;&amp; ip4.src == 10.16.0.4 &amp;&amp; eth.dst == 00:00:00:B8:CA:43 &amp;&amp; ip4.dst == 8.8.8.8'\n# icmp,reg14=0xf,vlan_tci=0x0000,dl_src=0a:00:00:10:00:05,dl_dst=00:00:00:b8:ca:43,nw_src=10.16.0.4,nw_dst=8.8.8.8,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=0,icmp_code=0\n\ningress(dp=\"ovn-default\", inport=\"ds1-l6n7p.default\")\n-----------------------------------------------------\n 0. ls_in_port_sec_l2 (ovn-northd.c:4143): inport == \"ds1-l6n7p.default\" &amp;&amp; eth.src == {0a:00:00:10:00:05}, priority 50, uuid 39453393\n    next;\n 1. ls_in_port_sec_ip (ovn-northd.c:2898): inport == \"ds1-l6n7p.default\" &amp;&amp; eth.src == 0a:00:00:10:00:05 &amp;&amp; ip4.src == {10.16.0.4}, priority 90, uuid 81bcd485\n    next;\n 3. ls_in_pre_acl (ovn-northd.c:3269): ip, priority 100, uuid 7b4f4971\n    reg0[0] = 1;\n    next;\n 5. ls_in_pre_stateful (ovn-northd.c:3396): reg0[0] == 1, priority 100, uuid 36cdd577\n    ct_next;\n\nct_next(ct_state=new|trk)\n-------------------------\n 6. ls_in_acl (ovn-northd.c:3759): ip &amp;&amp; (!ct.est || (ct.est &amp;&amp; ct_label.blocked == 1)), priority 1, uuid 7608af5b\n    reg0[1] = 1;\n    next;\n10. ls_in_stateful (ovn-northd.c:3995): reg0[1] == 1, priority 100, uuid 2aba1b90\n    ct_commit(ct_label=0/0x1);\n    next;\n16. ls_in_l2_lkup (ovn-northd.c:4470): eth.dst == 00:00:00:b8:ca:43, priority 50, uuid 5c9c3c9f\n    outport = \"ovn-default-ovn-cluster\";\n    output;\n\n...\n</code></pre> <p>If the trace object is a virtual machine running  in Underlay network, additional parameters is needed to specify the destination Mac address.</p> <pre><code>kubectl ko trace default/virt-handler-7lvml 8.8.8.8 82:7c:9f:83:8c:01 icmp\n</code></pre>"},{"location":"en/ops/kubectl-ko/#diagnose-allnodesubnetipports-nodenamesubnetnameproto1-ip1-port1proto2-ip2-port2","title":"diagnose {all|node|subnet|IPPorts} [nodename|subnetName|{proto1}-{IP1}-{Port1},{proto2}-{IP2}-{Port2}]","text":"<p>Diagnose the status of cluster network components and go to the corresponding node's <code>kube-ovn-pinger</code> to detect connectivity and network latency from the current node to other nodes and critical services.</p> <pre><code># kubectl ko diagnose all\nswitch c7cd17e8-ceee-4a91-9bb3-e5a313fe1ece (snat)\n    port snat-ovn-cluster\n        type: router\n        router-port: ovn-cluster-snat\nswitch 20e0c6d0-023a-4756-aec5-200e0c60f95d (join)\n    port node-liumengxin-ovn3-192.168.137.178\n        addresses: [\"00:00:00:64:FF:A8 100.64.0.4\"]\n    port node-liumengxin-ovn1-192.168.137.176\n        addresses: [\"00:00:00:AF:98:62 100.64.0.2\"]\n    port join-ovn-cluster\n        type: router\n        router-port: ovn-cluster-join\nswitch 0191705c-f827-427b-9de3-3c3b7d971ba5 (central)\n    port central-ovn-cluster\n        type: router\n        router-port: ovn-cluster-central\nswitch 2a45ff05-388d-4f85-9daf-e6fccd5833dc (ovn-default)\n    port ovn-default-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-default\n    port prometheus-k8s-1.monitoring\n        addresses: [\"00:00:00:AA:37:DF 10.16.0.23\"]\nrouter 212f73dd-d63d-4d72-864b-a537e9afbee1 (ovn-cluster)\n    port ovn-cluster-snat\n        mac: \"00:00:00:7A:82:8F\"\n        networks: [\"172.22.0.1/16\"]\n    port ovn-cluster-join\n        mac: \"00:00:00:F8:18:5A\"\n        networks: [\"100.64.0.1/16\"]\n    port ovn-cluster-central\n        mac: \"00:00:00:4D:8C:F5\"\n        networks: [\"192.101.0.1/16\"]\n    port ovn-cluster-ovn-default\n        mac: \"00:00:00:A3:F8:18\"\n        networks: [\"10.16.0.1/16\"]\nRouting Policies\n     31000                            ip4.dst == 10.16.0.0/16           allow\n     31000                           ip4.dst == 100.64.0.0/16           allow\n     30000                         ip4.dst == 192.168.137.177         reroute                100.64.0.3\n     30000                         ip4.dst == 192.168.137.178         reroute                100.64.0.4\n     29000                 ip4.src == $ovn.default.fake.6_ip4         reroute               100.64.0.22\n     29000                 ip4.src == $ovn.default.fake.7_ip4         reroute               100.64.0.21\n     29000                 ip4.src == $ovn.default.fake.8_ip4         reroute               100.64.0.23\n     29000 ip4.src == $ovn.default.liumengxin.ovn3.192.168.137.178_ip4         reroute                100.64.0.4\n     20000 ip4.src == $ovn.default.liumengxin.ovn1.192.168.137.176_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.2\n     20000 ip4.src == $ovn.default.liumengxin.ovn2.192.168.137.177_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.3\n     20000 ip4.src == $ovn.default.liumengxin.ovn3.192.168.137.178_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.4\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0                100.64.0.1 dst-ip\nUUID                                    LB                  PROTO      VIP                     IPs\ne9bcfd9d-793e-4431-9073-6dec96b75d71    cluster-tcp-load    tcp        10.100.209.132:10660    192.168.137.176:10660\n                                                            tcp        10.101.239.192:6641     192.168.137.177:6641\n                                                            tcp        10.101.240.101:3000     10.16.0.7:3000\n                                                            tcp        10.103.184.186:6642     192.168.137.177:6642\n35d2b7a5-e3a7-485a-a4b7-b4970eb0e63b    cluster-tcp-sess    tcp        10.100.158.128:8080     10.16.0.10:8080,10.16.0.5:8080,10.16.63.30:8080\n                                                            tcp        10.107.26.215:8080      10.16.0.19:8080,10.16.0.20:8080,10.16.0.21:8080\n                                                            tcp        10.107.26.215:9093      10.16.0.19:9093,10.16.0.20:9093,10.16.0.21:9093\n                                                            tcp        10.98.187.99:8080       10.16.0.22:8080,10.16.0.23:8080\n                                                            tcp        10.98.187.99:9090       10.16.0.22:9090,10.16.0.23:9090\nf43303e4-89aa-4d3e-a3dc-278a552fe27b    cluster-udp-load    udp        10.96.0.10:53           10.16.0.4:53,10.16.0.9:53\n_uuid               : 06776304-5a96-43ed-90c4-c4854c251699\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn2_192.168.137.177_underlay_v6\n\n_uuid               : 62690625-87d5-491c-8675-9fd83b1f433c\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn1_192.168.137.176_underlay_v6\n\n_uuid               : b03a9bae-94d5-4562-b34c-b5f6198e180b\naddresses           : [\"10.16.0.0/16\", \"100.64.0.0/16\", \"172.22.0.0/16\", \"192.101.0.0/16\"]\nexternal_ids        : {vendor=kube-ovn}\nname                : ovn.cluster.overlay.subnets.IPv4\n\n_uuid               : e1056f3a-24cc-4666-8a91-75ee6c3c2426\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : ovn.cluster.overlay.subnets.IPv6\n\n_uuid               : 3e5d5fff-e670-47b2-a2f5-a39f4698a8c5\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn3_192.168.137.178_underlay_v6\n_uuid               : 2d85dbdc-d0db-4abe-b19e-cc806d32b492\naction              : drop\ndirection           : from-lport\nexternal_ids        : {}\nlabel               : 0\nlog                 : false\nmatch               : \"inport==@ovn.sg.kubeovn_deny_all &amp;&amp; ip\"\nmeter               : []\nname                : []\noptions             : {}\npriority            : 2003\nseverity            : []\n\n_uuid               : de790cc8-f155-405f-bb32-5a51f30c545f\naction              : drop\ndirection           : to-lport\nexternal_ids        : {}\nlabel               : 0\nlog                 : false\nmatch               : \"outport==@ovn.sg.kubeovn_deny_all &amp;&amp; ip\"\nmeter               : []\nname                : []\noptions             : {}\npriority            : 2003\nseverity            : []\nChassis \"e15ed4d4-1780-4d50-b09e-ea8372ed48b8\"\n    hostname: liumengxin-ovn1-192.168.137.176\n    Encap stt\n        ip: \"192.168.137.176\"\n        options: {csum=\"true\"}\n    Port_Binding node-liumengxin-ovn1-192.168.137.176\n    Port_Binding perf-6vxkn.default\n    Port_Binding kube-state-metrics-5d6885d89-4nf8h.monitoring\n    Port_Binding alertmanager-main-0.monitoring\n    Port_Binding kube-ovn-pinger-6ftdf.kube-system\n    Port_Binding fake-kubelet-67c55dfd89-pv86k.kube-system\n    Port_Binding prometheus-k8s-0.monitoring\nChassis \"eef07da1-f8ad-4775-b14d-bd6a3b4eb0d5\"\n    hostname: liumengxin-ovn3-192.168.137.178\n    Encap stt\n        ip: \"192.168.137.178\"\n        options: {csum=\"true\"}\n    Port_Binding kube-ovn-pinger-7twb4.kube-system\n    Port_Binding prometheus-adapter-86df476d87-rl88g.monitoring\n    Port_Binding prometheus-k8s-1.monitoring\n    Port_Binding node-liumengxin-ovn3-192.168.137.178\n    Port_Binding perf-ff475.default\n    Port_Binding alertmanager-main-1.monitoring\n    Port_Binding blackbox-exporter-676d976865-tvsjd.monitoring\nChassis \"efa253c9-494d-4719-83ae-b48ab0f11c03\"\n    hostname: liumengxin-ovn2-192.168.137.177\n    Encap stt\n        ip: \"192.168.137.177\"\n        options: {csum=\"true\"}\n    Port_Binding grafana-6c4c6b8fb7-pzd2c.monitoring\n    Port_Binding node-liumengxin-ovn2-192.168.137.177\n    Port_Binding alertmanager-main-2.monitoring\n    Port_Binding coredns-6789c94dd8-9jqsz.kube-system\n    Port_Binding coredns-6789c94dd8-25d4r.kube-system\n    Port_Binding prometheus-operator-7bbc99fc8b-wgjm4.monitoring\n    Port_Binding prometheus-adapter-86df476d87-gdxmc.monitoring\n    Port_Binding perf-fjnws.default\n    Port_Binding kube-ovn-pinger-vh2xg.kube-system\nds kube-proxy ready\nkube-proxy ready\ndeployment ovn-central ready\ndeployment kube-ovn-controller ready\nds kube-ovn-cni ready\nds ovs-ovn ready\ndeployment coredns ready\novn-nb leader check ok\novn-sb leader check ok\novn-northd leader check ok\n### kube-ovn-controller recent log\n\n### start to diagnose node liumengxin-ovn1-192.168.137.176\n#### ovn-controller log:\n2022-06-03T00:56:44.897Z|16722|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:06:44.912Z|16723|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:16:44.925Z|16724|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:26:44.936Z|16725|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:36:44.959Z|16726|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:46:44.974Z|16727|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:56:44.988Z|16728|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:06:45.001Z|16729|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:16:45.025Z|16730|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:26:45.040Z|16731|inc_proc_eng|INFO|User triggered force recompute.\n\n#### ovs-vswitchd log:\n2022-06-02T23:03:00.137Z|00079|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:f9d1\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-02T23:23:31.840Z|00080|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:15b2\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T00:09:15.659Z|00081|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:dc:e3:63,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.63.30,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:e5a5\n with metadata skb_priority(0),tunnel(tun_id=0x150017000004,src=192.168.137.178,dst=192.168.137.176,ttl=64,tp_src=9239,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.63.30,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T00:30:13.409Z|00064|dpif(handler2)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:6b4a\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T02:02:33.832Z|00082|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:a819\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n\n#### ovs-vsctl show results:\n0d4c4675-c9cc-440a-8c1a-878e17f81b88\n    Bridge br-int\n        fail_mode: secure\n        datapath_type: system\n        Port a2c1a8a8b83a_h\n            Interface a2c1a8a8b83a_h\n        Port \"4fa5c4cbb1a5_h\"\n            Interface \"4fa5c4cbb1a5_h\"\n        Port ovn-eef07d-0\n            Interface ovn-eef07d-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.178\"}\n        Port ovn0\n            Interface ovn0\n                type: internal\n        Port \"04d03360e9a0_h\"\n            Interface \"04d03360e9a0_h\"\n        Port eeb4d9e51b5d_h\n            Interface eeb4d9e51b5d_h\n        Port mirror0\n            Interface mirror0\n                type: internal\n        Port \"8e5d887ccd80_h\"\n            Interface \"8e5d887ccd80_h\"\n        Port ovn-efa253-0\n            Interface ovn-efa253-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.177\"}\n        Port \"17512d5be1f1_h\"\n            Interface \"17512d5be1f1_h\"\n        Port br-int\n            Interface br-int\n                type: internal\n    ovs_version: \"2.17.2\"\n\n#### pinger diagnose results:\nI0603 10:35:04.349404   17619 pinger.go:19]\n-------------------------------------------------------------------------------\nKube-OVN:\n  Version:       v1.13.0\n  Build:         2022-04-24_08:02:50\n  Commit:        git-73f9d15\n  Go Version:    go1.17.8\n  Arch:          amd64\n-------------------------------------------------------------------------------\nI0603 10:35:04.376797   17619 config.go:166] pinger config is &amp;{KubeConfigFile: KubeClient:0xc000493380 Port:8080 DaemonSetNamespace:kube-system DaemonSetName:kube-ovn-pinger Interval:5 Mode:job ExitCode:0 InternalDNS:kubernetes.default ExternalDNS: NodeName:liumengxin-ovn1-192.168.137.176 HostIP:192.168.137.176 PodName:kube-ovn-pinger-6ftdf PodIP:10.16.0.10 PodProtocols:[IPv4] ExternalAddress: NetworkMode:kube-ovn PollTimeout:2 PollInterval:15 SystemRunDir:/var/run/openvswitch DatabaseVswitchName:Open_vSwitch DatabaseVswitchSocketRemote:unix:/var/run/openvswitch/db.sock DatabaseVswitchFileDataPath:/etc/openvswitch/conf.db DatabaseVswitchFileLogPath:/var/log/openvswitch/ovsdb-server.log DatabaseVswitchFilePidPath:/var/run/openvswitch/ovsdb-server.pid DatabaseVswitchFileSystemIDPath:/etc/openvswitch/system-id.conf ServiceVswitchdFileLogPath:/var/log/openvswitch/ovs-vswitchd.log ServiceVswitchdFilePidPath:/var/run/openvswitch/ovs-vswitchd.pid ServiceOvnControllerFileLogPath:/var/log/ovn/ovn-controller.log ServiceOvnControllerFilePidPath:/var/run/ovn/ovn-controller.pid}\nI0603 10:35:04.449166   17619 exporter.go:75] liumengxin-ovn1-192.168.137.176: exporter connect successfully\nI0603 10:35:04.554011   17619 ovn.go:21] ovs-vswitchd and ovsdb are up\nI0603 10:35:04.651293   17619 ovn.go:33] ovn_controller is up\nI0603 10:35:04.651342   17619 ovn.go:39] start to check port binding\nI0603 10:35:04.749613   17619 ovn.go:135] chassis id is 1d7f3d6c-eec5-4b3c-adca-2969d9cdfd80\nI0603 10:35:04.763487   17619 ovn.go:49] port in sb is [node-liumengxin-ovn1-192.168.137.176 perf-6vxkn.default kube-state-metrics-5d6885d89-4nf8h.monitoring alertmanager-main-0.monitoring kube-ovn-pinger-6ftdf.kube-system fake-kubelet-67c55dfd89-pv86k.kube-system prometheus-k8s-0.monitoring]\nI0603 10:35:04.763583   17619 ovn.go:61] ovs and ovn-sb binding check passed\nI0603 10:35:05.049309   17619 ping.go:259] start to check apiserver connectivity\nI0603 10:35:05.053666   17619 ping.go:268] connect to apiserver success in 4.27ms\nI0603 10:35:05.053786   17619 ping.go:129] start to check pod connectivity\nI0603 10:35:05.249590   17619 ping.go:159] ping pod: kube-ovn-pinger-6ftdf 10.16.0.10, count: 3, loss count 0, average rtt 16.30ms\nI0603 10:35:05.354135   17619 ping.go:159] ping pod: kube-ovn-pinger-7twb4 10.16.63.30, count: 3, loss count 0, average rtt 1.81ms\nI0603 10:35:05.458460   17619 ping.go:159] ping pod: kube-ovn-pinger-vh2xg 10.16.0.5, count: 3, loss count 0, average rtt 1.92ms\nI0603 10:35:05.458523   17619 ping.go:83] start to check node connectivity\n</code></pre> <p>If the target of diagnose is specified as subnet, the script will create a daemonset on the subnet, and <code>kube-ovn-pinger</code> will detect the connectivity and network delay of all pods in this daemonset, and automatically destroy the daemonset after the test.</p> <p>If the target of diagnose is specified as IPPorts, the script will let each <code>kube-ovn-pinger</code> pod detect whether the target protocol, IP, and Port are reachable.</p>"},{"location":"en/ops/kubectl-ko/#tuning-install-fastpathlocal-install-fastpathremove-fastpathinstall-sttlocal-install-sttremove-stt-centos7centos8-kernel-devel-version","title":"tuning {install-fastpath|local-install-fastpath|remove-fastpath|install-stt|local-install-stt|remove-stt} {centos7|centos8}} [kernel-devel-version]","text":"<p>This command performs performance tuning related operations, please refer to Performance Tunning.</p>"},{"location":"en/ops/kubectl-ko/#reload","title":"reload","text":"<p>This command restarts all Kube-OVN related components:</p> <pre><code># kubectl ko reload\npod \"ovn-central-8684dd94bd-vzgcr\" deleted\nWaiting for deployment \"ovn-central\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"ovn-central\" successfully rolled out\npod \"ovs-ovn-bsnvz\" deleted\npod \"ovs-ovn-m9b98\" deleted\npod \"kube-ovn-controller-8459db5ff4-64c62\" deleted\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\npod \"kube-ovn-cni-2klnh\" deleted\npod \"kube-ovn-cni-t2jz4\" deleted\nWaiting for daemon set \"kube-ovn-cni\" rollout to finish: 0 of 2 updated pods are available...\nWaiting for daemon set \"kube-ovn-cni\" rollout to finish: 1 of 2 updated pods are available...\ndaemon set \"kube-ovn-cni\" successfully rolled out\npod \"kube-ovn-pinger-ln72z\" deleted\npod \"kube-ovn-pinger-w8lrk\" deleted\nWaiting for daemon set \"kube-ovn-pinger\" rollout to finish: 0 of 2 updated pods are available...\nWaiting for daemon set \"kube-ovn-pinger\" rollout to finish: 1 of 2 updated pods are available...\ndaemon set \"kube-ovn-pinger\" successfully rolled out\npod \"kube-ovn-monitor-7fb67d5488-7q6zb\" deleted\nWaiting for deployment \"kube-ovn-monitor\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"kube-ovn-monitor\" successfully rolled out\n</code></pre>"},{"location":"en/ops/kubectl-ko/#log","title":"log","text":"<p>Using this command will capture the logs of Kube-OVN, OVN, Openvswitch on all nodes of kube-ovn and some debug information commonly used in linux.</p> <pre><code># kubectl ko log all\nCollecting kube-ovn logging files\nCollecting ovn logging files\nCollecting openvswitch logging files\nCollecting linux dmesg files\nCollecting linux iptables-legacy files\nCollecting linux iptables-nft files\nCollecting linux route files\nCollecting linux link files\nCollecting linux neigh files\nCollecting linux memory files\nCollecting linux top files\nCollecting linux sysctl files\nCollecting linux netstat files\nCollecting linux addr files\nCollecting linux ipset files\nCollecting linux tcp files\nCollected files have been saved in the directory /root/kubectl-ko-log\n</code></pre> <p>The directory is as follows:</p> <pre><code># tree kubectl-ko-log/\nkubectl-ko-log/\n|-- kube-ovn-control-plane\n|   |-- kube-ovn\n|   |   |-- kube-ovn-cni.log\n|   |   |-- kube-ovn-monitor.log\n|   |   `-- kube-ovn-pinger.log\n|   |-- linux\n|   |   |-- addr.log\n|   |   |-- dmesg.log\n|   |   |-- ipset.log\n|   |   |-- iptables-legacy.log\n|   |   |-- iptables-nft.log\n|   |   |-- link.log\n|   |   |-- memory.log\n|   |   |-- neigh.log\n|   |   |-- netstat.log\n|   |   |-- route.log\n|   |   |-- sysctl.log\n|   |   |-- tcp.log\n|   |   `-- top.log\n|   |-- openvswitch\n|   |   |-- ovs-vswitchd.log\n|   |   `-- ovsdb-server.log\n|   `-- ovn\n|       |-- ovn-controller.log\n|       |-- ovn-northd.log\n|       |-- ovsdb-server-nb.log\n|       `-- ovsdb-server-sb.log\n</code></pre>"},{"location":"en/ops/kubectl-ko/#perf-image","title":"perf [image]","text":"<p>This command will test some performance indicators of Kube-OVN as follows:</p> <ol> <li>The performance indicators of the container network;</li> <li>Hostnetwork network performance indicators;</li> <li>Container network multicast packet performance indicators;</li> <li>Time required for OVN-NB, OVN-SB, and OVN-Northd leader deletion recovery. The parameter image is used to specify the image used by the performance test pod. By default, it is <code>kubeovn/test:v1.12.0</code>. This parameter is mainly set for offline scenarios, and the image name may change when the image is pulled to the intranet environment.</li> </ol> <pre><code># kubectl ko perf\n============================== Prepareing Performance Test Resources ===============================\npod/test-client created\npod/test-host-client created\npod/test-server created\npod/test-host-server created\nservice/test-server created\npod/test-client condition met\npod/test-host-client condition met\npod/test-host-server condition met\npod/test-server condition met\n====================================================================================================\n============================ Start Pod Network Unicast Performance Test ============================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              82.8 us         97.7 Mbits/sec  67.6 us         (0%)            8.42 Mbits/sec\n128             85.4 us         167 Mbits/sec   67.2 us         (0%)            17.2 Mbits/sec\n512             85.8 us         440 Mbits/sec   68.7 us         (0%)            68.4 Mbits/sec\n1k              85.1 us         567 Mbits/sec   68.7 us         (0%)            134 Mbits/sec\n4k              138 us          826 Mbits/sec   78.1 us         (1.4%)          503 Mbits/sec\n====================================================================================================\n=============================== Start Host Network Performance Test ================================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              49.7 us         120 Mbits/sec   37.9 us         (0%)            18.6 Mbits/sec\n128             49.7 us         200 Mbits/sec   38.1 us         (0%)            35.5 Mbits/sec\n512             51.9 us         588 Mbits/sec   38.9 us         (0%)            142 Mbits/sec\n1k              51.7 us         944 Mbits/sec   37.2 us         (0%)            279 Mbits/sec\n4k              74.9 us         1.66 Gbits/sec  39.9 us         (0%)            1.20 Gbits/sec\n====================================================================================================\n============================== Start Service Network Performance Test ==============================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              111 us          96.3 Mbits/sec  88.4 us         (0%)            7.59 Mbits/sec\n128             83.7 us         150 Mbits/sec   69.2 us         (0%)            16.9 Mbits/sec\n512             87.4 us         374 Mbits/sec   75.8 us         (0%)            60.9 Mbits/sec\n1k              88.2 us         521 Mbits/sec   73.1 us         (0%)            123 Mbits/sec\n4k              148 us          813 Mbits/sec   77.6 us         (0.0044%)       451 Mbits/sec\n====================================================================================================\n=========================== Start Pod Multicast Network Performance Test ===========================\nSize            UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              0.014 ms        (0.17%)         5.80 Mbits/sec\n128             0.012 ms        (0%)            11.4 Mbits/sec\n512             0.016 ms        (0%)            46.1 Mbits/sec\n1k              0.023 ms        (0.073%)        89.8 Mbits/sec\n4k              0.035 ms        (1.3%)          126 Mbits/sec\n====================================================================================================\n============================= Start Host Multicast Network Performance =============================\nSize            UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              0.007 ms        (0%)            9.95 Mbits/sec\n128             0.005 ms        (0%)            21.8 Mbits/sec\n512             0.008 ms        (0%)            86.8 Mbits/sec\n1k              0.013 ms        (0.045%)        168 Mbits/sec\n4k              0.010 ms        (0.31%)         242 Mbits/sec\n====================================================================================================\n================================== Start Leader Recover Time Test ==================================\nDelete ovn central nb pod\npod \"ovn-central-5cb9c67d75-tlz9w\" deleted\nWaiting for ovn central nb pod running\n=============================== OVN nb Recovery takes 3.305236803 s ================================\nDelete ovn central sb pod\npod \"ovn-central-5cb9c67d75-szx4c\" deleted\nWaiting for ovn central sb pod running\n=============================== OVN sb Recovery takes 3.462698535 s ================================\nDelete ovn central northd pod\npod \"ovn-central-5cb9c67d75-zqmqv\" deleted\nWaiting for ovn central northd pod running\n============================= OVN northd Recovery takes 2.691291403 s ==============================\n====================================================================================================\n================================= Remove Performance Test Resource =================================\nrm -f unicast-test-client.log\nrm -f unicast-test-host-client.log\nrm -f unicast-test-client.log\nkubectl ko nbctl lb-del test-server\nrm -f multicast-test-server.log\nkubectl exec ovs-ovn-gxdrf -n kube-system -- ip maddr del 01:00:5e:00:00:64 dev eth0\nkubectl exec ovs-ovn-h57bf -n kube-system -- ip maddr del 01:00:5e:00:00:64 dev eth0\nrm -f multicast-test-host-server.log\npod \"test-client\" deleted\npod \"test-host-client\" deleted\npod \"test-host-server\" deleted\npod \"test-server\" deleted\nservice \"test-server\" deleted\n====================================================================================================\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/ops/recover-db/","title":"OVN DB Backup and Recovery","text":"<p>This document describes how to perform database backups and how to perform cluster recovery from existing database files in different situations.</p>"},{"location":"en/ops/recover-db/#database-backup","title":"Database Backup","text":"<p>The database files can be backed up for recovery in case of failure. Use the backup command of the kubectl plugin:</p> <pre><code># kubectl ko nb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnnb_db.060223191654183154.backup\n\n# kubectl ko sb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnsb_db.060223191654183154.backup\n</code></pre>"},{"location":"en/ops/recover-db/#cluster-partial-nodes-failure-recovery","title":"Cluster Partial Nodes Failure Recovery","text":"<p>If some nodes in the cluster are working abnormally due to power failure, file system failure or lack of disk space, but the cluster is still working normally, you can recover it by following the steps below.</p>"},{"location":"en/ops/recover-db/#check-the-logs-to-confirm-status","title":"Check the Logs to Confirm Status","text":"<p>Check the log in <code>/var/log/ovn/ovn-northd.log</code>, if it shows similar error as follows, you can make sue that there is an exception in the database:</p> <pre><code> * ovn-northd is not running\novsdb-server: ovsdb error: error reading record 2739 from OVN_Northbound log: record 2739 advances commit index to 6308 but last log index is 6307\n * Starting ovsdb-nb\n</code></pre>"},{"location":"en/ops/recover-db/#kick-node-from-cluster","title":"Kick Node from Cluster","text":"<p>Select the corresponding database for the operation based on whether the log prompt is <code>OVN_Northbound</code> or <code>OVN_Southbound</code>. The above log prompt is <code>OVN_Northbound</code> then for ovn-nb do the following:</p> <pre><code># kubectl ko nb status\n9182\nName: OVN_Northbound\nCluster ID: e75f (e75fa340-49ed-45ab-990e-26cb865ebc85)\nServer ID: 9182 (9182e8dd-b5b0-4dd8-8518-598cc1e374f3)\nAddress: tcp:[10.0.128.61]:6643\nStatus: cluster member\nRole: leader\nTerm: 1454\nLeader: self\nVote: self\n\nLast Election started 1732603 ms ago, reason: timeout\nLast Election won: 1732587 ms ago\nElection timer: 1000\nLog: [7332, 12512]\nEntries not yet committed: 1\nEntries not yet applied: 1\nConnections: -&gt;f080 &lt;-f080 &lt;-e631 -&gt;e631\nDisconnections: 1\nServers:\n    f080 (f080 at tcp:[10.0.129.139]:6643) next_index=12512 match_index=12510 last msg 63 ms ago\n    9182 (9182 at tcp:[10.0.128.61]:6643) (self) next_index=10394 match_index=12510\n    e631 (e631 at tcp:[10.0.131.173]:6643) next_index=12512 match_index=0\n</code></pre> <p>Kick abnormal nodes from the cluster:</p> <pre><code>kubectl ko nb kick e631\n</code></pre> <p>Log in to the abnormal node and delete the database file:</p> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\n</code></pre> <p>Delete the <code>ovn-central</code> pod of the corresponding node and wait for the cluster to recover\uff1a</p> <pre><code>kubectl delete pod -n kube-system ovn-central-xxxx\n</code></pre>"},{"location":"en/ops/recover-db/#recover-when-total-cluster-failed","title":"Recover when Total Cluster Failed","text":"<p>If the majority of the cluster nodes are broken and the leader cannot be elected, please refer to the following steps to recover.</p>"},{"location":"en/ops/recover-db/#stop-ovn-central","title":"Stop ovn-central","text":"<p>Record the current replicas of <code>ovn-central</code> and stop <code>ovn-central</code> to avoid new database changes that affect recovery:</p> <pre><code>kubectl scale deployment -n kube-system ovn-central --replicas=0\n</code></pre>"},{"location":"en/ops/recover-db/#select-a-backup","title":"Select a Backup","text":"<p>As most of the nodes are damaged, the cluster needs to be rebuilt by recovering from one of the database files. If you have previously backed up the database you can use the previous backup file to restore it. If not you can use the following steps to generate a backup from an existing file.</p> <p>Since the database file in the default folder is a cluster format database file containing information about the current cluster, you can't rebuild the database directly with this file, you need to use <code>ovsdb-tool cluster-to-standalone</code> to convert the format.</p> <p>Select the first node in the <code>ovn-central</code> environment variable <code>NODE_IPS</code> to restore the database files. If the database file of the first node is corrupted, copy the file from the other machine <code>/etc/origin/ovn</code> to the first machine. Run the following command to generate a database file backup.</p> <pre><code>docker run -it -v /etc/origin/ovn:/etc/ovn kubeovn/kube-ovn:v1.13.0 bash\ncd /etc/ovn/\novsdb-tool cluster-to-standalone ovnnb_db_standalone.db ovnnb_db.db\novsdb-tool cluster-to-standalone ovnsb_db_standalone.db ovnsb_db.db\n</code></pre>"},{"location":"en/ops/recover-db/#delete-the-database-files-on-all-ovn-central-nodes","title":"Delete the Database Files on All ovn-central Nodes","text":"<p>In order to avoid rebuilding the cluster with the wrong data, the existing database files need to be cleaned up:</p> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\nmv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre>"},{"location":"en/ops/recover-db/#recovering-database-cluster","title":"Recovering Database Cluster","text":"<p>Rename the backup databases to <code>ovnnb_db.db</code> and <code>ovnsb_db.db</code> respectively, and copy them to the <code>/etc/origin/ovn/</code> directory of the first machine in the <code>ovn-central</code> environment variable <code>NODE_IPS</code>\uff1a</p> <pre><code>mv /etc/origin/ovn/ovnnb_db_standalone.db /etc/origin/ovn/ovnnb_db.db\nmv /etc/origin/ovn/ovnsb_db_standalone.db /etc/origin/ovn/ovnsb_db.db\n</code></pre> <p>Restore the number of replicas of <code>ovn-central</code>\uff1a</p> <pre><code>kubectl scale deployment -n kube-system ovn-central --replicas=3\nkubectl rollout status deployment/ovn-central -n kube-system\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/architecture/","title":"Architecture","text":"<p>This document describes the general architecture of Kube-OVN, the functionality of each component and how they interact with each other.</p> <p>Overall, Kube-OVN serves as a bridge between Kubernetes and OVN, combining proven SDN with Cloud Native. This means that Kube-OVN not only implements network specifications under Kubernetes, such as CNI, Service and Networkpolicy, but also brings a large number of SDN domain capabilities to cloud-native, such as logical switches, logical routers, VPCs, gateways, QoS, ACLs and traffic mirroring.</p> <p>Kube-OVN also maintains a good openness to integrate with many technology solutions, such as Cilium, Submariner, Prometheus, KubeVirt, etc.</p>"},{"location":"en/reference/architecture/#component-introduction","title":"Component Introduction","text":"<p>The components of Kube-OVN can be broadly divided into three categories.</p> <ul> <li>Upstream OVN/OVS components.</li> <li>Core Controller and Agent.</li> <li>Monitoring, operation and maintenance tools and extension components.</li> </ul> <p></p>"},{"location":"en/reference/architecture/#upstream-ovnovs-components","title":"Upstream OVN/OVS Components","text":"<p>This type of component comes from the OVN/OVS community with specific modifications for Kube-OVN usage scenarios. OVN/OVS itself is a mature SDN system for managing virtual machines and containers, and we strongly recommend that users interested in the Kube-OVN implementation read ovn-architecture(7) first to understand what OVN is and how to integrate with it. Kube-OVN uses the northbound interface of OVN to create and coordinate virtual networks and map the network concepts into Kubernetes.</p> <p>All OVN/OVS-related components have been packaged into images and are ready to run in Kubernetes.</p>"},{"location":"en/reference/architecture/#ovn-central","title":"ovn-central","text":"<p>The <code>ovn-central</code> Deployment runs the control plane components of OVN, including <code>ovn-nb</code>, <code>ovn-sb</code>, and <code>ovn-northd</code>.</p> <ul> <li><code>ovn-nb</code>: Saves the virtual network configuration and provides an API for virtual network management. <code>kube-ovn-controller</code> will mainly interact with <code>ovn-nb</code> to configure the virtual network.</li> <li><code>ovn-sb</code>: Holds the logical flow table generated from the logical network of <code>ovn-nb</code>, as well as the actual physical network state of each node.</li> <li><code>ovn-northd</code>: translates the virtual network of <code>ovn-nb</code> into a logical flow table in <code>ovn-sb</code>.</li> </ul> <p>Multiple instances of <code>ovn-central</code> will synchronize data via the Raft protocol to ensure high availability.</p>"},{"location":"en/reference/architecture/#ovs-ovn","title":"ovs-ovn","text":"<p><code>ovs-ovn</code> runs as a DaemonSet on each node, with <code>openvswitch</code>, <code>ovsdb</code>, and <code>ovn-controller</code> running inside the Pod. These components act as agents for <code>ovn-central</code> to translate logical flow tables into real network configurations.</p>"},{"location":"en/reference/architecture/#core-controller-and-agent","title":"Core Controller and Agent","text":"<p>This part is the core component of Kube-OVN, serving as a bridge between OVN and Kubernetes, bridging the two systems and translating network concepts between them. Most of the core functions are implemented in these components.</p>"},{"location":"en/reference/architecture/#kube-ovn-controller","title":"kube-ovn-controller","text":"<p>This component performs the translation of all resources within Kubernetes to OVN resources and acts as the control plane for the entire Kube-OVN system. The <code>kube-ovn-controller</code> listens for events on all resources related to network functionality and updates the logical network within the OVN based on resource changes. The main resources listened including:</p> <p>Pod\uff0cService\uff0cEndpoint\uff0cNode\uff0cNetworkPolicy\uff0cVPC\uff0cSubnet\uff0cVlan\uff0cProviderNetwork\u3002</p> <p>Taking the Pod event as an example, <code>kube-ovn-controller</code> listens to the Pod creation event, allocates the address via the built-in in-memory IPAM function, and calls <code>ovn-central</code> to create logical ports, static routes and possible ACL rules. Next, <code>kube-ovn-controller</code> writes the assigned address and subnet information such as CIDR, gateway, route, etc. to the annotation of the Pod. This annotation is then read by <code>kube-ovn-cni</code> and used to configure the local network.</p>"},{"location":"en/reference/architecture/#kube-ovn-cni","title":"kube-ovn-cni","text":"<p>This component runs on each node as a DaemonSet, implements the CNI interface, and operates the local OVS to configure the local network.</p> <p>This DaemonSet copies the <code>kube-ovn</code> binary to each machine as a tool for interaction between <code>kubelet</code> and <code>kube-ovn-cni</code>. This binary sends the corresponding CNI request to <code>kube-ovn-cni</code> for further operation. The binary will be copied to the <code>/opt/cni/bin</code> directory by default.</p> <p><code>kube-ovn-cni</code> will configure the specific network to perform the appropriate traffic operations, and the main tasks including:</p> <ol> <li>Config <code>ovn-controller</code> and <code>vswitchd</code>.</li> <li>Handle CNI Add/Del requests:<ol> <li>Create or delete veth pair and bind or unbind to OVS ports.</li> <li>Configure OVS ports</li> <li>Update host iptables/ipset/route rules.</li> </ol> </li> <li>Dynamically update the network QoS.</li> <li>Create and configure the <code>ovn0</code> NIC to connect the container network and the host network.</li> <li>Configure the host NIC to implement Vlan/Underlay/EIP.</li> <li>Dynamically config inter-cluster gateways.</li> </ol>"},{"location":"en/reference/architecture/#monitoring-operation-and-maintenance-tools-and-extension-components","title":"Monitoring, Operation and Maintenance Tools and Extension Components","text":"<p>These components provide monitoring, diagnostics, operations tools, and external interface to extend the core network capabilities of Kube-OVN and simplify daily operations and maintenance.</p>"},{"location":"en/reference/architecture/#kube-ovn-speaker","title":"kube-ovn-speaker","text":"<p>This component is a DaemonSet running on a specific labeled nodes that publish routes to the external, allowing external access to the container directly through the Pod IP.</p> <p>For more information on how to use it, please refer to BGP Support.</p>"},{"location":"en/reference/architecture/#kube-ovn-pinger","title":"kube-ovn-pinger","text":"<p>This component is a DaemonSet running on each node to collect OVS status information, node network quality, network latency, etc. The monitoring metrics collected can be found in Metrics.</p>"},{"location":"en/reference/architecture/#kube-ovn-monitor","title":"kube-ovn-monitor","text":"<p>This component collects OVN status information and the monitoring metrics, all metrics can be found in Metrics.</p>"},{"location":"en/reference/architecture/#kubectl-ko","title":"kubectl-ko","text":"<p>This component is a kubectl plugin, which can quickly run common operations, for more usage, please refer to [kubectl plugin].(../ops/kubectl-ko.en.md)\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/dev-env/","title":"Development Setup","text":""},{"location":"en/reference/dev-env/#environmental-preparation","title":"Environmental Preparation","text":"<p>Kube-OVN uses Golang 1.20 to develop and Go Modules to manage dependency, please check env <code>GO111MODULE=\"on\"</code>\u3002</p> <p>gosec is used to scan for code security related issues and requires to be installed in the development environment:</p> <pre><code>go install github.com/securego/gosec/v2/cmd/gosec@latest\n</code></pre> <p>To reduce the size of the final generated image, Kube-OVN uses some of the Docker buildx experimental features, please update Docker to the latest version and enable buildx:</p> <pre><code>docker buildx create --use\n</code></pre>"},{"location":"en/reference/dev-env/#build-image","title":"Build Image","text":"<p>Use the following command to download the code and generate the image required to run Kube-OVN:</p> <pre><code>git clone https://github.com/kubeovn/kube-ovn.git\ncd kube-ovn\nmake release\n</code></pre> <p>To build an image to run in an ARM environment, run the following command:</p> <pre><code>make release-arm\n</code></pre>"},{"location":"en/reference/dev-env/#building-the-base-image","title":"Building the Base Image","text":"<p>If you need to change the operating system version, dependencies, OVS/OVN code, etc., you need to rebuild the base image.</p> <p>The Dockerfile used for the base image is <code>dist/images/Dockerfile.base</code>.</p> <p>Build instructions:</p> <pre><code># build x86 base image\nmake base-amd64\n\n# build arm base image\nmake base-arm64\n</code></pre>"},{"location":"en/reference/dev-env/#run-e2e","title":"Run E2E","text":"<p>Kube-OVN uses KIND to build local Kubernetes cluster, j2cli to render templates, and Ginkgo to run test cases. Please refer to the relevant documentation for dependency installation.</p> <p>Run E2E locally:</p> <pre><code>make kind-init\nmake kind-install\nmake e2e\n</code></pre> <p>To run the Underlay E2E test, run the following commands:</p> <pre><code>make kind-init\nmake kind-install-underlay\nmake e2e-underlay-single-nic\n</code></pre> <p>To run the ovn vpc nat gw eip, fip, snat, dnat E2E test, run the following commands:</p> <pre><code>make kind-init\nmake kind-install\nmake ovn-vpc-nat-gw-conformance-e2e\n</code></pre> <p>To run the iptables vpc nat gw eip, fip, snat, dnat E2E test, run the following commands:</p> <pre><code>make kind-init\nmake kind-install\nmake kind-install-vpc-nat-gw\nmake iptables-vpc-nat-gw-conformance-e2e\n</code></pre> <p>To run the loadbalancer service E2E test, run the following commands:</p> <pre><code>make kind-init\nmake kind-install\nmake kind-install-lb-svc\nmake kube-ovn-lb-svc-conformance-e2e\n</code></pre> <p>To clean, run the following commands:</p> <pre><code>make kind-clean\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/document-convention/","title":"Document Specification","text":"<p>In order to ensure a consistent document style, please follow the following style guidelines when submitting documents.</p>"},{"location":"en/reference/document-convention/#punctuation","title":"Punctuation","text":"<p>All punctuation in the text content in Chinese documents should use Chinese format punctuation, and all text content in English documents should use English punctuation.</p> BadGood   Here is a one-click installation script that can help you quickly install a highly available, production-ready container network.    Here is a one-click installation script that can help you quickly install a highly available, production-ready container network.   <p>English numbers and Chinese characters should be separated by spaces.</p> BadGood   Kube-OVN provides a one-click installation script to install version 1.10 of Kube-OVN.    Kube-OVN provides a one-click installation script to install version 1.10 of Kube-OVN.   <p>Example content should start with <code>:</code>, other sentences should end with <code>.</code> End.</p> BadGood   Please confirm that the environment configuration is correct before installation  Download the installation script using the command below.  <pre><code>wget 127.0.0.1\n</code></pre>   Please confirm that the environment configuration is correct before installation.  Download the installation script using the following command:  <pre><code>wget 127.0.0.1\n</code></pre>"},{"location":"en/reference/document-convention/#code-block","title":"Code Block","text":"<p>yaml code blocks need to be identified as yaml.</p> BadGood <pre><code>````\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n     name: attach-subnet\n````\n</code></pre> <pre><code>````yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n     name: attach-subnet\n````\n</code></pre> <p>Command-line manipulation example code blocks need to be identified as bash.</p> BadGood <pre><code>````\nwget 127.0.0.1\n````\n</code></pre> <pre><code>````bash\nwget 127.0.0.1\n````\n</code></pre> <p>If the command line operation example contains output content, the executed command needs to start with <code>#</code> to distinguish input from output.</p> BadGood <pre><code>oilbeater@macdeMac-3 ~ ping 114.114.114.114 -c 3\nPING 114.114.114.114 (114.114.114.114): 56 data bytes\n64 bytes from 114.114.114.114: icmp_seq=0 ttl=83 time=10.429 ms\n64 bytes from 114.114.114.114: icmp_seq=1 ttl=79 time=11.360 ms\n64 bytes from 114.114.114.114: icmp_seq=2 ttl=76 time=10.794 ms\n\n--- 114.114.114.114 ping statistics ---\n3 packets transmitted, 3 packets received, 0.0% packet loss\nround-trip min/avg/max/stddev = 10.429/10.861/11.360/0.383 ms\n</code></pre> <pre><code># ping 114.114.114.114 -c 3\nPING 114.114.114.114 (114.114.114.114): 56 data bytes\n64 bytes from 114.114.114.114: icmp_seq=0 ttl=83 time=10.429 ms\n64 bytes from 114.114.114.114: icmp_seq=1 ttl=79 time=11.360 ms\n64 bytes from 114.114.114.114: icmp_seq=2 ttl=76 time=10.794 ms\n\n--- 114.114.114.114 ping statistics ---\n3 packets transmitted, 3 packets received, 0.0% packet loss\nround-trip min/avg/max/stddev = 10.429/10.861/11.360/0.383 ms\n</code></pre> <p>If the command line operation example only contains execution commands and no output results, multiple commands do not need to start with <code>#</code>.</p> BadGood <pre><code># mv /etc/origin/ovn/ovnnb_db.db /tmp\n# mv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\nmv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre>"},{"location":"en/reference/document-convention/#link","title":"Link","text":"<p>Links in the site use the corresponding <code>md</code> file path.</p> BadGood <pre><code>Please refer to [Preparation](http://kubeovn.github.io/prepare) before installation.\n</code></pre> <pre><code>Please refer to [Preparation](./prepare.md) before installation.\n</code></pre> BadGood <pre><code>If you have any questions, please refer to [Kubernetes Documentation](http://kubernetes.io).\n</code></pre> <pre><code>If you have any questions, please refer to [Kubernetes Documentation](http://kubernetes.io){: target=\"_blank\" }.\n</code></pre>"},{"location":"en/reference/document-convention/#empty-line","title":"Empty Line","text":"<p>Different logical blocks, such as title and text, text and code, text and number need to be separated by blank lines.</p> BadGood <pre><code>Download the script below to install it:\n```bash\nwget 127.0.0.1\n```\n</code></pre> <pre><code>Download the script below to install it:\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <p>Separate logical blocks with only one blank line.</p> BadGood <pre><code>Download the script below to install it:\n\n\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <pre><code>Download the script below to install it:\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/feature-stage/","title":"Feature Stage","text":"<p>In Kube-OVN, feature stage is classified into Alpha, Beta and GA, based on the degree of feature usage, documentation and test coverage.</p>"},{"location":"en/reference/feature-stage/#definition-of-stage","title":"Definition of Stage","text":"<p>For Alpha stage functions:</p> <ul> <li>The feature is not fully documented and well tested.</li> <li>This feature may change or even be removed in the future.</li> <li>This feature API is not guaranteed to be stable and may be removed.</li> <li>Community provides low priority support for this feature and long-term support cannot be guaranteed.</li> <li>Since feature stability and long-term support cannot be guaranteed, it can be tested and verified, but is not recommended for production use.</li> </ul> <p>For Beta stage functions:</p> <ul> <li>This feature is partially documented and tested, but complete coverage is not guaranteed.</li> <li>This feature may change in the future and the upgrade may affect the network, but it will not be removed as a whole.</li> <li>This feature API may change in the future and the fields may be adjusted, but not removed as a whole.</li> <li>This feature will be supported by the community in the long term.</li> <li>It can be used on non-critical services as the functionality will be supported for a long time, but it is not recommended for critical production service as there is a possibility of changes in functionality and APIs that may break the network.</li> </ul> <p>For GA stage functions:</p> <ul> <li>The feature has full documentation and test coverage.</li> <li>The feature will remain stable and upgrades will be guaranteed to be smooth.</li> <li>This feature API is not subject to disruptive changes.</li> <li>This feature will be supported with high priority by the community and long-term support will be guaranteed.</li> </ul>"},{"location":"en/reference/feature-stage/#feature-stage-list","title":"Feature Stage List","text":"<p>This list records the feature stages from the 1.8 release.</p> Feature Default Stage Since Until Namespaced Subnet true GA 1.8 Distributed Gateway true GA 1.8 Active-backup Centralized Gateway true GA 1.8 ECMP Centralized Gateway false Beta 1.8 Subnet ACL true Alpha 1.9 Subnet Isolation (Will be replaced by ACL later) true Beta 1.8 Underlay Subnet true GA 1.8 Multiple Pod Interface true Beta 1.8 Subnet DHCP false Alpha 1.10 Subnet with External Gateway false Alpha 1.8 Cluster Inter-Connection with OVN-IC false Beta 1.8 Cluster Inter-Connection with Submariner false Alpha 1.9 VIP Reservation true Alpha 1.10 Create Custom VPC true Beta 1.8 Custom VPC Floating IP/SNAT/DNAT true Alpha 1.10 Custom VPC Static Route true Alpha 1.10 Custom VPC Policy Route true Alpha 1.10 Custom VPC Security Group true Alpha 1.10 Container Bandwidth QoS true GA 1.8 linux-netem QoS true Alpha 1.9 Prometheus Integration false GA 1.8 Grafana Integration false GA 1.8 IPv4/v6 DualStack false GA 1.8 Default VPC EIP/SNAT false Beta 1.8 Traffic Mirroring false GA 1.8 NetworkPolicy true Beta 1.8 Webhook false Alpha 1.10 Performance Tunning false Beta 1.8 Interconnection with Routes in Overlay Mode false Alpha 1.8 BGP Support false Alpha 1.9 Cilium Integration false Alpha 1.10 Custom VPC Peering false Alpha 1.10 Mellanox Offload false Alpha 1.8 Corigine Offload false Alpha 1.10 Windows Support false Alpha 1.10 DPDK Support false Alpha 1.10 OpenStack Integration false Alpha 1.9 Single Pod Fixed IP/Mac true GA 1.8 Workload with Fixed IP true GA 1.8 StatefulSet with Fixed IP true GA 1.8 VM with Fixed IP false Beta 1.9 Load Balancer Type Service in Default VPC false Alpha 1.11 Load Balance in Custom VPC false Alpha 1.11 DNS in Custom VPC false Alpha 1.11 Underlay and Overlay Interconnection false Beta 1.12 <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/iptables-rules/","title":"Iptables Rules","text":"<p>Kube-OVN uses <code>ipset</code> and <code>iptables</code> to implement gateway NAT functionality in the default VPC overlay Subnets.</p> <p>The ipset used is shown in the following table:</p> Name\uff08IPv4/IPv6\uff09 Type Usage ovn40services/ovn60services hash:net Service CIDR ovn40subnets/ovn60subnets hash:net Overlay Subnet CIDR and NodeLocal DNS IP address ovn40subnets-nat/ovn60subnets-nat hash:net Overlay Subnet CIDRs that enable <code>NatOutgoing</code> ovn40subnets-distributed-gw/ovn60subnets-distributed-gw hash:net Overlay Subnet CIDRs that use distributed gateway ovn40other-node/ovn60other-node hash:net Internal IP addresses for other Nodes ovn40local-pod-ip-nat/ovn60local-pod-ip-nat hash:ip Deprecated ovn40subnets-nat-policy hash:net All subnet cidrs configured with natOutgoingPolicyRules ovn40natpr-418e79269dc5-dst hash:net The dstIPs corresponding to the rule in natOutgoingPolicyRules ovn40natpr-418e79269dc5-src hash:net The srcIPs corresponding to the rule in natOutgoingPolicyRules <p>The iptables rules (IPv4) used are shown in the following table:</p> Table Chain Rule Usage Note filter INPUT -m set --match-set ovn40services src -j ACCEPT Allow k8s service and pod traffic to pass through -- filter INPUT -m set --match-set ovn40services dst -j ACCEPT Allow k8s service and pod traffic to pass through -- filter INPUT -m set --match-set ovn40subnets src -j ACCEPT Allow k8s service and pod traffic to pass through -- filter INPUT -m set --match-set ovn40subnets dst -j ACCEPT Allow k8s service and pod traffic to pass through -- filter FORWARD -m set --match-set ovn40services src -j ACCEPT Allow k8s service and pod traffic to pass through -- filter FORWARD -m set --match-set ovn40services dst -j ACCEPT Allow k8s service and pod traffic to pass through -- filter FORWARD -m set --match-set ovn40subnets src -j ACCEPT Allow k8s service and pod traffic to pass through -- filter FORWARD -m set --match-set ovn40subnets dst -j ACCEPT Allow k8s service and pod traffic to pass through -- filter FORWARD -s 10.16.0.0/16 -m comment --comment \"ovn-subnet-gateway,ovn-default\" Used to count packets from the subnet to the external network \"10.16.0.0/16\" is the cidr of the subnet, the \"ovn-subnet-gateway\" before the \",\" in comment is used to identify the iptables rule used to count the subnet inbound and outbound gateway packets, and the \"ovn-default\" after the \",\" is the name of the subnet filter FORWARD -d 10.16.0.0/16 -m comment --comment \"ovn-subnet-gateway,ovn-default\" Used to count packets from the external network accessing the subnet \"10.16.0.0/16\" is the cidr of the subnet, the \"ovn-subnet-gateway\" before the \",\" in comment is used to identify the iptables rule used to count the subnet inbound and outbound gateway packets, and the \"ovn-default\" after the \",\" is the name of the subnet filter OUTPUT -p udp -m udp --dport 6081 -j MARK --set-xmark 0x0 Clear traffic tag to prevent SNAT UDP: bad checksum on VXLAN interface nat PREROUTING -m comment --comment \"kube-ovn prerouting rules\" -j OVN-PREROUTING Enter OVN-PREROUTING chain processing -- nat POSTROUTING -m comment --comment \"kube-ovn postrouting rules\" -j OVN-POSTROUTING Enter OVN-POSTROUTING chain processing -- nat OVN-PREROUTING -i ovn0 -m set --match-set ovn40subnets src -m set --match-set ovn40services dst -j MARK --set-xmark 0x4000/0x4000 Adding masquerade tags to Pod access service traffic Used when the built-in LB is turned off nat OVN-PREROUTING -p tcp -m addrtype --dst-type LOCAL -m set --match-set KUBE-NODE-PORT-LOCAL-TCP dst -j MARK --set-xmark 0x80000/0x80000 Add specific tags to ExternalTrafficPolicy for Local's Service traffic (TCP) Only used when kube-proxy is using ipvs mode nat OVN-PREROUTING -p udp -m addrtype --dst-type LOCAL -m set --match-set KUBE-NODE-PORT-LOCAL-UDP dst -j MARK --set-xmark 0x80000/0x80000 Add specific tags to ExternalTrafficPolicy for Local's Service traffic (UDP) Only used when kube-proxy is using ipvs mode nat OVN-POSTROUTING -m set --match-set ovn40services src -m set --match-set ovn40subnets dst -m mark --mark 0x4000/0x4000 -j SNAT --to-source  Use node IP as the source address for access from node to overlay Pods via service IP\u3002 Works only when kube-proxy is using ipvs mode nat OVN-POSTROUTING -m mark --mark 0x4000/0x4000 -j MASQUERADE Perform SNAT for specific tagged traffic -- nat OVN-POSTROUTING -m set --match-set ovn40subnets src -m set --match-set ovn40subnets dst -j MASQUERADE Perform SNAT for Service traffic between Pods passing through the node -- nat OVN-POSTROUTING -m mark --mark 0x80000/0x80000 -m set --match-set ovn40subnets-distributed-gw dst -j RETURN For Service traffic where ExternalTrafficPolicy is Local, if the Endpoint uses a distributed gateway, SNAT is not required. -- nat OVN-POSTROUTING -m mark --mark 0x80000/0x80000 -j MASQUERADE For Service traffic where ExternalTrafficPolicy is Local, if the Endpoint uses a centralized gateway, SNAT is required. -- nat OVN-POSTROUTING -p tcp -m tcp --tcp-flags SYN NONE -m conntrack --ctstate NEW -j RETURN No SNAT is performed when the Pod IP is exposed to the outside world -- nat OVN-POSTROUTING -s 10.16.0.0/16 -m set ! --match-set ovn40subnets dst -j SNAT --to-source 192.168.0.101 When the Pod accesses the network outside the cluster, if the subnet is NatOutgoing and a centralized gateway with the specified IP is used, perform SNAT 10.16.0.0/16 is the Subnet CIDR\uff0c192.168.0.101 is the specified IP of gateway node nat OVN-POSTROUTING -m set --match-set ovn40subnets-nat src -m set ! --match-set ovn40subnets dst -j MASQUERADE When the Pod accesses the network outside the cluster, if NatOutgoing is enabled on the subnet, perform SNAT -- nat OVN-POSTROUTING -m set --match-set ovn40subnets-nat-policy src -m set ! --match-set ovn40subnets dst -j OVN-NAT-POLICY When Pod accesses the network outside the cluster, if natOutgoingPolicyRules is enabled on the subnet, the packet with the specified policy will perform SNAT ovn40subnets-nat-policy is all subnet segments configured with natOutgoingPolicyRules nat OVN-POSTROUTING -m mark --mark 0x90001/0x90001 -j MASQUERADE --random-fully When Pod accesses the network outside the cluster, if natOutgoingPolicyRules is enabled on the subnet, the packet with the specified policy will perform SNAT After coming out of OVN-NAT-POLICY, if it is tagged with 0x90001/0x90001, it will do SNAT nat OVN-POSTROUTING -m mark --mark 0x90002/0x90002 -j RETURN When Pod accesses the network outside the cluster, if natOutgoingPolicyRules is enabled on the subnet, the packet with the specified policy will perform SNAT After coming out of OVN-NAT-POLICY, if it is tagged with 0x90002/0x90002, it will not do SNAT nat OVN-NAT-POLICY -s 10.0.11.0/24 -m comment --comment natPolicySubnet-net1 -j OVN-NAT-PSUBNET-aa98851157c5 When Pod accesses the network outside the cluster, if natOutgoingPolicyRules is enabled on the subnet, the packet with the specified policy will perform SNAT 10.0.11.0/24 represents the CIDR of the subnet net1, and the rules under the OVN-NAT-PSUBNET-aa98851157c5 chain correspond to the natOutgoingPolicyRules configuration of this subnet nat OVN-NAT-PSUBNET-xxxxxxxxxxxx -m set --match-set ovn40natpr-418e79269dc5-src src -m set --match-set ovn40natpr-418e79269dc5-dst dst -j MARK --set-xmark 0x90002/0x90002 When Pod accesses the network outside the cluster, if natOutgoingPolicyRules is enabled on the subnet, the packet with the specified policy will perform SNAT 418e79269dc5 indicates the ID of a rule in natOutgoingPolicyRules, which can be viewed through status.natOutgoingPolicyRules[index].RuleID, indicating that srcIPs meets ovn40natpr-418e79269dc5-src, and dstIPS meets ovn40natpr-418e79269dc5- dst will be marked with tag 0x90002 mangle OVN-OUTPUT -d 10.241.39.2/32 -p tcp -m tcp --dport 80 -j MARK --set-xmark 0x90003/0x90003 Introduce kubelet's detection traffic to tproxy with a specific mark mangle OVN-PREROUTING -d 10.241.39.2/32 -p tcp -m tcp --dport 80 -j TPROXY --on-port 8102 --on-ip 172.18.0.3 --tproxy-mark 0x90004/0x90004 Introduce kubelet's detection traffic to tproxy with a specific mark <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/kube-ovn-api/","title":"Kube-OVN API Reference","text":"<p>Based on Kube-OVN v1.12.0, we have compiled a list of CRD resources supported by Kube-OVN, listing the types and meanings of each field of CRD definition for reference.</p>"},{"location":"en/reference/kube-ovn-api/#generic-condition-definition","title":"Generic Condition Definition","text":"Property Name Type Description type String Type of status status String The value of status, in the range of <code>True</code>, <code>False</code> or <code>Unknown</code> reason String The reason for the status change message String The specific message of the status change lastUpdateTime Time The last time the status was updated lastTransitionTime Time Time of last status type change <p>In each CRD definition, the Condition field in Status follows the above format, so we explain it in advance.</p>"},{"location":"en/reference/kube-ovn-api/#subnet-definition","title":"Subnet Definition","text":""},{"location":"en/reference/kube-ovn-api/#subnet","title":"Subnet","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have this value as kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>Subnet</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec SubnetSpec Subnet specific configuration information status SubnetStatus Subnet status information"},{"location":"en/reference/kube-ovn-api/#subnetspec","title":"SubnetSpec","text":"Property Name Type Description default Bool Whether this subnet is the default subnet vpc String The vpc which the subnet belongs to, default is ovn-cluster protocol String IP protocol, the value is in the range of <code>IPv4</code>, <code>IPv6</code> or <code>Dual</code> namespaces []String The list of namespaces bound to this subnet cidrBlock String The range of the subnet, e.g. 10.16.0.0/16 gateway String The gateway address of the subnet, the default value is the first available address under the CIDRBlock of the subnet excludeIps []String The range of addresses under this subnet that will not be automatically assigned provider String Default value is <code>ovn</code>. In the case of multiple NICs, the value is <code>&lt;name&gt;.&lt;namespace&gt;</code> of the NetworkAttachmentDefinition, Kube-OVN will use this information to find the corresponding subnet resource gatewayType String The gateway type in overlay mode, either <code>distributed</code> or <code>centralized</code> gatewayNode String The gateway node when the gateway mode is centralized, node names can be comma-separated natOutgoing Bool Whether the outgoing traffic is NAT externalEgressGateway String The address of the external gateway. This parameter and the natOutgoing parameter cannot be set at the same time policyRoutingPriority Uint32 Policy route priority. Used to control the forwarding of traffic to the external gateway address after the subnet gateway policyRoutingTableID Uint32 The TableID of the local policy routing table, should be different for each subnet to avoid conflicts private Bool Whether the subnet is a private subnet, which denies access to addresses inside the subnet if the subnet is private allowSubnets []String If the subnet is a private subnet, the set of addresses that are allowed to access the subnet vlan String The name of vlan to which the subnet is bound vips []String The virtual-ip parameter information for virtual type lsp on the subnet logicalGateway Bool Whether to enable logical gateway disableGatewayCheck Bool Whether to skip the gateway connectivity check when creating a pod disableInterConnection Bool Whether to enable subnet interconnection across clusters enableDHCP Bool Whether to configure dhcp configuration options for lsps belong this subnet dhcpV4Options String The DHCP_Options record associated with lsp dhcpv4_options on the subnet dhcpV6Options String The DHCP_Options record associated with lsp dhcpv6_options on the subnet enableIPv6RA Bool Whether to configure the ipv6_ra_configs parameter for the lrp port of the router connected to the subnet ipv6RAConfigs String The ipv6_ra_configs parameter configuration for the lrp port of the router connected to the subnet acls []Acl The acls record associated with the logical-switch of the subnet u2oInterconnection Bool Whether to enable interconnection mode for Overlay/Underlay enableLb *Bool Whether the logical-switch of the subnet is associated with load-balancer records enableEcmp Bool Centralized subnet, whether to enable ECMP routing"},{"location":"en/reference/kube-ovn-api/#acl","title":"Acl","text":"Property Name Type Description direction String Restrict the direction of acl, which value is <code>from-lport</code> or <code>to-lport</code> priority Int Acl priority, in the range 0 to 32767 match String Acl rule match expression action String The action of the rule, which value is in the range of <code>allow-related</code>, <code>allow-stateless</code>, <code>allow</code>, <code>drop</code>, <code>reject</code>"},{"location":"en/reference/kube-ovn-api/#subnetstatus","title":"SubnetStatus","text":"Property Name Type Description conditions []SubnetCondition Subnet status change information, refer to the beginning of the document for the definition of Condition v4AvailableIPs Float64 Number of available IPv4 IPs v4availableIPrange String The available range of IPv4 addresses on the subnet v4UsingIPs Float64 Number of used IPv4 IPs v4usingIPrange String Used IPv4 address ranges on the subnet v6AvailableIPs Float64 Number of available IPv6 IPs v6availableIPrange String The available range of IPv6 addresses on the subnet v6UsingIPs Float64 Number of used IPv6 IPs v6usingIPrange String Used IPv6 address ranges on the subnet sctivateGateway String The currently working gateway node in centralized subnet of master-backup mode dhcpV4OptionsUUID String The DHCP_Options record identifier associated with the lsp dhcpv4_options on the subnet dhcpV6OptionsUUID String The DHCP_Options record identifier associated with the lsp dhcpv6_options on the subnet u2oInterconnectionIP String The IP address used for interconnection when Overlay/Underlay interconnection mode is enabled"},{"location":"en/reference/kube-ovn-api/#ip-definition","title":"IP Definition","text":""},{"location":"en/reference/kube-ovn-api/#ip","title":"IP","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources are kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource have the value <code>IP</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec IPSpec IP specific configuration information"},{"location":"en/reference/kube-ovn-api/#ipsepc","title":"IPSepc","text":"Property Name Type Description podName String Pod name which assigned with this IP namespace String The name of the namespace where the pod is bound subnet String The subnet which the ip belongs to attachSubnets []String The name of the other subnets attached to this primary IP (field deprecated) nodeName String The name of the node where the pod is bound ipAddress String IP address, in <code>v4IP,v6IP</code> format for dual-stack cases v4IPAddress String IPv4 IP address v6IPAddress String IPv6 IP address attachIPs []String Other IP addresses attached to this primary IP (field is deprecated) macAddress String The Mac address of the bound pod attachMacs []String Other Mac addresses attached to this primary IP (field deprecated) containerID String The Container ID corresponding to the bound pod podType String Special workload pod, can be <code>StatefulSet</code>, <code>VirtualMachine</code> or empty"},{"location":"en/reference/kube-ovn-api/#underlay-configuration","title":"Underlay configuration","text":""},{"location":"en/reference/kube-ovn-api/#vlan","title":"Vlan","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all instances of this resource will be kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>Vlan</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec VlanSpec Vlan specific configuration information status VlanStatus Vlan status information"},{"location":"en/reference/kube-ovn-api/#vlanspec","title":"VlanSpec","text":"Property Name Type Description id Int Vlan tag number, in the range of 0~4096 provider String The name of the ProviderNetwork to which the vlan is bound"},{"location":"en/reference/kube-ovn-api/#vlanstatus","title":"VlanStatus","text":"Property Name Type Description subnets []String The list of subnets to which the vlan is bound conditions []VlanCondition Vlan status change information, refer to the beginning of the document for the definition of Condition"},{"location":"en/reference/kube-ovn-api/#providernetwork","title":"ProviderNetwork","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources are kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>ProviderNetwork</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec ProviderNetworkSpec ProviderNetwork specific configuration information status ProviderNetworkStatus ProviderNetwork status information"},{"location":"en/reference/kube-ovn-api/#providernetworkspec","title":"ProviderNetworkSpec","text":"Property Name Type Description defaultInterface String The name of the NIC interface used by default for this bridge network customInterfaces []CustomInterface The special NIC configuration used by this bridge network excludeNodes []String The names of the nodes that will not be bound to this bridge network exchangeLinkName Bool Whether to exchange the bridge NIC and the corresponding OVS bridge name"},{"location":"en/reference/kube-ovn-api/#custominterface","title":"CustomInterface","text":"Property Name Type Description interface String NIC interface name used for underlay nodes []String List of nodes using the custom NIC interface"},{"location":"en/reference/kube-ovn-api/#providernetworkstatus","title":"ProviderNetworkStatus","text":"Property Name Type Description ready Bool Whether the current bridge network is in the ready state readyNodes []String The name of the node whose bridge network is ready notReadyNodes []String The name of the node whose bridge network is not ready vlans []String The name of the vlan to which the bridge network is bound conditions []ProviderNetworkCondition ProviderNetwork status change information, refer to the beginning of the document for the definition of Condition"},{"location":"en/reference/kube-ovn-api/#vpc-definition","title":"Vpc Definition","text":""},{"location":"en/reference/kube-ovn-api/#vpc","title":"Vpc","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have this value as kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>Vpc</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec VpcSpec Vpc specific configuration information status VpcStatus Vpc status information"},{"location":"en/reference/kube-ovn-api/#vpcspec","title":"VpcSpec","text":"Property Name Type Description namespaces []String List of namespaces bound by Vpc staticRoutes []*StaticRoute The static route information configured under Vpc policyRoutes []*PolicyRoute The policy route information configured under Vpc vpcPeerings []*VpcPeering Vpc interconnection information enableExternal Bool Whether vpc is connected to an external switch"},{"location":"en/reference/kube-ovn-api/#staticroute","title":"StaticRoute","text":"Property Name Type Description policy String Routing policy, takes the value of <code>policySrc</code> or <code>policyDst</code> cidr String Routing cidr value nextHopIP String The next hop information of the route"},{"location":"en/reference/kube-ovn-api/#policyroute","title":"PolicyRoute","text":"Property Name Type Description priority Int32 Priority for policy route match String Match expression for policy route action String Action for policy route, the value is in the range of <code>allow</code>, <code>drop</code>, <code>reroute</code> nextHopIP String The next hop of the policy route, separated by commas in the case of ECMP routing"},{"location":"en/reference/kube-ovn-api/#vpcpeering","title":"VpcPeering","text":"Property Name Type Description remoteVpc String Name of the interconnected peering vpc localConnectIP String The local ip for vpc used to connect to peer vpc"},{"location":"en/reference/kube-ovn-api/#vpcstatus","title":"VpcStatus","text":"Property Name Type Description conditions []VpcCondition Vpc status change information, refer to the beginning of the documentation for the definition of Condition standby Bool Whether the vpc creation is complete, the subnet under the vpc needs to wait for the vpc creation to complete other proceeding default Bool Whether it is the default vpc defaultLogicalSwitch String The default subnet under vpc router String The logical-router name for the vpc tcpLoadBalancer String TCP LB information for vpc udpLoadBalancer String UDP LB information for vpc tcpSessionLoadBalancer String TCP Session Hold LB Information for Vpc udpSessionLoadBalancer String UDP session hold LB information for Vpc subnets []String List of subnets for vpc vpcPeerings []String List of peer vpcs for vpc interconnection enableExternal Bool Whether the vpc is connected to an external switch"},{"location":"en/reference/kube-ovn-api/#vpcnatgateway","title":"VpcNatGateway","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources are kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>VpcNatGateway</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec VpcNatSpec Vpc gateway specific configuration information"},{"location":"en/reference/kube-ovn-api/#vpcnatspec","title":"VpcNatSpec","text":"Property Name Type Description vpc String Vpc name which the vpc gateway belongs to subnet String The name of the subnet to which the gateway pod belongs lanIp String The IP address assigned to the gateway pod selector []String Standard Kubernetes selector match information tolerations []VpcNatToleration Standard Kubernetes tolerance information"},{"location":"en/reference/kube-ovn-api/#vpcnattoleration","title":"VpcNatToleration","text":"Property Name Type Description key String The key information of the taint tolerance operator String Takes the value of <code>Exists</code> or <code>Equal</code> value String The value information of the taint tolerance effect String The effect of the taint tolerance, takes the value of <code>NoExecute</code>, <code>NoSchedule</code>, or <code>PreferNoSchedule</code> tolerationSeconds Int64 The amount of time the pod can continue to run on the node after the taint is added <p>The meaning of the above tolerance fields can be found in the official Kubernetes documentation Taint and Tolerance.</p>"},{"location":"en/reference/kube-ovn-api/#iptableseip","title":"IptablesEIP","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have this value as kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource have the value <code>IptablesEIP</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec IptablesEipSpec IptablesEIP specific configuration information used by vpc gateway status IptablesEipStatus IptablesEIP status information used by vpc gateway"},{"location":"en/reference/kube-ovn-api/#iptableseipspec","title":"IptablesEipSpec","text":"Property Name Type Description v4ip String IptablesEIP v4 address v6ip String IptablesEIP v6 address macAddress String The assigned mac address, not actually used natGwDp String Vpc gateway name"},{"location":"en/reference/kube-ovn-api/#iptableseipstatus","title":"IptablesEipStatus","text":"Property Name Type Description ready Bool Whether IptablesEIP is configured complete ip String The IP address used by IptablesEIP, currently only IPv4 addresses are supported redo String IptablesEIP crd creation or update time nat String The type of IptablesEIP, either <code>fip</code>, <code>snat</code>, or <code>dnat</code> conditions []IptablesEIPCondition IptablesEIP status change information, refer to the beginning of the documentation for the definition of Condition"},{"location":"en/reference/kube-ovn-api/#iptablesfiprule","title":"IptablesFIPRule","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have this value as kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource have the value <code>IptablesFIPRule</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec IptablesFIPRuleSpec The IptablesFIPRule specific configuration information used by vpc gateway status IptablesFIPRuleStatus IptablesFIPRule status information used by vpc gateway"},{"location":"en/reference/kube-ovn-api/#iptablesfiprulespec","title":"IptablesFIPRuleSpec","text":"Property Name Type Description eip String Name of the IptablesEIP used for IptablesFIPRule internalIp String The corresponding internal IP address"},{"location":"en/reference/kube-ovn-api/#iptablesfiprulestatus","title":"IptablesFIPRuleStatus","text":"Property Name Type Description ready Bool Whether IptablesFIPRule is configured or not v4ip String The v4 IP address used by IptablesEIP v6ip String The v6 IP address used by IptablesEIP natGwDp String Vpc gateway name redo String IptablesFIPRule crd creation or update time conditions []IptablesFIPRuleCondition IptablesFIPRule status change information, refer to the beginning of the documentation for the definition of Condition"},{"location":"en/reference/kube-ovn-api/#iptablessnatrule","title":"IptablesSnatRule","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have this value as kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource have the value <code>IptablesSnatRule</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec IptablesSnatRuleSpec The IptablesSnatRule specific configuration information used by the vpc gateway status IptablesSnatRuleStatus IptablesSnatRule status information used by vpc gateway"},{"location":"en/reference/kube-ovn-api/#iptablessnatrulespec","title":"IptablesSnatRuleSpec","text":"Property Name Type Description eip String Name of the IptablesEIP used by IptablesSnatRule internalIp String IptablesSnatRule's corresponding internal IP address"},{"location":"en/reference/kube-ovn-api/#iptablessnatrulestatus","title":"IptablesSnatRuleStatus","text":"Property Name Type Description ready Bool Whether the configuration is complete v4ip String The v4 IP address used by IptablesSnatRule v6ip String The v6 IP address used by IptablesSnatRule natGwDp String Vpc gateway name redo String IptablesSnatRule crd creation or update time conditions []IptablesSnatRuleCondition IptablesSnatRule status change information, refer to the beginning of the documentation for the definition of Condition"},{"location":"en/reference/kube-ovn-api/#iptablesdnatrule","title":"IptablesDnatRule","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have this value as kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource have the value <code>IptablesDnatRule</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec IptablesDnatRuleSpec The IptablesDnatRule specific configuration information used by vpc gateway status IptablesDnatRuleStatus IptablesDnatRule status information used by vpc gateway"},{"location":"en/reference/kube-ovn-api/#iptablesdnatrulespec","title":"IptablesDnatRuleSpec","text":"Property Name Type Description eip Sting Name of IptablesEIP used by IptablesDnatRule externalPort Sting External port used by IptablesDnatRule protocol Sting Vpc gateway dnat protocol type internalIp Sting Internal IP address used by IptablesDnatRule internalPort Sting Internal port used by IptablesDnatRule"},{"location":"en/reference/kube-ovn-api/#iptablesdnatrulestatus","title":"IptablesDnatRuleStatus","text":"Property Name Type Description ready Bool Whether the configuration is complete v4ip String The v4 IP address used by IptablesDnatRule v6ip String The v6 IP address used by IptablesDnatRule natGwDp String Vpc gateway name redo String IptablesDnatRule crd creation or update time conditions []IptablesDnatRuleCondition IptablesDnatRule Status change information, refer to the beginning of the documentation for the definition of Condition"},{"location":"en/reference/kube-ovn-api/#vpcdns","title":"VpcDns","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>VpcDns</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec VpcDnsSpec VpcDns specific configuration information status VpcDnsStatus VpcDns status information"},{"location":"en/reference/kube-ovn-api/#vpcdnsspec","title":"VpcDnsSpec","text":"Property Name Type Description vpc String Name of the vpc where VpcDns is located subnet String The subnet name of the address assigned to the VpcDns pod"},{"location":"en/reference/kube-ovn-api/#vpcdnsstatus","title":"VpcDnsStatus","text":"Property Name Type Description conditions []VpcDnsCondition VpcDns status change information, refer to the beginning of the document for the definition of Condition active Bool Whether VpcDns is in use <p>For detailed documentation on the use of VpcDns, see Customizing VPC DNS.</p>"},{"location":"en/reference/kube-ovn-api/#switchlbrule","title":"SwitchLBRule","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have this value as kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>SwitchLBRule</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec SwitchLBRuleSpec SwitchLBRule specific configuration information status SwitchLBRuleStatus SwitchLBRule status information"},{"location":"en/reference/kube-ovn-api/#switchlbrulespec","title":"SwitchLBRuleSpec","text":"Property Name Type Description vip String Vip address of SwitchLBRule namespace String SwitchLBRule's namespace selector []String Standard Kubernetes selector match information sessionAffinity String Standard Kubernetes service sessionAffinity value ports []SlrPort List of SwitchLBRule ports <p>For detailed configuration information of SwitchLBRule, you can refer to Customizing VPC Internal Load Balancing health check.</p>"},{"location":"en/reference/kube-ovn-api/#slrport","title":"SlrPort","text":"Property Name Type Description name String Port name port Int32 Port number targetPort Int32 Target port of SwitchLBRule protocol String Protocol type"},{"location":"en/reference/kube-ovn-api/#switchlbrulestatus","title":"SwitchLBRuleStatus","text":"Property Name Type Description conditions []SwitchLBRuleCondition SwitchLBRule status change information, refer to the beginning of the document for the definition of Condition ports String Port information service String Name of the service"},{"location":"en/reference/kube-ovn-api/#security-group-and-vip","title":"Security Group and Vip","text":""},{"location":"en/reference/kube-ovn-api/#securitygroup","title":"SecurityGroup","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources are kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have a value of <code>SecurityGroup</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec SecurityGroupSpec Security Group specific configuration information status SecurityGroupStatus Security group status information"},{"location":"en/reference/kube-ovn-api/#securitygroupspec","title":"SecurityGroupSpec","text":"Property Name Type Description ingressRules []*SgRule Inbound security group rules egressRules []*SgRule Outbound security group rules allowSameGroupTraffic Bool Whether lsps in the same security group can interoperate and whether traffic rules need to be updated"},{"location":"en/reference/kube-ovn-api/#sgrule","title":"SgRule","text":"Property Name Type Description ipVersion String IP version number, <code>ipv4</code> or <code>ipv6</code> protocol String The value of <code>icmp</code>, <code>tcp</code>, or <code>udp</code> priority Int Acl priority. The value range is 1-200, the smaller the value, the higher the priority. remoteType String The value is either <code>address</code> or <code>securityGroup</code> remoteAddress String The address of the other side remoteSecurityGroup String The name of security group on the other side portRangeMin Int The starting value of the port range, the minimum value is 1. portRangeMax Int The ending value of the port range, the maximum value is 65535. policy String The value is <code>allow</code> or <code>drop</code>"},{"location":"en/reference/kube-ovn-api/#securitygroupstatus","title":"SecurityGroupStatus","text":"Property Name Type Description portGroup String The name of the port-group for the security group allowSameGroupTraffic Bool Whether lsps in the same security group can interoperate, and whether the security group traffic rules need to be updated ingressMd5 String The MD5 value of the inbound security group rule egressMd5 String The MD5 value of the outbound security group rule ingressLastSyncSuccess Bool Whether the last synchronization of the inbound rule was successful egressLastSyncSuccess Bool Whether the last synchronization of the outbound rule was successful"},{"location":"en/reference/kube-ovn-api/#vip","title":"Vip","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources are kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>Vip</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec VipSpec Vip specific configuration information status VipStatus Vip status information"},{"location":"en/reference/kube-ovn-api/#vipspec","title":"VipSpec","text":"Property Name Type Description namespace String Vip's namespace subnet String Vip's subnet type String The type of Vip, either <code>switch_lb_vip</code>, or empty v4ip String Vip IPv4 ip address v6ip String Vip IPv6 ip address macAddress String Vip mac address parentV4ip String Not currently in use parentV6ip String Not currently in use parentMac String Not currently in use selector []String Standard Kubernetes selector match information attachSubnets []String This field is deprecated and no longer used"},{"location":"en/reference/kube-ovn-api/#vipstatus","title":"VipStatus","text":"Property Name Type Description conditions []VipCondition Vip status change information, refer to the beginning of the documentation for the definition of Condition ready Bool Vip is ready or not v4ip String Vip IPv4 ip address, should be the same as the spec field v6ip String Vip IPv6 ip address, should be the same as the spec field mac String The vip mac address, which should be the same as the spec field pv4ip String Not currently used pv6ip String Not currently used pmac String Not currently used"},{"location":"en/reference/kube-ovn-api/#ovneip","title":"OvnEip","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources are kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>OvnEip</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec OvnEipSpec OvnEip specific configuration information for default vpc status OvnEipStatus OvnEip status information for default vpc"},{"location":"en/reference/kube-ovn-api/#ovneipspec","title":"OvnEipSpec","text":"Property Name Type Description externalSubnet String OvnEip's subnet name v4Ip String OvnEip IPv4 address v6Ip String OvnEip IPv6 address macAddress String OvnEip Mac address type String OvnEip use type, the value can be <code>lrp</code>, <code>lsp</code> or <code>nat</code>"},{"location":"en/reference/kube-ovn-api/#ovneipstatus","title":"OvnEipStatus","text":"Property Name Type Description conditions []OvnEipCondition OvnEip status change information, refer to the beginning of the documentation for the definition of Condition type String OvnEip use type, the value can be <code>lrp</code>, <code>lsp</code> or <code>nat</code> nat String dnat snat fip v4Ip String The IPv4 ip address used by ovnEip v6Ip String The IPv4 ip address used by ovnEip macAddress String Mac address used by ovnEip"},{"location":"en/reference/kube-ovn-api/#ovnfip","title":"OvnFip","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources are kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>OvnFip</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec OvnFipSpec OvnFip specific configuration information in default vpc status OvnFipStatus OvnFip status information in default vpc"},{"location":"en/reference/kube-ovn-api/#ovnfipspec","title":"OvnFipSpec","text":"Property Name Type Description ovnEip String Name of the bound ovnEip ipType String vip crd or ip crd (\"\" means ip crd) ipName String The IP crd name corresponding to the bound Pod vpc String The vpc crd name corresponding to the bound Pod V4Ip String The IPv4 ip addresss corresponding to vip or the bound Pod"},{"location":"en/reference/kube-ovn-api/#ovnfipstatus","title":"OvnFipStatus","text":"Property Name Type Description ready Bool OvnFip is ready or not v4Eip String Name of the ovnEip to which ovnFip is bound v4Ip String The ovnEip address currently in use vpc String The name of the vpc where ovnFip is located conditions []OvnFipCondition OvnFip status change information, refer to the beginning of the document for the definition of Condition"},{"location":"en/reference/kube-ovn-api/#ovnsnatrule","title":"OvnSnatRule","text":"Property Name Type Description apiVersion String Standard Kubernetes version information field, all custom resources have kubeovn.io/v1 kind String Standard Kubernetes resource type field, all instances of this resource will have the value <code>OvnSnatRule</code> metadata ObjectMeta Standard Kubernetes resource metadata information spec OvnSnatRuleSpec OvnSnatRule specific configuration information in default vpc status OvnSnatRuleStatus OvnSnatRule status information in default vpc"},{"location":"en/reference/kube-ovn-api/#ovnsnatrulespec","title":"OvnSnatRuleSpec","text":"Property Name Type Description ovnEip String Name of the ovnEip to which ovnSnatRule is bound vpcSubnet String The name of the subnet of the vpc configured by ovnSnatRule vpc String The vpc crd name corresponding to the ovnSnatRule bound Pod ipName String The IP crd name corresponding to the ovnSnatRule bound Pod v4IpCidr String The IPv4 cidr of the vpc subnet"},{"location":"en/reference/kube-ovn-api/#ovnsnatrulestatus","title":"OvnSnatRuleStatus","text":"Property Name Type Description ready Bool OvnSnatRule is ready or not v4Eip String The ovnEip address to which ovnSnatRule is bound v4IpCidr String The cidr address used to configure snat in the logical-router vpc String The name of the vpc where ovnSnatRule is located conditions []OvnSnatRuleCondition OvnSnatRule status change information, refer to the beginning of the document for the definition of Condition <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/kube-ovn-pinger-args/","title":"Kube-OVN-Pinger args Reference","text":"<p>Based on the Kube-OVN v1.12.0 version, We have compiled the parameters supported by Kube-ovn-pinger, and listed the value types, meanings, and default values of each field defined by the parameters for reference</p>"},{"location":"en/reference/kube-ovn-pinger-args/#args-describeption","title":"Args Describeption","text":"Arg Name Type Description Default Value port Int metrics port 8080 kubeconfig String Path to kubeconfig file with authorization and master location information. If not set use the inCluster token. \"\" ds-namespace String kube-ovn-pinger daemonset namespace \"kube-system\" ds-name String kube-ovn-pinger daemonset name \"kube-ovn-pinger\" interval Int interval seconds between consecutive pings 5 mode String server or job Mode \"server\" exit-code Int exit code when failure happens 0 internal-dns String check dns from pod \"kubernetes.default\" external-dns String check external dns resolve from pod \"\" external-address String check ping connection to an external address \"114.114.114.114\" network-mode String The cni plugin current cluster used \"kube-ovn\" enable-metrics Bool Whether to support metrics query true ovs.timeout Int Timeout on JSON-RPC requests to OVS. 2 system.run.dir String OVS default run directory. \"/var/run/openvswitch\" database.vswitch.name String The name of OVS db. \"Open_vSwitch\" database.vswitch.socket.remote String JSON-RPC unix socket to OVS db. \"unix:/var/run/openvswitch/db.sock\" database.vswitch.file.data.path String OVS db file. \"/etc/openvswitch/conf.db\" database.vswitch.file.log.path String OVS db log file. \"/var/log/openvswitch/ovsdb-server.log\" database.vswitch.file.pid.path String OVS db process id file. \"/var/run/openvswitch/ovsdb-server.pid\" database.vswitch.file.system.id.path String OVS system id file. \"/etc/openvswitch/system-id.conf\" service.vswitchd.file.log.path String OVS vswitchd daemon log file. \"/var/log/openvswitch/ovs-vswitchd.log\" service.vswitchd.file.pid.path String OVS vswitchd daemon process id file. \"/var/run/openvswitch/ovs-vswitchd.pid\" service.ovncontroller.file.log.path String OVN controller daemon log file. \"/var/log/ovn/ovn-controller.log\" service.ovncontroller.file.pid.path String OVN controller daemon process id file. \"/var/run/ovn/ovn-controller.pid\" <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/metrics/","title":"Metrics","text":"<p>This document lists all the monitoring metrics provided by Kube-OVN.</p>"},{"location":"en/reference/metrics/#ovn-monitor","title":"ovn-monitor","text":"<p>OVN status metrics:</p> Type Metric Description Gauge kube_ovn_ovn_status OVN Health Status. The values are: (2) for standby or follower, (1) for active or leader, (0) for unhealthy. Gauge kube_ovn_failed_req_count The number of failed requests to OVN stack. Gauge kube_ovn_log_file_size The size of a log file associated with an OVN component. Gauge kube_ovn_db_file_size The size of a database file associated with an OVN component. Gauge kube_ovn_chassis_info Whether the OVN chassis is up (1) or down (0), together with additional information about the chassis. Gauge kube_ovn_db_status The status of OVN NB/SB DB, (1) for healthy, (0) for unhealthy. Gauge kube_ovn_logical_switch_info The information about OVN logical switch. This metric is always up (1). Gauge kube_ovn_logical_switch_external_id Provides the external IDs and values associated with OVN logical switches. This metric is always up (1). Gauge kube_ovn_logical_switch_port_binding Provides the association between a logical switch and a logical switch port. This metric is always up (1). Gauge kube_ovn_logical_switch_tunnel_key The value of the tunnel key associated with the logical switch. Gauge kube_ovn_logical_switch_ports_num The number of logical switch ports connected to the OVN logical switch. Gauge kube_ovn_logical_switch_port_info The information about OVN logical switch port. This metric is always up (1). Gauge kube_ovn_logical_switch_port_tunnel_key The value of the tunnel key associated with the logical switch port. Gauge kube_ovn_cluster_enabled Is OVN clustering enabled (1) or not (0). Gauge kube_ovn_cluster_role A metric with a constant '1' value labeled by server role. Gauge kube_ovn_cluster_status A metric with a constant '1' value labeled by server status. Gauge kube_ovn_cluster_term The current raft term known by this server. Gauge kube_ovn_cluster_leader_self Is this server consider itself a leader (1) or not (0). Gauge kube_ovn_cluster_vote_self Is this server voted itself as a leader (1) or not (0). Gauge kube_ovn_cluster_election_timer The current election timer value. Gauge kube_ovn_cluster_log_not_committed The number of log entries not yet committed by this server. Gauge kube_ovn_cluster_log_not_applied The number of log entries not yet applied by this server. Gauge kube_ovn_cluster_log_index_start The log entry index start value associated with this server. Gauge kube_ovn_cluster_log_index_next The log entry index next value associated with this server. Gauge kube_ovn_cluster_inbound_connections_total The total number of inbound connections to the server. Gauge kube_ovn_cluster_outbound_connections_total The total number of outbound connections from the server. Gauge kube_ovn_cluster_inbound_connections_error_total The total number of failed inbound connections to the server. Gauge kube_ovn_cluster_outbound_connections_error_total The total number of failed outbound connections from the server."},{"location":"en/reference/metrics/#ovs-monitor","title":"ovs-monitor","text":"<p><code>ovsdb</code> and <code>vswitchd</code> status metrics:</p> Type Metric Description Gauge ovs_status OVS Health Status. The values are: health(1), unhealthy(0). Gauge ovs_info This metric provides basic information about OVS. It is always set to 1. Gauge failed_req_count The number of failed requests to OVS stack. Gauge log_file_size The size of a log file associated with an OVS component. Gauge db_file_size The size of a database file associated with an OVS component. Gauge datapath Represents an existing datapath. This metrics is always 1. Gauge dp_total Represents total number of datapaths on the system. Gauge dp_if Represents an existing datapath interface. This metrics is always 1. Gauge dp_if_total Represents the number of ports connected to the datapath. Gauge dp_flows_total The number of flows in a datapath. Gauge dp_flows_lookup_hit The number of incoming packets in a datapath matching existing flows in the datapath. Gauge dp_flows_lookup_missed The number of incoming packets in a datapath not matching any existing flow in the datapath. Gauge dp_flows_lookup_lost The number of incoming packets in a datapath destined for userspace process but subsequently dropped before reaching userspace. Gauge dp_masks_hit The total number of masks visited for matching incoming packets. Gauge dp_masks_total The number of masks in a datapath. Gauge dp_masks_hit_ratio The average number of masks visited per packet. It is the ration between hit and total number of packets processed by a datapath. Gauge interface Represents OVS interface. This is the primary metric for all other interface metrics. This metrics is always 1. Gauge interface_admin_state The administrative state of the physical network link of OVS interface. The values are: down(0), up(1), other(2). Gauge interface_link_state The state of the physical network link of OVS interface. The values are: down(0), up(1), other(2). Gauge interface_mac_in_use The MAC address in use by OVS interface. Gauge interface_mtu The currently configured MTU for OVS interface. Gauge interface_of_port Represents the OpenFlow port ID associated with OVS interface. Gauge interface_if_index Represents the interface index associated with OVS interface. Gauge interface_tx_packets Represents the number of transmitted packets by OVS interface. Gauge interface_tx_bytes Represents the number of transmitted bytes by OVS interface. Gauge interface_rx_packets Represents the number of received packets by OVS interface. Gauge interface_rx_bytes Represents the number of received bytes by OVS interface. Gauge interface_rx_crc_err Represents the number of CRC errors for the packets received by OVS interface. Gauge interface_rx_dropped Represents the number of input packets dropped by OVS interface. Gauge interface_rx_errors Represents the total number of packets with errors received by OVS interface. Gauge interface_rx_frame_err Represents the number of frame alignment errors on the packets received by OVS interface. Gauge interface_rx_missed_err Represents the number of packets with RX missed received by OVS interface. Gauge interface_rx_over_err Represents the number of packets with RX overrun received by OVS interface. Gauge interface_tx_dropped Represents the number of output packets dropped by OVS interface. Gauge interface_tx_errors Represents the total number of transmit errors by OVS interface. Gauge interface_collisions Represents the number of collisions on OVS interface."},{"location":"en/reference/metrics/#kube-ovn-pinger","title":"kube-ovn-pinger","text":"<p>Network quality related metrics:</p> Type Metric Description Gauge pinger_ovs_up If the ovs on the node is up Gauge pinger_ovs_down If the ovs on the node is down Gauge pinger_ovn_controller_up If the ovn_controller on the node is up Gauge pinger_ovn_controller_down If the ovn_controller on the node is down Gauge pinger_inconsistent_port_binding The number of mismatch port bindings between ovs and ovn-sb Gauge pinger_apiserver_healthy If the apiserver request is healthy on this node Gauge pinger_apiserver_unhealthy If the apiserver request is unhealthy on this node Histogram pinger_apiserver_latency_ms The latency ms histogram the node request apiserver Gauge pinger_internal_dns_healthy If the internal dns request is unhealthy on this node Gauge pinger_internal_dns_unhealthy If the internal dns request is unhealthy on this node Histogram pinger_internal_dns_latency_ms The latency ms histogram the node request internal dns Gauge pinger_external_dns_health If the external dns request is healthy on this node Gauge pinger_external_dns_unhealthy If the external dns request is unhealthy on this node Histogram pinger_external_dns_latency_ms The latency ms histogram the node request external dns Histogram pinger_pod_ping_latency_ms The latency ms histogram for pod peer ping Gauge pinger_pod_ping_lost_total The lost count for pod peer ping Gauge pinger_pod_ping_count_total The total count for pod peer ping Histogram pinger_node_ping_latency_ms The latency ms histogram for pod ping node Gauge pinger_node_ping_lost_total The lost count for pod ping node Gauge pinger_node_ping_count_total The total count for pod ping node Histogram pinger_external_ping_latency_ms The latency ms histogram for pod ping external address Gauge pinger_external_lost_total The lost count for pod ping external address"},{"location":"en/reference/metrics/#kube-ovn-controller","title":"kube-ovn-controller","text":"<p><code>kube-ovn-controller</code> status metrics\uff1a</p> Type Metric Description Histogram rest_client_request_latency_seconds Request latency in seconds. Broken down by verb and URL Counter rest_client_requests_total Number of HTTP requests, partitioned by status code, method, and host Counter lists_total Total number of API lists done by the reflectors Summary list_duration_seconds How long an API list takes to return and decode for the reflectors Summary items_per_list How many items an API list returns to the reflectors Counter watches_total Total number of API watches done by the reflectors Counter short_watches_total Total number of short API watches done by the reflectors Summary watch_duration_seconds How long an API watch takes to return and decode for the reflectors Summary items_per_watch How many items an API watch returns to the reflectors Gauge last_resource_version Last resource version seen for the reflectors Histogram ovs_client_request_latency_milliseconds The latency histogram for ovs request Gauge subnet_available_ip_count The available num of ip address in subnet Gauge subnet_used_ip_count The used num of ip address in subnet"},{"location":"en/reference/metrics/#kube-ovn-cni","title":"kube-ovn-cni","text":"<p><code>kube-ovn-cni</code> status metrics:</p> Type Metric Description Histogram cni_op_latency_seconds The latency seconds for cni operations Counter cni_wait_address_seconds_total Latency that cni wait controller to assign an address Counter cni_wait_connectivity_seconds_total Latency that cni wait address ready in overlay network Counter cni_wait_route_seconds_total Latency that cni wait controller to add routed annotation to pod Histogram rest_client_request_latency_seconds Request latency in seconds. Broken down by verb and URL Counter rest_client_requests_total Number of HTTP requests, partitioned by status code, method, and host Counter lists_total Total number of API lists done by the reflectors Summary list_duration_seconds How long an API list takes to return and decode for the reflectors Summary items_per_list How many items an API list returns to the reflectors Counter watches_total Total number of API watches done by the reflectors Counter short_watches_total Total number of short API watches done by the reflectors Summary watch_duration_seconds How long an API watch takes to return and decode for the reflectors Summary items_per_watch How many items an API watch returns to the reflectors Gauge last_resource_version Last resource version seen for the reflectors Histogram ovs_client_request_latency_milliseconds The latency histogram for ovs request <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/ovs-ovn-customized/","title":"OVS/OVN Customization","text":"<p>Upstream OVN/OVS was originally designed with the goal of a general purpose SDN controller and data plane. Due to some specific usage of the Kubernetes network,Kube-OVN only focused on part of the features. In order to achieve better performance, stability and specific features, Kube-OVN has made some modifications to the upstream OVN/OVS. Users using their own OVN/OVS with Kube-OVN controllers need to be aware of the possible impact of the following changes:</p> <p>Did not merge into the upstream modification.</p> <ul> <li>38df6fa3f7 Adjust the election timer to avoid large-scale cluster election jitter.</li> <li>d4888c4e75 add fdb update logging.</li> <li>d4888c4e75 fdb: fix mac learning in environments with hairpin enabled.</li> <li>9a81b91368 ovsdb-tool: add optional server id parameter for \"join-cluster\" command.</li> <li>0700cb90f9 Destination non-service traffic bypasses conntrack to improve performance on a particular data path.</li> <li>c48049a64f ECMP algorithm is adjusted from <code>dp_hash</code> to <code>hash</code> to avoid the hash error problem in some kernels.</li> <li>64383c14a9 Fix kernel Crash issue under Windows.</li> <li>08a95db2ca Support for github action builds on Windows.</li> <li>680e77a190 Windows uses tcp listening by default.</li> <li>05e57b3227 add support for windows.</li> <li>0181b68be1 br-int controller: listen on 127.0.0.1:6653 by default.</li> <li>b3801ecb73 modify src route priority.</li> <li>977e569539 fix reaching resubmit limit in underlay.</li> <li>45a4a22161 ovn-nbctl: do not remove LB if vips is empty.</li> <li>540592b9ff Replaces the Mac address as the destination address after DNAT to reduce additional performance overhead.</li> <li>10972d9632 Fix vswitchd ofport_usage memory leak.</li> </ul> <p>Merged into upstream modification:</p> <ul> <li>20626ea909 Multicast traffic bypasses LB and ACL processing stages to improve specific data path performance.</li> <li>a2d9ff3ccd Deb build adds compile optimization options.</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/tunnel-protocol/","title":"Tunnel Protocol Selection","text":"<p>Kube-OVN uses OVN/OVS as the data plane implementation and currently supports <code>Geneve</code>, <code>Vxlan</code> and <code>STT</code> tunnel encapsulation protocols. These three protocols differ in terms of functionality, performance and ease of use. This document will describe the differences in the use of the three protocols so that users can choose according to their situation.</p>"},{"location":"en/reference/tunnel-protocol/#geneve","title":"Geneve","text":"<p>The <code>Geneve</code> protocol is the default tunneling protocol selected during Kube-OVN deployment and is also the default recommended tunneling protocol for OVN. This protocol is widely supported in the kernel and can be accelerated using the generic offload capability of modern NICs. Since <code>Geneve</code> has a variable header, it is possible to use 24bit space to mark different datapaths users can create a larger number of virtual networks.</p> <p>If you are using Mellanox or Corigine SmartNIC OVS offload, <code>Geneve</code> requires a higher kernel version. Upstream kernel of 5.4 or higher, or other compatible kernels that backports this feature.</p> <p>Due to the use of UDP encapsulation, this protocol does not make good use of the TCP-related offloads of modern NICs when handling TCP over UDP, and consumes more CPU resources when handling large packets.</p>"},{"location":"en/reference/tunnel-protocol/#vxlan","title":"Vxlan","text":"<p><code>Vxlan</code> is a recently supported protocol in the upstream OVN, which is widely supported in the kernel and can be accelerated using the common offload capabilities of modern NICs. Due to the limited length of the protocol header and the additional space required for OVN orchestration, there is a limit to the number of datapaths that can be created, with a maximum of 4096 datapaths and a maximum of 4096 ports under each datapath. Also, <code>inport</code>-based ACLs are not supported due to header length limitations.</p> <p><code>Vxlan</code> offloading is supported in common kernels if using Mellanox or Corigine SmartNIC.</p> <p>Due to the use of UDP encapsulation, this protocol does not make good use of the TCP-related offloads of modern NICs when handling TCP over UDP, and consumes more CPU resources when handling large packets.</p>"},{"location":"en/reference/tunnel-protocol/#stt","title":"STT","text":"<p>The <code>STT</code> protocol is an early tunneling protocol supported by the OVN that uses TCP-like headers to take advantage of the TCP offload capabilities common to modern NICs and significantly increase TCP throughput. The protocol also has a long header to support full OVN capabilities and large-scale datapaths.</p> <p>This protocol is not supported in the kernel. To use it, you need to compile an additional OVS kernel module and recompile the new version of the kernel module when upgrading the kernel.</p> <p>This protocol is not currently supported by the SmartNic and cannot use the offloading capability of OVS offloading.</p>"},{"location":"en/reference/tunnel-protocol/#references","title":"References","text":"<ul> <li>https://ipwithease.com/vxlan-vs-geneve-understand-the-difference/</li> <li>OVN FAQ</li> <li>What is Geneve</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/reference/underlay-topology/","title":"Underlay Traffic Topology","text":"<p>This document describes the forwarding path of traffic in Underlay mode under different scenarios.</p>"},{"location":"en/reference/underlay-topology/#pods-in-same-node-and-same-subnet","title":"Pods in Same Node and Same Subnet","text":"<p>Internal logical switches exchange packets directly, without access to the external network.</p> <p></p>"},{"location":"en/reference/underlay-topology/#pods-in-different-nodes-and-same-subnet","title":"Pods in Different Nodes and Same Subnet","text":"<p>Packets enter the physic switch via the node NIC and are exchanged by the physic switch.</p> <p></p>"},{"location":"en/reference/underlay-topology/#pods-in-same-node-and-different-subnets","title":"Pods in Same Node and Different Subnets","text":"<p>Packets enter the physic network via the node NIC and are exchanged and routed and forwarded by physic switches and routers.</p> <p></p> <p>Here br-provider-1 and br-provider-2 can be the same OVS bridge\uff0cmultiple subnet can share a Provider Network\u3002</p>"},{"location":"en/reference/underlay-topology/#pods-in-different-nodes-and-different-subnets","title":"Pods in Different Nodes and Different Subnets","text":"<p>Packets enter the physic network via the node NIC and are exchanged and routed and forwarded by physic switches and routers.</p> <p></p>"},{"location":"en/reference/underlay-topology/#access-to-external","title":"Access to External","text":"<p>Packets enter the physic network via the node NIC and are exchanged and routed and forwarded by physic switches and routers.</p> <p></p> <p>The communication between nodes and Pods follows the same logic.</p>"},{"location":"en/reference/underlay-topology/#overview-without-vlan-tag","title":"Overview without Vlan Tag","text":""},{"location":"en/reference/underlay-topology/#overview-with-vlan-tag","title":"Overview with Vlan Tag","text":""},{"location":"en/reference/underlay-topology/#pod-visit-service-ip","title":"Pod visit Service IP","text":"<p>Kube-OVN configures load balancing for each Kubernetes Service on a logical switch on each subnet. When a Pod accesses other Pods by accessing the Service IP, a network packet is constructed with the Service IP as the destination address and the MAC address of the gateway as the destination MAC address. After the network packet enters the logical switch, load balancing will intercept and DNAT the network packet to modify the destination IP and port to the IP and port of one of the Endpoint corresponding to the Service. Since the logical switch does not modify the Layer 2 destination MAC address of the network packet, the network packet will still be delivered to the physic gateway after entering the physic switch, and the physic gateway will be required to forward the network packet.</p>"},{"location":"en/reference/underlay-topology/#service-backend-is-the-same-node-and-same-subnet-pod","title":"Service Backend is the Same Node and Same Subnet Pod","text":""},{"location":"en/reference/underlay-topology/#service-backend-is-the-same-node-and-different-subnets-pod","title":"Service Backend is the Same Node and Different Subnets Pod","text":"<p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/start/one-step-install/","title":"One-Click Installation","text":"<p>Kube-OVN provides a one-click installation script to help you quickly install a highly available, production-ready Kube-OVN container network with Overlay networking by default.</p> <p>Helm Chart installation is supported since Kube-OVN v1.12.0, and the default deployment is Overlay networking.</p> <p>If you need Underlay/Vlan networking as the default container network\uff0cplease read Underlay Installation</p> <p>Before installation please read Prerequisites first to make sure the environment is ready.</p>"},{"location":"en/start/one-step-install/#script-installation","title":"Script Installation","text":""},{"location":"en/start/one-step-install/#download-the-installation-script","title":"Download the installation script","text":"<p>We recommend using the stable release version for production environments, please use the following command to download:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>If you are interested in the latest features of the master branch, please use the following command to download:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre>"},{"location":"en/start/one-step-install/#modify-configuration-options","title":"Modify Configuration Options","text":"<p>Open the script using the editor and change the following variables to the expected:</p> <pre><code>REGISTRY=\"kubeovn\"                     # Image Repo \nVERSION=\"v1.13.0\"                      # Image Tag\nPOD_CIDR=\"10.16.0.0/16\"                # Default subnet CIDR don't overlay with SVC/NODE/JOIN CIDR\nSVC_CIDR=\"10.96.0.0/12\"                # Be consistent with apiserver's service-cluster-ip-range\nJOIN_CIDR=\"100.64.0.0/16\"              # Pod/Host communication Subnet CIDR, don't overlay with SVC/NODE/POD CIDR\nLABEL=\"node-role.kubernetes.io/master\" # The node label to deploy OVN DB\nIFACE=\"\"                               # The name of the host NIC used by the container network, or if empty use the NIC that host Node IP in Kubernetes\nTUNNEL_TYPE=\"geneve\"                   # Tunnel protocol\uff0cavailable options: geneve, vxlan or stt. stt requires compilation of ovs kernel module\n</code></pre> <p>You can also use regular expression to math NIC names\uff0csuch as <code>IFACE=enp6s0f0,eth.*</code>.</p>"},{"location":"en/start/one-step-install/#run-the-script","title":"Run the Script","text":"<p><code>bash install.sh</code></p> <p>Wait Kube-OVN ready.</p>"},{"location":"en/start/one-step-install/#helm-chart-installation","title":"Helm Chart Installation","text":"<p>Since the installation of Kube-OVN requires setting some parameters, to install Kube-OVN using Helm, you need to follow the steps below.</p>"},{"location":"en/start/one-step-install/#view-the-node-ip-address","title":"View the node IP address","text":"<pre><code>$ kubectl get node -o wide\nNAME                     STATUS     ROLES           AGE   VERSION   INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION      CONTAINER-RUNTIME\nkube-ovn-control-plane   NotReady   control-plane   20h   v1.26.0   172.18.0.3    &lt;none&gt;        Ubuntu 22.04.1 LTS   5.10.104-linuxkit   containerd://1.6.9\nkube-ovn-worker          NotReady   &lt;none&gt;          20h   v1.26.0   172.18.0.2    &lt;none&gt;        Ubuntu 22.04.1 LTS   5.10.104-linuxkit   containerd://1.6.9\n</code></pre>"},{"location":"en/start/one-step-install/#remove-cluster-master-node-taint","title":"Remove cluster master node taint","text":"<pre><code>$ kubectl taint node kube-ovn-control-plane node-role.kubernetes.io/control-plane:NoSchedule-\nnode/kube-ovn-control-plane untainted\n</code></pre> <p>This step can be skipped if you are sure that you do not need to schedule the pod at the master node.</p>"},{"location":"en/start/one-step-install/#add-label-to-node","title":"Add label to node","text":"<pre><code>$ kubectl label node -lbeta.kubernetes.io/os=linux kubernetes.io/os=linux --overwrite\nnode/kube-ovn-control-plane not labeled\nnode/kube-ovn-worker not labeled\n\n$ kubectl label node -lnode-role.kubernetes.io/control-plane kube-ovn/role=master --overwrite\nnode/kube-ovn-control-plane labeled\n\n# The following labels are used for the installation of dpdk images and can be ignored in non-dpdk cases\n$ kubectl label node -lovn.kubernetes.io/ovs_dp_type!=userspace ovn.kubernetes.io/ovs_dp_type=kernel --overwrite\nnode/kube-ovn-control-plane labeled\nnode/kube-ovn-worker labeled\n</code></pre>"},{"location":"en/start/one-step-install/#add-helm-repo-information","title":"Add Helm Repo information","text":"<pre><code>$ helm repo add kubeovn https://kubeovn.github.io/kube-ovn/\n\"kubeovn\" has been added to your repositories\n\n$ helm repo list\nNAME            URL\nkubeovn         https://kubeovn.github.io/kube-ovn/\n\n$ helm search repo kubeovn\nNAME                CHART VERSION   APP VERSION DESCRIPTION\nkubeovn/kube-ovn    0.1.0           1.12.0      Helm chart for Kube-OVN\n</code></pre>"},{"location":"en/start/one-step-install/#run-helm-install-to-install-kube-ovn","title":"Run helm install to install Kube-OVN","text":"<p>The Node0IP, Node1IP, and Node2IP parameters are the IP addresses of the cluster master nodes, respectively. For other parameters, you can refer to the variable definitions in the values.yaml file.</p> <pre><code># Single master node environment install\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=${Node0IP}\n\n# Using the node information above as an example, execute the install command\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=172.18.0.3\nNAME: kube-ovn\nLAST DEPLOYED: Fri Mar 31 12:43:43 2023\nNAMESPACE: default\nSTATUS: deployed\nREVISION: 1\nTEST SUITE: None\n\n# Highly Available Cluster Installation\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=${Node0IP}\\,${Node1IP}\\,${Node2IP}\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/start/prepare/","title":"Prerequisites","text":"<p>Kube-OVN is a CNI-compliant network system that depends on the Kubernetes environment and the corresponding kernel network module for its operation. Below are the operating system and software versions tested, the environment configuration and the ports that need to be opened.</p>"},{"location":"en/start/prepare/#software-version","title":"Software Version","text":"<ul> <li>Kubernetes &gt;= 1.23.</li> <li>Docker &gt;= 1.12.6, Containerd &gt;= 1.3.4.</li> <li>OS: CentOS 7/8, Ubuntu 16.04/18.04/20.04.</li> <li>For other Linux distributions, please make sure <code>geneve</code>, <code>openvswitch</code>, <code>ip_tables</code> and <code>iptable_nat</code> kernel modules exist.</li> </ul> <p>Attention\uff1a</p> <ol> <li>For CentOS kernel version 3.10.0-862 bug exists in <code>netfilter</code> modules that lead Kube-OVN embed nat and lb failure.Please update kernel and check Floating IPs broken after kernel upgrade to Centos/RHEL 7.5 - DNAT not working.</li> <li>Kernel version 4.18.0-372.9.1.el8.x86_64 in Rocky Linux 8.6 has a TCP connection problem TCP connection failed in Rocky Linux 8.6\uff0cplease update kernel to 4.18.0-372.13.1.el8_6.x86_64 or later\u3002</li> <li>For kernel version 4.4, the related <code>openvswitch</code> module has some issues for ct\uff0cplease update kernel version or manually compile <code>openvswitch</code> kernel module.</li> <li>When building Geneve tunnel IPv6 in kernel should be enabled\uff0ccheck the kernel bootstrap options with <code>cat /proc/cmdline</code>.Check Geneve tunnels don't work when ipv6 is disabled for the detail bug info.</li> </ol>"},{"location":"en/start/prepare/#environment-setup","title":"Environment Setup","text":"<ul> <li>Kernel should enable IPv6, if kernel bootstrap options contain <code>ipv6.disable=1</code>, it should be set to <code>0</code>.</li> <li><code>kube-proxy</code> works, Kube-OVN can visit <code>kube-apiserver</code> from Service ClusterIP.</li> <li>Make sure kubelet enabled <code>CNI</code> and find cni-bin and cni-conf in default directories, kubelet bootstrap options should contain <code>--network-plugin=cni --cni-bin-dir=/opt/cni/bin --cni-conf-dir=/etc/cni/net.d</code>.</li> <li>Make sure no other CNI installed or has been removed\uff0ccheck if any config files still exist in<code>/etc/cni/net.d/</code>.</li> </ul>"},{"location":"en/start/prepare/#ports-need-open","title":"Ports Need Open","text":"Component Port Usage ovn-central 6641/tcp, 6642/tcp, 6643/tcp, 6644/tcp ovn-db and raft server listen ports ovs-ovn Geneve 6081/udp, STT 7471/tcp, Vxlan 4789/udp tunnel ports kube-ovn-controller 10660/tcp metrics port kube-ovn-daemon 10665/tcp metrics port kube-ovn-monitor 10661/tcp metrics port <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/start/sealos-install/","title":"One-Click Deployment of Kubernetes and Kube-OVN with sealos","text":"<p>sealos, a distribution of Kubernetes, helps users quickly initialize a container cluster from scratch. By using sealos, users can deploy a Kubernetes cluster with Kube-OVN installed in minutes with a single command.</p>"},{"location":"en/start/sealos-install/#download-sealos","title":"Download sealos","text":"AMD64 ARM64 <pre><code>wget https://github.com/labring/sealos/releases/download/v4.0.0/sealos_4.0.0_linux_amd64.tar.gz \\\n  &amp;&amp; tar zxvf sealos_4.0.0_linux_amd64.tar.gz sealos &amp;&amp; chmod +x sealos &amp;&amp; mv sealos /usr/bin\n</code></pre> <pre><code>wget https://github.com/labring/sealos/releases/download/v4.0.0/sealos_4.0.0_linux_arm64.tar.gz \\\n  &amp;&amp; tar zxvf sealos_4.0.0_linux_arm64.tar.gz sealos &amp;&amp; chmod +x sealos &amp;&amp; mv sealos /usr/bin\n</code></pre>"},{"location":"en/start/sealos-install/#deploy-kubernetes-and-kube-ovn","title":"Deploy Kubernetes and Kube-OVN","text":"<pre><code>```bash\nsealos run labring/kubernetes:v1.24.3 labring/kube-ovn:v1.10.5 \\\n  --masters [masters ips seperated by comma] \\\n  --nodes [nodes ips seperated by comma] -p [your-ssh-passwd]\n```\n</code></pre>"},{"location":"en/start/sealos-install/#wait-to-finish","title":"Wait to finish","text":"<pre><code>```bash\n[Step 6/6] Finish\n\n                    ,,,,\n                    ,::,\n                   ,,::,,,,\n            ,,,,,::::::::::::,,,,,\n         ,,,::::::::::::::::::::::,,,\n       ,,::::::::::::::::::::::::::::,,\n     ,,::::::::::::::::::::::::::::::::,,\n    ,::::::::::::::::::::::::::::::::::::,\n   ,:::::::::::::,,   ,,:::::,,,::::::::::,\n ,,:::::::::::::,       ,::,     ,:::::::::,\n ,:::::::::::::,   :x,  ,::  :,   ,:::::::::,\n,:::::::::::::::,  ,,,  ,::, ,,  ,::::::::::,\n,:::::::::::::::::,,,,,,:::::,,,,::::::::::::,    ,:,   ,:,            ,xx,                            ,:::::,   ,:,     ,:: :::,    ,x\n,::::::::::::::::::::::::::::::::::::::::::::,    :x: ,:xx:        ,   :xx,                          :xxxxxxxxx, :xx,   ,xx:,xxxx,   :x\n,::::::::::::::::::::::::::::::::::::::::::::,    :xxxxx:,  ,xx,  :x:  :xxx:x::,  ::xxxx:           :xx:,  ,:xxx  :xx, ,xx: ,xxxxx:, :x\n,::::::::::::::::::::::::::::::::::::::::::::,    :xxxxx,   :xx,  :x:  :xxx,,:xx,:xx:,:xx, ,,,,,,,,,xxx,    ,xx:   :xx:xx:  ,xxx,:xx::x\n,::::::,,::::::::,,::::::::,,:::::::,,,::::::,    :x:,xxx:  ,xx,  :xx  :xx:  ,xx,xxxxxx:, ,xxxxxxx:,xxx:,  ,xxx,    :xxx:   ,xxx, :xxxx\n,::::,    ,::::,   ,:::::,   ,,::::,    ,::::,    :x:  ,:xx,,:xx::xxxx,,xxx::xx: :xx::::x: ,,,,,,   ,xxxxxxxxx,     ,xx:    ,xxx,  :xxx\n,::::,    ,::::,    ,::::,    ,::::,    ,::::,    ,:,    ,:,  ,,::,,:,  ,::::,,   ,:::::,            ,,:::::,        ,,      :x:    ,::\n,::::,    ,::::,    ,::::,    ,::::,    ,::::,\n ,,,,,    ,::::,    ,::::,    ,::::,    ,:::,             ,,,,,,,,,,,,,\n          ,::::,    ,::::,    ,::::,    ,:::,        ,,,:::::::::::::::,\n          ,::::,    ,::::,    ,::::,    ,::::,  ,,,,:::::::::,,,,,,,:::,\n          ,::::,    ,::::,    ,::::,     ,::::::::::::,,,,,\n           ,,,,     ,::::,     ,,,,       ,,,::::,,,,\n                    ,::::,\n                    ,,::,\n\nThanks for choosing Kube-OVN!\nFor more advanced features, please read https://github.com/kubeovn/kube-ovn#documents\nIf you have any question, please file an issue https://github.com/kubeovn/kube-ovn/issues/new/choose\n2022-08-10T16:31:34 info succeeded in creating a new cluster, enjoy it!\n2022-08-10T16:31:34 info\n      ___           ___           ___           ___       ___           ___\n     /\\  \\         /\\  \\         /\\  \\         /\\__\\     /\\  \\         /\\  \\\n    /::\\  \\       /::\\  \\       /::\\  \\       /:/  /    /::\\  \\       /::\\  \\\n   /:/\\ \\  \\     /:/\\:\\  \\     /:/\\:\\  \\     /:/  /    /:/\\:\\  \\     /:/\\ \\  \\\n  _\\:\\~\\ \\  \\   /::\\~\\:\\  \\   /::\\~\\:\\  \\   /:/  /    /:/  \\:\\  \\   _\\:\\~\\ \\  \\\n /\\ \\:\\ \\ \\__\\ /:/\\:\\ \\:\\__\\ /:/\\:\\ \\:\\__\\ /:/__/    /:/__/ \\:\\__\\ /\\ \\:\\ \\ \\__\\\n \\:\\ \\:\\ \\/__/ \\:\\~\\:\\ \\/__/ \\/__\\:\\/:/  / \\:\\  \\    \\:\\  \\ /:/  / \\:\\ \\:\\ \\/__/\n  \\:\\ \\:\\__\\    \\:\\ \\:\\__\\        \\::/  /   \\:\\  \\    \\:\\  /:/  /   \\:\\ \\:\\__\\\n   \\:\\/:/  /     \\:\\ \\/__/        /:/  /     \\:\\  \\    \\:\\/:/  /     \\:\\/:/  /\n    \\::/  /       \\:\\__\\         /:/  /       \\:\\__\\    \\::/  /       \\::/  /\n     \\/__/         \\/__/         \\/__/         \\/__/     \\/__/         \\/__/\n\n                  Website :https://www.sealos.io/\n                  Address :github.com/labring/sealos\n```\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/start/underlay/","title":"Underlay Installation","text":"<p>By default, the default subnet uses Geneve to encapsulate cross-host traffic, and build an overlay network on top of the infrastructure.</p> <p>For the case that you want the container network to use the physical network address directly, you can set the default subnet of Kube-OVN to work in Underlay mode, which can directly assign the address resources in the physical network to the containers, achieving better performance and connectivity with the physical network.</p> <p></p>"},{"location":"en/start/underlay/#limitation","title":"Limitation","text":"<p>Since the container network in this mode uses physical network directly for L2 packet forwarding, L3 functions such as SNAT/EIP, distributed gateway/centralized gateway in Overlay mode cannot be used. VPC level isolation is also not available for underlay subnet.</p>"},{"location":"en/start/underlay/#comparison-with-macvlan","title":"Comparison with Macvlan","text":"<p>The Underlay mode of Kube-OVN is very similar to the Macvlan, with the following major differences in functionality and performance:</p> <ol> <li>Macvlan performs better in terms of throughput and latency performance metrics due to its shorter kernel path and the fact that it does not require OVS for packet processing.</li> <li>Kube-OVN provides arp-proxy functionality through flow tables to mitigate the risk of arp broadcast storms on large-scale networks.</li> <li>Since Macvlan works at the bottom of the kernel and bypasses the host netfilter, Service and NetworkPolicy functionality requires additional development.    Kube-OVN provides Service and NetworkPolicy capabilities through the OVS flow table.</li> <li>Kube-OVN Underlay mode provides additional features such as address management, fixed IP and QoS compared to Macvlan.</li> </ol>"},{"location":"en/start/underlay/#environment-requirements","title":"Environment Requirements","text":"<p>In Underlay mode, the OVS will bridge a node NIC to the OVS bridge and send packets directly through that node NIC, relying on the underlying network devices for L2/L3 level forwarding capabilities. You need to configure the corresponding gateway, Vlan and security policy in the underlying network device in advance.</p> <ol> <li>For OpenStack VM environments, you need to turn off <code>PortSecurity</code> on the corresponding network port.</li> <li>For VMware vSwitch networks, <code>MAC Address Changes</code>, <code>Forged Transmits</code> and <code>Promiscuous Mode Operation</code> should be set to <code>allow</code>.</li> <li>For Hyper-V virtualization,  <code>MAC Address Spoofing</code> should be enabled in VM nic advanced features.</li> <li>Public clouds, such as AWS, GCE, AliCloud, etc., do not support user-defined Mac, so they cannot support Underlay mode network. In this scenario, if you want to use Underlay, it is recommended to use the VPC-CNI provided by the corresponding public cloud vendor..</li> <li>The network interface that is bridged into ovs can not be type of Linux Bridge.</li> </ol> <p>For management and container networks using the same NIC, Kube-OVN will transfer the NIC's Mac address, IP address, route, and MTU to the corresponding OVS Bridge to support single NIC deployment of Underlay networks. OVS Bridge name format is <code>br-PROVIDER_NAME</code>\uff0c<code>PROVIDER_NAME</code> is the name of <code>ProviderNetwork</code> (Default: provider).</p>"},{"location":"en/start/underlay/#specify-network-mode-when-deploying","title":"Specify Network Mode When Deploying","text":"<p>This deployment mode sets the default subnet to Underlay mode, and all Pods with no subnet specified will run in the Underlay network by default.</p>"},{"location":"en/start/underlay/#download-script","title":"Download Script","text":"<pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre>"},{"location":"en/start/underlay/#modify-configuration-options","title":"Modify Configuration Options","text":"<pre><code>ENABLE_ARP_DETECT_IP_CONFLICT # disable vlan arp conflict detection if necessary\nNETWORK_TYPE                  # set to vlan\nVLAN_INTERFACE_NAME           # set to the NIC that carries the Underlay traffic, e.g. eth1\nVLAN_ID                       # The VLAN Tag need to be added\uff0cif set 0 no vlan tag will be added\nPOD_CIDR                      # The Underlay network CIDR\uff0c e.g. 192.168.1.0/24\nPOD_GATEWAY                   # Underlay physic gateway address, e.g. 192.168.1.1\nEXCLUDE_IPS                   # Exclude ranges to avoid conflicts between container network and IPs already in use on the physical network, e.g. 192.168.1.1..192.168.1.100\nENABLE_LB                     # If Underlay Subnet needs to visit Service set it to true\nEXCHANGE_LINK_NAME            # If swap the names of the OVS bridge and the bridge interface under the default provider-network. Default to false.\nLS_DNAT_MOD_DL_DST            # If DNAT translate MAC addresses to accelerate service access. Default to true.\n</code></pre>"},{"location":"en/start/underlay/#run-the-script","title":"Run the Script","text":"<pre><code>bash install.sh\n</code></pre>"},{"location":"en/start/underlay/#dynamically-create-underlay-networks-via-crd","title":"Dynamically Create Underlay Networks via CRD","text":"<p>This approach dynamically creates an Underlay subnet that Pod can use after installation.</p>"},{"location":"en/start/underlay/#create-providernetwork","title":"Create ProviderNetwork","text":"<p>ProviderNetwork provides the abstraction of host NIC to physical network mapping, unifies the management of NICs belonging to the same network, and solves the configuration problems in complex environments with multiple NICs on the same machine, inconsistent NIC names and inconsistent corresponding Underlay networks.</p> <p>Create ProviderNetwork as below:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: net1\nspec:\n  defaultInterface: eth1\n  customInterfaces:\n    - interface: eth2\n      nodes:\n        - node1\n  excludeNodes:\n    - node2\n</code></pre> <p>Note: The length of the ProviderNetwork resource name must not exceed 12.</p> <ul> <li><code>defaultInterface</code>: The default node NIC name. When the ProviderNetwork is successfully created, an OVS bridge named br-net1 (in the format <code>br-NAME</code>) is created in each node (except excludeNodes) and the specified node NIC is bridged to this bridge.</li> <li><code>customInterfaces</code>: Optionally, you can specify the NIC to be used for a specific node.</li> <li><code>excludeNodes</code>: Optional, to specify nodes that do not bridge the NIC. Nodes in this list will be added with the <code>net1.provider-network.ovn.kubernetes.io/exclude=true</code> tag.</li> </ul> <p>Other nodes will be added with the following tags:</p> Key Value Description net1.provider-network.ovn.kubernetes.io/ready true bridge work finished, ProviderNetwork is ready on this node net1.provider-network.ovn.kubernetes.io/interface eth1 The name of the bridged NIC in the node. net1.provider-network.ovn.kubernetes.io/mtu 1500 MTU of bridged NIC in node <p>If an IP has been configured on the node NIC, the IP address and the route on the NIC are transferred to the corresponding OVS bridge.</p>"},{"location":"en/start/underlay/#create-vlan","title":"Create VLAN","text":"<p>Vlan provides an abstraction to bind Vlan Tag and ProviderNetwork.</p> <p>Create a VLAN as below:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan1\nspec:\n  id: 0\n  provider: net1\n</code></pre> <ul> <li><code>id</code>: VLAN ID/Tag\uff0cKube-OVN will add this Vlan tag to traffic, if set 0, no tag is added. the vlan tag applies to a localnet port.</li> <li><code>provider</code>: The name of ProviderNetwork. Multiple VLAN can use a same ProviderNetwork.</li> </ul>"},{"location":"en/start/underlay/#create-subnet","title":"Create Subnet","text":"<p>Bind Vlan to a Subnet as below\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n   name: subnet1\nspec:\n   protocol: IPv4\n   cidrBlock: 172.17.0.0/16\n   gateway: 172.17.0.1\n   vlan: vlan1\n</code></pre> <p>Simply specify the value of <code>vlan</code> as the name of the VLAN to be used. Multiple subnets can refer to the same VLAN.</p>"},{"location":"en/start/underlay/#create-pod","title":"Create Pod","text":"<p>You can create containers in the normal way, check whether the container IP is in the specified range and whether the container can interoperate with the physical network.</p> <p>For fixed IP requirements, please refer to Fixed Addresses</p>"},{"location":"en/start/underlay/#logical-gateway","title":"Logical Gateway","text":"<p>For cases where no gateway exists in the physical network, Kube-OVN supports the use of logical gateways configured in the subnet in Underlay mode. To use this feature, set <code>spec.logicalGateway</code> to <code>true</code> for the subnet:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n   name: subnet1\nspec:\n   protocol: IPv4\n   cidrBlock: 172.17.0.0/16\n   gateway: 172.17.0.1\n   vlan: vlan1\n   logicalGateway: true\n</code></pre> <p>When this feature is turned on, the Pod does not use an external gateway, but a Logical Router created by Kube-OVN to forward cross-subnet communication.</p>"},{"location":"en/start/underlay/#interconnection-of-underlay-and-overlay-networks","title":"Interconnection of Underlay and Overlay Networks","text":"<p>If a cluster has both Underlay and Overlay subnets, by default, Pods in the Overlay subnet can access the Pod IPs in the Underlay subnet via a gateway using NAT. From the perspective of Pods in the Underlay subnet, the addresses in the Overlay subnet are external, and require the underlying physical device to forward, but the underlying physical device does not know the addresses in the Overlay subnet and cannot forward. Therefore, Pods in the Underlay subnet cannot access Pods in the Overlay subnet directly via Pod IPs.</p> <p>If you need to enable communication between Underlay and Overlay networks, you need to set the <code>u2oInterconnection</code> of the subnet to <code>true</code>. In this case, Kube-OVN will use an additional Underlay IP to connect the Underlay subnet and the <code>ovn-cluster</code> logical router, and set the corresponding routing rules to enable communication. Unlike the logical gateway, this solution only connects the Underlay and Overlay subnets within Kube-OVN, and other traffic accessing the Internet will still be forwarded through the physical gateway.</p>"},{"location":"en/start/underlay/#specify-logical-gateway-ip","title":"Specify logical gateway IP","text":"<p>After the interworking function is enabled, an IP from the subnet will be randomly selected as the logical gateway. If you need to specify the logical gateway of the Underlay Subnet, you can specify the field <code>u2oInterconnectionIP</code>.</p>"},{"location":"en/start/underlay/#specify-custom-vpc-for-underlay-subnet-connection","title":"Specify custom VPC for Underlay Subnet connection","text":"<p>By default, the Underlay Subnet will communicate with the Overlay Subnet on the default VPC. If you want to specify to communicate with a certain VPC, after setting <code>u2oInterconnection</code> to <code>true</code>, specify the <code>subnet.spec.vpc</code> field as the name of the VPC.</p>"},{"location":"en/start/underlay/#notice","title":"Notice","text":"<p>If you have an IP address configured on the network card of the node you are using, and the operating system configures the network using Netplan (such as Ubuntu), it is recommended that you set the renderer of Netplan to NetworkManager and configure a static IP address for the node's network card (disable DHCP).</p> <pre><code>network:\n  renderer: NetworkManager\n  ethernets:\n    eth0:\n      dhcp4: no\n      addresses:\n        - 172.16.143.129/24\n  version: 2\n</code></pre> <p>If you want to modify the IP or routing configuration of the network card, you need to execute the following commands after modifying the Netplan configuration:</p> <pre><code>netplan generate\n\nnmcli connection reload netplan-eth0\nnmcli device set eth0 managed yes\n</code></pre> <p>After executing the above commands, Kube-OVN will transfer the IP and routing from the network card to the OVS bridge.</p> <p>If your operating system manages the network using NetworkManager (such as CentOS), you need to execute the following command after modifying the network card configuration:</p> <pre><code>nmcli connection reload eth0\nnmcli device set eth0 managed yes\nnmcli -t -f GENERAL.STATE device show eth0 | grep -qw unmanaged || nmcli device reapply eth0\n</code></pre> <p>Notice\uff1aIf the host nic's MAC is changed, Kube-OVN will not change the OVS bridge's MAC unless kube-ovn-cni is restarted.</p>"},{"location":"en/start/underlay/#known-issues","title":"Known Issues","text":""},{"location":"en/start/underlay/#when-the-physical-network-is-enabled-with-hairpin-pod-network-is-abnormal","title":"When the physical network is enabled with hairpin, Pod network is abnormal","text":"<p>When physical networks enable hairpin or similar behaviors, problems such as gateway check failure when creating Pods and abnormal network communication of Pods may occur. This is because the default MAC learning function of OVS bridge does not support this kind of network environment.</p> <p>To solve this problem, it is necessary to turn off hairpin (or modify the relevant configuration of physical network), or update the Kube-OVN version.</p>"},{"location":"en/start/underlay/#when-there-are-a-large-number-of-pods-gateway-check-for-new-pods-fails","title":"When there are a large number of Pods, gateway check for new Pods fails","text":"<p>If there are a large number of Pods running on the same node (more than 300), it may cause packet loss due to the OVS flow table resubmit times exceeding the upper limit of ARP broadcast packets.</p> <pre><code>2022-11-13T08:43:46.782Z|00222|ofproto_dpif_upcall(handler5)|WARN|Flow: arp,in_port=331,vlan_tci=0x0000,dl_src=00:00:00:25:eb:39,dl_dst=ff:ff:ff:ff:ff:ff,arp_spa=10.213.131.240,arp_tpa=10.213.159.254,arp_op=1,arp_sha=00:00:00:25:eb:39,arp_tha=ff:ff:ff:ff:ff:ff\n\nbridge(\"br-int\")\n----------------\n 0. No match.\n     &gt;&gt;&gt;&gt; received packet on unknown port 331 &lt;&lt;&lt;&lt;\n    drop\n\nFinal flow: unchanged\nMegaflow: recirc_id=0,eth,arp,in_port=331,dl_src=00:00:00:25:eb:39\nDatapath actions: drop\n2022-11-13T08:44:34.077Z|00224|ofproto_dpif_xlate(handler5)|WARN|over 4096 resubmit actions on bridge br-int while processing arp,in_port=13483,vlan_tci=0x0000,dl_src=00:00:00:59:ef:13,dl_dst=ff:ff:ff:ff:ff:ff,arp_spa=10.213.152.3,arp_tpa=10.213.159.254,arp_op=1,arp_sha=00:00:00:59:ef:13,arp_tha=ff:ff:ff:ff:ff:ff\n</code></pre> <p>To solve this issue, modify the OVN NB option <code>bcast_arp_req_flood</code> to <code>false</code>:</p> <pre><code>kubectl ko nbctl set NB_Global . options:bcast_arp_req_flood=false\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"en/start/uninstall/","title":"Uninstall","text":"<p>If you need to remove the Kube-OVN and replace it with another network plugin, please follow the steps below to remove all the corresponding Kube-OVN component and OVS configuration to avoid interference with other network plugins.</p> <p>Feel free to contact us with an Issue to give us feedback on why you don't use Kube-OVN to help us improve it.</p>"},{"location":"en/start/uninstall/#delete-resource-in-kubernetes","title":"Delete Resource in Kubernetes","text":"<p>Download and run the script below to delete resource created in Kubernetes:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/cleanup.sh\nbash cleanup.sh\n</code></pre>"},{"location":"en/start/uninstall/#cleanup-config-and-logs-on-every-node","title":"Cleanup Config and Logs on Every Node","text":"<p>Run the following commands on each node to clean up the configuration retained by ovsdb and openvswitch:</p> <pre><code>rm -rf /var/run/openvswitch\nrm -rf /var/run/ovn\nrm -rf /etc/origin/openvswitch/\nrm -rf /etc/origin/ovn/\nrm -rf /etc/cni/net.d/00-kube-ovn.conflist\nrm -rf /etc/cni/net.d/01-kube-ovn.conflist\nrm -rf /var/log/openvswitch\nrm -rf /var/log/ovn\nrm -fr /var/log/kube-ovn\n</code></pre>"},{"location":"en/start/uninstall/#reboot-node","title":"Reboot Node","text":"<p>Reboot the machine to ensure that the corresponding NIC information and iptable/ipset rules are cleared to avoid the interference with other network plugins:</p> <pre><code>reboot\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"","title":"Kube-OVN","text":"<p>Kube-OVN \u200b\u662f\u200b\u4e00\u6b3e\u200b CNCF \u200b\u65d7\u4e0b\u200b\u7684\u200b\u4f01\u4e1a\u7ea7\u200b\u4e91\u200b\u539f\u751f\u200b\u7f51\u7edc\u200b\u7f16\u6392\u200b\u7cfb\u7edf\u200b\uff0c\u200b\u5c06\u200b SDN \u200b\u7684\u200b\u80fd\u529b\u200b\u548c\u200b\u4e91\u200b\u539f\u751f\u200b\u7ed3\u5408\u200b\uff0c \u200b\u63d0\u4f9b\u200b\u4e30\u5bcc\u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u6781\u81f4\u200b\u7684\u200b\u6027\u80fd\u200b\u4ee5\u53ca\u200b\u826f\u597d\u200b\u7684\u200b\u53ef\u200b\u8fd0\u7ef4\u6027\u200b\u3002</p> <p>\u200b\u4e30\u5bcc\u200b\u7684\u200b\u529f\u80fd\u200b\uff1a</p> <p>\u200b\u5982\u679c\u200b\u4f60\u200b\u6000\u5ff5\u200b SDN \u200b\u9886\u57df\u200b\u4e30\u5bcc\u200b\u7684\u200b\u7f51\u7edc\u200b\u80fd\u529b\u200b\u5374\u200b\u5728\u200b\u4e91\u200b\u539f\u751f\u200b\u9886\u57df\u200b\u82e6\u82e6\u200b\u8ffd\u5bfb\u200b\u800c\u200b\u4e0d\u5f97\u200b\uff0c\u200b\u90a3\u4e48\u200b Kube-OVN \u200b\u5c06\u200b\u662f\u200b\u4f60\u200b\u7684\u200b\u6700\u4f73\u200b\u9009\u62e9\u200b\u3002</p> <p>\u200b\u501f\u52a9\u200b OVS/OVN \u200b\u5728\u200b SDN \u200b\u9886\u57df\u200b\u6210\u719f\u200b\u7684\u200b\u80fd\u529b\u200b\uff0cKube-OVN \u200b\u5c06\u200b\u7f51\u7edc\u200b\u865a\u62df\u5316\u200b\u7684\u200b\u4e30\u5bcc\u200b\u529f\u80fd\u200b\u5e26\u5165\u200b\u4e91\u200b\u539f\u751f\u200b\u9886\u57df\u200b\u3002\u200b\u76ee\u524d\u200b\u5df2\u200b\u652f\u6301\u200b\u5b50\u7f51\u200b\u7ba1\u7406\u200b\uff0c \u200b\u9759\u6001\u200b IP \u200b\u5206\u914d\u200b\uff0c\u200b\u5206\u5e03\u5f0f\u200b/\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0cUnderlay/Overlay \u200b\u6df7\u5408\u200b\u7f51\u7edc\u200b\uff0c VPC \u200b\u591a\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\uff0c\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u7f51\u7edc\u200b\uff0cQoS \u200b\u7ba1\u7406\u200b\uff0c \u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b\uff0cACL \u200b\u7f51\u7edc\u200b\u63a7\u5236\u200b\uff0c\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\uff0cARM \u200b\u652f\u6301\u200b\uff0c Windows \u200b\u652f\u6301\u200b\u7b49\u200b\u8bf8\u591a\u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u6781\u81f4\u200b\u7684\u200b\u6027\u80fd\u200b\uff1a</p> <p>\u200b\u5982\u679c\u200b\u4f60\u200b\u62c5\u5fc3\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u4f1a\u200b\u5e26\u6765\u200b\u989d\u5916\u200b\u7684\u200b\u6027\u80fd\u200b\u635f\u8017\u200b\uff0c\u200b\u90a3\u4e48\u200b\u6765\u770b\u200b\u4e00\u4e0b\u200b Kube-OVN \u200b\u662f\u200b\u5982\u4f55\u200b\u6781\u81f4\u200b\u7684\u200b\u4f18\u5316\u200b\u6027\u80fd\u200b\u3002</p> <p>\u200b\u5728\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\uff0c\u200b\u901a\u8fc7\u200b\u4e00\u7cfb\u5217\u200b\u5bf9\u6d41\u200b\u8868\u200b\u548c\u200b\u5185\u6838\u200b\u7684\u200b\u7cbe\u5fc3\u200b\u4f18\u5316\u200b\uff0c\u200b\u5e76\u200b\u501f\u52a9\u200b eBPF\u3001DPDK\u3001\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b\u5378\u8f7d\u200b\u7b49\u200b\u65b0\u5174\u200b\u6280\u672f\u200b\uff0c Kube-OVN \u200b\u53ef\u4ee5\u200b\u5728\u200b\u5ef6\u8fdf\u200b\u548c\u200b\u541e\u5410\u91cf\u200b\u7b49\u200b\u65b9\u9762\u200b\u7684\u200b\u6307\u6807\u200b\u8fbe\u5230\u200b\u8fd1\u4f3c\u200b\u6216\u200b\u8d85\u51fa\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u6027\u80fd\u200b\u7684\u200b\u6c34\u5e73\u200b\u3002\u200b\u5728\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\uff0c\u200b\u901a\u8fc7\u200b\u5bf9\u200b OVN \u200b\u4e0a\u6e38\u200b\u6d41\u8868\u200b\u7684\u200b\u88c1\u526a\u200b\uff0c \u200b\u5404\u79cd\u200b\u7f13\u5b58\u200b\u6280\u672f\u200b\u7684\u200b\u4f7f\u7528\u200b\u548c\u200b\u8c03\u4f18\u200b\uff0cKube-OVN \u200b\u53ef\u4ee5\u200b\u652f\u6301\u200b\u5927\u89c4\u6a21\u200b\u4e0a\u5343\u200b\u8282\u70b9\u200b\u548c\u200b\u4e0a\u4e07\u200b Pod \u200b\u7684\u200b\u96c6\u7fa4\u200b\u3002</p> <p>\u200b\u6b64\u5916\u200b Kube-OVN \u200b\u8fd8\u200b\u5728\u200b\u4e0d\u65ad\u200b\u4f18\u5316\u200b CPU \u200b\u548c\u200b\u5185\u5b58\u200b\u7b49\u200b\u8d44\u6e90\u200b\u7684\u200b\u4f7f\u7528\u91cf\u200b\uff0c\u200b\u4ee5\u200b\u9002\u5e94\u200b\u8fb9\u7f18\u200b\u7b49\u200b\u8d44\u6e90\u200b\u6709\u9650\u200b\u573a\u666f\u200b\u3002</p> <p>\u200b\u826f\u597d\u200b\u7684\u200b\u53ef\u200b\u8fd0\u7ef4\u6027\u200b\uff1a</p> <p>\u200b\u5982\u679c\u200b\u4f60\u200b\u5bf9\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u8fd0\u7ef4\u200b\u5fc3\u5b58\u200b\u5fe7\u8651\u200b\uff0cKube-OVN \u200b\u5185\u7f6e\u200b\u4e86\u200b\u5927\u91cf\u200b\u7684\u200b\u5de5\u5177\u200b\u6765\u200b\u5e2e\u52a9\u200b\u4f60\u200b\u7b80\u5316\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\u3002</p> <p>Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\uff0c\u200b\u5e2e\u52a9\u200b\u7528\u6237\u200b\u8fc5\u901f\u200b\u642d\u5efa\u200b\u751f\u4ea7\u200b\u5c31\u7eea\u200b\u7684\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u3002\u200b\u540c\u65f6\u200b\u5185\u7f6e\u200b\u7684\u200b\u4e30\u5bcc\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u548c\u200b Grafana \u200b\u9762\u677f\u200b\uff0c \u200b\u53ef\u200b\u5e2e\u52a9\u200b\u7528\u6237\u200b\u5efa\u7acb\u200b\u5b8c\u5584\u200b\u7684\u200b\u76d1\u63a7\u200b\u4f53\u7cfb\u200b\u3002\u200b\u5f3a\u5927\u200b\u7684\u200b\u547d\u4ee4\u884c\u200b\u5de5\u5177\u200b\u53ef\u4ee5\u200b\u7b80\u5316\u200b\u7528\u6237\u200b\u7684\u200b\u65e5\u5e38\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\u3002\u200b\u901a\u8fc7\u200b\u548c\u200b Cilium \u200b\u7ed3\u5408\u200b\uff0c\u200b\u5229\u7528\u200b eBPF \u200b\u80fd\u529b\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b \u200b\u589e\u5f3a\u200b\u5bf9\u200b\u7f51\u7edc\u200b\u7684\u200b\u53ef\u200b\u89c2\u6d4b\u200b\u6027\u200b\u3002 \u200b\u6b64\u5916\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u7684\u200b\u80fd\u529b\u200b\u53ef\u4ee5\u200b\u65b9\u4fbf\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b\u6d41\u91cf\u200b\u76d1\u63a7\u200b\uff0c\u200b\u5e76\u200b\u548c\u200b\u4f20\u7edf\u200b\u7684\u200b NPM \u200b\u7cfb\u7edf\u200b\u5bf9\u63a5\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"contact/","title":"\u8054\u7cfb\u65b9\u5f0f","text":"<p>\u200b\u5173\u6ce8\u200b\u516c\u4f17\u200b\u53f7\u200b\u83b7\u5f97\u200b\u66f4\u200b\u591a\u200b\u6700\u65b0\u200b\u4fe1\u606f\u200b\uff0c\u200b\u8bf7\u200b\u626b\u63cf\u200b\u4e0b\u65b9\u200b\u4e8c\u7ef4\u7801\u200b:</p> <p></p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/","title":"\u4f7f\u7528\u200b eBPF \u200b\u52a0\u901f\u200b\u8282\u70b9\u200b\u5185\u200b TCP \u200b\u901a\u4fe1","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u8fb9\u7f18\u200b\u548c\u200b 5G \u200b\u7684\u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u540c\u200b\u8282\u70b9\u200b\u5185\u200b\u7684\u200b Pod \u200b\u4e4b\u95f4\u200b\u4f1a\u200b\u8fdb\u884c\u200b\u5927\u91cf\u200b\u7684\u200b TCP \u200b\u901a\u4fe1\u200b\uff0c\u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b Intel \u200b\u5f00\u6e90\u200b\u7684\u200b istio-tcpip-bypass \u200b\u9879\u76ee\u200b\uff0cPod \u200b\u53ef\u4ee5\u200b\u501f\u52a9\u200b eBPF \u200b\u7684\u200b\u80fd\u529b\u200b\u7ed5\u8fc7\u200b\u4e3b\u673a\u200b\u7684\u200b TCP/IP \u200b\u534f\u8bae\u200b\u6808\u200b\uff0c\u200b\u76f4\u63a5\u200b\u8fdb\u884c\u200b socket \u200b\u901a\u4fe1\u200b\uff0c\u200b\u4ece\u800c\u200b\u5927\u5e45\u200b\u964d\u4f4e\u200b\u5ef6\u8fdf\u200b\u5e76\u200b\u63d0\u5347\u200b\u541e\u5410\u91cf\u200b\u3002</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_1","title":"\u57fa\u672c\u539f\u7406","text":"<p>\u200b\u5728\u200b\u5f53\u524d\u200b\u7684\u200b\u5b9e\u73b0\u200b\u4e0b\u200b\uff0c\u200b\u540c\u200b\u4e3b\u673a\u200b\u7684\u200b\u4e24\u4e2a\u200b Pod \u200b\u8fdb\u884c\u200b TCP \u200b\u8fdb\u884c\u200b\u901a\u4fe1\u200b\u9700\u8981\u200b\u7ecf\u8fc7\u200b\u5927\u91cf\u200b\u7684\u200b\u7f51\u7edc\u200b\u6808\u200b\uff0c\u200b\u5305\u62ec\u200b TCP/IP, netfilter\uff0cOVS \u200b\u7b49\u200b\u5982\u4e0b\u200b\u56fe\u200b\u6240\u793a\u200b\uff1a</p> <p></p> <p>istio-tcpip-bypass \u200b\u63d2\u4ef6\u200b\u53ef\u4ee5\u200b\u81ea\u52a8\u200b\u5206\u6790\u200b\u5e76\u200b\u8bc6\u522b\u200b\u51fa\u540c\u200b\u4e3b\u673a\u200b\u5185\u200b\u7684\u200b TCP \u200b\u901a\u4fe1\u200b\uff0c\u200b\u5e76\u200b\u7ed5\u8fc7\u200b\u590d\u6742\u200b\u7684\u200b\u5185\u6838\u200b\u6808\u200b\u4ece\u800c\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u8fdb\u884c\u200b socket \u200b\u95f4\u200b\u7684\u200b\u6570\u636e\u4f20\u8f93\u200b\uff0c \u200b\u6765\u200b\u964d\u4f4e\u200b\u7f51\u7edc\u200b\u6808\u200b\u5904\u7406\u200b\u5f00\u9500\u200b\uff0c\u200b\u5982\u4e0b\u200b\u56fe\u200b\u6240\u793a\u200b\uff1a</p> <p></p> <p>\u200b\u7531\u4e8e\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u53ef\u4ee5\u200b\u81ea\u52a8\u8bc6\u522b\u200b\u540c\u200b\u4e3b\u673a\u200b\u5185\u200b\u7684\u200b TCP \u200b\u901a\u4fe1\u200b\uff0c\u200b\u5e76\u200b\u8fdb\u884c\u200b\u4f18\u5316\u200b\u3002\u200b\u5728\u200b\u57fa\u4e8e\u200b\u4ee3\u7406\u200b\u6a21\u5f0f\u200b\u7684\u200b Service Mesh \u200b\u73af\u5883\u200b\u4e0b\u200b\uff0c\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u589e\u5f3a\u200b Service Mesh \u200b\u7684\u200b\u6027\u80fd\u200b\u8868\u73b0\u200b\u3002</p> <p>\u200b\u66f4\u200b\u591a\u200b\u6280\u672f\u200b\u5b9e\u73b0\u200b\u7ec6\u8282\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Tanzu Service Mesh Acceleration using eBPF\u3002</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_2","title":"\u73af\u5883\u200b\u51c6\u5907","text":"<p>eBPF \u200b\u5bf9\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u6709\u200b\u4e00\u5b9a\u200b\u8981\u6c42\u200b\uff0c\u200b\u63a8\u8350\u200b\u4f7f\u7528\u200b Ubuntu 20.04 \u200b\u548c\u200b Linux 5.4.0-74-generic \u200b\u7248\u672c\u200b\u5185\u6838\u200b\u8fdb\u884c\u200b\u5b9e\u9a8c\u200b\u3002</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_3","title":"\u5b9e\u9a8c\u200b\u6b65\u9aa4","text":"<p>\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u90e8\u7f72\u200b\u4e24\u4e2a\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b Pod\uff0c\u200b\u82e5\u200b\u96c6\u7fa4\u200b\u5185\u200b\u5b58\u5728\u200b\u591a\u53f0\u200b\u673a\u5668\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b <code>nodeSelector</code>\uff1a</p> <pre><code># kubectl create deployment perf --image=kubeovn/perf:dev --replicas=2\ndeployment.apps/perf created\n# kubectl get pod -o wide\nNAME                    READY   STATUS    RESTARTS   AGE   IP           NODE     NOMINATED NODE   READINESS GATES\nperf-7697bc6ddf-b2cpv   1/1     Running   0          28s   100.64.0.3   sealos   &lt;none&gt;           &lt;none&gt;\nperf-7697bc6ddf-p2xpt   1/1     Running   0          28s   100.64.0.2   sealos   &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>\u200b\u8fdb\u5165\u200b\u5176\u4e2d\u200b\u4e00\u4e2a\u200b Pod \u200b\u5f00\u542f\u200b qperf server\uff0c\u200b\u5728\u200b\u53e6\u200b\u4e00\u4e2a\u200b Pod \u200b\u4e2d\u200b\u542f\u52a8\u200b qperf client \u200b\u8fdb\u884c\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b\uff1a</p> <pre><code># kubectl exec -it perf-7697bc6ddf-b2cpv sh\n/ # qperf\n\n# kubectl exec -it perf-7697bc6ddf-p2xpt sh\n/ # qperf -t 60 100.64.0.3 -ub -oo msg_size:1:16K:*4 -vu tcp_lat tcp_bw\n</code></pre> <p>\u200b\u90e8\u7f72\u200b istio-tcpip-bypass \u200b\u63d2\u4ef6\u200b\uff1a</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/intel/istio-tcpip-bypass/main/bypass-tcpip-daemonset.yaml\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u8fdb\u5165\u200b perf client \u200b\u5bb9\u5668\u200b\u8fdb\u884c\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b\uff1a</p> <pre><code># kubectl exec -it perf-7697bc6ddf-p2xpt sh\n/ # qperf -t 60 100.64.0.3 -ub -oo msg_size:1:16K:*4 -vu tcp_lat tcp_bw\n</code></pre>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_4","title":"\u6d4b\u8bd5\u200b\u7ed3\u679c","text":"<p>\u200b\u6839\u636e\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b TCP \u200b\u5ef6\u8fdf\u200b\u5728\u200b\u4e0d\u540c\u200b\u6570\u636e\u5305\u200b\u5927\u5c0f\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u4f1a\u200b\u6709\u200b 40% ~ 60% \u200b\u7684\u200b\u5ef6\u8fdf\u200b\u4e0b\u964d\u200b\uff0c\u200b\u5728\u200b\u6570\u636e\u5305\u200b\u5927\u4e8e\u200b 1024 \u200b\u5b57\u8282\u200b\u65f6\u200b\u541e\u5410\u91cf\u200b\u4f1a\u200b\u6709\u200b 40% ~ 80% \u200b\u63d0\u5347\u200b\u3002</p> Packet Size (byte) eBPF tcp_lat (us) Default tcp_lat (us) eBPF tcp_bw (Mb/s) Default tcp_bw(Mb/s) 1 20.2 44.5 1.36 4.27 4 20.2 48.7 5.48 16.7 16 19.6 41.6 21.7 63.5 64 18.8 41.3 96.8 201 256 19.2 36 395 539 1024 18.3 42.4 1360 846 4096 16.5 62.6 4460 2430 16384 20.2 58.8 9600 6900 <p>\u200b\u5728\u200b\u6d4b\u8bd5\u200b\u7684\u200b\u786c\u4ef6\u200b\u73af\u5883\u200b\u4e0b\u200b\uff0c\u200b\u6570\u636e\u5305\u200b\u5c0f\u4e8e\u200b 512 \u200b\u5b57\u8282\u200b\u65f6\u200b\uff0c\u200b\u4f7f\u7528\u200b eBPF \u200b\u4f18\u5316\u200b\u541e\u5410\u91cf\u200b\u6307\u6807\u200b\u4f1a\u200b\u4f4e\u4e8e\u200b\u9ed8\u8ba4\u200b\u914d\u7f6e\u200b\u4e0b\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u3002 \u200b\u8be5\u200b\u60c5\u51b5\u200b\u53ef\u80fd\u200b\u548c\u200b\u9ed8\u8ba4\u200b\u914d\u7f6e\u200b\u4e0b\u200b\u7f51\u5361\u200b\u5f00\u542f\u200b TCP \u200b\u805a\u5408\u200b\u4f18\u5316\u200b\u76f8\u5173\u200b\u3002\u200b\u5982\u679c\u200b\u5e94\u7528\u200b\u573a\u666f\u200b\u5bf9\u200b\u5c0f\u5305\u200b\u541e\u5410\u91cf\u200b\u654f\u611f\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u76f8\u5e94\u200b\u73af\u5883\u200b\u4e0b\u200b \u200b\u8fdb\u884c\u200b\u6d4b\u8bd5\u200b\u5224\u65ad\u200b\u662f\u5426\u200b\u5f00\u542f\u200b eBPF \u200b\u4f18\u5316\u200b\u3002\u200b\u6211\u4eec\u200b\u4e5f\u200b\u4f1a\u200b\u540e\u7eed\u200b\u5bf9\u200b eBPF TCP \u200b\u5c0f\u5305\u200b\u573a\u666f\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u8fdb\u884c\u200b\u4f18\u5316\u200b\u3002</p>"},{"location":"advance/accelerate-intra-node-tcp-with-ebpf/#_5","title":"\u53c2\u8003\u8d44\u6599","text":"<ol> <li>istio-tcpip-bypass</li> <li>Deep Dive TCP/IP Bypass with eBPF in Service Mesh</li> <li>Tanzu Service Mesh Acceleration using eBPF</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/cilium-hubble-observe/","title":"Cilium \u200b\u7f51\u7edc\u6d41\u91cf\u200b\u89c2\u6d4b","text":"<p>Kube-OVN \u200b\u5f53\u524d\u200b\u5df2\u7ecf\u200b\u652f\u6301\u200b\u4e0e\u200b Cilium \u200b\u96c6\u6210\u200b\uff0c\u200b\u5177\u4f53\u64cd\u4f5c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Cilium \u200b\u96c6\u6210\u200b\u3002</p> <p>Cilium \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e30\u5bcc\u200b\u7684\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\u80fd\u529b\u200b\uff0c\u200b\u6d41\u91cf\u200b\u53ef\u200b\u89c2\u6d4b\u200b\u6027\u662f\u200b\u7531\u200b Hubble \u200b\u63d0\u4f9b\u200b\u7684\u200b\u3002Hubble \u200b\u53ef\u4ee5\u200b\u89c2\u5bdf\u200b\u8282\u70b9\u200b\u3001\u200b\u96c6\u7fa4\u200b\u751a\u81f3\u200b\u591a\u200b\u96c6\u7fa4\u200b\u573a\u666f\u200b\u4e0b\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u7684\u200b\u6d41\u91cf\u200b\u3002</p>"},{"location":"advance/cilium-hubble-observe/#hubble","title":"\u5b89\u88c5\u200b Hubble","text":"<p>\u200b\u9ed8\u8ba4\u200b\u7684\u200b Cilium \u200b\u96c6\u6210\u200b\u5b89\u88c5\u200b\u4e2d\u200b\uff0c\u200b\u5e76\u200b\u6ca1\u6709\u200b\u5b89\u88c5\u200b Hubble \u200b\u76f8\u5173\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u56e0\u6b64\u200b\u8981\u200b\u652f\u6301\u200b\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\uff0c\u200b\u9700\u8981\u200b\u5148\u200b\u5728\u200b\u73af\u5883\u200b\u4e0a\u200b\u8865\u5145\u200b\u5b89\u88c5\u200b Hubble\u3002</p> <p>\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff0c\u200b\u4f7f\u7528\u200b helm \u200b\u5b89\u88c5\u200b Hubble\uff1a</p> <pre><code>helm upgrade cilium cilium/cilium --version 1.11.6 \\\n   --namespace kube-system \\\n   --reuse-values \\\n   --set hubble.relay.enabled=true \\\n   --set hubble.ui.enabled=true\n</code></pre> <p>\u200b\u8865\u5145\u200b\u5b89\u88c5\u200b Hubble \u200b\u4e4b\u540e\u200b\uff0c\u200b\u6267\u884c\u200b <code>cilium status</code> \u200b\u67e5\u770b\u200b\u7ec4\u4ef6\u200b\u72b6\u6001\u200b\uff0c\u200b\u786e\u8ba4\u200b Hubble \u200b\u5b89\u88c5\u200b\u6210\u529f\u200b\u3002</p> <pre><code># cilium status\n    /\u00af\u00af\\\n /\u00af\u00af\\__/\u00af\u00af\\    Cilium:         OK\n \\__/\u00af\u00af\\__/    Operator:       OK\n /\u00af\u00af\\__/\u00af\u00af\\    Hubble:         OK\n \\__/\u00af\u00af\\__/    ClusterMesh:    disabled\n    \\__/\n\nDeployment        hubble-relay       Desired: 1, Ready: 1/1, Available: 1/1\nDeployment        cilium-operator    Desired: 2, Ready: 2/2, Available: 2/2\nDaemonSet         cilium             Desired: 2, Ready: 2/2, Available: 2/2\nDeployment        hubble-ui          Desired: 1, Ready: 1/1, Available: 1/1\nContainers:       cilium             Running: 2\n                  hubble-ui          Running: 1\n                  hubble-relay       Running: 1\n                  cilium-operator    Running: 2\nCluster Pods:     16/17 managed by Cilium\nImage versions    hubble-relay       quay.io/cilium/hubble-relay:v1.11.6@sha256:fd9034a2d04d5b973f1e8ed44f230ea195b89c37955ff32e34e5aa68f3ed675a: 1\n                  cilium-operator    quay.io/cilium/operator-generic:v1.11.6@sha256:9f6063c7bcaede801a39315ec7c166309f6a6783e98665f6693939cf1701bc17: 2\n                  cilium             quay.io/cilium/cilium:v1.11.6@sha256:f7f93c26739b6641a3fa3d76b1e1605b15989f25d06625260099e01c8243f54c: 2\n                  hubble-ui          quay.io/cilium/hubble-ui:v0.9.0@sha256:0ef04e9a29212925da6bdfd0ba5b581765e41a01f1cc30563cef9b30b457fea0: 1\n                  hubble-ui          quay.io/cilium/hubble-ui-backend:v0.9.0@sha256:000df6b76719f607a9edefb9af94dfd1811a6f1b6a8a9c537cba90bf12df474b: 1\napple@bogon cilium %\n</code></pre> <p>\u200b\u5b89\u88c5\u200b Hubble \u200b\u7ec4\u4ef6\u200b\u4e4b\u540e\u200b\uff0c\u200b\u9700\u8981\u200b\u5b89\u88c5\u200b\u547d\u4ee4\u884c\u200b\uff0c\u200b\u7528\u4e8e\u200b\u5728\u200b\u73af\u5883\u200b\u4e0a\u200b\u67e5\u770b\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002 \u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff0c\u200b\u5b89\u88c5\u200b Hubble CLI :</p> <pre><code>curl -L --fail --remote-name-all https://github.com/cilium/hubble/releases/download/v0.10.0/hubble-linux-amd64.tar.gz\nsudo tar xzvfC hubble-linux-amd64.tar.gz /usr/local/bin\n</code></pre>"},{"location":"advance/cilium-hubble-observe/#_1","title":"\u90e8\u7f72\u200b\u6d4b\u8bd5\u200b\u4e1a\u52a1","text":"<p>Cilium \u200b\u5b98\u65b9\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u4e2a\u200b\u6d41\u91cf\u200b\u6d4b\u8bd5\u200b\u7684\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\u5b98\u65b9\u200b\u90e8\u7f72\u200b\u7684\u200b\u4e1a\u52a1\u200b\u8fdb\u884c\u200b\u6d4b\u8bd5\u200b\u3002</p> <p>\u200b\u6267\u884c\u547d\u4ee4\u200b <code>cilium connectivity test</code>\uff0cCilium \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u521b\u5efa\u200b <code>cilium-test</code> \u200b\u7684\u200b Namespace\uff0c\u200b\u540c\u65f6\u200b\u5728\u200b cilium-test \u200b\u4e0b\u200b\u90e8\u7f72\u200b\u6d4b\u8bd5\u200b\u4e1a\u52a1\u200b\u3002</p> <p>\u200b\u6b63\u5e38\u200b\u90e8\u7f72\u200b\u5b8c\u540e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b cilium-test namespace \u200b\u4e0b\u200b\u7684\u200b\u8d44\u6e90\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53c2\u8003\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># kubectl get all -n cilium-test\nNAME                                  READY   STATUS    RESTARTS   AGE\npod/client-7df6cfbf7b-z5t2j           1/1     Running   0          21s\npod/client2-547996d7d8-nvgxg          1/1     Running   0          21s\npod/echo-other-node-d79544ccf-hl4gg   2/2     Running   0          21s\npod/echo-same-node-5d466d5444-ml7tc   2/2     Running   0          21s\n\nNAME                      TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE\nservice/echo-other-node   NodePort   10.109.58.126   &lt;none&gt;        8080:32269/TCP   21s\nservice/echo-same-node    NodePort   10.108.70.32    &lt;none&gt;        8080:32490/TCP   21s\n\nNAME                              READY   UP-TO-DATE   AVAILABLE   AGE\ndeployment.apps/client            1/1     1            1           21s\ndeployment.apps/client2           1/1     1            1           21s\ndeployment.apps/echo-other-node   1/1     1            1           21s\ndeployment.apps/echo-same-node    1/1     1            1           21s\n\nNAME                                        DESIRED   CURRENT   READY   AGE\nreplicaset.apps/client-7df6cfbf7b           1         1         1       21s\nreplicaset.apps/client2-547996d7d8          1         1         1       21s\nreplicaset.apps/echo-other-node-d79544ccf   1         1         1       21s\nreplicaset.apps/echo-same-node-5d466d5444   1         1         1       21s\n</code></pre>"},{"location":"advance/cilium-hubble-observe/#_2","title":"\u4f7f\u7528\u200b\u547d\u4ee4\u884c\u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u89c2\u6d4b","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\u4ec5\u200b\u63d0\u4f9b\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b Cilium \u200b\u4ee3\u7406\u200b\u89c2\u5bdf\u200b\u5230\u200b\u7684\u200b\u6d41\u91cf\u200b\u3002 \u200b\u53ef\u4ee5\u200b\u5728\u200b <code>kube-system namespace</code> \u200b\u4e0b\u200b\u7684\u200b Cilium \u200b\u4ee3\u7406\u200b pod \u200b\u4e2d\u200b\u6267\u884c\u200b <code>hubble observe</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u770b\u200b\u8be5\u200b\u8282\u70b9\u200b\u4e0a\u200b\u7684\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002</p> <pre><code># kubectl get pod -n kube-system -o wide\nNAME                                             READY   STATUS    RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES\ncilium-d6h56                                     1/1     Running   0          2d20h   172.18.0.2   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\ncilium-operator-5887f78bbb-c7sb2                 1/1     Running   0          2d20h   172.18.0.2   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\ncilium-operator-5887f78bbb-wj8gt                 1/1     Running   0          2d20h   172.18.0.3   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\ncilium-tq5xb                                     1/1     Running   0          2d20h   172.18.0.3   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\nkube-ovn-pinger-7lgk8                            1/1     Running   0          21h     10.16.0.19   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\nkube-ovn-pinger-msvcn                            1/1     Running   0          21h     10.16.0.18   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\n\n# kubectl exec -it -n kube-system cilium-d6h56 -- bash\nroot@kube-ovn-worker:/home/cilium# hubble observe --from-namespace kube-system\nJul 29 03:24:25.551: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.561: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: RST)\nJul 29 03:24:25.561: kube-system/kube-ovn-pinger-msvcn:35576 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, RST)\nJul 29 03:24:25.572: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: SYN)\nJul 29 03:24:25.572: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.651: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.661: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: RST)\nJul 29 03:24:25.661: kube-system/kube-ovn-pinger-msvcn:35578 -&gt; 172.18.0.3:6642 to-stack FORWARDED (TCP Flags: ACK, RST)\nJul 29 03:24:25.761: kube-system/kube-ovn-pinger-msvcn:52004 -&gt; 172.18.0.3:6443 to-stack FORWARDED (TCP Flags: ACK, PSH)\nJul 29 03:24:25.779: kube-system/kube-ovn-pinger-msvcn -&gt; kube-system/kube-ovn-pinger-7lgk8 to-stack FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:25.779: kube-system/kube-ovn-pinger-msvcn &lt;- kube-system/kube-ovn-pinger-7lgk8 to-endpoint FORWARDED (ICMPv4 EchoReply)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 &lt;- kube-system/hubble-relay-959988db5-zc5vv:4245 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 &lt;- kube-system/hubble-relay-959988db5-zc5vv:80 to-endpoint FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 -&gt; kube-system/hubble-relay-959988db5-zc5vv:4245 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.866: kube-system/hubble-ui-7596f7ff6f-7j6f2:55836 -&gt; kube-system/hubble-relay-959988db5-zc5vv:4245 to-endpoint FORWARDED (TCP Flags: ACK)\nJul 29 03:24:25.975: kube-system/kube-ovn-pinger-7lgk8 -&gt; kube-system/kube-ovn-pinger-msvcn to-endpoint FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:25.975: kube-system/kube-ovn-pinger-7lgk8 &lt;- kube-system/kube-ovn-pinger-msvcn to-stack FORWARDED (ICMPv4 EchoReply)\nJul 29 03:24:25.979: kube-system/kube-ovn-pinger-msvcn -&gt; 172.18.0.3 to-stack FORWARDED (ICMPv4 EchoRequest)\nJul 29 03:24:26.037: kube-system/coredns-6d4b75cb6d-lbgjg:36430 -&gt; 172.18.0.3:6443 to-stack FORWARDED (TCP Flags: ACK)\nJul 29 03:24:26.282: kube-system/kube-ovn-pinger-msvcn -&gt; 172.18.0.2 to-stack FORWARDED (ICMPv4 EchoRequest)\n</code></pre> <p>\u200b\u90e8\u7f72\u200b Hubble Relay \u200b\u540e\u200b\uff0cHubble \u200b\u53ef\u4ee5\u200b\u63d0\u4f9b\u200b\u5b8c\u6574\u200b\u7684\u200b\u96c6\u7fa4\u200b\u8303\u56f4\u200b\u7684\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\u3002</p>"},{"location":"advance/cilium-hubble-observe/#_3","title":"\u914d\u7f6e\u200b\u7aef\u53e3\u200b\u8f6c\u53d1","text":"<p>\u200b\u4e3a\u4e86\u200b\u80fd\u200b\u6b63\u5e38\u200b\u8bbf\u95ee\u200b Hubble API\uff0c\u200b\u9700\u8981\u200b\u521b\u5efa\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u5c06\u200b\u672c\u5730\u200b\u8bf7\u6c42\u200b\u8f6c\u53d1\u200b\u5230\u200b Hubble Service\u3002\u200b\u53ef\u4ee5\u200b\u6267\u884c\u200b <code>kubectl port-forward deployment/hubble-relay -n kube-system 4245:4245</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u5728\u200b\u5f53\u524d\u200b\u7ec8\u7aef\u200b\u5f00\u542f\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u3002</p> <p>\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u914d\u7f6e\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b \u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u3002</p> <p><code>kubectl port-forward</code> \u200b\u547d\u4ee4\u200b\u4e0d\u4f1a\u200b\u8fd4\u56de\u200b\uff0c\u200b\u9700\u8981\u200b\u6253\u5f00\u200b\u53e6\u200b\u4e00\u4e2a\u200b\u7ec8\u7aef\u200b\u6765\u200b\u7ee7\u7eed\u200b\u6d4b\u8bd5\u200b\u3002</p> <p>\u200b\u914d\u7f6e\u200b\u5b8c\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u4e4b\u540e\u200b\uff0c\u200b\u5728\u200b\u7ec8\u7aef\u200b\u6267\u884c\u200b <code>hubble status</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u5982\u679c\u200b\u6709\u200b\u7c7b\u4f3c\u200b\u5982\u4e0b\u200b\u8f93\u51fa\u200b\uff0c\u200b\u5219\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\u914d\u7f6e\u200b\u6b63\u786e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u547d\u4ee4\u884c\u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u89c2\u6d4b\u200b\u3002</p> <pre><code># hubble status\nHealthcheck (via localhost:4245): Ok\nCurrent/Max Flows: 8,190/8,190 (100.00%)\nFlows/s: 22.86\nConnected Nodes: 2/2\n</code></pre>"},{"location":"advance/cilium-hubble-observe/#_4","title":"\u547d\u4ee4\u884c\u200b\u89c2\u6d4b","text":"<p>\u200b\u5728\u200b\u7ec8\u7aef\u200b\u4e0a\u200b\u6267\u884c\u200b <code>hubble observe</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u770b\u200b\u96c6\u7fa4\u200b\u7684\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002 \u200b\u89c2\u6d4b\u200b\u5230\u200b\u7684\u200b cilium-test \u200b\u76f8\u5173\u200b\u7684\u200b\u6d4b\u8bd5\u200b\u6d41\u91cf\u200b\u53c2\u8003\u200b\u5982\u4e0b\u200b\uff1a </p> <p>\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u7684\u200b\u662f\u200b\uff0c <code>hubble observe</code> \u200b\u547d\u4ee4\u200b\u7684\u200b\u663e\u793a\u200b\u7ed3\u679c\u200b\uff0c\u200b\u662f\u200b\u5f53\u524d\u200b\u547d\u4ee4\u884c\u200b\u6267\u884c\u200b\u65f6\u200b\u67e5\u8be2\u200b\u5230\u200b\u7684\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002\u200b\u591a\u6b21\u200b\u6267\u884c\u547d\u4ee4\u200b\u884c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b\u5230\u200b\u4e0d\u540c\u200b\u7684\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002 \u200b\u66f4\u200b\u591a\u200b\u8be6\u7ec6\u200b\u7684\u200b\u89c2\u6d4b\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u6267\u884c\u200b <code>hubble help observe</code> \u200b\u547d\u4ee4\u200b\u67e5\u770b\u200b Hubble CLI \u200b\u7684\u200b\u8be6\u7ec6\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u3002</p>"},{"location":"advance/cilium-hubble-observe/#ui","title":"\u4f7f\u7528\u200b UI \u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u89c2\u6d4b","text":"<p>\u200b\u6267\u884c\u200b <code>cilium status</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u786e\u8ba4\u200b Hubble UI \u200b\u5df2\u7ecf\u200b\u5b89\u88c5\u200b\u6210\u529f\u200b\u3002\u200b\u5728\u200b\u7b2c\u4e8c\u6b65\u200b\u7684\u200b Hubble \u200b\u5b89\u88c5\u200b\u4e2d\u200b\uff0c\u200b\u5df2\u7ecf\u200b\u8865\u5145\u200b\u4e86\u200b UI \u200b\u7684\u200b\u5b89\u88c5\u200b\u3002</p> <p>\u200b\u6267\u884c\u547d\u4ee4\u200b <code>cilium hubble ui</code> \u200b\u53ef\u4ee5\u200b\u81ea\u52a8\u200b\u521b\u5efa\u200b\u7aef\u53e3\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u5c06\u200b <code>hubble-ui service</code> \u200b\u6620\u5c04\u200b\u5230\u200b\u672c\u5730\u200b\u7aef\u53e3\u200b\u3002 \u200b\u6b63\u5e38\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u6267\u884c\u200b\u5b8c\u200b\u547d\u4ee4\u200b\u540e\u200b\uff0c\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u6253\u5f00\u200b\u672c\u5730\u200b\u7684\u200b\u6d4f\u89c8\u5668\u200b\uff0c\u200b\u8df3\u8f6c\u200b\u5230\u200b Hubble UI \u200b\u754c\u9762\u200b\u3002\u200b\u5982\u679c\u200b\u6ca1\u6709\u200b\u81ea\u52a8\u200b\u8df3\u8f6c\u200b\uff0c\u200b\u5728\u200b\u6d4f\u89c8\u5668\u200b\u4e2d\u200b\u8f93\u5165\u200b <code>http://localhost:12000</code> \u200b\u6253\u5f00\u200b UI \u200b\u89c2\u5bdf\u200b\u754c\u9762\u200b\u3002</p> <p>\u200b\u5728\u200b\u754c\u9762\u200b\u5de6\u4e0a\u89d2\u200b\uff0c\u200b\u9009\u62e9\u200b <code>cilium-test</code> namespace\uff0c\u200b\u67e5\u770b\u200b Cilium \u200b\u63d0\u4f9b\u200b\u7684\u200b\u6d4b\u8bd5\u200b\u6d41\u91cf\u200b\u4fe1\u606f\u200b\u3002 </p>"},{"location":"advance/cilium-hubble-observe/#hubble_1","title":"Hubble \u200b\u6d41\u91cf\u200b\u76d1\u63a7","text":"<p>Hubble \u200b\u7ec4\u4ef6\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u96c6\u7fa4\u200b\u4e2d\u200b Pod \u200b\u7f51\u7edc\u200b\u884c\u4e3a\u200b\u7684\u200b\u76d1\u63a7\u200b\uff0c\u200b\u4e3a\u4e86\u200b\u652f\u6301\u200b\u67e5\u770b\u200b Hubble \u200b\u63d0\u4f9b\u200b\u7684\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\uff0c\u200b\u9700\u8981\u200b\u4f7f\u80fd\u200b\u76d1\u63a7\u200b\u7edf\u8ba1\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff0c\u200b\u8865\u5145\u200b <code>hubble.metrics.enabled</code> \u200b\u914d\u7f6e\u200b\u9879\u200b:</p> <pre><code>helm upgrade cilium cilium/cilium --version 1.11.6 \\\n   --namespace kube-system \\\n   --reuse-values \\\n   --set hubble.relay.enabled=true \\\n   --set hubble.ui.enabled=true \\\n   --set hubble.metrics.enabled=\"{dns,drop,tcp,flow,icmp,http}\"\n</code></pre> <p>\u200b\u90e8\u7f72\u200b\u4e4b\u540e\u200b\uff0c\u200b\u4f1a\u200b\u5728\u200b kube-system namespace \u200b\u751f\u6210\u200b\u540d\u79f0\u200b\u4e3a\u200b <code>hubble-metrics</code> \u200b\u7684\u200b\u670d\u52a1\u200b\u3002\u200b\u901a\u8fc7\u200b\u8bbf\u95ee\u200b Endpoints \u200b\u67e5\u8be2\u200b Hubble \u200b\u63d0\u4f9b\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff0c\u200b\u53c2\u8003\u200b\u5982\u4e0b\u200b:</p> <pre><code># curl 172.18.0.2:9091/metrics\n# HELP hubble_drop_total Number of drops\n# TYPE hubble_drop_total counter\nhubble_drop_total{protocol=\"ICMPv6\",reason=\"Unsupported L3 protocol\"} 2\n# HELP hubble_flows_processed_total Total number of flows processed\n# TYPE hubble_flows_processed_total counter\nhubble_flows_processed_total{protocol=\"ICMPv4\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 335\nhubble_flows_processed_total{protocol=\"ICMPv4\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 335\nhubble_flows_processed_total{protocol=\"ICMPv6\",subtype=\"\",type=\"Drop\",verdict=\"DROPPED\"} 2\nhubble_flows_processed_total{protocol=\"TCP\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 8282\nhubble_flows_processed_total{protocol=\"TCP\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 6767\nhubble_flows_processed_total{protocol=\"UDP\",subtype=\"to-endpoint\",type=\"Trace\",verdict=\"FORWARDED\"} 1642\nhubble_flows_processed_total{protocol=\"UDP\",subtype=\"to-stack\",type=\"Trace\",verdict=\"FORWARDED\"} 1642\n# HELP hubble_icmp_total Number of ICMP messages\n# TYPE hubble_icmp_total counter\nhubble_icmp_total{family=\"IPv4\",type=\"EchoReply\"} 335\nhubble_icmp_total{family=\"IPv4\",type=\"EchoRequest\"} 335\nhubble_icmp_total{family=\"IPv4\",type=\"RouterSolicitation\"} 2\n# HELP hubble_tcp_flags_total TCP flag occurrences\n# TYPE hubble_tcp_flags_total counter\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"FIN\"} 2043\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"RST\"} 301\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"SYN\"} 1169\nhubble_tcp_flags_total{family=\"IPv4\",flag=\"SYN-ACK\"} 1169\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/cilium-networkpolicy/","title":"Cilium NetworkPolicy \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u5f53\u524d\u200b\u5df2\u7ecf\u200b\u652f\u6301\u200b\u4e0e\u200b Cilium \u200b\u96c6\u6210\u200b\uff0c\u200b\u5177\u4f53\u64cd\u4f5c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Cilium \u200b\u96c6\u6210\u200b\u3002</p> <p>\u200b\u5728\u200b\u96c6\u6210\u200b Cilium \u200b\u4e4b\u540e\u200b\uff0c\u200b\u5c31\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b Cilium \u200b\u4f18\u79c0\u200b\u7684\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u80fd\u529b\u200b\uff0c\u200b\u5b9e\u73b0\u200b\u5bf9\u200b\u6d41\u91cf\u200b\u8bbf\u95ee\u200b\u7684\u200b\u63a7\u5236\u200b\u3002\u200b\u4ee5\u4e0b\u200b\u6587\u6863\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u5bf9\u200b Cilium L3 \u200b\u548c\u200b L4 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u80fd\u529b\u200b\u7684\u200b\u96c6\u6210\u200b\u9a8c\u8bc1\u200b\u3002</p>"},{"location":"advance/cilium-networkpolicy/#_1","title":"\u9a8c\u8bc1\u200b\u6b65\u9aa4","text":""},{"location":"advance/cilium-networkpolicy/#pod","title":"\u521b\u5efa\u200b\u6d4b\u8bd5\u200b Pod","text":"<p>\u200b\u521b\u5efa\u200b namespace <code>test</code>\u3002\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u5728\u200b test namespace \u200b\u4e2d\u200b\u521b\u5efa\u200b\u6307\u5b9a\u200b label <code>app=test</code> \u200b\u7684\u200b Pod\uff0c\u200b\u4f5c\u4e3a\u200b\u6d4b\u8bd5\u200b\u8bbf\u95ee\u200b\u7684\u200b\u76ee\u7684\u200b Pod\u3002</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: test\n  name: test\n  namespace: test\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: test\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      labels:\n        app: test\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n</code></pre> <p>\u200b\u540c\u6837\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u5728\u200b default namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b\u6307\u5b9a\u200b label <code>app=dynamic</code> \u200b\u7684\u200b Pod \u200b\u4e3a\u200b\u53d1\u8d77\u200b\u8bbf\u95ee\u200b\u6d4b\u8bd5\u200b\u7684\u200b Pod\u3002</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: dynamic\n  name: dynamic\n  namespace: default\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: dynamic\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      creationTimestamp: null\n      labels:\n        app: dynamic\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n</code></pre> <p>\u200b\u67e5\u770b\u200b\u6d4b\u8bd5\u200b Pod \u200b\u4ee5\u53ca\u200b Label \u200b\u4fe1\u606f\u200b:</p> <pre><code># kubectl get pod -o wide --show-labels\nNAME                         READY   STATUS    RESTARTS   AGE   IP           NODE                     NOMINATED NODE   READINESS GATES   LABELS\ndynamic-7d8d7874f5-9v5c4     1/1     Running   0          28h   10.16.0.35   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\ndynamic-7d8d7874f5-s8z2n     1/1     Running   0          28h   10.16.0.36   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\n# kubectl get pod -o wide -n test --show-labels\nNAME                           READY   STATUS    RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES   LABELS\ndynamic-7d8d7874f5-6dsg6       1/1     Running   0          7h20m   10.16.0.2    kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\ndynamic-7d8d7874f5-tjgtp       1/1     Running   0          7h46m   10.16.0.42   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=dynamic,pod-template-hash=7d8d7874f5\nlabel-test1-77b6764857-swq4k   1/1     Running   0          3h43m   10.16.0.12   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=test1,pod-template-hash=77b6764857\n\n// \u200b\u4ee5\u4e0b\u200b\u4e3a\u200b\u6d4b\u8bd5\u200b\u8bbf\u95ee\u200b\u76ee\u7684\u200b Pod\ntest-54c98bc466-mft5s          1/1     Running   0          8h      10.16.0.41   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;            app=test,pod-template-hash=54c98bc466\n</code></pre>"},{"location":"advance/cilium-networkpolicy/#l3","title":"L3 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u6d4b\u8bd5","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b <code>CiliumNetworkPolicy</code> \u200b\u8d44\u6e90\u200b:</p> <pre><code>apiVersion: \"cilium.io/v2\"\nkind: CiliumNetworkPolicy\nmetadata:\n  name: \"l3-rule\"\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n</code></pre> <p>\u200b\u5728\u200b default namespace \u200b\u4e0b\u200b\u7684\u200b\u6d4b\u8bd5\u200b Pod \u200b\u4e2d\u200b\uff0c\u200b\u53d1\u8d77\u200b\u5bf9\u200b\u76ee\u7684\u200b Pod \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u7ed3\u679c\u200b\u8bbf\u95ee\u200b\u4e0d\u901a\u200b\u3002 \u200b\u4f46\u662f\u200b\u5728\u200b test namespace \u200b\u4e0b\u200b\uff0c\u200b\u6d4b\u8bd5\u200b\u5230\u200b\u76ee\u7684\u200b Pod \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u6d4b\u8bd5\u200b\u6b63\u5e38\u200b\u3002</p> <p>default namespace \u200b\u4e0b\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b:</p> <pre><code># kubectl exec -it dynamic-7d8d7874f5-9v5c4 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\n</code></pre> <p>test namepsace \u200b\u4e0b\u200b Pod \u200b\u7684\u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u8bbf\u95ee\u200b\u6b63\u5e38\u200b:</p> <pre><code># kubectl exec -it -n test dynamic-7d8d7874f5-6dsg6 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n64 bytes from 10.16.0.41: seq=0 ttl=64 time=2.558 ms\n64 bytes from 10.16.0.41: seq=1 ttl=64 time=0.223 ms\n64 bytes from 10.16.0.41: seq=2 ttl=64 time=0.304 ms\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.223/1.028/2.558 ms\n</code></pre> <p>\u200b\u67e5\u770b\u200b Cilium \u200b\u5b98\u65b9\u200b\u6587\u6863\u200b\u89e3\u91ca\u200b\uff0c<code>CiliumNetworkPolicy</code> \u200b\u8d44\u6e90\u200b\u5c06\u200b\u9650\u5236\u200b\u63a7\u5236\u200b\u5728\u200b\u4e86\u200b <code>Namespace</code> \u200b\u7ea7\u522b\u200b\u3002\u200b\u8be6\u7ec6\u4fe1\u606f\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b Cilium \u200b\u9650\u5236\u200b\u3002</p> <p>\u200b\u5728\u200b\u6709\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u5339\u914d\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u53ea\u6709\u200b\u540c\u4e00\u4e2a\u200b Namespace \u200b\u7684\u200b Pod \uff0c\u200b\u624d\u200b\u53ef\u4ee5\u200b\u6309\u7167\u200b\u89c4\u5219\u200b\u8fdb\u884c\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u62d2\u7edd\u200b\u5176\u4ed6\u200b Namespace \u200b\u7684\u200b Pod \u200b\u8fdb\u884c\u200b\u8bbf\u95ee\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u60f3\u200b\u5b9e\u73b0\u200b\u8de8\u200b Namespace \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u89c4\u5219\u200b\u4e2d\u200b\u660e\u786e\u200b\u6307\u5b9a\u200b Namespace \u200b\u4fe1\u606f\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\uff0c\u200b\u4fee\u6539\u200b <code>CiliumNetworkPolicy</code> \u200b\u8d44\u6e90\u200b\uff0c\u200b\u589e\u52a0\u200b namespace \u200b\u4fe1\u606f\u200b:</p> <pre><code>  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n        k8s:io.kubernetes.pod.namespace: default    // \u200b\u63a7\u5236\u200b\u5176\u4ed6\u200b Namespace \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\n</code></pre> <p>\u200b\u67e5\u770b\u200b\u4fee\u6539\u200b\u540e\u200b\u7684\u200b <code>CiliumNetworkPolicy</code> \u200b\u8d44\u6e90\u200b\u4fe1\u606f\u200b:</p> <pre><code># kubectl get cnp -n test  -o yaml l3-rule\napiVersion: cilium.io/v2\nkind: CiliumNetworkPolicy\nmetadata:\n  name: l3-rule\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n    - matchLabels:\n        app: dynamic\n        k8s:io.kubernetes.pod.namespace: default\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u6d4b\u8bd5\u200b default namespace \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\uff0c\u200b\u76ee\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\u6b63\u5e38\u200b:</p> <pre><code># kubectl exec -it dynamic-7d8d7874f5-9v5c4 -n test -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n64 bytes from 10.16.0.41: seq=0 ttl=64 time=2.383 ms\n64 bytes from 10.16.0.41: seq=1 ttl=64 time=0.115 ms\n64 bytes from 10.16.0.41: seq=2 ttl=64 time=0.142 ms\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.115/0.880/2.383 ms\n</code></pre> <p>\u200b\u4f7f\u7528\u200b\u6807\u51c6\u200b\u7684\u200b Kubernetes \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b networkpolicy\uff0c\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u663e\u793a\u200b Cilium \u200b\u540c\u6837\u200b\u5c06\u200b\u8bbf\u95ee\u200b\u9650\u5236\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b Namespace \u200b\u5185\u200b\uff0c\u200b\u8de8\u200b Namespace \u200b\u7684\u200b\u8bbf\u95ee\u200b\u662f\u200b\u7981\u6b62\u200b\u7684\u200b\u3002</p> <p>\u200b\u8fd9\u70b9\u200b\u4e0e\u200b Kube-OVN \u200b\u5b9e\u73b0\u200b\u662f\u200b\u4e0d\u540c\u200b\u7684\u200b\u3002Kube-OVN \u200b\u652f\u6301\u200b\u6807\u51c6\u200b\u7684\u200b k8s \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\uff0c\u200b\u9650\u5236\u200b\u4e86\u200b\u5177\u4f53\u200b Namespace \u200b\u4e0b\u200b\u7684\u200b\u76ee\u7684\u200b Pod\uff0c\u200b\u4f46\u662f\u200b\u5bf9\u200b\u6e90\u5730\u5740\u200b Pod\uff0c\u200b\u662f\u200b\u6ca1\u6709\u200b Namespace \u200b\u9650\u5236\u200b\u7684\u200b\uff0c\u200b\u4efb\u4f55\u200b Namespace \u200b\u4e0b\u200b\u7b26\u5408\u200b\u9650\u5236\u200b\u89c4\u5219\u200b\u7684\u200b Pod\uff0c\u200b\u90fd\u200b\u53ef\u4ee5\u200b\u5b9e\u73b0\u200b\u5bf9\u200b\u76ee\u7684\u200b Pod \u200b\u7684\u200b\u8bbf\u95ee\u200b\u3002</p>"},{"location":"advance/cilium-networkpolicy/#l4","title":"L4 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u6d4b\u8bd5","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b L4 \u200b\u5c42\u200b\u7684\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u8d44\u6e90\u200b:</p> <pre><code>apiVersion: \"cilium.io/v2\"\nkind: CiliumNetworkPolicy\nmetadata:\n  name: \"l4-rule\"\n  namespace: test\nspec:\n  endpointSelector:\n    matchLabels:\n      app: test\n  ingress:\n  - fromEndpoints:\n    - matchLabels:\n        app: dynamic\n    toPorts:\n    - ports:\n      - port: \"80\"\n        protocol: TCP\n</code></pre> <p>\u200b\u6d4b\u8bd5\u200b\u76f8\u540c\u200b Namespace \u200b\u4e0b\u200b\uff0c\u200b\u7b26\u5408\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u7684\u200b Pod \u200b\u7684\u200b\u8bbf\u95ee\u200b</p> <pre><code># kubectl exec -it -n test dynamic-7d8d7874f5-6dsg6 -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\nbash-5.0#\nbash-5.0# curl 10.16.0.41:80\n&lt;html&gt;\n&lt;head&gt;\n        &lt;title&gt;Hello World!&lt;/title&gt;\n        &lt;link href='//fonts.googleapis.com/css?family=Open+Sans:400,700' rel='stylesheet' type='text/css'&gt;\n        &lt;style&gt;\n        body {\n                background-color: white;\n                text-align: center;\n                padding: 50px;\n                font-family: \"Open Sans\",\"Helvetica Neue\",Helvetica,Arial,sans-serif;\n        }\n        #logo {\n                margin-bottom: 40px;\n        }\n        &lt;/style&gt;\n&lt;/head&gt;\n&lt;body&gt;\n                &lt;h1&gt;Hello World!&lt;/h1&gt;\n                                &lt;h3&gt;Links found&lt;/h3&gt;\n        &lt;h3&gt;I am on  test-54c98bc466-mft5s&lt;/h3&gt;\n        &lt;h3&gt;Cookie                  =&lt;/h3&gt;\n                                        &lt;b&gt;KUBERNETES&lt;/b&gt; listening in 443 available at tcp://10.96.0.1:443&lt;br /&gt;\n                                                &lt;h3&gt;my name is hanhouchao!&lt;/h3&gt;\n                        &lt;h3&gt; RequestURI='/'&lt;/h3&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre> <p>\u200b\u76f8\u540c\u200b Namespace \u200b\u4e0b\u200b\uff0c\u200b\u4e0d\u200b\u7b26\u5408\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\u6d4b\u8bd5\u200b</p> <pre><code># kubectl exec -it -n test label-test1-77b6764857-swq4k -- bash\nbash-5.0# ping -c 3 10.16.0.41\nPING 10.16.0.41 (10.16.0.41): 56 data bytes\n\n--- 10.16.0.41 ping statistics ---\n3 packets transmitted, 0 packets received, 100% packet loss\nbash-5.0#\nbash-5.0# curl -v 10.16.0.41:80 --connect-timeout 10\n*   Trying 10.16.0.41:80...\n* After 10000ms connect time, move on!\n* connect to 10.16.0.41 port 80 failed: Operation timed out\n* Connection timeout after 10001 ms\n* Closing connection 0\ncurl: (28) Connection timeout after 10001 ms\n</code></pre> <p>\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u751f\u6548\u200b\u540e\u200b\uff0c\u200b\u8de8\u200b Namespace \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u4f9d\u7136\u200b\u662f\u200b\u88ab\u200b\u7981\u6b62\u200b\u7684\u200b\uff0c\u200b\u8ddf\u200b L3 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b\u4e00\u81f4\u200b\u3002</p> <p>\u200b\u5728\u200b L4 \u200b\u7f51\u7edc\u200b\u89c4\u5219\u200b\u751f\u6548\u200b\u540e\u200b\uff0cping \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\uff0c\u200b\u4f46\u662f\u200b\u7b26\u5408\u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u7684\u200b TCP \u200b\u8bbf\u95ee\u200b\uff0c\u200b\u662f\u200b\u53ef\u4ee5\u200b\u6b63\u5e38\u200b\u6267\u884c\u200b\u7684\u200b\u3002</p> <p>\u200b\u5173\u4e8e\u200b ICMP \u200b\u7684\u200b\u9650\u5236\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u5b98\u65b9\u200b\u8bf4\u660e\u200b L4 \u200b\u9650\u5236\u200b\u8bf4\u660e\u200b\u3002</p>"},{"location":"advance/cilium-networkpolicy/#l7","title":"L7 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u6d4b\u8bd5","text":"<p>chaining \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0cL7 \u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u76ee\u524d\u200b\u662f\u200b\u5b58\u5728\u200b\u95ee\u9898\u200b\u7684\u200b\u3002\u200b\u5728\u200b Cilium \u200b\u5b98\u65b9\u200b\u6587\u6863\u200b\u4e2d\u200b\uff0c\u200b\u5bf9\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u7ed9\u51fa\u200b\u4e86\u200b\u8bf4\u660e\u200b\uff0c\u200b\u53c2\u8003\u200b Generic Veth Chaining\u3002</p> <p>\u200b\u8fd9\u4e2a\u200b\u95ee\u9898\u200b\u4f7f\u7528\u200b issue 12454 \u200b\u8ddf\u8e2a\u200b\uff0c\u200b\u76ee\u524d\u200b\u8fd8\u200b\u6ca1\u6709\u200b\u89e3\u51b3\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/dhcp/","title":"DHCP \u200b\u8bbe\u7f6e","text":"<p>\u200b\u5728\u200b\u4f7f\u7528\u200b SR-IOV \u200b\u6216\u200b DPDK \u200b\u7c7b\u578b\u200b\u7f51\u7edc\u200b\u65f6\u200b\uff0cKubeVirt \u200b\u5185\u7f6e\u200b\u7684\u200b DHCP \u200b\u65e0\u6cd5\u200b\u5728\u200b\u8be5\u200b\u7f51\u7edc\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u5de5\u4f5c\u200b\u3002Kube-OVN \u200b\u53ef\u4ee5\u200b\u5229\u7528\u200b OVN \u200b\u7684\u200b DHCP \u200b\u80fd\u529b\u200b\u5728\u200b\u5b50\u7f51\u200b\u7ea7\u522b\u200b\u8bbe\u7f6e\u200b  DHCP \u200b\u9009\u9879\u200b\uff0c\u200b\u4ece\u800c\u200b\u5e2e\u52a9\u200b\u8be5\u200b\u7f51\u7edc\u200b\u7c7b\u578b\u200b\u7684\u200b KubeVirt \u200b\u865a\u673a\u200b\u6b63\u5e38\u200b\u4f7f\u7528\u200b DHCP \u200b\u83b7\u5f97\u200b\u5206\u914d\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002Kube-OVN \u200b\u540c\u65f6\u200b\u652f\u6301\u200b DHCPv4 \u200b\u548c\u200b DHCPv6\u3002</p> <p>\u200b\u5b50\u7f51\u200b DHCP \u200b\u7684\u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sn-dual\nspec:\n  cidrBlock: \"10.0.0.0/24,240e::a00/120\"\n  default: false\n  disableGatewayCheck: true\n  disableInterConnection: false\n  excludeIps:\n    - 10.0.0.1\n    - 240e::a01\n  gateway: 10.0.0.1,240e::a01\n  gatewayNode: ''\n  gatewayType: distributed\n  natOutgoing: false\n  private: false\n  protocol: Dual\n  provider: ovn\n  vpc: vpc-test\n  enableDHCP: true\n  dhcpV4Options: \"lease_time=3600,router=10.0.0.1,server_id=169.254.0.254,server_mac=00:00:00:2E:2F:B8\"\n  dhcpV6Options: \"server_id=00:00:00:2E:2F:C5\"\n  enableIPv6RA: true\n  ipv6RAConfigs: \"address_mode=dhcpv6_stateful,max_interval=30,min_interval=5,send_periodic=true\"\n</code></pre> <ul> <li><code>enableDHCP</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u5b50\u7f51\u200b\u7684\u200b DHCP \u200b\u529f\u80fd\u200b\u3002</li> <li><code>dhcpV4Options</code>,<code>dhcpV6Options</code>: \u200b\u8be5\u5b57\u6bb5\u200b\u76f4\u63a5\u200b\u66b4\u9732\u200b ovn-nb \u200b\u5185\u200b DHCP \u200b\u76f8\u5173\u200b\u9009\u9879\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b DHCP Options\u3002 \u200b\u9ed8\u8ba4\u503c\u200b\u5206\u522b\u200b\u4e3a\u200b <code>\"lease_time=3600, router=$ipv4_gateway, server_id=169.254.0.254, server_mac=$random_mac\"</code> \u200b\u548c\u200b <code>server_id=$random_mac</code>\u3002</li> <li><code>enableIPv6RA</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b DHCPv6 \u200b\u7684\u200b\u8def\u7531\u200b\u5e7f\u64ad\u200b\u529f\u80fd\u200b\u3002</li> <li><code>ipv6RAConfigs</code>\uff1a\u200b\u8be5\u5b57\u6bb5\u200b\u76f4\u63a5\u200b\u66b4\u9732\u200b ovn-nb \u200b\u5185\u200b Logical_Router_Port \u200b\u76f8\u5173\u200b\u9009\u9879\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b Logical Router Port \u200b\u9ed8\u8ba4\u503c\u200b\u4e3a\u200b <code>address_mode=dhcpv6_stateful, max_interval=30, min_interval=5, send_periodic=true</code>\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/dpdk/","title":"DPDK \u200b\u652f\u6301","text":"<p>\u200b\u8be5\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b Kube-OVN \u200b\u5982\u4f55\u200b\u548c\u200b OVS-DPDK \u200b\u7ed3\u5408\u200b\uff0c\u200b\u7ed9\u200b KubeVirt \u200b\u7684\u200b\u865a\u673a\u200b\u63d0\u4f9b\u200b DPDK \u200b\u7c7b\u578b\u200b\u7684\u200b\u7f51\u7edc\u63a5\u53e3\u200b\u3002</p> <p>\u200b\u4e0a\u6e38\u200b\u7684\u200b KubeVirt \u200b\u76ee\u524d\u200b\u8fd8\u200b\u672a\u200b\u652f\u6301\u200b OVS-DPDK\uff0c\u200b\u7528\u6237\u200b\u9700\u8981\u200b\u81ea\u5df1\u200b\u901a\u8fc7\u200b\u76f8\u5173\u200b patch Vhostuser implementation \u200b\u6784\u5efa\u200b KubeVirt \u200b\u6216\u200b KVM Device Plugin \u200b\u6765\u200b\u4f7f\u7528\u200b OVS-DPDK\u3002</p>"},{"location":"advance/dpdk/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ul> <li>\u200b\u8282\u70b9\u200b\u9700\u200b\u63d0\u4f9b\u200b\u4e13\u95e8\u200b\u7ed9\u200b DPDK \u200b\u9a71\u52a8\u200b\u8fd0\u884c\u200b\u7684\u200b\u7f51\u5361\u200b\u3002</li> <li>\u200b\u8282\u70b9\u200b\u9700\u200b\u5f00\u542f\u200b Hugepages\u3002</li> </ul>"},{"location":"advance/dpdk/#dpdk_1","title":"\u7f51\u5361\u200b\u8bbe\u7f6e\u200b DPDK \u200b\u9a71\u52a8","text":"<p>\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b <code>driverctl</code> \u200b\u4e3a\u4f8b\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5177\u4f53\u200b\u53c2\u6570\u200b\u548c\u200b\u5176\u4ed6\u200b\u9a71\u52a8\u200b\u4f7f\u7528\u200b\u8bf7\u200b\u53c2\u8003\u200b DPDK \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\u3002</p> <pre><code>driverctl set-override 0000:00:0b.0 uio_pci_generic\n</code></pre>"},{"location":"advance/dpdk/#_2","title":"\u8282\u70b9\u200b\u914d\u7f6e","text":"<p>\u200b\u5bf9\u200b\u652f\u6301\u200b OVS-DPDK \u200b\u7684\u200b\u8282\u70b9\u200b\u6253\u200b\u6807\u7b7e\u200b\uff0c\u200b\u4ee5\u4fbf\u200b Kube-OVN \u200b\u8fdb\u884c\u200b\u8bc6\u522b\u200b\u5904\u7406\u200b\uff1a</p> <pre><code>kubectl label nodes &lt;node&gt; ovn.kubernetes.io/ovs_dp_type=\"userspace\"\n</code></pre> <p>\u200b\u5728\u200b\u652f\u6301\u200b OVS-DPDK \u200b\u8282\u70b9\u200b\u7684\u200b <code>/opt/ovs-config</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\u521b\u5efa\u200b\u914d\u7f6e\u6587\u4ef6\u200b <code>ovs-dpdk-config</code>\uff1a</p> <pre><code>ENCAP_IP=192.168.122.193/24\nDPDK_DEV=0000:00:0b.0\n</code></pre> <ul> <li><code>ENCAP_IP</code>: \u200b\u96a7\u9053\u200b\u7aef\u70b9\u200b\u5730\u5740\u200b\u3002</li> <li><code>DPDK_DEV</code>: \u200b\u8bbe\u5907\u200b\u7684\u200b PCI ID\u3002</li> </ul>"},{"location":"advance/dpdk/#kube-ovn","title":"\u5b89\u88c5\u200b Kube-OVN","text":"<p>\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u542f\u7528\u200b DPDK \u200b\u5b89\u88c5\u200b\u9009\u9879\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a</p> <pre><code>bash install.sh --with-hybrid-dpdk\n</code></pre>"},{"location":"advance/dpdk/#_3","title":"\u4f7f\u7528\u200b\u65b9\u5f0f","text":"<p>\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u901a\u8fc7\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b\u4f7f\u7528\u200b vhostuser \u200b\u7c7b\u578b\u200b\u7f51\u5361\u200b\u7684\u200b\u865a\u200b\u673a\u6765\u200b\u9a8c\u8bc1\u200b OVS-DPDK \u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u5b89\u88c5\u200b KVM Device Plugin \u200b\u6765\u200b\u521b\u5efa\u200b\u865a\u673a\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u8bf7\u200b\u53c2\u8003\u200b KVM Device Plugin\u3002</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/kubevirt/kubernetes-device-plugins/master/manifests/kvm-ds.yml\n</code></pre> <p>\u200b\u521b\u5efa\u200b NetworkAttachmentDefinition\uff1a</p> <pre><code>apiVersion: k8s.cni.cncf.io/v1\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-dpdk\n  namespace: default\nspec:\n  config: &gt;-\n    {\n        \"cniVersion\": \"0.3.0\", \n        \"type\": \"kube-ovn\", \n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\", \n        \"provider\": \"ovn-dpdk.default.ovn\",\n        \"vhost_user_socket_volume_name\": \"vhostuser-sockets\",\n        \"vhost_user_socket_name\": \"sock\"\n    }\n</code></pre> <p>\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b Dockerfile \u200b\u521b\u5efa\u200b VM \u200b\u955c\u50cf\u200b\uff1a</p> <pre><code>FROM quay.io/kubevirt/virt-launcher:v0.46.1\n\n# wget http://cloud.centos.org/centos/7/images/CentOS-7-x86_64-GenericCloud.qcow2\nCOPY CentOS-7-x86_64-GenericCloud.qcow2 /var/lib/libvirt/images/CentOS-7-x86_64-GenericCloud.qcow2\n</code></pre> <p>\u200b\u521b\u5efa\u200b\u865a\u62df\u673a\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vm-config\ndata:\n  start.sh: |\n    chmod u+w /etc/libvirt/qemu.conf\n    echo \"hugetlbfs_mount = \\\"/dev/hugepages\\\"\" &gt;&gt; /etc/libvirt/qemu.conf\n    virtlogd &amp;\n    libvirtd &amp;\n\n    mkdir /var/lock\n\n    sleep 5\n\n    virsh define /root/vm/vm.xml\n    virsh start vm\n\n    tail -f /dev/null\n  vm.xml: |\n    &lt;domain type='kvm'&gt;\n      &lt;name&gt;vm&lt;/name&gt;\n      &lt;uuid&gt;4a9b3f53-fa2a-47f3-a757-dd87720d9d1d&lt;/uuid&gt;\n      &lt;memory unit='KiB'&gt;2097152&lt;/memory&gt;\n      &lt;currentMemory unit='KiB'&gt;2097152&lt;/currentMemory&gt;\n      &lt;memoryBacking&gt;\n        &lt;hugepages&gt;\n          &lt;page size='2' unit='M' nodeset='0'/&gt;\n        &lt;/hugepages&gt;\n      &lt;/memoryBacking&gt;\n      &lt;vcpu placement='static'&gt;2&lt;/vcpu&gt;\n      &lt;cputune&gt;\n        &lt;shares&gt;4096&lt;/shares&gt;\n        &lt;vcpupin vcpu='0' cpuset='4'/&gt;\n        &lt;vcpupin vcpu='1' cpuset='5'/&gt;\n        &lt;emulatorpin cpuset='1,3'/&gt;\n      &lt;/cputune&gt;\n      &lt;os&gt;\n        &lt;type arch='x86_64' machine='pc'&gt;hvm&lt;/type&gt;\n        &lt;boot dev='hd'/&gt;\n      &lt;/os&gt;\n      &lt;features&gt;\n        &lt;acpi/&gt;\n        &lt;apic/&gt;\n      &lt;/features&gt;\n      &lt;cpu mode='host-model'&gt;\n        &lt;model fallback='allow'/&gt;\n        &lt;topology sockets='1' cores='2' threads='1'/&gt;\n        &lt;numa&gt;\n          &lt;cell id='0' cpus='0-1' memory='2097152' unit='KiB' memAccess='shared'/&gt;\n        &lt;/numa&gt;\n      &lt;/cpu&gt;\n      &lt;on_reboot&gt;restart&lt;/on_reboot&gt;\n      &lt;devices&gt;\n        &lt;emulator&gt;/usr/libexec/qemu-kvm&lt;/emulator&gt;\n        &lt;disk type='file' device='disk'&gt;\n          &lt;driver name='qemu' type='qcow2' cache='none'/&gt;\n          &lt;source file='/var/lib/libvirt/images/CentOS-7-x86_64-GenericCloud.qcow2'/&gt;\n          &lt;target dev='vda' bus='virtio'/&gt;\n        &lt;/disk&gt;\n\n        &lt;interface type='vhostuser'&gt;\n          &lt;mac address='00:00:00:0A:30:89'/&gt;\n          &lt;source type='unix' path='/var/run/vm/sock' mode='server'/&gt;\n           &lt;model type='virtio'/&gt;\n          &lt;driver queues='2'&gt;\n            &lt;host mrg_rxbuf='off'/&gt;\n          &lt;/driver&gt;\n        &lt;/interface&gt;\n        &lt;serial type='pty'&gt;\n          &lt;target type='isa-serial' port='0'&gt;\n            &lt;model name='isa-serial'/&gt;\n          &lt;/target&gt;\n        &lt;/serial&gt;\n        &lt;console type='pty'&gt;\n          &lt;target type='serial' port='0'/&gt;\n        &lt;/console&gt;\n        &lt;channel type='unix'&gt;\n          &lt;source mode='bind' path='/var/lib/libvirt/qemu/channel/target/domain-1-vm/org.qemu.guest_agent.0'/&gt;\n          &lt;target type='virtio' name='org.qemu.guest_agent.0' state='connected'/&gt;\n          &lt;alias name='channel0'/&gt;\n          &lt;address type='virtio-serial' controller='0' bus='0' port='1'/&gt;\n        &lt;/channel&gt;\n\n      &lt;/devices&gt;\n    &lt;/domain&gt;\n---\napiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: vm-deployment\n  labels:\n    app: vm\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: vm\n  template:\n    metadata:\n      labels:\n        app: vm\n      annotations:\n        k8s.v1.cni.cncf.io/networks: default/ovn-dpdk\n        ovn-dpdk.default.ovn.kubernetes.io/ip_address: 10.16.0.96\n        ovn-dpdk.default.ovn.kubernetes.io/mac_address: 00:00:00:0A:30:89\n    spec:\n      nodeSelector:\n        ovn.kubernetes.io/ovs_dp_type: userspace\n      securityContext:\n        runAsUser: 0\n      volumes:\n        - name: vhostuser-sockets\n          emptyDir: {}\n        - name: xml\n          configMap:\n            name: vm-config\n        - name: hugepage\n          emptyDir:\n            medium: HugePages-2Mi\n        - name: libvirt-runtime\n          emptyDir: {}\n      containers:\n        - name: vm\n          image: vm-vhostuser:latest\n          command: [\"bash\", \"/root/vm/start.sh\"]\n          securityContext:\n            capabilities:\n              add:\n                - NET_BIND_SERVICE\n                - SYS_NICE\n                - NET_RAW\n                - NET_ADMIN\n            privileged: false\n            runAsUser: 0\n          resources:\n            limits:\n              cpu: '2'\n              devices.kubevirt.io/kvm: '1'\n              memory: '8784969729'\n              hugepages-2Mi: 2Gi\n            requests:\n              cpu: 666m\n              devices.kubevirt.io/kvm: '1'\n              ephemeral-storage: 50M\n              memory: '4490002433'\n          volumeMounts:\n            - name: vhostuser-sockets\n              mountPath: /var/run/vm\n            - name: xml\n              mountPath: /root/vm/\n            - mountPath: /dev/hugepages\n              name: hugepage\n            - name: libvirt-runtime\n              mountPath: /var/run/libvirt\n</code></pre> <p>\u200b\u7b49\u5f85\u200b\u865a\u62df\u673a\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u8fdb\u5165\u200b Pod \u200b\u8fdb\u884c\u200b\u865a\u673a\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code># virsh set-user-password vm root 12345\nPassword set successfully for root in vm\n\n# virsh console vm\nConnected to domain 'vm'\nEscape character is ^] (Ctrl + ])\n\nCentOS Linux 7 (Core)\nKernel 3.10.0-1127.el7.x86_64 on an x86_64\n\nlocalhost login: root\nPassword:\nLast login: Fri Feb 25 09:52:54 on ttyS0\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u767b\u5f55\u200b\u865a\u673a\u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\u5e76\u200b\u6d4b\u8bd5\u200b\uff1a</p> <pre><code>ip link set eth0 mtu 1400\nip addr add 10.16.0.96/16 dev eth0\nip ro add default via 10.16.0.1\nping 114.114.114.114\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/external-gateway/","title":"\u5916\u90e8\u200b\u7f51\u5173\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u5bf9\u200b\u6240\u6709\u200b\u5bb9\u5668\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7684\u200b\u6d41\u91cf\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b\u4e00\u4e2a\u200b\u5916\u90e8\u200b\u7684\u200b\u7f51\u5173\u200b\u8fdb\u884c\u200b\u7edf\u4e00\u200b\u7684\u200b\u7ba1\u7406\u200b\u548c\u200b\u5ba1\u8ba1\u200b\u3002 Kube-OVN \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5728\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b\u8def\u7531\u200b\u914d\u7f6e\u200b\uff0c\u200b\u5c06\u200b\u51fa\u7f51\u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b\u81f3\u200b\u5bf9\u5e94\u200b\u7684\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u3002</p>"},{"location":"advance/external-gateway/#_2","title":"\u4f7f\u7528\u200b\u65b9\u5f0f","text":"<pre><code>kind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: external\nspec:\n  cidrBlock: 172.31.0.0/16\n  gatewayType: centralized\n  natOutgoing: false\n  externalEgressGateway: 192.168.0.1\n  policyRoutingTableID: 1000\n  policyRoutingPriority: 1500\n</code></pre> <ul> <li><code>natOutgoing</code>: \u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code>\u3002</li> <li><code>externalEgressGateway</code>\uff1a\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u9700\u8981\u200b\u548c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u4e8c\u5c42\u200b\u53ef\u8fbe\u57df\u200b\u3002</li> <li><code>policyRoutingTableID</code>\uff1a\u200b\u4f7f\u7528\u200b\u7684\u200b\u672c\u5730\u200b\u7b56\u7565\u200b\u8def\u7531\u8868\u200b\u7684\u200b TableID \u200b\u6bcf\u4e2a\u200b\u5b50\u7f51\u200b\u5747\u200b\u9700\u200b\u4e0d\u540c\u200b\u4ee5\u200b\u907f\u514d\u200b\u51b2\u7a81\u200b\u3002</li> <li><code>policyRoutingPriority</code>\uff1a\u200b\u8def\u7531\u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u4e3a\u200b\u907f\u514d\u200b\u540e\u7eed\u200b\u7528\u6237\u200b\u5b9a\u5236\u200b\u5316\u200b\u7684\u200b\u5176\u4ed6\u200b\u8def\u7531\u200b\u64cd\u4f5c\u200b\u51b2\u7a81\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u53ef\u4ee5\u200b\u6307\u5b9a\u200b\u8def\u7531\u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u82e5\u200b\u65e0\u200b\u7279\u6b8a\u200b\u9700\u6c42\u200b\u586b\u5165\u200b\u4efb\u610f\u200b\u503c\u200b\u5373\u53ef\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/fastpath/","title":"\u624b\u52a8\u200b\u7f16\u8bd1\u200b FastPath \u200b\u6a21\u5757","text":"<p>\u200b\u7ecf\u8fc7\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u7684\u200b\u6027\u80fd\u200b Profile\uff0c<code>Netfilter</code> \u200b\u5728\u200b\u5bb9\u5668\u200b\u5185\u200b\u548c\u200b\u5bbf\u4e3b\u673a\u200b\u4e0a\u200b\u7684\u200b\u76f8\u5173\u200b\u5904\u7406\u200b\u6d88\u8017\u200b\u4e86\u200b 20% \u200b\u5de6\u53f3\u200b\u7684\u200b CPU \u200b\u8d44\u6e90\u200b\uff0cFastPath \u200b\u6a21\u5757\u200b\u53ef\u4ee5\u200b\u7ed5\u8fc7\u200b <code>Netfilter</code> \u200b\u4ece\u800c\u200b \u200b\u964d\u4f4e\u200b CPU \u200b\u7684\u200b\u6d88\u8017\u200b\u548c\u200b\u5ef6\u8fdf\u200b\uff0c\u200b\u5e76\u200b\u63d0\u5347\u200b\u541e\u5410\u91cf\u200b\u3002\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u200b\u4ecb\u7ecd\u200b\u5982\u4f55\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b FastPath \u200b\u6a21\u5757\u200b\u3002</p>"},{"location":"advance/fastpath/#_1","title":"\u4e0b\u8f7d\u200b\u76f8\u5173\u200b\u5185\u6838\u6a21\u5757\u200b\u4ee3\u7801","text":"<pre><code>git clone --depth=1 https://github.com/kubeovn/kube-ovn.git\n</code></pre>"},{"location":"advance/fastpath/#_2","title":"\u5b89\u88c5\u200b\u4f9d\u8d56","text":"<p>\u200b\u8fd9\u91cc\u200b\u4ee5\u200b CentOS \u200b\u4e3a\u4f8b\u200b\u4e0b\u8f7d\u200b\u76f8\u5173\u200b\u4f9d\u8d56\u200b\uff1a</p> <pre><code>yum install -y kernel-devel-$(uname -r) gcc elfutils-libelf-devel\n</code></pre>"},{"location":"advance/fastpath/#_3","title":"\u7f16\u8bd1\u200b\u76f8\u5173\u200b\u6a21\u5757","text":"<p>\u200b\u9488\u5bf9\u200b 3.x \u200b\u7684\u200b\u5185\u6838\u200b\uff1a</p> <pre><code>cd kube-ovn/fastpath\nmake all\n</code></pre> <p>\u200b\u9488\u5bf9\u200b 4.x \u200b\u7684\u200b\u5185\u6838\u200b\uff1a</p> <pre><code>cd kube-ovn/fastpath/4.18\ncp ../Makefile .\nmake all\n</code></pre>"},{"location":"advance/fastpath/#_4","title":"\u5b89\u88c5\u200b\u5185\u6838\u6a21\u5757","text":"<p>\u200b\u5c06\u200b <code>kube_ovn_fastpath.ko</code> \u200b\u590d\u5236\u5230\u200b\u6bcf\u4e2a\u200b\u9700\u8981\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u7684\u200b\u8282\u70b9\u200b <code>/tmp</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\uff0c<code>kube-ovn-cni</code> \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u52a0\u8f7d\u200b\u8be5\u200b\u6a21\u5757\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b <code>dmesg</code> \u200b\u786e\u8ba4\u200b\u5b89\u88c5\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># dmesg\n[619631.323788] init_module,kube_ovn_fastpath_local_out\n[619631.323798] init_module,kube_ovn_fastpath_post_routing\n[619631.323800] init_module,kube_ovn_fastpath_pre_routing\n[619631.323801] init_module,kube_ovn_fastpath_local_in\n</code></pre> <p>\u200b\u5982\u9700\u200b\u5378\u8f7d\u200b\u6a21\u5757\u200b\uff0c\u200b\u53ef\u200b\u5c06\u200b\u8be5\u200b\u6a21\u5757\u200b\u4ece\u200b <code>/tmp</code> \u200b\u76ee\u5f55\u200b\u4e0b\u79fb\u200b\u9664\u200b\uff0c<code>kube-ovn-cni</code> \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5378\u8f7d\u200b\u8be5\u200b\u6a21\u5757\u200b\u3002</p> <p>\u200b\u8be5\u200b\u6a21\u5757\u200b\u5728\u200b\u673a\u5668\u200b\u91cd\u542f\u200b\u540e\u200b\u4e0d\u4f1a\u200b\u81ea\u52a8\u200b\u52a0\u8f7d\u200b\uff0c\u200b\u5982\u9700\u200b\u81ea\u52a8\u200b\u52a0\u8f7d\u200b\u8bf7\u200b\u6839\u636e\u200b\u7cfb\u7edf\u200b\u5f04\u200b\u914d\u7f6e\u200b\u7f16\u5199\u200b\u76f8\u5e94\u200b\u81ea\u542f\u52a8\u200b\u811a\u672c\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/multi-nic/","title":"\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406","text":"<p>Kube-OVN \u200b\u53ef\u4ee5\u200b\u4e3a\u200b\u5176\u4ed6\u200b CNI \u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u4f8b\u5982\u200b macvlan\u3001vlan\u3001host-device \u200b\u7b49\u200b\u63d2\u4ef6\u200b\u63d0\u4f9b\u200b\u96c6\u7fa4\u200b\u7ea7\u522b\u200b\u7684\u200b IPAM \u200b\u80fd\u529b\u200b\uff0c \u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5230\u200b Kube-OVN \u200b\u4e2d\u5b50\u200b\u7f51\u200b\u4ee5\u53ca\u200b\u56fa\u5b9a\u200b IP \u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u540c\u65f6\u200b Kube-OVN \u200b\u4e5f\u200b\u652f\u6301\u200b\u591a\u5757\u200b\u7f51\u5361\u200b\u5747\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7f51\u5361\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u7684\u200b\u5730\u5740\u200b\u7ba1\u7406\u200b\u3002</p>"},{"location":"advance/multi-nic/#_2","title":"\u5de5\u4f5c\u200b\u539f\u7406","text":"<p>\u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b\uff1a</p> <p>\u200b\u4e0b\u9762\u200b\u662f\u200b\u7531\u200b Multus CNI \u200b\u63d0\u4f9b\u200b\u7684\u200b\u8fde\u63a5\u200b\u5230\u200b pod \u200b\u7684\u200b\u7f51\u7edc\u63a5\u53e3\u200b\u793a\u610f\u56fe\u200b\u3002\u200b\u56fe\u4e2d\u200b\u663e\u793a\u200b pod \u200b\u6709\u200b\u4e09\u4e2a\u200b\u63a5\u53e3\u200b\uff1aeth0\u3001net0 \u200b\u548c\u200b net1\u3002 eth0 \u200b\u8fde\u63a5\u200b kubernetes \u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7528\u4e8e\u200b\u8fde\u63a5\u200b kubernetes \u200b\u670d\u52a1\u5668\u200b\uff08\u200b\u5982\u200b kubernetes api-server\u3001kubelet \u200b\u7b49\u200b\uff09\u3002 net0 \u200b\u548c\u200b net1 \u200b\u662f\u200b\u9644\u52a0\u200b\u7f51\u7edc\u63a5\u53e3\u200b\uff0c\u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b\u5176\u4ed6\u200b CNI \u200b\u63d2\u4ef6\u200b\uff08\u200b\u5982\u200b vlan/vxlan/ptp\uff09\u200b\u8fde\u63a5\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u3002</p> <p></p> <p>IPAM\uff1a</p> <p>\u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b Multus CNI, \u200b\u6211\u4eec\u200b\u53ef\u4ee5\u200b\u7ed9\u200b\u4e00\u4e2a\u200b Pod \u200b\u6dfb\u52a0\u200b\u591a\u5757\u200b\u4e0d\u540c\u200b\u7f51\u7edc\u200b\u7684\u200b\u7f51\u5361\u200b\u3002 \u200b\u7136\u800c\u200b\u6211\u4eec\u200b\u4ecd\u7136\u200b\u7f3a\u4e4f\u200b\u5bf9\u200b\u96c6\u7fa4\u200b\u8303\u56f4\u200b\u5185\u200b\u4e0d\u540c\u200b\u7f51\u7edc\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u8fdb\u884c\u200b\u7ba1\u7406\u200b\u7684\u200b\u80fd\u529b\u200b\u3002\u200b\u5728\u200b Kube-OVN \u200b\u4e2d\u200b\uff0c\u200b\u6211\u4eec\u200b\u5df2\u7ecf\u200b\u80fd\u591f\u200b\u901a\u8fc7\u200b Subnet \u200b\u548c\u200b IP \u200b\u7684\u200b CRD \u200b\u6765\u200b\u8fdb\u884c\u200b IP \u200b\u7684\u200b\u9ad8\u7ea7\u200b\u7ba1\u7406\u200b\uff0c \u200b\u4f8b\u5982\u200b\u5b50\u7f51\u200b\u7ba1\u7406\u200b\uff0cIP \u200b\u9884\u7559\u200b\uff0c\u200b\u968f\u673a\u200b\u5206\u914d\u200b\uff0c\u200b\u56fa\u5b9a\u200b\u5206\u914d\u200b\u7b49\u200b\u3002\u200b\u73b0\u5728\u200b\u6211\u4eec\u200b\u5bf9\u200b\u5b50\u7f51\u200b\u8fdb\u884c\u200b\u6269\u5c55\u200b\uff0c\u200b\u6765\u200b\u63a5\u5165\u200b\u5176\u4ed6\u200b\u4e0d\u540c\u200b\u7684\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u4f7f\u5f97\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u7684\u200b IPAM \u200b\u529f\u80fd\u200b\u3002</p>"},{"location":"advance/multi-nic/#_3","title":"\u5de5\u4f5c\u200b\u6d41\u7a0b","text":"<p>\u200b\u4e0a\u200b\u56fe\u200b\u5c55\u793a\u200b\u4e86\u200b\u5982\u4f55\u200b\u901a\u8fc7\u200b Kube-OVN \u200b\u6765\u200b\u7ba1\u7406\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002\u200b\u5176\u4e2d\u200b\u5bb9\u5668\u200b\u7684\u200b eth0 \u200b\u7f51\u5361\u200b\u63a5\u5165\u200b OVN \u200b\u7f51\u7edc\u200b\uff0cnet1 \u200b\u7f51\u5361\u200b\u63a5\u5165\u200b\u5176\u4ed6\u200b CNI \u200b\u7f51\u7edc\u200b\u3002 net1 \u200b\u7f51\u7edc\u200b\u7684\u200b\u7f51\u7edc\u200b\u5b9a\u4e49\u200b\u6765\u81ea\u200b\u4e8e\u200b multus-cni \u200b\u4e2d\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u8d44\u6e90\u200b\u5b9a\u4e49\u200b\u3002</p> <p>\u200b\u5f53\u200b Pod \u200b\u521b\u5efa\u200b\u65f6\u200b\uff0c<code>kube-ovn-controller</code> \u200b\u4f1a\u200b\u76d1\u542c\u200b\u5230\u200b Pod \u200b\u6dfb\u52a0\u200b\u4e8b\u4ef6\u200b\uff0c\u200b\u5e76\u200b\u6839\u636e\u200b Pod \u200b\u4e2d\u200b\u7684\u200b annotation \u200b\u53bb\u200b\u5bfb\u627e\u200b\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b Subnet \u200b\u5e76\u200b\u4ece\u4e2d\u200b\u8fdb\u884c\u200b IP \u200b\u7684\u200b\u5206\u914d\u200b\u548c\u200b\u7ba1\u7406\u200b\uff0c \u200b\u5e76\u200b\u5c06\u200b Pod \u200b\u6240\u200b\u5206\u914d\u200b\u5230\u200b\u7684\u200b\u5730\u5740\u200b\u4fe1\u606f\u200b\u5199\u200b\u56de\u5230\u200b Pod annotation \u200b\u4e2d\u200b\u3002</p> <p>\u200b\u5728\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u673a\u5668\u200b\u7684\u200b CNI \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5728\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u914d\u7f6e\u200b <code>kube-ovn-cni</code> \u200b\u4f5c\u4e3a\u200b ipam \u200b\u63d2\u4ef6\u200b, <code>kube-ovn-cni</code> \u200b\u5c06\u4f1a\u200b\u8bfb\u53d6\u200b Pod annotation \u200b\u5e76\u200b\u5c06\u200b\u5730\u5740\u200b\u4fe1\u606f\u200b\u901a\u8fc7\u200b CNI \u200b\u534f\u8bae\u200b\u7684\u200b\u6807\u51c6\u200b\u683c\u5f0f\u200b\u8fd4\u56de\u200b\u7ed9\u200b\u76f8\u5e94\u200b\u7684\u200b CNI \u200b\u63d2\u4ef6\u200b\u3002</p>"},{"location":"advance/multi-nic/#_4","title":"\u4f7f\u7528\u200b\u65b9\u6cd5","text":""},{"location":"advance/multi-nic/#kube-ovn-multus","title":"\u5b89\u88c5\u200b Kube-OVN \u200b\u548c\u200b Multus","text":"<p>\u200b\u8bf7\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b \u200b\u548c\u200b Multus how to use \u200b\u6765\u200b\u5b89\u88c5\u200b Kube-OVN \u200b\u548c\u200b Multus-CNI\u3002</p>"},{"location":"advance/multi-nic/#cni-ipam","title":"\u4e3a\u200b\u5176\u4ed6\u200b CNI \u200b\u63d0\u4f9b\u200b IPAM","text":"<p>\u200b\u6b64\u65f6\u200b\u4e3b\u200b\u7f51\u5361\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7f51\u5361\u200b\uff0c\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4e3a\u200b\u5176\u4ed6\u200b\u7c7b\u578b\u200b CNI\u3002</p>"},{"location":"advance/multi-nic/#networkattachmentdefinition","title":"\u521b\u5efa\u200b NetworkAttachmentDefinition","text":"<p>\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b macvlan \u200b\u4f5c\u4e3a\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u7b2c\u4e8c\u4e2a\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u5176\u200b ipam \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>kube-ovn</code>\uff1a</p> <pre><code># \u200b\u52a0\u8f7d\u200b macvlan \u200b\u6a21\u5757\u200b\nsudo modprobe macvlan\n</code></pre> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: macvlan\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth0\",\n      \"mode\": \"bridge\",\n      \"ipam\": {\n        \"type\": \"kube-ovn\",\n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n        \"provider\": \"macvlan.default\"\n      }\n    }'\n</code></pre> <ul> <li><code>spec.config.ipam.type</code>: \u200b\u9700\u8981\u200b\u4e3a\u200b <code>kube-ovn</code> \u200b\u6765\u200b\u8c03\u7528\u200b kube-ovn \u200b\u7684\u200b\u63d2\u4ef6\u200b\u6765\u200b\u83b7\u53d6\u200b\u5730\u5740\u200b\u4fe1\u606f\u200b\u3002</li> <li><code>server_socket</code>: Kube-OVN \u200b\u901a\u4fe1\u200b\u4f7f\u7528\u200b\u7684\u200b socket \u200b\u6587\u4ef6\u200b\u3002 \u200b\u9ed8\u8ba4\u200b\u4f4d\u7f6e\u200b\u4e3a\u200b <code>/run/openvswitch/kube-ovn-daemon.sock</code>\u3002</li> <li><code>provider</code>: \u200b\u5f53\u524d\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;name&gt;.&lt;namespace&gt;</code> , Kube-OVN \u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u8fd9\u4e9b\u200b\u4fe1\u606f\u200b\u627e\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b Subnet \u200b\u8d44\u6e90\u200b\u3002</li> <li><code>master</code>: \u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b\u7269\u7406\u200b\u7f51\u5361\u200b</li> </ul>"},{"location":"advance/multi-nic/#kube-ovn-subnet","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet","text":"<p>\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet, \u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>cidrBlock</code> \u200b\u548c\u200b <code>exclude_ips</code>\uff0c<code>provider</code> \u200b\u5e94\u8be5\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;name&gt;.&lt;namespace&gt;</code>\uff0c \u200b\u4f8b\u5982\u200b\u7528\u200b macvlan \u200b\u63d0\u4f9b\u200b\u9644\u52a0\u200b\u7f51\u5361\u200b\uff0c\u200b\u521b\u5efa\u200b Subnet \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: macvlan\nspec:\n  protocol: IPv4\n  provider: macvlan.default\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre> <p><code>gateway</code>, <code>private</code>, <code>nat</code> \u200b\u53ea\u200b\u5bf9\u200b <code>provider</code> \u200b\u7c7b\u578b\u200b\u4e3a\u200b ovn \u200b\u7684\u200b\u7f51\u7edc\u200b\u751f\u6548\u200b\uff0c\u200b\u4e0d\u9002\u200b\u7528\u4e8e\u200b attachment network\u3002</p>"},{"location":"advance/multi-nic/#pod","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u591a\u200b\u7f51\u7edc\u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u5730\u5740\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u7684\u200b Pod\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b annotation <code>k8s.v1.cni.cncf.io/networks</code>,\u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"advance/multi-nic/#ip-pod","title":"\u521b\u5efa\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b Pod\uff0c\u200b\u6dfb\u52a0\u200b <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/ip_address</code> annotation\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: static-ip\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\n    ovn.kubernetes.io/ip_address: 10.16.0.15\n    ovn.kubernetes.io/mac_address: 00:00:00:53:6B:B6\n    macvlan.default.kubernetes.io/ip_address: 172.17.0.100\n    macvlan.default.kubernetes.io/mac_address: 00:00:00:53:6B:BB\nspec:\n  containers:\n  - name: static-ip\n    image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"advance/multi-nic/#ip","title":"\u521b\u5efa\u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d","text":"<p>\u200b\u5bf9\u4e8e\u200b\u4f7f\u7528\u200b ippool \u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b, \u200b\u6dfb\u52a0\u200b <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/ip_pool</code> annotations:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  namespace: default\n  name: static-workload\n  labels:\n    app: static-workload\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: static-workload\n  template:\n    metadata:\n      labels:\n        app: static-workload\n      annotations:\n        k8s.v1.cni.cncf.io/networks: default/macvlan\n        ovn.kubernetes.io/ip_pool: 10.16.0.15,10.16.0.16,10.16.0.17\n        macvlan.default.kubernetes.io/ip_pool: 172.17.0.200,172.17.0.201,172.17.0.202\n    spec:\n      containers:\n      - name: static-workload\n        image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"advance/multi-nic/#macvlan-pod","title":"\u521b\u5efa\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u4f7f\u7528\u200b macvlan \u200b\u4f5c\u4e3a\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u7684\u200b Pod\uff0c\u200b\u82e5\u200b\u5e0c\u671b\u200b\u5c06\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4f5c\u4e3a\u200b Pod \u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b annotation\uff0c<code>default-route</code> \u200b\u4e3a\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod-route\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: '[{\n      \"name\": \"macvlan\",\n      \"namespace\": \"default\",\n      \"default-route\": [\"172.17.0.1\"]\n    }]'\nspec:\n  containers:\n  - name: samplepod-route\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"advance/multi-nic/#macvlan-pod_1","title":"\u521b\u5efa\u200b\u4e3b\u200b\u7f51\u5361\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u4f7f\u7528\u200b macvlan \u200b\u4f5c\u4e3a\u200b\u4e3b\u200b\u7f51\u5361\u200b\u7684\u200b Pod\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b annotation <code>v1.multus-cni.io/default-network</code>, \u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod-macvlan\n  namespace: default\n  annotations:\n    v1.multus-cni.io/default-network: default/macvlan\nspec:\n  containers:\n  - name: samplepod-macvlan\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"advance/multi-nic/#kube-ovn-subnetprovider-ovn","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet\uff08Provider ovn\uff09","text":"<p>\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet\uff0c\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>cidrBlock</code> \u200b\u548c\u200b <code>exclude_ips</code>, <code>provider</code> \u200b\u4e3a\u200b ovn\uff0c\u200b\u521b\u5efa\u200b Subnet \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: macvlan\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"advance/multi-nic/#pod_1","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u591a\u200b\u7f51\u7edc\u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u9700\u8981\u200b\u4ece\u200b <code>provider</code> \u200b\u7c7b\u578b\u200b\u4e3a\u200b ovn \u200b\u7684\u200b subnet \u200b\u4e2d\u200b\u83b7\u53d6\u200b IP \u200b\u7684\u200b Pod\uff0c\u200b\u9700\u200b\u5c06\u200b annotation <code>k8s.v1.cni.cncf.io/networks</code> \u200b\u548c\u200b <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/logical_switch</code> \u200b\u7ed3\u5408\u200b\u4f7f\u7528\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/macvlan\n    macvlan.default.kubernetes.io/logical_switch: macvlan\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre> <ul> <li><code>k8s.v1.cni.cncf.io/networks</code>: \u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code></li> <li><code>macvlan.default.kubernetes.io/logical_switch</code>: \u200b\u53d6\u503c\u200b\u4e3a\u5b50\u200b\u7f51\u540d\u200b</li> </ul> <p>\u200b\u6ce8\u610f\u200b: \u200b\u901a\u8fc7\u200b<code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/logical_switch</code> \u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\u9ad8\u4e8e\u200b\u901a\u8fc7\u200b provider \u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u57fa\u4e8e\u200b ovn \u200b\u7c7b\u578b\u200b\u7684\u200b subnet \u200b\u63d0\u4f9b\u200b ipam \u200b\u540c\u6837\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b Pod\u3001\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u3001\u200b\u521b\u5efa\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod\uff0c\u200b\u4f46\u200b\u4e0d\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u4e3b\u200b\u7f51\u5361\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod\u3002</p>"},{"location":"advance/multi-nic/#kube-ovn","title":"\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7f51\u5361","text":"<p>\u200b\u6b64\u65f6\u200b\u591a\u5757\u200b\u7f51\u5361\u200b\u5747\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7f51\u5361\u200b\u3002</p>"},{"location":"advance/multi-nic/#networkattachmentdefinition_1","title":"\u521b\u5efa\u200b NetworkAttachmentDefinition","text":"<p>\u200b\u5c06\u200b <code>provider</code> \u200b\u7684\u200b\u540e\u7f00\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>ovn</code>\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: attachnet\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"attachnet.default.ovn\"\n    }'\n</code></pre> <ul> <li><code>spec.config.type</code>: \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>kube-ovn</code> \u200b\u6765\u200b\u89e6\u53d1\u200b CNI \u200b\u63d2\u4ef6\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u5b50\u7f51\u200b\u3002</li> <li><code>server_socket</code>: Kube-OVN \u200b\u901a\u4fe1\u200b\u4f7f\u7528\u200b\u7684\u200b socket \u200b\u6587\u4ef6\u200b\u3002 \u200b\u9ed8\u8ba4\u200b\u4f4d\u7f6e\u200b\u4e3a\u200b <code>/run/openvswitch/kube-ovn-daemon.sock</code>\u3002</li> <li><code>provider</code>: \u200b\u5f53\u524d\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;name&gt;.&lt;namespace&gt;.ovn</code> , Kube-OVN \u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u8fd9\u4e9b\u200b\u4fe1\u606f\u200b\u627e\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b Subnet \u200b\u8d44\u6e90\u200b\uff0c\u200b\u6ce8\u610f\u200b\u540e\u7f00\u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b ovn\u3002</li> </ul>"},{"location":"advance/multi-nic/#kube-ovn-subnet_1","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet","text":"<p>\u200b\u5982\u679c\u200b\u4ee5\u200b Kube-OVN \u200b\u4f5c\u4e3a\u200b\u9644\u52a0\u200b\u7f51\u5361\u200b\uff0c\u200b\u5219\u200b <code>provider</code> \u200b\u5e94\u8be5\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;name&gt;.&lt;namespace&gt;.ovn</code>\uff0c\u200b\u5e76\u200b\u8981\u200b\u4ee5\u200b <code>ovn</code> \u200b\u4f5c\u4e3a\u200b\u540e\u7f00\u200b\u7ed3\u675f\u200b\u3002 \u200b\u7528\u200b Kube-OVN \u200b\u63d0\u4f9b\u200b\u9644\u52a0\u200b\u7f51\u5361\u200b\uff0c\u200b\u521b\u5efa\u200b Subnet \u200b\u793a\u4f8b\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attachnet\nspec:\n  protocol: IPv4\n  provider: attachnet.default.ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"advance/multi-nic/#pod_2","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u591a\u200b\u7f51\u7edc\u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u5730\u5740\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u7684\u200b Pod\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b annotation <code>k8s.v1.cni.cncf.io/networks</code>, \u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre>"},{"location":"advance/multi-nic/#kube-ovn-subnetprovider-ovn_1","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet\uff08Provider ovn\uff09","text":"<p>\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b Kube-OVN Subnet\uff0c\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>cidrBlock</code> \u200b\u548c\u200b <code>exclude_ips</code>, <code>provider</code> \u200b\u4e3a\u200b ovn\uff0c\u200b\u521b\u5efa\u200b Subnet \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attachnet\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  excludeIps:\n  - 172.17.0.0..172.17.0.10\n</code></pre>"},{"location":"advance/multi-nic/#pod_3","title":"\u521b\u5efa\u200b\u4e00\u4e2a\u591a\u200b\u7f51\u7edc\u200b\u7684\u200b Pod","text":"<p>\u200b\u5bf9\u4e8e\u200b\u9700\u8981\u200b\u4ece\u200b <code>provider</code> \u200b\u7c7b\u578b\u200b\u4e3a\u200b ovn \u200b\u7684\u200b subnet \u200b\u4e2d\u200b\u83b7\u53d6\u200b IP \u200b\u7684\u200b Pod\uff0c\u200b\u9700\u200b\u5c06\u200b annotation <code>k8s.v1.cni.cncf.io/networks</code> \u200b\u548c\u200b <code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.ovn.kubernetes.io/logical_switch</code> \u200b\u7ed3\u5408\u200b\u4f7f\u7528\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: samplepod\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\n    attachnet.default.ovn.kubernetes.io/logical_switch: attachnet\nspec:\n  containers:\n  - name: samplepod\n    command: [\"/bin/ash\", \"-c\", \"trap : TERM INT; sleep infinity &amp; wait\"]\n    image: docker.io/library/alpine:edge\n</code></pre> <ul> <li><code>k8s.v1.cni.cncf.io/networks</code>: \u200b\u53d6\u503c\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b NetworkAttachmentDefinition \u200b\u7684\u200b <code>&lt;namespace&gt;/&lt;name&gt;</code></li> <li><code>attachnet.default.ovn.kubernetes.io/logical_switch</code>: \u200b\u53d6\u503c\u200b\u4e3a\u5b50\u200b\u7f51\u540d\u200b</li> </ul> <p>\u200b\u6ce8\u610f\u200b: \u200b\u901a\u8fc7\u200b<code>&lt;networkAttachmentName&gt;.&lt;networkAttachmentNamespace&gt;.kubernetes.io/logical_switch</code> \u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\u9ad8\u4e8e\u200b\u901a\u8fc7\u200b provider \u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u5bf9\u4e8e\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7684\u200b Pod\uff0c\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b Pod\u3001\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b IP \u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u3001\u200b\u521b\u5efa\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u4e3a\u200b macvlan \u200b\u7684\u200b Pod\uff0c\u200b\u540c\u65f6\u200b\u4e5f\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u4e3b\u200b\u7f51\u5361\u200b\u4e3a\u200b Kube-OVN \u200b\u7c7b\u578b\u200b\u7684\u200b Pod\uff0c\u200b\u914d\u7f6e\u200b\u65b9\u5f0f\u200b\u53ef\u200b\u53c2\u8003\u200b\u4e0a\u200b\u4e00\u8282\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/nat-policy-rule/","title":"\u9ed8\u8ba4\u200b VPC NAT \u200b\u7b56\u7565\u200b\u89c4\u5219","text":""},{"location":"advance/nat-policy-rule/#_1","title":"\u7528\u9014","text":"<p>\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Overlay \u200b\u5b50\u7f51\u200b\uff0c\u200b\u6253\u5f00\u200b <code>natOutgoing</code> \u200b\u5f00\u5173\u200b\u65f6\u200b\uff0cSubnet \u200b\u4e0b\u200b\u7684\u200b\u6240\u6709\u200b Pod \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u90fd\u200b\u9700\u8981\u200b\u505a\u200b SNAT \u200b\u6210\u200b\u8282\u70b9\u200b\u7684\u200b IP\uff0c\u200b\u4f46\u662f\u200b\u6709\u4e9b\u200b\u573a\u666f\u200b\u6211\u4eec\u200b\u5e76\u200b\u4e0d\u200b\u5e0c\u671b\u200b\u5b50\u7f51\u200b\u5185\u200b\u6240\u6709\u200b Pod \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u90fd\u200b\u505a\u200b SNAT\u3002</p> <p>\u200b\u56e0\u6b64\u200b NAT \u200b\u7b56\u7565\u200b\u5c31\u662f\u200b\u4e3a\u4e86\u200b\u63d0\u4f9b\u200b\u4e00\u4e2a\u200b\u63a5\u53e3\u200b\u8ba9\u200b\u7528\u6237\u200b\u51b3\u5b9a\u200b\u5b50\u7f51\u200b\u5185\u200b\u7684\u200b\u54ea\u4e9b\u200b CIDR \u200b\u6216\u8005\u200b IP \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u505a\u200b SNAT\u3002</p>"},{"location":"advance/nat-policy-rule/#_2","title":"\u4f7f\u7528\u200b\u65b9\u6cd5","text":"<p>\u200b\u5728\u200b <code>subnet.Spec</code> \u200b\u4e2d\u200b\u5f00\u542f\u200b <code>natOutgoing</code> \u200b\u5f00\u5173\u200b\uff0c \u200b\u5e76\u4e14\u200b\u6dfb\u52a0\u200b\u5b57\u200b\u6bb5\u200b <code>natOutgoingPolicyRules</code> \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>spec:\n  natOutgoing: true\n  natOutgoingPolicyRules:\n    - action: forward\n      match:\n        srcIPs: 10.0.11.0/30,10.0.11.254\n    - action: nat\n      match:\n        srcIPs: 10.0.11.128/26\n        dstIPs: 114.114.114.114,8.8.8.8\n</code></pre> <p>\u200b\u4ee5\u4e0a\u200b\u6848\u4f8b\u200b\u8868\u793a\u200b\u6709\u200b\u4e24\u6761\u200b NAT \u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\uff1a</p> <ol> <li>\u200b\u6e90\u200b IP \u200b\u662f\u200b 10.0.11.0/30 \u200b\u6216\u8005\u200b 10.0.11.254  \u200b\u7684\u200b\u62a5\u6587\u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u65f6\u200b\u4e0d\u4f1a\u200b\u505a\u200b SNAT\u3002</li> <li>\u200b\u6e90\u200b IP \u200b\u662f\u200b 10.0.11.128/26 \u200b\u5e76\u4e14\u200b\u76ee\u7684\u200b IP \u200b\u662f\u200b 114.114.114.114 \u200b\u6216\u8005\u200b 8.8.8.8 \u200b\u7684\u200b\u62a5\u6587\u200b\u8bbf\u95ee\u200b\u5916\u200b\u7f51\u200b\u65f6\u4f1a\u200b\u505a\u200b SNAT\u3002</li> </ol> <p>\u200b\u5b57\u200b\u6bb5\u200b\u63cf\u8ff0\u200b\uff1a</p> <p><code>action</code>\uff1a\u200b\u6ee1\u8db3\u200b <code>match</code> \u200b\u5bf9\u5e94\u200b\u6761\u4ef6\u200b\u7684\u200b\u62a5\u6587\u200b\uff0c\u200b\u4f1a\u200b\u6267\u884c\u200b\u7684\u200b action, action \u200b\u5206\u4e3a\u200b\u4e24\u79cd\u200b <code>forward</code> \u200b\u548c\u200b <code>nat</code> \uff0c<code>forward</code> \u200b\u8868\u793a\u200b\u62a5\u6587\u200b\u51fa\u5916\u200b\u7f51\u4e0d\u505a\u200b SNAT, <code>nat</code> \u200b\u8868\u793a\u200b\u62a5\u6587\u200b\u51fa\u5916\u200b\u7f51\u505a\u200b SNAT\u3002 \u200b\u6ca1\u6709\u200b\u914d\u7f6e\u200b natOutgoingPolicyRules \u200b\u65f6\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u62a5\u6587\u200b\u4ecd\u7136\u200b\u662f\u200b\u505a\u200b SNAT\u3002</p> <p><code>match</code>\uff1a\u200b\u8868\u793a\u200b\u62a5\u6587\u200b\u7684\u200b\u5339\u914d\u6bb5\u200b\uff0c\u200b\u5339\u914d\u6bb5\u200b\u6709\u200b <code>srcIPs</code> \u200b\u548c\u200b <code>dstIPs</code>\uff0c \u200b\u8fd9\u91cc\u200b\u8868\u793a\u200b\u4ece\u200b\u5b50\u7f51\u200b\u5185\u5230\u200b\u5916\u7f51\u200b\u65b9\u5411\u200b\u4e0a\u200b\u7684\u200b\u62a5\u6587\u200b\u7684\u200b\u6e90\u200b IP \u200b\u548c\u200b \u200b\u76ee\u7684\u200b IP\u3002<code>match.srcIPs</code> \u200b\u548c\u200b <code>match.dstIPs</code> \u200b\u652f\u6301\u200b\u591a\u4e2a\u200b CIDR \u200b\u548c\u200b IP\uff0c\u200b\u4e4b\u95f4\u200b\u7528\u200b\u9017\u53f7\u200b\u95f4\u9694\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u51fa\u73b0\u200b\u591a\u4e2a\u200b match \u200b\u89c4\u5219\u200b\u91cd\u53e0\u200b\uff0c\u200b\u5219\u200b\u6309\u7167\u200b <code>natOutgoingPolicyRules</code> \u200b\u6570\u7ec4\u200b\u987a\u5e8f\u200b\u8fdb\u884c\u200b\u5339\u914d\u200b\uff0c\u200b\u6700\u5148\u200b\u88ab\u200b\u5339\u914d\u200b\u7684\u200b action \u200b\u4f1a\u200b\u88ab\u200b\u6267\u884c\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/node-local-dns/","title":"\u8282\u70b9\u200b\u672c\u5730\u200b DNS \u200b\u7f13\u5b58\u200b\u548c\u200b Kube-OVN \u200b\u9002\u914d","text":"<p>NodeLocal DNSCache \u200b\u662f\u200b\u901a\u8fc7\u200b\u96c6\u7fa4\u200b\u8282\u70b9\u200b\u4e0a\u200b\u4f5c\u4e3a\u200b DaemonSet \u200b\u8fd0\u884c\u200b DNS \u200b\u7f13\u5b58\u200b\u6765\u200b\u63d0\u9ad8\u200b\u96c6\u7fa4\u200b DNS \u200b\u6027\u80fd\u200b\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u548c\u200b Kube-OVN \u200b\u9002\u914d\u200b\u3002</p>"},{"location":"advance/node-local-dns/#dns","title":"\u8282\u70b9\u200b\u672c\u5730\u200b DNS \u200b\u7f13\u5b58\u200b\u90e8\u7f72","text":""},{"location":"advance/node-local-dns/#kubernetes-dns","title":"\u90e8\u7f72\u200b Kubernetes \u200b\u7684\u200b\u8282\u70b9\u200b\u672c\u5730\u200b DNS \u200b\u7f13\u5b58","text":"<p>\u200b\u8be5\u200b\u6b65\u9aa4\u200b\u53c2\u8003\u200b Kubernetes \u200b\u5b98\u7f51\u200b\u914d\u7f6e\u200b Nodelocaldnscache\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u200b\u811a\u672c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>#!bin/bash\n\nlocaldns=169.254.20.10\ndomain=cluster.local\nkubedns=10.96.0.10\n\nwget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/dns/nodelocaldns/nodelocaldns.yaml\nsed -i \"s/__PILLAR__LOCAL__DNS__/$localdns/g; s/__PILLAR__DNS__DOMAIN__/$domain/g; s/,__PILLAR__DNS__SERVER__//g; s/__PILLAR__CLUSTER__DNS__/$kubedns/g\" nodelocaldns.yaml\n\nkubectl apply -f nodelocaldns.yaml\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u7684\u200b kubelet \u200b\u914d\u7f6e\u6587\u4ef6\u200b\uff0c\u200b\u5c06\u200b <code>/var/lib/kubelet/config.yaml</code> \u200b\u4e2d\u200b\u7684\u200b clusterDNS \u200b\u5b57\u200b\u6bb5\u200b\u4fee\u6539\u200b\u4e3a\u200b\u672c\u5730\u200b DNS IP 169.254.20.10\uff0c\u200b\u7136\u540e\u200b\u91cd\u542f\u200b kubelet \u200b\u670d\u52a1\u200b\u3002</p>"},{"location":"advance/node-local-dns/#kube-ovn-dns","title":"Kube-OVN \u200b\u76f8\u5e94\u200b DNS \u200b\u914d\u7f6e","text":"<p>\u200b\u90e8\u7f72\u200b\u597d\u200b Kubernetes \u200b\u7684\u200b Nodelocal DNScache \u200b\u7ec4\u4ef6\u200b\u540e\u200b\uff0c Kube-OVN \u200b\u9700\u8981\u200b\u505a\u51fa\u200b\u4e0b\u9762\u200b\u4fee\u6539\u200b\uff1a</p>"},{"location":"advance/node-local-dns/#underlay-subnet-u2o","title":"Underlay Subnet \u200b\u5f00\u542f\u200b U2O \u200b\u5f00\u5173","text":"<p>\u200b\u5982\u679c\u200b\u662f\u200b Underlay Subnet \u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u672c\u5730\u200b DNS \u200b\u529f\u80fd\u200b\uff0c\u200b\u9700\u8981\u200b\u5f00\u542f\u200b U2O \u200b\u529f\u80fd\u200b\uff0c\u200b\u5373\u200b\u5728\u200b <code>kubectl edit subnet {your subnet}</code> \u200b\u4e2d\u200b\u914d\u7f6e\u200b <code>spec.u2oInterconnection = true</code> , \u200b\u5982\u679c\u200b\u662f\u200b Overlay Subnet \u200b\u5219\u200b\u4e0d\u200b\u9700\u8981\u200b\u8fd9\u6b65\u200b\u64cd\u4f5c\u200b\u3002</p>"},{"location":"advance/node-local-dns/#kube-ovn-controller-dns-ip","title":"\u7ed9\u200b Kube-ovn-controller \u200b\u6307\u5b9a\u200b\u5bf9\u5e94\u200b\u7684\u200b\u672c\u5730\u200b DNS IP","text":"<pre><code>kubectl edit deployment kube-ovn-controller -n kube-system\n</code></pre> <p>\u200b\u7ed9\u200b <code>spec.template.spec.containers.args</code> \u200b\u589e\u52a0\u200b\u5b57\u200b\u6bb5\u200b <code>--node-local-dns-ip=169.254.20.10</code></p>"},{"location":"advance/node-local-dns/#pod","title":"\u91cd\u5efa\u200b\u5df2\u7ecf\u200b\u521b\u5efa\u200b\u7684\u200b Pod","text":"<p>\u200b\u8fd9\u6b65\u200b\u539f\u56e0\u200b\u662f\u200b\u8ba9\u200b Pod \u200b\u91cd\u65b0\u200b\u751f\u6210\u200b <code>/etc/resolv.conf</code> \u200b\u8ba9\u200b nameserver \u200b\u6307\u5411\u200b\u672c\u5730\u200b DNS IP\uff0c\u200b\u5982\u679c\u200b\u6ca1\u6709\u200b\u91cd\u5efa\u200b Pod \u200b\u7684\u200b nameserver \u200b\u5c06\u200b\u4ecd\u7136\u200b\u4f7f\u7528\u200b\u96c6\u7fa4\u200b\u7684\u200b DNS ClusterIP\u3002\u200b\u540c\u65f6\u200b u2o \u200b\u5f00\u5173\u200b\u5982\u679c\u200b\u5f00\u542f\u200b\u4e5f\u200b\u9700\u8981\u200b\u91cd\u5efa\u200b Pod \u200b\u6765\u200b\u91cd\u65b0\u200b\u751f\u6210\u200b Pod \u200b\u7f51\u5173\u200b\u3002</p>"},{"location":"advance/node-local-dns/#dns_1","title":"\u9a8c\u8bc1\u200b\u8282\u70b9\u200b\u672c\u5730\u200b DNS \u200b\u7f13\u5b58\u200b\u529f\u80fd","text":"<p>\u200b\u4ee5\u4e0a\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b\u540e\u200b\u53ef\u4ee5\u200b\u627e\u5230\u200b Pod \u200b\u9a8c\u8bc1\u200b\u5982\u4e0b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b Pod \u200b\u7684\u200b DNS \u200b\u670d\u52a1\u5668\u200b\u662f\u200b\u6307\u5411\u200b\u672c\u5730\u200b 169.254.20.10 \uff0c\u200b\u5e76\u200b\u6210\u529f\u200b\u89e3\u6790\u200b\u57df\u540d\u200b\uff1a</p> <pre><code># kubectl exec -it pod1 -- nslookup github.com\nServer:         169.254.20.10\nAddress:        169.254.20.10:53\n\n\nName:   github.com\nAddress: 20.205.243.166\n</code></pre> <p>\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u5728\u200b\u8282\u70b9\u200b\u6293\u5305\u200b\u9a8c\u8bc1\u200b\u5982\u4e0b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b DNS \u200b\u67e5\u8be2\u200b\u62a5\u6587\u200b\u901a\u8fc7\u200b ovn0 \u200b\u7f51\u5361\u200b\u5230\u8fbe\u200b\u672c\u5730\u200b\u7684\u200b DNS \u200b\u670d\u52a1\u200b\uff0cDNS \u200b\u54cd\u5e94\u200b\u62a5\u6587\u200b\u539f\u200b\u8def\u200b\u8fd4\u56de\u200b:</p> <pre><code># tcpdump -i any port 53\n\n06:20:00.441889 659246098c56_h P   ifindex 17 00:00:00:73:f1:06 ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1291+ A? baidu.com. (27)\n06:20:00.441889 ovn0  In  ifindex 7 00:00:00:50:32:cd ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1291+ A? baidu.com. (27)\n06:20:00.441950 659246098c56_h P   ifindex 17 00:00:00:73:f1:06 ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1611+ AAAA? baidu.com. (27)\n06:20:00.441950 ovn0  In  ifindex 7 00:00:00:50:32:cd ethertype IPv4 (0x0800), length 75: 10.16.0.2.40230 &gt; 169.254.20.10.53: 1611+ AAAA? baidu.com. (27)\n06:20:00.442203 ovn0  Out ifindex 7 00:00:00:52:99:d8 ethertype IPv4 (0x0800), length 145: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1611* 0/1/0 (97)\n06:20:00.442219 659246098c56_h Out ifindex 17 00:00:00:ea:b3:5e ethertype IPv4 (0x0800), length 145: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1611* 0/1/0 (97)\n06:20:00.442273 ovn0  Out ifindex 7 00:00:00:52:99:d8 ethertype IPv4 (0x0800), length 125: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1291* 2/0/0 A 39.156.66.10, A 110.242.68.66 (77)\n06:20:00.442278 659246098c56_h Out ifindex 17 00:00:00:ea:b3:5e ethertype IPv4 (0x0800), length 125: 169.254.20.10.53 &gt; 10.16.0.2.40230: 1291* 2/0/0 A 39.156.66.10, A 110.242.68.66 (77)\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/offload-corigine/","title":"\u82af\u542f\u6e90\u200b\u7f51\u5361\u200b Offload \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u5728\u200b\u6700\u7ec8\u200b\u7684\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u4f7f\u7528\u200b OVS \u200b\u6765\u200b\u5b8c\u6210\u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u76f8\u5173\u200b\u7684\u200b\u6d41\u8868\u200b\u5339\u914d\u200b\uff0c\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u7b49\u200b\u529f\u80fd\u200b\u4e3a\u200b CPU \u200b\u5bc6\u96c6\u578b\u200b\uff0c\u200b\u5728\u200b\u5927\u200b\u6d41\u91cf\u200b\u4e0b\u4f1a\u200b\u6d88\u8017\u200b\u5927\u91cf\u200b CPU \u200b\u8d44\u6e90\u200b\u5e76\u200b\u5bfc\u81f4\u200b \u200b\u5ef6\u8fdf\u200b\u4e0a\u5347\u200b\u548c\u200b\u541e\u5410\u91cf\u200b\u4e0b\u964d\u200b\u3002\u200b\u82af\u542f\u6e90\u200b\u7684\u200b Agilio CX \u200b\u7cfb\u5217\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b\u53ef\u4ee5\u200b\u5c06\u200b OVS \u200b\u76f8\u5173\u200b\u7684\u200b\u64cd\u4f5c\u200b\u5378\u8f7d\u200b\u5230\u200b\u786c\u4ef6\u200b\u7f51\u5361\u200b\u4e2d\u200b\u6267\u884c\u200b\u3002 \u200b\u8be5\u200b\u6280\u672f\u200b\u53ef\u4ee5\u200b\u5728\u200b\u65e0\u9700\u200b\u5bf9\u200b OVS \u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7f29\u77ed\u200b\u6570\u636e\u200b\u8def\u5f84\u200b\uff0c\u200b\u907f\u514d\u200b\u5bf9\u200b\u4e3b\u673a\u200b CPU \u200b\u8d44\u6e90\u200b\u7684\u200b\u4f7f\u7528\u200b\uff0c\u200b\u5927\u5e45\u200b\u964d\u4f4e\u200b\u5ef6\u8fdf\u200b\u5e76\u200b\u663e\u8457\u200b\u63d0\u5347\u200b\u541e\u5410\u91cf\u200b\u3002</p> <p></p>"},{"location":"advance/offload-corigine/#_1","title":"\u524d\u7f6e\u6761\u4ef6","text":"<ul> <li>\u200b\u82af\u542f\u6e90\u200b Agilio CX \u200b\u7cfb\u5217\u200b\u7684\u200b\u786c\u4ef6\u200b\u7f51\u5361\u200b\u3002</li> <li>CentOS 8 Stream \u200b\u6216\u200b\u4e0a\u6e38\u200b Linux 5.7 \u200b\u4ee5\u4e0a\u200b\u5185\u6838\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u5f53\u524d\u200b\u7f51\u5361\u200b\u4e0d\u200b\u652f\u6301\u200b <code>dp_hash</code> \u200b\u548c\u200b <code>hash</code> \u200b\u64cd\u4f5c\u200b\u5378\u8f7d\u200b\uff0c\u200b\u9700\u200b\u5173\u95ed\u200b OVN LB \u200b\u529f\u80fd\u200b\u3002</li> </ul>"},{"location":"advance/offload-corigine/#sr-iov","title":"\u8bbe\u7f6e\u200b\u7f51\u5361\u200b SR-IOV \u200b\u6a21\u5f0f","text":"<p>\u200b\u7528\u6237\u200b\u53ef\u200b\u53c2\u8003\u200b Agilio Open vSwitch TC User Guide \u200b\u83b7\u5f97\u200b\u8be5\u200b\u7f51\u5361\u200b\u4f7f\u7528\u200b\u7684\u200b\u66f4\u200b\u591a\u200b\u8be6\u7ec6\u4fe1\u606f\u200b\u3002</p> <p>\u200b\u4fdd\u5b58\u200b\u4e0b\u5217\u200b\u811a\u672c\u200b\u7528\u4e8e\u200b\u540e\u7eed\u200b\u6267\u884c\u200b\u56fa\u4ef6\u200b\u76f8\u5173\u200b\u64cd\u4f5c\u200b\uff1a</p> <pre><code>#!/bin/bash\nDEVICE=${1}\nDEFAULT_ASSY=scan\nASSY=${2:-${DEFAULT_ASSY}}\nAPP=${3:-flower}\n\nif [ \"x${DEVICE}\" = \"x\" -o ! -e /sys/class/net/${DEVICE} ]; then\n    echo Syntax: ${0} device [ASSY] [APP]\n    echo\n    echo This script associates the TC Offload firmware\n    echo with a Netronome SmartNIC.\n    echo\n    echo device: is the network device associated with the SmartNIC\n    echo ASSY: defaults to ${DEFAULT_ASSY}\n    echo APP: defaults to flower. flower-next is supported if updated\n    echo      firmware has been installed.\n    exit 1\nfi\n\n# It is recommended that the assembly be determined by inspection\n# The following code determines the value via the debug interface\nif [ \"${ASSY}x\" = \"scanx\" ]; then\n    ethtool -W ${DEVICE} 0\n    DEBUG=$(ethtool -w ${DEVICE} data /dev/stdout | strings)\n    SERIAL=$(echo \"${DEBUG}\" | grep \"^SN:\")\n    ASSY=$(echo ${SERIAL} | grep -oE AMDA[0-9]{4})\nfi\n\nPCIADDR=$(basename $(readlink -e /sys/class/net/${DEVICE}/device))\nFWDIR=\"/lib/firmware/netronome\"\n\n# AMDA0081 and AMDA0097 uses the same firmware\nif [ \"${ASSY}\" = \"AMDA0081\" ]; then\n    if [ ! -e ${FWDIR}/${APP}/nic_AMDA0081.nffw ]; then\n       ln -sf nic_AMDA0097.nffw ${FWDIR}/${APP}/nic_AMDA0081.nffw\n   fi\nfi\n\nFW=\"${FWDIR}/pci-${PCIADDR}.nffw\"\nln -sf \"${APP}/nic_${ASSY}.nffw\" \"${FW}\"\n\n# insert distro-specific initramfs section here...\n</code></pre> <p>\u200b\u5207\u6362\u200b\u56fa\u4ef6\u200b\u9009\u9879\u200b\u5e76\u200b\u91cd\u8f7d\u200b\u9a71\u52a8\u200b\uff1a</p> <pre><code>./agilio-tc-fw-select.sh ens47np0 scan\nrmmod nfp\nmodprobe nfp\n</code></pre> <p>\u200b\u68c0\u67e5\u200b\u53ef\u7528\u200b VF \u200b\u6570\u91cf\u200b\uff0c\u200b\u5e76\u200b\u521b\u5efa\u200b VF\uff1a</p> <pre><code># cat /sys/class/net/ens3/device/sriov_totalvfs\n65\n\n# echo 4 &gt; /sys/class/net/ens47/device/sriov_numvfs\n</code></pre>"},{"location":"advance/offload-corigine/#sr-iov-device-plugin","title":"\u5b89\u88c5\u200b SR-IOV Device Plugin","text":"<p>\u200b\u7531\u4e8e\u200b\u6bcf\u4e2a\u200b\u673a\u5668\u200b\u7684\u200b VF \u200b\u6570\u91cf\u200b\u6709\u9650\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u4f7f\u7528\u200b\u52a0\u901f\u200b\u7684\u200b Pod \u200b\u4f1a\u200b\u5360\u7528\u200b VF \u200b\u8d44\u6e90\u200b\uff0c\u200b\u6211\u4eec\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b SR-IOV Device Plugin \u200b\u7ba1\u7406\u200b\u76f8\u5e94\u200b\u8d44\u6e90\u200b\uff0c\u200b\u4f7f\u5f97\u200b\u8c03\u5ea6\u200b\u5668\u200b\u77e5\u9053\u200b\u5982\u4f55\u200b\u6839\u636e\u200b \u200b\u8d44\u6e90\u200b\u8fdb\u884c\u200b\u8c03\u5ea6\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b SR-IOV \u200b\u76f8\u5173\u200b Configmap\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: sriovdp-config\n  namespace: kube-system\ndata:\n  config.json: |\n    {\n      \"resourceList\": [{\n          \"resourcePrefix\": \"corigine.com\",\n          \"resourceName\": \"agilio_sriov\",\n          \"selectors\": {\n                  \"vendors\": [\"19ee\"],\n                  \"devices\": [\"6003\"],\n                  \"drivers\": [\"nfp_netvf\"]\n              }\n      }\n      ]\n    }\n</code></pre> <p>\u200b\u53c2\u8003\u200b SR-IOV \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b:</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/intel/sriov-network-device-plugin/master/deployments/k8s-v1.16/sriovdp-daemonset.yaml\n</code></pre> <p>\u200b\u68c0\u67e5\u200b SR-IOV \u200b\u8d44\u6e90\u200b\u662f\u5426\u200b\u5df2\u7ecf\u200b\u6ce8\u518c\u200b\u5230\u200b Kubernetes Node \u200b\u4e2d\u200b\uff1a</p> <pre><code>kubectl describe no containerserver  | grep corigine\n\ncorigine.com/agilio_sriov:  4\ncorigine.com/agilio_sriov:  4\ncorigine.com/agilio_sriov  0           0\n</code></pre>"},{"location":"advance/offload-corigine/#multus-cni","title":"\u5b89\u88c5\u200b Multus-CNI","text":"<p>SR-IOV Device Plugin \u200b\u8c03\u5ea6\u200b\u65f6\u200b\u83b7\u5f97\u200b\u7684\u200b\u8bbe\u5907\u200b ID \u200b\u9700\u8981\u200b\u901a\u8fc7\u200b Multus-CNI \u200b\u4f20\u9012\u200b\u7ed9\u200b Kube-OVN\uff0c\u200b\u56e0\u6b64\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b Multus-CNI \u200b\u914d\u5408\u200b\u5b8c\u6210\u200b\u76f8\u5173\u200b\u4efb\u52a1\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b Multus-CNI \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/multus-cni/master/deployments/multus-daemonset.yml\n</code></pre> <p>\u200b\u521b\u5efa\u200b <code>NetworkAttachmentDefinition</code>\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: default\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/resourceName: corigine.com/agilio_sriov\nspec:\n  config: '{\n    \"cniVersion\": \"0.3.1\",\n    \"name\": \"kube-ovn\",\n    \"plugins\":[\n        {\n            \"type\":\"kube-ovn\",\n            \"server_socket\":\"/run/openvswitch/kube-ovn-daemon.sock\",\n            \"provider\": \"default.default.ovn\"\n        },\n        {\n            \"type\":\"portmap\",\n            \"capabilities\":{\n                \"portMappings\":true\n            }\n        }\n    ]\n}'\n</code></pre> <ul> <li><code>provider</code>: \u200b\u683c\u5f0f\u200b\u4e3a\u200b\u5f53\u524d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {name}.{namespace}.ovn\u3002</li> </ul>"},{"location":"advance/offload-corigine/#kube-ovn","title":"Kube-OVN \u200b\u4e2d\u200b\u5f00\u542f\u200b\u5378\u8f7d\u200b\u6a21\u5f0f","text":"<p>\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/alauda/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\uff0c<code>IFACE</code> \u200b\u9700\u8981\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u8be5\u200b\u7f51\u5361\u200b\u9700\u8981\u200b\u6709\u200b\u53ef\u200b\u8def\u7531\u200b IP\uff1a</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"ensp01\"\n</code></pre> <p>\u200b\u5b89\u88c5\u200b Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"advance/offload-corigine/#vf-pod","title":"\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u7f51\u5361\u200b\u7684\u200b Pod","text":"<p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b yaml \u200b\u683c\u5f0f\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx\n  namespace: default\n  annotations:\n    v1.multus-cni.io/default-network: default/default\nspec:\n  containers:\n    - name: nginx\n      image: docker.io/library/nginx:alpine\n      resources:\n        requests:\n          corigine.com/agilio_sriov: '1'\n        limits:\n          corigine.com/agilio_sriov: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: \u200b\u4e3a\u200b\u4e0a\u200b\u4e00\u200b\u6b65\u9aa4\u200b\u4e2d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {namespace}/{name}\u3002</li> </ul> <p>\u200b\u53ef\u200b\u901a\u8fc7\u200b\u5728\u200b Pod \u200b\u8fd0\u884c\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\u4e2d\u200b\u8fd0\u884c\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u89c2\u5bdf\u200b\u5378\u8f7d\u200b\u662f\u5426\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># ovs-appctl dpctl/dump-flows -m type=offloaded\nufid:91cc45de-e7e9-4935-8f82-1890430b0f66, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(5b45c61b307e_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:c5:6d:4e,dst=00:00:00:e7:16:ce),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:941539, bytes:62142230, used:0.260s, offloaded:yes, dp:tc, actions:54235e5753b8_h\nufid:e00768d7-e652-4d79-8182-3291d852b791, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(54235e5753b8_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:e7:16:ce,dst=00:00:00:c5:6d:4e),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:82386659, bytes:115944854173, used:0.260s, offloaded:yes, dp:tc, actions:5b45c61b307e_h\n</code></pre> <p>\u200b\u5982\u679c\u200b\u6709\u200b <code>offloaded:yes, dp:tc</code> \u200b\u5185\u5bb9\u200b\u8bc1\u660e\u200b\u5378\u8f7d\u200b\u6210\u529f\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/offload-mellanox/","title":"Mellanox \u200b\u7f51\u5361\u200b Offload \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u5728\u200b\u6700\u7ec8\u200b\u7684\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u4f7f\u7528\u200b OVS \u200b\u6765\u200b\u5b8c\u6210\u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u76f8\u5173\u200b\u7684\u200b\u6d41\u8868\u200b\u5339\u914d\u200b\uff0c\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u7b49\u200b\u529f\u80fd\u200b\u4e3a\u200b CPU \u200b\u5bc6\u96c6\u578b\u200b\uff0c\u200b\u5728\u200b\u5927\u200b\u6d41\u91cf\u200b\u4e0b\u4f1a\u200b\u6d88\u8017\u200b\u5927\u91cf\u200b CPU \u200b\u8d44\u6e90\u200b\u5e76\u200b\u5bfc\u81f4\u200b \u200b\u5ef6\u8fdf\u200b\u4e0a\u5347\u200b\u548c\u200b\u541e\u5410\u91cf\u200b\u4e0b\u964d\u200b\u3002Mellanox \u200b\u7684\u200b Accelerated Switching And Packet Processing (ASAP\u00b2) \u200b\u6280\u672f\u200b\u53ef\u4ee5\u200b\u5c06\u200b OVS \u200b\u76f8\u5173\u200b\u7684\u200b\u64cd\u4f5c\u200b\u5378\u8f7d\u200b\u5230\u200b\u786c\u4ef6\u200b\u7f51\u5361\u200b\u5185\u200b\u7684\u200b eSwitch \u200b\u4e0a\u200b\u6267\u884c\u200b\u3002\u200b\u8be5\u200b\u6280\u672f\u200b\u53ef\u4ee5\u200b\u5728\u200b\u65e0\u9700\u200b\u5bf9\u200b OVS \u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7f29\u77ed\u200b\u6570\u636e\u200b\u8def\u5f84\u200b\uff0c\u200b\u907f\u514d\u200b\u5bf9\u200b\u4e3b\u673a\u200b CPU \u200b\u8d44\u6e90\u200b\u7684\u200b\u4f7f\u7528\u200b\uff0c\u200b\u5927\u5e45\u200b\u964d\u4f4e\u200b\u5ef6\u8fdf\u200b\u5e76\u200b\u663e\u8457\u200b\u63d0\u5347\u200b\u541e\u5410\u91cf\u200b\u3002</p> <p></p>"},{"location":"advance/offload-mellanox/#_1","title":"\u524d\u7f6e\u6761\u4ef6","text":"<ul> <li>Mellanox CX5/CX6/CX7/BlueField \u200b\u7b49\u200b\u652f\u6301\u200b ASAP\u00b2 \u200b\u7684\u200b\u786c\u4ef6\u200b\u7f51\u5361\u200b\u3002</li> <li>CentOS 8 Stream \u200b\u6216\u200b\u4e0a\u6e38\u200b Linux 5.7 \u200b\u4ee5\u4e0a\u200b\u5185\u6838\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u5f53\u524d\u200b\u7f51\u5361\u200b\u4e0d\u200b\u652f\u6301\u200b <code>dp_hash</code> \u200b\u548c\u200b <code>hash</code> \u200b\u64cd\u4f5c\u200b\u5378\u8f7d\u200b\uff0c\u200b\u9700\u200b\u5173\u95ed\u200b OVN LB \u200b\u529f\u80fd\u200b\u3002</li> <li>\u200b\u4e3a\u4e86\u200b\u914d\u7f6e\u200b\u5378\u8f7d\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u7f51\u5361\u200b\u4e0d\u80fd\u200b\u7ed1\u5b9a\u200b bond\u3002</li> </ul>"},{"location":"advance/offload-mellanox/#sr-iov-device-plugin","title":"\u914d\u7f6e\u200b SR-IOV \u200b\u548c\u200b Device Plugin","text":"<p>Mellanox \u200b\u7f51\u5361\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u914d\u7f6e\u200b offload \u200b\u7684\u200b\u65b9\u5f0f\u200b\uff0c\u200b\u4e00\u79cd\u200b\u624b\u52a8\u200b\u914d\u7f6e\u200b\u7f51\u5361\u200b SR-IOV \u200b\u548c\u200b Device Plugin\uff0c\u200b\u53e6\u200b\u4e00\u79cd\u200b\u901a\u8fc7\u200b sriov-network-operator \u200b\u8fdb\u884c\u200b\u81ea\u52a8\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"advance/offload-mellanox/#sr-iov-device-plugin_1","title":"\u624b\u52a8\u200b\u914d\u7f6e\u200b SR-IOV \u200b\u548c\u200b Device Plugin","text":""},{"location":"advance/offload-mellanox/#sr-iov","title":"\u914d\u7f6e\u200b SR-IOV","text":"<p>\u200b\u67e5\u8be2\u200b\u7f51\u5361\u200b\u7684\u200b\u8bbe\u5907\u200b ID\uff0c\u200b\u4e0b\u9762\u200b\u7684\u200b\u4f8b\u5b50\u200b\u4e2d\u4e3a\u200b <code>84:00.0</code> \u200b\u548c\u200b <code>84.00.1</code>\uff1a</p> <pre><code># lspci -nn | grep ConnectX-5\n84:00.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n84:00.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n</code></pre> <p>\u200b\u6839\u636e\u200b\u8bbe\u5907\u200b ID \u200b\u627e\u5230\u200b\u5bf9\u5e94\u200b\u7f51\u5361\u200b\uff1a</p> <pre><code># ls -l /sys/class/net/ | grep 84:00.0\nlrwxrwxrwx 1 root root 0 Feb 4 16:16 enp132s0f0np0 -&gt; ../../devices/pci0000:80/0000:80:08.0/0000:84:00.0/net/enp132s0f0np0\n# ls -l /sys/class/net/ | grep 84:00.1\nlrwxrwxrwx 1 root root 0 Feb 4 16:16 enp132s0f1np1 -&gt; ../../devices/pci0000:80/0000:80:08.0/0000:84:00.1/net/enp132s0f1np1\n</code></pre> <p>\u200b\u68c0\u67e5\u200b\u7f51\u5361\u200b\u662f\u5426\u200b\u7ed1\u5b9a\u200b bond\uff1a</p> <p>\u200b\u672c\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u7f51\u5361\u200b enp132s0f0np0 \u200b\u548c\u200b enp132s0f1np1 \u200b\u7ed1\u5b9a\u200b bond1</p> <pre><code># ip link show enp132s0f0np0 | grep bond\n160: enp132s0f0np0: &lt;BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP&gt; mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000\n# ip link show enp132s0f1np1 | grep bond\n169: enp132s0f1np1: &lt;BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP&gt; mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000\n</code></pre> <p>\u200b\u79fb\u9664\u200b bond \u200b\u548c\u200b\u73b0\u6709\u200b\u7684\u200b VF\uff1a</p> <pre><code>ifenslave -d bond1 enp132s0f0np0\nifenslave -d bond1 enp132s0f1np1\necho 0 &gt; /sys/class/net/enp132s0f0np0/device/sriov_numvfs\necho 0 &gt; /sys/class/net/enp132s0f1np1/device/sriov_numvfs\nip link set enp132s0f0np0 down\nip link set enp132s0f1np1 down\n</code></pre> <p>\u200b\u914d\u7f6e\u200b\u89c4\u5219\u200b\u4e0b\u53d1\u200b\u6a21\u5f0f\u200b\uff1a</p> <p>OVS \u200b\u5185\u6838\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u89c4\u5219\u200b\u63d2\u5165\u200b\u786c\u4ef6\u200b\u7684\u200b\u6a21\u5f0f\u200b\uff1aSMFS \u200b\u548c\u200b DMFS</p> <ul> <li>SMFS (software-managed flow steering)\uff1a\u200b\u9ed8\u8ba4\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u89c4\u5219\u200b\u7531\u200b\u8f6f\u4ef6\u200b\uff08\u200b\u9a71\u52a8\u7a0b\u5e8f\u200b\uff09\u200b\u76f4\u63a5\u63d2\u5165\u200b\u786c\u4ef6\u200b\u3002\u200b\u8fd9\u79cd\u200b\u6a21\u5f0f\u200b\u5bf9\u200b\u89c4\u5219\u200b\u63d2\u5165\u200b\u8fdb\u884c\u200b\u4e86\u200b\u4f18\u5316\u200b\u3002</li> <li>DMFS (device-managed flow steering)\uff1a\u200b\u89c4\u5219\u200b\u63d2\u5165\u200b\u662f\u200b\u901a\u8fc7\u200b\u56fa\u4ef6\u200b\u547d\u4ee4\u200b\u5b8c\u6210\u200b\u7684\u200b\u3002\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u9488\u5bf9\u200b\u7cfb\u7edf\u200b\u4e2d\u200b\u5c11\u91cf\u200b\u89c4\u5219\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u8fdb\u884c\u200b\u4e86\u200b\u4f18\u5316\u200b\u3002</li> </ul> <p>\u200b\u53ef\u200b\u5728\u200b\u652f\u6301\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u7684\u200b\u5185\u6838\u200b\u4e2d\u200b\u901a\u8fc7\u200b sysfs \u200b\u6216\u200b devlink API \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code># \u200b\u901a\u8fc7\u200b sysfs \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\necho &lt;smfs|dmfs&gt; &gt; /sys/class/net/enp132s0f0np0/compat/devlink/steering_mode\necho &lt;smfs|dmfs&gt; &gt; /sys/class/net/enp132s0f1np1/compat/devlink/steering_mode\n# \u200b\u901a\u8fc7\u200b devlink \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\ndevlink dev param set pci/84:00.0 name flow_steering_mode value smfs cmode runtime\ndevlink dev param set pci/84:00.1 name flow_steering_mode value smfs cmode runtime\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u82e5\u200b\u4e0d\u200b\u4e86\u89e3\u200b\u5e94\u8be5\u200b\u9009\u62e9\u200b\u54ea\u4e2a\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u5219\u200b\u53ef\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u65e0\u9700\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u68c0\u67e5\u200b\u53ef\u7528\u200b VF \u200b\u6570\u91cf\u200b\uff1a</p> <pre><code># cat /sys/class/net/enp132s0f0np0/device/sriov_totalvfs\n127\n# cat /sys/class/net/enp132s1f0np1/device/sriov_totalvfs\n127\n</code></pre> <p>\u200b\u521b\u5efa\u200b VF\uff0c\u200b\u603b\u6570\u200b\u4e0d\u8981\u200b\u8d85\u8fc7\u200b\u4e0a\u9762\u200b\u67e5\u8be2\u200b\u51fa\u200b\u7684\u200b\u6570\u91cf\u200b\uff1a</p> <pre><code># echo '4' &gt; /sys/class/net/enp132s0f0np0/device/sriov_numvfs\n# echo '4' &gt; /sys/class/net/enp132s1f0np1/device/sriov_numvfs\n# ip link show enp132s0f0np0\n160: enp132s0f0np0: &lt;NO-CARRIER,BROADCAST,MULTICAST,UP&gt; mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000\n    link/ether 08:c0:eb:74:c3:4a brd ff:ff:ff:ff:ff:ff\n    vf 0 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 1 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 2 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 3 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n# ip link show enp132s0f1np1\n169: enp132s0f1np1: &lt;NO-CARRIER,BROADCAST,MULTICAST,UP&gt; mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000\n    link/ether 08:c0:eb:74:c3:4b brd ff:ff:ff:ff:ff:ff\n    vf 0 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 1 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 2 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n    vf 3 link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, spoof checking off, link-state disable, trust off, query_rss off\n# ip link set enp132s0f0np0 up\n# ip link set enp132s0f1np1 up\n</code></pre> <p>\u200b\u627e\u5230\u200b\u4e0a\u8ff0\u200b VF \u200b\u5bf9\u5e94\u200b\u7684\u200b\u8bbe\u5907\u200b ID\uff1a</p> <pre><code># lspci -nn | grep ConnectX-5 | grep Virtual\n84:00.2 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.3 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.4 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.5 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.6 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:00.7 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:01.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n84:01.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n</code></pre> <p>\u200b\u5c06\u200b VF \u200b\u4ece\u200b\u9a71\u52a8\u200b\u4e2d\u89e3\u200b\u7ed1\u200b\uff1a</p> <pre><code>echo 0000:84:00.2 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.3 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.4 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.5 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.6 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:00.7 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:01.0 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\necho 0000:84:01.1 &gt; /sys/bus/pci/drivers/mlx5_core/unbind\n</code></pre> <p>\u200b\u5f00\u542f\u200b eSwitch \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u5e76\u200b\u8bbe\u7f6e\u200b\u786c\u4ef6\u200b\u5378\u8f7d\u200b\uff1a</p> <pre><code>devlink dev eswitch set pci/0000:84:00.0 mode switchdev\ndevlink dev eswitch set pci/0000:84:00.1 mode switchdev\nethtool -K enp132s0f0np0 hw-tc-offload on\nethtool -K enp132s0f1np1 hw-tc-offload on\n</code></pre> <p>SR-IOV VF \u200b\u94fe\u8def\u200b\u805a\u5408\u200b\u914d\u7f6e\u200b\uff1a</p> <p>SR-IOV VF LAG \u200b\u5141\u8bb8\u200b\u7f51\u5361\u200b\u7684\u200b PF \u200b\u83b7\u53d6\u200b OVS \u200b\u8bd5\u56fe\u200b\u5378\u8f7d\u200b\u5230\u200b\u7ed1\u5b9a\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u7684\u200b\u89c4\u5219\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u5176\u200b\u5378\u8f7d\u200b\u5230\u200b\u786c\u4ef6\u200b e-switch \u200b\u4e0a\u200b\u3002\u200b\u652f\u6301\u200b\u7684\u200b bond \u200b\u6a21\u5f0f\u200b\u5982\u4e0b\u200b\uff1a</p> <ul> <li>Active-backup</li> <li>XOR</li> <li>LACP</li> </ul> <p>SR-IOV VF LAG \u200b\u53ef\u200b\u5c06\u200b LAG \u200b\u529f\u80fd\u200b\u5b8c\u5168\u200b\u5378\u8f7d\u200b\u7ed9\u200b\u786c\u4ef6\u200b\u3002bond \u200b\u4f1a\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b\u5355\u4e00\u200b\u7684\u200b bond PF \u200b\u7aef\u53e3\u200b\u3002\u200b\u5f53\u200b\u4f7f\u7528\u200b\u786c\u4ef6\u200b\u5378\u8f7d\u200b\u65f6\u200b\uff0c\u200b\u4e24\u4e2a\u200b\u7aef\u53e3\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u53ef\u200b\u8f6c\u53d1\u200b\u5230\u200b\u4efb\u4f55\u200b\u4e00\u4e2a\u200b VF\u3002\u200b\u6765\u81ea\u200b VF \u200b\u7684\u200b\u6d41\u91cf\u200b\u53ef\u200b\u6839\u636e\u200b bond \u200b\u72b6\u6001\u200b\u8f6c\u53d1\u200b\u5230\u200b\u4e24\u4e2a\u200b\u7aef\u53e3\u200b\u3002\u200b\u8fd9\u200b\u610f\u5473\u7740\u200b\uff0c\u200b\u5728\u200b\u4e3b\u5907\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u53ea\u6709\u200b\u4e00\u4e2a\u200b PF \u200b\u5904\u4e8e\u200b\u8fd0\u884c\u200b\u72b6\u6001\u200b\uff0c\u200b\u6765\u81ea\u200b\u4efb\u4f55\u200b VF \u200b\u7684\u200b\u6d41\u91cf\u200b\u90fd\u200b\u4f1a\u200b\u901a\u8fc7\u200b\u8be5\u200b PF\u3002\u200b\u5728\u200b XOR \u200b\u6216\u200b LACP \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u5982\u679c\u200b\u4e24\u4e2a\u200b PF \u200b\u90fd\u200b\u6b63\u5e38\u200b\u8fd0\u884c\u200b\uff0c\u200b\u5219\u200b\u6765\u81ea\u200b\u4efb\u4f55\u200b VF \u200b\u7684\u200b\u6d41\u91cf\u200b\u90fd\u200b\u4f1a\u200b\u5728\u200b\u8fd9\u200b\u4e24\u4e2a\u200b PF \u200b\u4e4b\u95f4\u200b\u5206\u914d\u200b\u3002</p> <p>\u200b\u672c\u200b\u793a\u4f8b\u200b\u4e2d\u5c06\u200b\u91c7\u7528\u200b LACP \u200b\u7684\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u914d\u7f6e\u200b\u65b9\u5f0f\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>modprobe bonding mode=802.3ad\nip link set enp132s0f0np0 master bond1\nip link set enp132s0f1np1 master bond1\nip link set enp132s0f0np0 up\nip link set enp132s0f1np1 up\nip link set bond1 up\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u82e5\u200b\u4e0d\u200b\u9700\u8981\u200b\u7ed1\u5b9a\u200b bond\uff0c\u200b\u8bf7\u200b\u5ffd\u7565\u200b\u4e0a\u8ff0\u200b\u64cd\u4f5c\u200b\u3002</p> <p>\u200b\u91cd\u65b0\u200b\u7ed1\u5b9a\u200b\u9a71\u52a8\u200b\uff0c\u200b\u5b8c\u6210\u200b VF \u200b\u8bbe\u7f6e\u200b\uff1a</p> <pre><code>echo 0000:84:00.2 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.3 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.4 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.5 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.6 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:00.7 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:01.0 &gt; /sys/bus/pci/drivers/mlx5_core/bind\necho 0000:84:01.1 &gt; /sys/bus/pci/drivers/mlx5_core/bind\n</code></pre> <p><code>NetworkManager</code> \u200b\u7684\u200b\u4e00\u4e9b\u200b\u884c\u4e3a\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u5bfc\u81f4\u200b\u9a71\u52a8\u200b\u5f02\u5e38\u200b\uff0c\u200b\u5982\u679c\u200b\u5378\u8f7d\u200b\u51fa\u73b0\u200b\u95ee\u9898\u200b\u5efa\u8bae\u200b\u5173\u95ed\u200b <code>NetworkManager</code> \u200b\u518d\u200b\u8fdb\u884c\u200b\u5c1d\u8bd5\u200b\uff1a</p> <pre><code>systemctl stop NetworkManager\nsystemctl disable NetworkManager\n</code></pre>"},{"location":"advance/offload-mellanox/#device-plugin","title":"\u914d\u7f6e\u200b Device Plugin","text":"<p>\u200b\u7531\u4e8e\u200b\u6bcf\u4e2a\u200b\u673a\u5668\u200b\u7684\u200b VF \u200b\u6570\u91cf\u200b\u4f18\u5148\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u4f7f\u7528\u200b\u52a0\u901f\u200b\u7684\u200b Pod \u200b\u4f1a\u200b\u5360\u7528\u200b VF \u200b\u8d44\u6e90\u200b\uff0c\u200b\u6211\u4eec\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b SR-IOV Device Plugin \u200b\u7ba1\u7406\u200b\u76f8\u5e94\u200b\u8d44\u6e90\u200b\uff0c\u200b\u4f7f\u5f97\u200b\u8c03\u5ea6\u200b\u5668\u200b\u77e5\u9053\u200b\u5982\u4f55\u200b\u6839\u636e\u200b \u200b\u8d44\u6e90\u200b\u8fdb\u884c\u200b\u8c03\u5ea6\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b SR-IOV \u200b\u76f8\u5173\u200b Configmap\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: sriovdp-config\n  namespace: kube-system\ndata:\n  config.json: |\n    {\n      \"resourceList\": [{\n          \"resourcePrefix\": \"mellanox.com\",\n          \"resourceName\": \"cx5_sriov_switchdev\",\n          \"selectors\": {\n                  \"vendors\": [\"15b3\"],\n                  \"devices\": [\"1018\"],\n                  \"drivers\": [\"mlx5_core\"]\n              }\n      }\n      ]\n    }\n</code></pre> <p>SR-IOV Device Plugin \u200b\u4f1a\u200b\u6839\u636e\u200b\u5173\u8054\u200b\u7684\u200b ConfigMap \u200b\u4e2d\u200b\u6307\u5b9a\u200b\u7684\u200b\u914d\u7f6e\u200b\u521b\u5efa\u200b\u8bbe\u5907\u200b\u63d2\u4ef6\u200b\u7aef\u70b9\u200b\uff0cConfigMap \u200b\u7684\u200b name \u200b\u4e3a\u200b sriovdp-config\u3002</p> <ul> <li><code>selectors</code>: VF \u200b\u9009\u62e9\u5668\u200b</li> <li><code>vendors</code>: \u200b\u76ee\u6807\u200b\u8bbe\u5907\u200b\u4f9b\u5e94\u5546\u200b\u5341\u516d\u8fdb\u5236\u200b\u4ee3\u7801\u200b\u5b57\u7b26\u4e32\u200b</li> <li><code>devices</code>: \u200b\u76ee\u6807\u200b\u8bbe\u5907\u200b\u7684\u200b\u8bbe\u5907\u200b\u5341\u516d\u8fdb\u5236\u200b\u4ee3\u7801\u200b\u5b57\u7b26\u4e32\u200b</li> <li><code>drivers</code>: \u200b\u4ee5\u200b\u5b57\u7b26\u4e32\u200b\u5f62\u5f0f\u200b\u663e\u793a\u200b\u7684\u200b\u76ee\u6807\u200b\u8bbe\u5907\u200b\u9a71\u52a8\u7a0b\u5e8f\u200b\u540d\u79f0\u200b</li> </ul> <p><code>selectors</code> \u200b\u8fd8\u200b\u652f\u6301\u200b\u57fa\u4e8e\u200b <code>pciAddresses</code>\u3001<code>acpiIndexes</code> \u200b\u7b49\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b VF \u200b\u7684\u200b\u9009\u62e9\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u8be6\u7ec6\u200b\u914d\u7f6e\u200b\u8bf7\u200b\u53c2\u8003\u200bSR-IOV ConfigMap \u200b\u914d\u7f6e\u200b</p> <p>\u200b\u53c2\u8003\u200b SR-IOV \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b:</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/sriov-network-device-plugin/v3.6.2/deployments/sriovdp-daemonset.yaml\n</code></pre> <p>\u200b\u68c0\u67e5\u200b SR-IOV \u200b\u8d44\u6e90\u200b\u662f\u5426\u200b\u5df2\u7ecf\u200b\u6ce8\u518c\u200b\u5230\u200b Kubernetes Node \u200b\u4e2d\u200b\uff1a</p> <pre><code>kubectl describe node kube-ovn-01  | grep mellanox\n\nmellanox.com/cx5_sriov_switchdev:  8\nmellanox.com/cx5_sriov_switchdev:  8\nmellanox.com/cx5_sriov_switchdev  0           0\n</code></pre>"},{"location":"advance/offload-mellanox/#sriov-network-operator-sr-iov-device-plugin","title":"\u4f7f\u7528\u200b sriov-network-operator \u200b\u914d\u7f6e\u200b SR-IOV \u200b\u548c\u200b Device Plugin","text":"<p>\u200b\u5b89\u88c5\u200b node-feature-discovery \u200b\u81ea\u52a8\u68c0\u6d4b\u200b\u786c\u4ef6\u200b\u7684\u200b\u529f\u80fd\u200b\u548c\u200b\u7cfb\u7edf\u914d\u7f6e\u200b:</p> <pre><code>kubectl apply -k https://github.com/kubernetes-sigs/node-feature-discovery/deployment/overlays/default?ref=v0.11.3\n</code></pre> <p>\u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff0c\u200b\u624b\u52a8\u200b\u7ed9\u200b\u6709\u200b offload \u200b\u80fd\u529b\u200b\u7684\u200b\u7f51\u5361\u200b\u589e\u52a0\u200b annotation:</p> <pre><code>kubectl label nodes [offloadNicNode] feature.node.kubernetes.io/network-sriov.capable=true\n</code></pre> <p>\u200b\u514b\u9686\u200b\u4ee3\u7801\u200b\u4ed3\u5e93\u200b\u5e76\u200b\u5b89\u88c5\u200b Operator\uff1a</p> <pre><code>git clone --depth=1 https://github.com/kubeovn/sriov-network-operator.git\nkubectl apply -k sriov-network-operator/deploy\n</code></pre> <p>\u200b\u68c0\u67e5\u200b Operator \u200b\u7ec4\u4ef6\u200b\u662f\u5426\u200b\u5de5\u4f5c\u200b\u6b63\u5e38\u200b\uff1a</p> <pre><code># kubectl get -n kube-system all | grep sriov\nNAME                                          READY   STATUS    RESTARTS   AGE\npod/sriov-network-config-daemon-bf9nt         1/1     Running   0          8s\npod/sriov-network-operator-54d7545f65-296gb   1/1     Running   0          10s\n\nNAME                                         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                                                 AGE\ndaemonset.apps/sriov-network-config-daemon   1         1         1       1            1           beta.kubernetes.io/os=linux,feature.node.kubernetes.io/network-sriov.capable=true   8s\n\nNAME                                     READY   UP-TO-DATE   AVAILABLE   AGE\ndeployment.apps/sriov-network-operator   1/1     1            1           10s\n\nNAME                                                DESIRED   CURRENT   READY   AGE\nreplicaset.apps/sriov-network-operator-54d7545f65   1         1         1       10s\n</code></pre> <p>\u200b\u68c0\u67e5\u200b <code>SriovNetworkNodeState</code>\uff0c\u200b\u4e0b\u9762\u200b\u4ee5\u200b <code>node1</code> \u200b\u8282\u70b9\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u8be5\u200b\u8282\u70b9\u200b\u4e0a\u200b\u6709\u200b\u4e24\u4e2a\u200b Mellanox \u200b\u7f51\u5361\u200b\uff1a</p> <pre><code># kubectl get sriovnetworknodestates.sriovnetwork.openshift.io -n kube-system node1 -o yaml\napiVersion: sriovnetwork.openshift.io/v1\nkind: SriovNetworkNodeState\nspec: ...\nstatus:\n  interfaces:\n  - deviceID: \"1017\"\n    driver: mlx5_core\n    mtu: 1500\n    pciAddress: \"0000:5f:00.0\"\n    totalvfs: 8\n    vendor: \"15b3\"\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    name: ens41f0np0\n  - deviceID: \"1017\"\n    driver: mlx5_core\n    mtu: 1500\n    pciAddress: \"0000:5f:00.1\"\n    totalvfs: 8\n    vendor: \"15b3\"\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    name: ens41f1np1\n</code></pre> <p>\u200b\u521b\u5efa\u200b <code>SriovNetworkNodePolicy</code> \u200b\u8d44\u6e90\u200b\uff0c\u200b\u5e76\u200b\u901a\u8fc7\u200b <code>nicSelector</code> \u200b\u9009\u62e9\u200b\u8981\u200b\u7ba1\u7406\u200b\u7684\u200b\u7f51\u5361\u200b\uff1a</p> <pre><code>apiVersion: sriovnetwork.openshift.io/v1\nkind: SriovNetworkNodePolicy\nmetadata:\n  name: policy\n  namespace: kube-system\nspec:\n  nodeSelector:\n    feature.node.kubernetes.io/network-sriov.capable: \"true\"\n  eSwitchMode: switchdev\n  numVfs: 3\n  nicSelector:\n    pfNames:\n    - ens41f0np0\n    - ens41f1np1\n  resourceName: cx_sriov_switchdev\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u68c0\u67e5\u200b <code>SriovNetworkNodeState</code> \u200b\u7684\u200b <code>status</code> \u200b\u5b57\u200b\u6bb5\u200b\uff1a</p> <pre><code># kubectl get sriovnetworknodestates.sriovnetwork.openshift.io -n kube-system node1 -o yaml\n\n...\nspec:\n  interfaces:\n  - eSwitchMode: switchdev\n    name: ens41f0np0\n    numVfs: 3\n    pciAddress: 0000:5f:00.0\n    vfGroups:\n    - policyName: policy\n      vfRange: 0-2\n      resourceName: cx_sriov_switchdev\n  - eSwitchMode: switchdev\n    name: ens41f1np1\n    numVfs: 3\n    pciAddress: 0000:5f:00.1\n    vfGroups:\n    - policyName: policy\n      vfRange: 0-2\n      resourceName: cx_sriov_switchdev\nstatus:\n  interfaces\n  - Vfs:\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.2\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.3\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.4\n      vendor: \"15b3\"\n    deviceID: \"1017\"\n    driver: mlx5_core\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:ab\n    mtu: 1500\n    name: ens41f0np0\n    numVfs: 3\n    pciAddress: 0000:5f:00.0\n    totalvfs: 3\n    vendor: \"15b3\"\n  - Vfs:\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.5\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.6\n      vendor: \"15b3\"\n    - deviceID: 1018\n      driver: mlx5_core\n      pciAddress: 0000:5f:00.7\n      vendor: \"15b3\"\n    deviceID: \"1017\"\n    driver: mlx5_core\n    linkSeed: 25000Mb/s\n    linkType: ETH\n    mac: 08:c0:eb:f4:85:bb\n    mtu: 1500\n    name: ens41f1np1\n    numVfs: 3\n    pciAddress: 0000:5f:00.1\n    totalvfs: 3\n    vendor: \"15b3\"\n</code></pre> <p>\u200b\u68c0\u67e5\u200b VF \u200b\u7684\u200b\u72b6\u6001\u200b\uff1a</p> <pre><code># lspci -nn | grep ConnectX\n5f:00.0 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n5f:00.1 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5] [15b3:1017]\n5f:00.2 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.3 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.4 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.5 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.6 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n5f:00.7 Ethernet controller [0200]: Mellanox Technologies MT27800 Family [ConnectX-5 Virtual Function] [15b3:1018]\n</code></pre> <p>\u200b\u68c0\u67e5\u200b PF \u200b\u5de5\u4f5c\u200b\u6a21\u5f0f\u200b\uff1a</p> <pre><code># cat /sys/class/net/ens41f0np0/compat/devlink/mode\nswitchdev\n</code></pre>"},{"location":"advance/offload-mellanox/#multus-cni","title":"\u5b89\u88c5\u200b Multus-CNI","text":"<p>SR-IOV Device Plugin \u200b\u8c03\u5ea6\u200b\u65f6\u200b\u83b7\u5f97\u200b\u7684\u200b\u8bbe\u5907\u200b ID \u200b\u9700\u8981\u200b\u901a\u8fc7\u200b Multus-CNI \u200b\u4f20\u9012\u200b\u7ed9\u200b Kube-OVN\uff0c\u200b\u56e0\u6b64\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b Multus-CNI \u200b\u914d\u5408\u200b\u5b8c\u6210\u200b\u76f8\u5173\u200b\u4efb\u52a1\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b Multus-CNI \u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/multus-cni/v4.0.2/deployments/multus-daemonset-thick.yml\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1amultus \u200b\u63d0\u4f9b\u200b\u4e86\u200b Thin \u200b\u548c\u200b Thick \u200b\u7248\u672c\u200b\u7684\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u82e5\u200b\u8981\u200b\u652f\u6301\u200b SR-IOV \u200b\u5219\u200b\u9700\u8981\u200b\u5b89\u88c5\u200b Thick \u200b\u7248\u672c\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b <code>NetworkAttachmentDefinition</code>\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: sriov\n  namespace: default\n  annotations:\n    k8s.v1.cni.cncf.io/resourceName: mellanox.com/cx5_sriov_switchdev\nspec:\n  config: '{\n    \"cniVersion\": \"0.3.1\",\n    \"name\": \"kube-ovn\",\n    \"plugins\":[\n        {\n            \"type\":\"kube-ovn\",\n            \"server_socket\":\"/run/openvswitch/kube-ovn-daemon.sock\",\n            \"provider\": \"sriov.default.ovn\"\n        },\n        {\n            \"type\":\"portmap\",\n            \"capabilities\":{\n                \"portMappings\":true\n            }\n        }\n    ]\n}'\n</code></pre> <ul> <li><code>provider</code>: \u200b\u683c\u5f0f\u200b\u4e3a\u200b\u5f53\u524d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {name}.{namespace}.ovn\u3002</li> </ul>"},{"location":"advance/offload-mellanox/#overlay","title":"Overlay \u200b\u5378\u8f7d","text":""},{"location":"advance/offload-mellanox/#kube-ovn","title":"Kube-OVN \u200b\u4e2d\u200b\u5f00\u542f\u200b\u5378\u8f7d\u200b\u6a21\u5f0f","text":"<p>\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\uff0c<code>IFACE</code> \u200b\u9700\u8981\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u8be5\u200b\u7f51\u5361\u200b\u9700\u8981\u200b\u6709\u200b\u53ef\u200b\u8def\u7531\u200b IP\uff1a</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"bond1\"\n# \u200b\u4ee5\u200b\u624b\u52a8\u200b\u914d\u7f6e\u200b SR-IOV \u200b\u548c\u200b Device Plugin \u200b\u4e2d\u200b\u7684\u200b\u7f51\u5361\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u82e5\u200b\u7ed1\u5b9a\u200b bond\uff0c\u200b\u5219\u200b\u5c06\u200b IFACE \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b bond1\uff0c\u200b\u82e5\u200b\u672a\u200b\u7ed1\u5b9a\u200b bond\uff0c\u200b\u5219\u200b\u53ef\u200b\u5c06\u200b IFACE \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b enp132s0f0np0 \u200b\u6216\u200b enp132s0f1np1\n</code></pre> <p>\u200b\u5b89\u88c5\u200b Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"advance/offload-mellanox/#vf-pod","title":"\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u7f51\u5361\u200b\u7684\u200b Pod","text":"<p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b yaml \u200b\u683c\u5f0f\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-overlay\n  annotations:\n    v1.multus-cni.io/default-network: default/sriov\n    sriov.default.ovn.kubernetes.io/logical_switch: ovn-default\nspec:\n  containers:\n  - name: nginx-overlay\n    image: docker.io/library/nginx:alpine\n    resources:\n      requests:\n        mellanox.com/cx5_sriov_switchdev: '1'\n      limits:\n        mellanox.com/cx5_sriov_switchdev: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: \u200b\u4e3a\u200b\u4e0a\u200b\u4e00\u200b\u6b65\u9aa4\u200b\u4e2d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {namespace}/{name}\u3002</li> <li><code>sriov.default.ovn.kubernetes.io/logical_switch</code>: \u200b\u6307\u5b9a\u200b Pod \u200b\u6240\u5c5e\u200b\u7684\u200b Subnet\uff0c\u200b\u82e5\u200b\u5e0c\u671b\u200b Pod \u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e3a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u5219\u200b\u8be5\u884c\u200b\u6ce8\u89e3\u200b\u53ef\u200b\u7701\u7565\u200b\u3002</li> </ul>"},{"location":"advance/offload-mellanox/#underlay","title":"Underlay \u200b\u5378\u8f7d","text":""},{"location":"advance/offload-mellanox/#kube-ovn_1","title":"Kube-OVN \u200b\u4e2d\u200b\u5f00\u542f\u200b\u5378\u8f7d\u200b\u6a21\u5f0f","text":"<p>\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\uff0c<code>IFACE</code> \u200b\u9700\u8981\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u8be5\u200b\u7f51\u5361\u200b\u9700\u8981\u200b\u6709\u200b\u53ef\u200b\u8def\u7531\u200b IP\uff1a</p> <pre><code>ENABLE_MIRROR=${ENABLE_MIRROR:-false}\nHW_OFFLOAD=${HW_OFFLOAD:-true}\nENABLE_LB=${ENABLE_LB:-false}\nIFACE=\"\"\n# \u200b\u82e5\u200b\u9700\u8981\u200b Underlay \u200b\u5378\u8f7d\u200b\uff0cIFACE \u200b\u9700\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5176\u5b83\u200b\u975e\u200b PF \u200b\u7684\u200b\u7f51\u5361\u200b\u3002\uff08IFACE \u200b\u4e3a\u7a7a\u200b\u65f6\u4f1a\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b K8s \u200b\u96c6\u7fa4\u200b\u901a\u4fe1\u200b\u7684\u200b\u7f51\u5361\u200b\uff0c\u200b\u6ce8\u610f\u200b\u8fd9\u5f20\u200b\u7f51\u5361\u200b\u4e0d\u80fd\u200b\u662f\u200b PF \u200b\u7684\u200b\u7f51\u5361\u200b\uff09\n</code></pre> <p>\u200b\u5b89\u88c5\u200b Kube-OVN\uff1a</p> <pre><code>bash install.sh\n</code></pre>"},{"location":"advance/offload-mellanox/#vf-pod_1","title":"\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u7f51\u5361\u200b\u7684\u200b Pod","text":"<p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b yaml \u200b\u683c\u5f0f\u200b\u521b\u5efa\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: underlay-offload\nspec:\n  defaultInterface: bond1\n\n---\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan0\nspec:\n  id: 0\n  provider: underlay-offload\n\n---\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vlan0\nspec:\n  protocol: IPv4\n  provider: ovn\n  cidrBlock: 10.10.204.0/24\n  gateway: 10.10.204.254\n  vlan: vlan0\n  excludeIps:\n  - 10.10.204.1..10.10.204.100\n\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-underlay\n  annotations:\n    k8s.v1.cni.cncf.io/networks: '[{\n      \"name\": \"sriov\",\n      \"namespace\": \"default\",\n      \"default-route\": [\"10.10.204.254\"]\n    }]'\n    sriov.default.ovn.kubernetes.io/logical_switch: vlan0\nspec:\n  containers:\n  - name: nginx-underlay\n    image: docker.io/library/nginx:alpine\n    resources:\n      requests:\n        mellanox.com/cx5_sriov_switchdev: '1'\n      limits:\n        mellanox.com/cx5_sriov_switchdev: '1'\n</code></pre> <ul> <li><code>v1.multus-cni.io/default-network</code>: \u200b\u4e3a\u200b\u4e0a\u200b\u4e00\u200b\u6b65\u9aa4\u200b\u4e2d\u200b <code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b {namespace}/{name}\u3002</li> </ul> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u4e0a\u8ff0\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u901a\u8fc7\u200b multus \u200b\u521b\u5efa\u200b\u4e86\u200b\u4f7f\u7528\u200b VF \u200b\u4f5c\u4e3a\u200b\u526f\u200b\u7f51\u5361\u200b\u7684\u200b Pod\uff0c\u200b\u540c\u65f6\u200b\u5c06\u200b VF \u200b\u4f5c\u4e3a\u200b Pod \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u3002\u200b\u8fd8\u200b\u53ef\u4ee5\u200b\u5c06\u200b VF \u200b\u4f5c\u4e3a\u200b Pod \u200b\u7684\u200b\u4e3b\u200b\u7f51\u5361\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b multus \u200b\u914d\u7f6e\u200b\u8be6\u89c1\u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b\u3002</p> <p>\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u7684\u200b\u662f\u200b\u4ecd\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b yaml \u200b\u683c\u5f0f\u200b\u521b\u5efa\u200b\u4e0d\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: nginx-underlay-noVF\n  annotations:\n    ovn.kubernetes.io/logical_switch: vlan0\nspec:\n  containers:\n  - name: nginx-underlay-noVF\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u4e0a\u8ff0\u200b\u793a\u4f8b\u200b\u4f1a\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b\u4e0d\u200b\u4f7f\u7528\u200b VF \u200b\u8fdb\u884c\u200b\u7f51\u7edc\u200b\u5378\u8f7d\u200b\u52a0\u901f\u200b\u7684\u200b Pod\uff0c\u200b\u5176\u6d41\u8868\u200b\u4ecd\u4f1a\u200b\u88ab\u200b\u4e0b\u53d1\u200b\u81f3\u200b ovs-kernel \u200b\u4e2d\u200b\u800c\u200b\u4e0d\u4f1a\u200b\u4e0b\u53d1\u200b\u5230\u200b e-switch \u200b\u4e2d\u200b\u3002</p>"},{"location":"advance/offload-mellanox/#_2","title":"\u5378\u8f7d\u200b\u9a8c\u8bc1","text":"<p>\u200b\u53ef\u200b\u901a\u8fc7\u200b\u5728\u200b Pod \u200b\u8fd0\u884c\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\u4e2d\u200b\u8fd0\u884c\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u89c2\u5bdf\u200b\u5378\u8f7d\u200b\u662f\u5426\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># ovs-appctl dpctl/dump-flows -m type=offloaded\nufid:91cc45de-e7e9-4935-8f82-1890430b0f66, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(5b45c61b307e_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:c5:6d:4e,dst=00:00:00:e7:16:ce),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:941539, bytes:62142230, used:0.260s, offloaded:yes, dp:tc, actions:54235e5753b8_h\nufid:e00768d7-e652-4d79-8182-3291d852b791, skb_priority(0/0),skb_mark(0/0),ct_state(0/0x23),ct_zone(0/0),ct_mark(0/0),ct_label(0/0x1),recirc_id(0),dp_hash(0/0),in_port(54235e5753b8_h),packet_type(ns=0/0,id=0/0),eth(src=00:00:00:e7:16:ce,dst=00:00:00:c5:6d:4e),eth_type(0x0800),ipv4(src=0.0.0.0/0.0.0.0,dst=0.0.0.0/0.0.0.0,proto=0/0,tos=0/0,ttl=0/0,frag=no), packets:82386659, bytes:115944854173, used:0.260s, offloaded:yes, dp:tc, actions:5b45c61b307e_h\n</code></pre> <p>\u200b\u5982\u679c\u200b\u6709\u200b <code>offloaded:yes, dp:tc</code> \u200b\u5185\u5bb9\u200b\u8bc1\u660e\u200b\u5378\u8f7d\u200b\u6210\u529f\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/overlay-with-route/","title":"Overlay \u200b\u4e0b\u200b\u8def\u7531\u200b\u65b9\u5f0f\u200b\u7f51\u7edc\u200b\u6253\u901a","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u7f51\u7edc\u200b\u73af\u5883\u200b\u4e0d\u200b\u652f\u6301\u200b Underlay \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u4f46\u662f\u200b\u4f9d\u7136\u200b\u9700\u8981\u200b Pod \u200b\u80fd\u200b\u548c\u200b\u5916\u90e8\u200b\u8bbe\u65bd\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b IP \u200b\u8fdb\u884c\u200b\u4e92\u8bbf\u200b\uff0c \u200b\u8fd9\u65f6\u5019\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u8def\u7531\u200b\u65b9\u5f0f\u200b\u5c06\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u548c\u200b\u5916\u90e8\u200b\u8054\u901a\u200b\u3002</p> <p>\u200b\u8def\u7531\u200b\u6a21\u5f0f\u200b\u53ea\u200b\u652f\u6301\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Overlay \u200b\u7f51\u7edc\u200b\u548c\u200b\u5916\u90e8\u200b\u6253\u901a\u200b\uff0c\u200b\u5728\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0cPod IP \u200b\u4f1a\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u653e\u5f00\u200b\u5173\u4e8e\u200b\u6e90\u5730\u5740\u200b\u548c\u200b\u76ee\u200b\u5730\u5740\u200b\u7684\u200b IP \u200b\u68c0\u67e5\u200b\u3002</p>"},{"location":"advance/overlay-with-route/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ul> <li>\u200b\u6b64\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u4e3b\u673a\u200b\u9700\u8981\u200b\u5f00\u653e\u200b <code>ip_forward</code>\u3002</li> <li>\u200b\u68c0\u67e5\u200b\u4e3b\u673a\u200b iptables \u200b\u89c4\u5219\u200b\u4e2d\u200b\u662f\u5426\u200b\u5728\u200b forward \u200b\u94fe\u4e2d\u200b\u662f\u5426\u200b\u6709\u200b Drop \u200b\u89c4\u5219\u200b\uff0c\u200b\u9700\u8981\u200b\u653e\u884c\u200b\u5bb9\u5668\u200b\u76f8\u5173\u200b\u6d41\u91cf\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u53ef\u80fd\u200b\u5b58\u5728\u200b\u975e\u5bf9\u79f0\u200b\u8def\u7531\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0c\u200b\u4e3b\u673a\u200b\u9700\u200b\u653e\u884c\u200b ct \u200b\u72b6\u6001\u200b\u4e3a\u200b <code>INVALID</code> \u200b\u7684\u200b\u6570\u636e\u5305\u200b\u3002</li> </ul>"},{"location":"advance/overlay-with-route/#_2","title":"\u8bbe\u7f6e\u200b\u6b65\u9aa4","text":"<p>\u200b\u5bf9\u4e8e\u200b\u9700\u8981\u200b\u5bf9\u5916\u200b\u76f4\u63a5\u200b\u8def\u7531\u200b\u7684\u200b\u5b50\u7f51\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b\u5b50\u7f51\u200b\u7684\u200b <code>natOutgoing</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code>\uff0c\u200b\u5173\u95ed\u200b nat \u200b\u6620\u5c04\u200b\uff0c\u200b\u4f7f\u5f97\u200b Pod IP \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: routed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: distributed\n  natOutgoing: false\n</code></pre> <p>\u200b\u6b64\u65f6\u200b\uff0cPod \u200b\u7684\u200b\u6570\u636e\u5305\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4e3b\u673a\u200b\u8def\u7531\u200b\u5230\u8fbe\u200b\u5bf9\u7aef\u200b\u8282\u70b9\u200b\uff0c\u200b\u4f46\u662f\u200b\u5bf9\u7aef\u200b\u8282\u70b9\u200b\u8fd8\u200b\u4e0d\u200b\u77e5\u9053\u200b\u56de\u7a0b\u200b\u6570\u636e\u5305\u200b\u5e94\u8be5\u200b\u53d1\u9001\u5230\u200b\u54ea\u91cc\u200b\uff0c\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u56de\u7a0b\u200b\u8def\u7531\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u5bf9\u7aef\u200b\u4e3b\u673a\u200b\u548c\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u5bbf\u4e3b\u673a\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u4e8c\u5c42\u200b\u7f51\u7edc\u200b\uff0c\u200b\u6211\u4eec\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u5728\u200b\u5bf9\u200b\u7aef\u200b\u4e3b\u673a\u200b\u6dfb\u52a0\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u5c06\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u6307\u5411\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b\u4efb\u610f\u200b\u4e00\u53f0\u200b\u673a\u5668\u200b\u3002</p> <pre><code>ip route add 10.166.0.0/16 via 192.168.2.10 dev eth0\n</code></pre> <p><code>10.166.0.0/16</code> \u200b\u4e3a\u200b\u5bb9\u5668\u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b\uff0c<code>192.168.2.10</code> \u200b\u4e3a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u5185\u200b\u4efb\u610f\u200b\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u3002</p> <p>\u200b\u82e5\u200b\u5bf9\u200b\u7aef\u200b\u4e3b\u673a\u200b\u548c\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u5bbf\u4e3b\u673a\u200b\u4e0d\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u4e8c\u5c42\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u5728\u200b\u8def\u7531\u5668\u200b\u4e0a\u200b\u914d\u7f6e\u200b\u76f8\u5e94\u200b\u7684\u200b\u89c4\u5219\u200b\uff0c\u200b\u901a\u8fc7\u200b\u8def\u7531\u5668\u200b\u8fdb\u884c\u200b\u6253\u901a\u200b\u3002</p> <p>\u200b\u6ce8\u610f\u200b\uff1a \u200b\u6307\u5b9a\u200b\u67d0\u4e2a\u200b\u8282\u70b9\u200b IP \u200b\u5b58\u5728\u200b\u5355\u70b9\u6545\u969c\u200b\u7684\u200b\u53ef\u80fd\u200b\uff0c\u200b\u5982\u679c\u200b\u5e0c\u671b\u200b\u505a\u5230\u200b\u5feb\u901f\u200b\u7684\u200b\u6545\u969c\u200b\u5207\u6362\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Keepalived \u200b\u7ed9\u200b\u591a\u4e2a\u200b\u8282\u70b9\u200b\u8bbe\u7f6e\u200b VIP\uff0c\u200b\u540c\u65f6\u200b\u5c06\u200b\u8def\u7531\u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u6307\u5411\u200b VIP\u3002</p> <p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u865a\u62df\u5316\u200b\u73af\u5883\u200b\u4e2d\u200b\uff0c\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u4f1a\u200b\u5c06\u200b\u975e\u5bf9\u79f0\u200b\u6d41\u91cf\u200b\u8bc6\u522b\u200b\u4e3a\u200b\u975e\u6cd5\u200b\u6d41\u91cf\u200b\u5e76\u200b\u4e22\u5f03\u200b\u3002 \u200b\u6b64\u65f6\u200b\u9700\u8981\u200b\u5c06\u200b Subnet \u200b\u7684\u200b <code>gatewayType</code> \u200b\u8c03\u6574\u200b\u4e3a\u200b <code>centralized</code>\uff0c\u200b\u5e76\u200b\u5728\u200b\u8def\u7531\u200b\u8bbe\u7f6e\u200b\u65f6\u200b\u5c06\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>gatewayNode</code> \u200b\u8282\u70b9\u200b\u7684\u200b IP\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: routed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: centralized\n  gatewayNode: \"node1\"\n  natOutgoing: false\n</code></pre> <p>\u200b\u5982\u679c\u200b\u5bf9\u4e8e\u200b\u90e8\u5206\u200b\u6d41\u91cf\u200b\uff08\u200b\u5982\u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u7684\u200b\u6d41\u91cf\u200b\uff09\u200b\u4ecd\u7136\u200b\u5e0c\u671b\u200b\u8fdb\u884c\u200b nat \u200b\u5904\u7406\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b\u9ed8\u8ba4\u200b VPC NAT \u200b\u7b56\u7565\u200b\u89c4\u5219\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/ovn-eip-fip-snat/","title":"OVN EIP FIP SNAT DNAT \u200b\u652f\u6301","text":"<pre><code>\ngraph LR\n\npod--&gt;subnet--&gt;vpc--&gt;lrp--bind--&gt;gw-chassis--&gt;snat--&gt;lsp--&gt;external-subnet\nlrp-.-peer-.-lsp\n</code></pre> <p>Pod \u200b\u57fa\u4e8e\u200b SNAT \u200b\u51fa\u200b\u516c\u7f51\u200b\u7684\u200b\u5927\u81f4\u200b\u6d41\u7a0b\u200b\uff0c\u200b\u6700\u540e\u200b\u662f\u200b\u7ecf\u8fc7\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u5361\u200b\u3002 Pod \u200b\u57fa\u4e8e\u200b Fip \u200b\u4f7f\u7528\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u8def\u5f84\u200b\u4e5f\u200b\u7c7b\u4f3c\u200b\u3002</p> <pre><code>\ngraph LR\n\n\npod--&gt;subnet--&gt;vpc--&gt;lrp--bind--&gt;local-chassis--&gt;snat--&gt;lsp--&gt;external-subnet\n\n\nlrp-.-peer-.-lsp\n</code></pre> <p>Pod \u200b\u57fa\u4e8e\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b FIP (dnat_and_snat) \u200b\u51fa\u200b\u516c\u7f51\u200b\u7684\u200b\u5927\u81f4\u200b\u6d41\u7a0b\u200b\uff0c\u200b\u6700\u540e\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b\u672c\u5730\u200b\u8282\u70b9\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u5361\u200b\u51fa\u200b\u516c\u7f51\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u6240\u200b\u652f\u6301\u200b\u7684\u200b CRD \u200b\u5728\u200b\u4f7f\u7528\u200b\u4e0a\u5c06\u200b\u548c\u200b iptable nat gw \u200b\u516c\u7f51\u200b\u65b9\u6848\u200b\u4fdd\u6301\u200b\u57fa\u672c\u4e00\u81f4\u200b\u3002</p> <ul> <li>ovn eip: \u200b\u7528\u4e8e\u200b\u516c\u7f51\u200b ip \u200b\u5360\u4f4d\u200b\uff0c\u200b\u4ece\u200b underlay provider network vlan subnet \u200b\u4e2d\u200b\u5206\u914d\u200b</li> <li>ovn fip\uff1a \u200b\u4e00\u5bf9\u4e00\u200b dnat snat\uff0c\u200b\u4e3a\u200b vpc \u200b\u5185\u200b\u7684\u200b ip \u200b\u6216\u8005\u200b vip \u200b\u63d0\u4f9b\u200b\u516c\u7f51\u200b\u76f4\u63a5\u200b\u8bbf\u95ee\u200b\u80fd\u529b\u200b</li> <li>ovn snat\uff1a\u200b\u6574\u4e2a\u200b\u5b50\u7f51\u200b\u6216\u8005\u200b\u5355\u4e2a\u200b vpc \u200b\u5185\u200b ip \u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b snat \u200b\u8bbf\u95ee\u200b\u516c\u7f51\u200b</li> <li>ovn dnat\uff1a\u200b\u57fa\u4e8e\u200b router lb \u200b\u5b9e\u73b0\u200b, \u200b\u57fa\u4e8e\u200b\u516c\u7f51\u200b ip + \u200b\u7aef\u53e3\u200b \u200b\u76f4\u63a5\u200b\u8bbf\u95ee\u200b vpc \u200b\u5185\u200b\u7684\u200b \u200b\u4e00\u7ec4\u200b endpoints</li> </ul>"},{"location":"advance/ovn-eip-fip-snat/#1","title":"1. \u200b\u90e8\u7f72","text":"<p>\u200b\u76ee\u524d\u200b\u5141\u8bb8\u200b\u6240\u6709\u200b\uff08\u200b\u9ed8\u8ba4\u200b\u4ee5\u53ca\u200b\u81ea\u5b9a\u4e49\u200b\uff09 vpc \u200b\u4f7f\u7528\u200b\u540c\u4e00\u4e2a\u200b\u9ed8\u8ba4\u200b provider vlan subnet \u200b\u8d44\u6e90\u200b\uff0c\u200b\u540c\u65f6\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u652f\u6301\u200b\u6269\u5c55\u200b provider vlan subnet \u200b\u4ece\u800c\u200b\u5b9e\u73b0\u200b\u4f7f\u7528\u200b\u591a\u4e2a\u200b\u516c\u7f51\u200b\uff0c\u200b\u517c\u5bb9\u200b\u9ed8\u8ba4\u200b VPC EIP/SNAT\u200b\u7684\u200b\u573a\u666f\u200b\u3002</p> <p>\u200b\u7c7b\u4f3c\u200b neutron ovn\uff0c\u200b\u670d\u52a1\u200b\u542f\u52a8\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b provider network \u200b\u76f8\u5173\u200b\u7684\u200b\u914d\u7f6e\u200b\uff0c\u200b\u4e0b\u8ff0\u200b\u7684\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u4e5f\u200b\u662f\u200b\u4e3a\u4e86\u200b\u517c\u5bb9\u200b VPC EIP/SNAT \u200b\u7684\u200b\u5b9e\u73b0\u200b\u3002</p> <p>\u200b\u90e8\u7f72\u200b\u9636\u6bb5\u200b\uff0c\u200b\u6839\u636e\u200b\u5b9e\u9645\u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u80fd\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b\u9ed8\u8ba4\u200b\u516c\u7f51\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u3002 \u200b\u5982\u679c\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u4e2d\u200b\u6ca1\u6709\u200b vlan\uff08\u200b\u4f7f\u7528\u200b vlan 0\uff09\uff0c\u200b\u90a3\u4e48\u200b\u4e0b\u8ff0\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u65e0\u9700\u200b\u914d\u7f6e\u200b\u3002</p> <pre><code># \u200b\u90e8\u7f72\u200b\u7684\u200b\u65f6\u5019\u200b\u4f60\u200b\u9700\u8981\u200b\u53c2\u8003\u200b\u4ee5\u4e0a\u200b\u573a\u666f\u200b\uff0c\u200b\u6839\u636e\u200b\u5b9e\u9645\u200b\u60c5\u51b5\u200b\uff0c\u200b\u6309\u200b\u9700\u200b\u6307\u5b9a\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b\n# 1. kube-ovn-controller \u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b\uff1a\n          - --external-gateway-vlanid=204\n          - --external-gateway-switch=external204\n\n# 2. kube-ovn-cni \u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b:\n          - --external-gateway-switch=external204 \n\n### \u200b\u4ee5\u4e0a\u200b\u914d\u7f6e\u200b\u90fd\u200b\u548c\u200b\u4e0b\u9762\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b vlan id \u200b\u548c\u200b\u8d44\u6e90\u200b\u540d\u200b\u4fdd\u6301\u4e00\u81f4\u200b\uff0c\u200b\u76ee\u524d\u200b\u4ec5\u200b\u652f\u6301\u200b\u6307\u5b9a\u200b\u4e00\u4e2a\u200b underlay \u200b\u516c\u7f51\u200b\u4f5c\u4e3a\u200b\u9ed8\u8ba4\u200b\u5916\u90e8\u200b\u516c\u7f51\u200b\u3002\n</code></pre> <p>\u200b\u8be5\u200b\u914d\u7f6e\u200b\u9879\u200b\u7684\u200b\u8bbe\u8ba1\u200b\u548c\u200b\u4f7f\u7528\u200b\u4e3b\u8981\u200b\u8003\u8651\u200b\u4e86\u200b\u5982\u4e0b\u200b\u56e0\u7d20\u200b\uff1a</p> <ul> <li>\u200b\u57fa\u4e8e\u200b\u8be5\u200b\u914d\u7f6e\u200b\u9879\u200b\u53ef\u4ee5\u200b\u5bf9\u200b\u63a5\u5230\u200b provider network\uff0cvlan\uff0csubnet \u200b\u7684\u200b\u8d44\u6e90\u200b\u3002</li> <li>\u200b\u57fa\u4e8e\u200b\u8be5\u200b\u914d\u7f6e\u200b\u9879\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u9ed8\u8ba4\u200b vpc enable_eip_snat \u200b\u529f\u80fd\u200b\u5bf9\u200b\u63a5\u5230\u200b\u5df2\u6709\u200b\u7684\u200b vlan\uff0csubnet \u200b\u8d44\u6e90\u200b\uff0c\u200b\u540c\u65f6\u200b\u652f\u6301\u200b\u516c\u7f51\u200b ip \u200b\u7684\u200b ipam\u3002</li> <li>\u200b\u5982\u679c\u200b\u4ec5\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b vpc \u200b\u7684\u200b enable_eip_snat \u200b\u6a21\u5f0f\u200b, \u200b\u4e14\u200b\u4ec5\u200b\u4f7f\u7528\u200b\u65e7\u200b\u7684\u200b\u57fa\u4e8e\u200b pod annotaion \u200b\u7684\u200b fip snat\uff0c\u200b\u90a3\u4e48\u200b\u8fd9\u4e2a\u200b\u914d\u7f6e\u200b\u65e0\u9700\u200b\u914d\u7f6e\u200b\u3002</li> <li>\u200b\u57fa\u4e8e\u200b\u8be5\u200b\u914d\u7f6e\u200b\u53ef\u4ee5\u200b\u4e0d\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b vpc enable_eip_snat \u200b\u6d41\u7a0b\u200b\uff0c\u200b\u4ec5\u200b\u901a\u8fc7\u200b\u5bf9\u5e94\u200b\u5230\u200b vlan\uff0csubnet \u200b\u6d41\u7a0b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u517c\u5bb9\u200b\u4ec5\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u4f7f\u7528\u200b eip snat \u200b\u7684\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\u3002</li> </ul>"},{"location":"advance/ovn-eip-fip-snat/#11-underlay","title":"1.1 \u200b\u51c6\u5907\u200b underlay \u200b\u516c\u7f51\u200b\u7f51\u7edc","text":"<pre><code># \u200b\u51c6\u5907\u200b provider-network\uff0c vlan\uff0c subnet\n# cat 01-provider-network.yaml\n\napiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: external204\nspec:\n  defaultInterface: vlan\n\n# cat 02-vlan.yaml\n\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan204\nspec:\n  id: 204\n  provider: external204\n\n# cat 03-vlan-subnet.yaml\n\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: external204\nspec:\n  protocol: IPv4\n  cidrBlock: 10.5.204.0/24\n  gateway: 10.5.204.254\n  vlan: vlan204\n  excludeIps:\n  - 10.5.204.1..10.5.204.100\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#12-vpc-eip_snat","title":"1.2 \u200b\u9ed8\u8ba4\u200b vpc \u200b\u542f\u7528\u200b eip_snat","text":"<pre><code># \u200b\u542f\u7528\u200b\u9ed8\u8ba4\u200b vpc \u200b\u548c\u200b\u4e0a\u8ff0\u200b underlay \u200b\u516c\u7f51\u200b provider subnet \u200b\u4e92\u8054\u200b\n# cat 00-centralized-external-gw-no-ip.yaml\n\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-external-gw-config\n  namespace: kube-system\ndata:\n  enable-external-gw: \"true\"\n  external-gw-nodes: \"pc-node-1,pc-node-2,pc-node-3\"\n  type: \"centralized\" \n  external-gw-nic: \"vlan\" # \u200b\u7528\u4e8e\u200b\u63a5\u5165\u200b ovs \u200b\u516c\u7f51\u200b\u7f51\u6865\u200b\u7684\u200b\u7f51\u5361\u200b\n  external-gw-addr: \"10.5.204.254/24\" # underlay \u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u7684\u200b ip\n</code></pre> <p>\u200b\u76ee\u524d\u200b\u8be5\u200b\u529f\u80fd\u200b\u5df2\u200b\u652f\u6301\u200b\u53ef\u4ee5\u200b\u4e0d\u200b\u6307\u5b9a\u200b logical router port (lrp) ip \u200b\u548c\u200b mac\uff0c\u200b\u5df2\u200b\u652f\u6301\u200b\u4ece\u200b underlay \u200b\u516c\u7f51\u200b\u4e2d\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\uff0c\u200b\u521b\u5efa\u200b lrp \u200b\u7c7b\u578b\u200b\u7684\u200b ovn eip \u200b\u8d44\u6e90\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u6307\u5b9a\u200b\u4e86\u200b\uff0c\u200b\u5219\u200b\u76f8\u5f53\u4e8e\u200b\u4ee5\u200b\u6307\u5b9a\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\u521b\u5efa\u200b\u4e86\u200b\u4e00\u4e2a\u200b lrp \u200b\u7c7b\u578b\u200b\u7684\u200b ovn-eip\u3002 \u200b\u5f53\u7136\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u63d0\u524d\u200b\u624b\u52a8\u200b\u521b\u5efa\u200b lrp \u200b\u7c7b\u578b\u200b\u7684\u200b ovn eip\u3002</p>"},{"location":"advance/ovn-eip-fip-snat/#13-vpc-eip-snat-fip","title":"1.3 \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u542f\u7528\u200b eip snat fip \u200b\u529f\u80fd","text":"<p>\u200b\u96c6\u7fa4\u200b\u4e00\u822c\u200b\u9700\u8981\u200b\u591a\u4e2a\u200b\u7f51\u5173\u200b node \u200b\u6765\u200b\u5b9e\u73b0\u200b\u9ad8\u200b\u53ef\u7528\u200b\uff0c\u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># \u200b\u9996\u5148\u200b\u901a\u8fc7\u200b\u6dfb\u52a0\u200b\u6807\u7b7e\u200b\u6307\u5b9a\u200b external-gw-nodes\nkubectl label nodes pc-node-1 pc-node-2 pc-node-3 ovn.kubernetes.io/external-gw=true\n</code></pre> <pre><code># cat 00-ns.yml\n\napiVersion: v1\nkind: Namespace\nmetadata:\n  name: vpc1\n\n# cat 01-vpc-ecmp-enable-external-bfd.yml\n\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true\n# vpc \u200b\u542f\u7528\u200b enableExternal \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u521b\u5efa\u200b lrp \u200b\u5173\u8054\u200b\u5230\u200b\u4e0a\u8ff0\u200b\u6307\u5b9a\u200b\u7684\u200b\u516c\u7f51\u200b\n\n# cat 02-subnet.yml\n\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vpc1-subnet1\nspec:\n  cidrBlock: 192.168.0.0/24\n  default: false\n  disableGatewayCheck: false\n  disableInterConnection: true\n  enableEcmp: true\n  gatewayNode: \"\"\n  gatewayType: distributed\n  #gatewayType: centralized\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n  provider: ovn\n  vpc: vpc1\n  namespaces:\n  - vpc1\n\n# \u200b\u8fd9\u91cc\u200b\u5b50\u7f51\u200b\u548c\u200b\u4e4b\u524d\u200b\u4f7f\u7528\u200b\u5b50\u7f51\u200b\u4e00\u6837\u200b\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u5728\u200b subnet \u200b\u4e0a\u200b\u6ca1\u6709\u200b\u65b0\u589e\u200b\u5c5e\u6027\u200b\uff0c\u200b\u6ca1\u6709\u200b\u4efb\u4f55\u200b\u53d8\u66f4\u200b\n</code></pre> <p>\u200b\u4ee5\u4e0a\u200b\u6a21\u677f\u200b\u5e94\u7528\u200b\u540e\u200b\uff0c\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\u5b58\u5728\u200b</p> <pre><code># k ko nbctl show vpc1\n\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 21d853b0-f7b4-40bd-9a53-31d2e2745739\n        external ip: \"10.5.204.115\"\n        logical ip: \"192.168.0.0/24\"\n        type: \"snat\"\n</code></pre> <pre><code># k ko nbctl lr-route-list vpc1\n\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0              10.5.204.254 dst-ip\n# \u200b\u76ee\u524d\u200b\u8be5\u200b\u8def\u7531\u200b\u5df2\u200b\u81ea\u52a8\u200b\u7ef4\u62a4\u200b\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#14","title":"1.4 \u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc","text":""},{"location":"advance/ovn-eip-fip-snat/#141-underlay","title":"1.4.1 \u200b\u51c6\u5907\u200b\u989d\u5916\u200b underlay \u200b\u516c\u7f51\u200b\u7f51\u7edc","text":"<p>\u200b\u989d\u5916\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\u5728\u200b\u542f\u52a8\u200b\u9ed8\u8ba4\u200b eip snat fip \u200b\u529f\u80fd\u200b\u540e\u200b\u624d\u200b\u4f1a\u200b\u542f\u7528\u200b\uff0c\u200b\u82e5\u200b\u53ea\u6709\u200b 1 \u200b\u4e2a\u200b\u516c\u7f51\u200b\u7f51\u5361\u200b\uff0c\u200b\u8bf7\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b eip snat fip \u200b\u529f\u80fd\u200b</p> <pre><code># \u200b\u51c6\u5907\u200b provider-network\uff0c vlan\uff0c subnet\n# cat 01-extra-provider-network.yaml\napiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: extra\nspec:\n  defaultInterface: vlan\n# cat 02-extra-vlan.yaml\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan0\nspec:\n  id: 0\n  provider: extra\n# cat 03-extra-vlan-subnet.yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: extra\nspec:\n  protocol: IPv4\n  cidrBlock: 10.10.204.0/24\n  gateway: 10.10.204.254\n  vlan: vlan0\n  excludeIps:\n  - 10.10.204.1..10.10.204.100\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#142-vpc","title":"1.4.2 \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u914d\u7f6e","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vpc\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true  # \u200b\u5f00\u542f\u200b enableExternal \u200b\u540e\u200b vpc \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u8fde\u63a5\u200b\u540d\u4e3a\u200b external \u200b\u7684\u200b ls\n  addExternalSubnets: # \u200b\u914d\u7f6e\u200b addExternalSubnets \u200b\u652f\u6301\u200b\u8fde\u63a5\u200b\u591a\u4e2a\u200b\u989d\u5916\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\n  - extra\n</code></pre> <p>\u200b\u4ee5\u4e0a\u200b\u6a21\u677f\u200b\u5e94\u7528\u200b\u540e\u200b\uff0c\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\u5b58\u5728\u200b</p> <pre><code># k ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    port vpc1-extra\n        mac: \"00:00:00:EF:6A:C7\"\n        networks: [\"10.10.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#2-ovn-eip","title":"2. ovn-eip","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u548c\u200b iptables-eip \u200b\u8bbe\u8ba1\u200b\u548c\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u57fa\u672c\u4e00\u81f4\u200b\uff0covn-eip \u200b\u76ee\u524d\u200b\u6709\u200b\u4e09\u79cd\u200b type</p> <ul> <li>nat: \u200b\u662f\u200b\u6307\u200b ovn dnat\uff0cfip, snat \u200b\u8fd9\u200b\u4e09\u79cd\u200b nat \u200b\u8d44\u6e90\u7c7b\u578b\u200b</li> <li>lrp: \u200b\u8f6f\u200b\u8def\u7531\u200b\u57fa\u4e8e\u200b\u8be5\u200b\u7aef\u53e3\u200b\u548c\u200b underlay \u200b\u516c\u7f51\u200b\u4e92\u8054\u200b\uff0c\u200b\u8be5\u200b lrp \u200b\u7aef\u53e3\u200b\u7684\u200b ip \u200b\u53ef\u4ee5\u200b\u88ab\u200b\u5176\u4ed6\u200b dnat snat \u200b\u590d\u7528\u200b</li> <li>lsp: \u200b\u7528\u4e8e\u200b ovn \u200b\u57fa\u4e8e\u200b bfd \u200b\u7684\u200b ecmp \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u573a\u666f\u200b\uff0c\u200b\u5728\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u4e0a\u200b\u63d0\u4f9b\u200b\u4e00\u4e2a\u200b ovs internal port \u200b\u4f5c\u4e3a\u200b ecmp \u200b\u8def\u7531\u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b</li> </ul> <pre><code>---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: external204\n  type: nat\n\n# \u200b\u52a8\u6001\u5206\u914d\u200b\u4e00\u4e2a\u200b eip \u200b\u8d44\u6e90\u200b\uff0c\u200b\u8be5\u200b\u8d44\u6e90\u200b\u9884\u7559\u200b\u7528\u4e8e\u200b fip \u200b\u573a\u666f\u200b\n</code></pre> <p>externalSubnet \u200b\u5b57\u200b\u6bb5\u200b\u53ef\u4e0d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff0c\u200b\u82e5\u200b\u672a\u200b\u914d\u7f6e\u200b\u5219\u200b\u4f1a\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u9ed8\u8ba4\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b external204\u3002</p> <p>\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b externalSubnet \u200b\u663e\u5f0f\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u6269\u5c55\u200b\u4f7f\u7528\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u6269\u5c55\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b extra\u3002</p>"},{"location":"advance/ovn-eip-fip-snat/#21-ovn-fip-pod-fip","title":"2.1 ovn-fip \u200b\u4e3a\u200b pod \u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b fip","text":"<pre><code># k get po -o wide -n vpc1 vpc-1-busybox01\nNAME              READY   STATUS    RESTARTS   AGE     IP            NODE\nvpc-1-busybox01   1/1     Running   0          3d15h   192.168.0.2   pc-node-2\n\n# k get ip vpc-1-busybox01.vpc1\nNAME                   V4IP          V6IP   MAC                 NODE        SUBNET\nvpc-1-busybox01.vpc1   192.168.0.2          00:00:00:0A:DD:27   pc-node-2   vpc1-subnet1\n\n---\n\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  ovnEip: eip-static\n  ipName: vpc-1-busybox01.vpc1  # \u200b\u6ce8\u610f\u200b\u8fd9\u91cc\u200b\u662f\u200b ip crd \u200b\u7684\u200b\u540d\u5b57\u200b\uff0c\u200b\u5177\u6709\u200b\u552f\u4e00\u6027\u200b\n\n--\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  ovnEip: eip-static\n  vpc: vpc1\n  v4Ip: 192.168.0.2\n</code></pre> <pre><code># k get ofip\nNAME          VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-for-vip   vpc1   10.5.204.106   192.168.0.3   true    vip      test-fip-vip\neip-static    vpc1   10.5.204.101   192.168.0.2   true             vpc-1-busybox01.vpc1\n# k get ofip eip-static\nNAME         VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-static   vpc1   10.5.204.101   192.168.0.2   true             vpc-1-busybox01.vpc1\n\n[root@pc-node-1 03-cust-vpc]# ping 10.5.204.101\nPING 10.5.204.101 (10.5.204.101) 56(84) bytes of data.\n64 bytes from 10.5.204.101: icmp_seq=2 ttl=62 time=1.21 ms\n64 bytes from 10.5.204.101: icmp_seq=3 ttl=62 time=0.624 ms\n64 bytes from 10.5.204.101: icmp_seq=4 ttl=62 time=0.368 ms\n^C\n--- 10.5.204.101 ping statistics ---\n4 packets transmitted, 3 received, 25% packet loss, time 3049ms\nrtt min/avg/max/mdev = 0.368/0.734/1.210/0.352 ms\n[root@pc-node-1 03-cust-vpc]#\n\n# \u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5728\u200b node ping \u200b\u9ed8\u8ba4\u200b vpc \u200b\u4e0b\u200b\u7684\u200b pod \u200b\u7684\u200b\u516c\u7f51\u200b ip \u200b\u662f\u200b\u80fd\u901a\u200b\u7684\u200b\n</code></pre> <pre><code># \u200b\u8be5\u200b\u516c\u7f51\u200b ip \u200b\u80fd\u901a\u200b\u7684\u200b\u5173\u952e\u200b\u8d44\u6e90\u200b\u4e3b\u8981\u200b\u5305\u62ec\u200b\u4ee5\u4e0b\u200b\u90e8\u5206\u200b\n# k ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 813523e7-c68c-408f-bd8c-cba30cb2e4f4\n        external ip: \"10.5.204.101\"\n        logical ip: \"192.168.0.2\"\n        type: \"dnat_and_snat\"\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#22-ovn-fip-vip-fip","title":"2.2 ovn-fip \u200b\u4e3a\u200b vip \u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b fip","text":"<p>\u200b\u4e3a\u4e86\u200b\u4fbf\u4e8e\u200b\u4e00\u4e9b\u200b vip \u200b\u573a\u666f\u200b\u7684\u200b\u4f7f\u7528\u200b\uff0c\u200b\u6bd4\u5982\u200b kubevirt \u200b\u865a\u62df\u673a\u200b\u5185\u90e8\u200b\u6211\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u4f7f\u7528\u200b\u4e00\u4e9b\u200b vip \u200b\u63d0\u4f9b\u200b\u7ed9\u200b keepalived\uff0ckube-vip \u200b\u7b49\u200b\u573a\u666f\u200b\u6765\u200b\u4f7f\u7528\u200b\uff0c\u200b\u540c\u65f6\u200b\u652f\u6301\u200b\u516c\u7f51\u200b\u8bbf\u95ee\u200b\u3002</p> <p>\u200b\u90a3\u4e48\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b fip \u200b\u7ed1\u5b9a\u200b vpc \u200b\u5185\u90e8\u200b\u7684\u200b vip \u200b\u7684\u200b\u65b9\u5f0f\u200b\u6765\u200b\u63d0\u4f9b\u200b vip \u200b\u7684\u200b\u516c\u7f51\u200b\u80fd\u529b\u200b\u3002</p> <pre><code># \u200b\u5148\u200b\u521b\u5efa\u200b vip\uff0ceip\uff0c\u200b\u518d\u200b\u5c06\u200b eip \u200b\u7ed1\u5b9a\u200b\u5230\u200b vip\n# cat vip.yaml\n\napiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: test-fip-vip\nspec:\n  subnet: vpc1-subnet1\n\n# cat 04-fip.yaml\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  ovnEip: eip-for-vip\n  ipType: vip         # \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b fip \u200b\u662f\u200b\u9762\u5411\u200b pod ip \u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u9700\u8981\u200b\u6807\u6ce8\u200b\u6307\u5b9a\u200b\u5bf9\u200b\u63a5\u5230\u200b vip \u200b\u8d44\u6e90\u200b\n  ipName: test-fip-vip\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnFip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-for-vip\nspec:\n  ovnEip: eip-for-vip\n  ipType: vip         # \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b fip \u200b\u662f\u200b\u9762\u5411\u200b pod ip \u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u9700\u8981\u200b\u6807\u6ce8\u200b\u6307\u5b9a\u200b\u5bf9\u200b\u63a5\u5230\u200b vip \u200b\u8d44\u6e90\u200b\n  vpc: vpc1\n  v4Ip: 192.168.0.3\n</code></pre> <pre><code># k get ofip\nNAME          VPC    V4EIP          V4IP          READY   IPTYPE   IPNAME\neip-for-vip   vpc1   10.5.204.106   192.168.0.3   true    vip      test-fip-vip\n\n\n[root@pc-node-1 fip-vip]# ping  10.5.204.106\nPING 10.5.204.106 (10.5.204.106) 56(84) bytes of data.\n64 bytes from 10.5.204.106: icmp_seq=1 ttl=62 time=0.694 ms\n64 bytes from 10.5.204.106: icmp_seq=2 ttl=62 time=0.436 ms\n\n# \u200b\u5728\u200b node \u200b\u4e0a\u200b\u662f\u200b ping \u200b\u5f97\u901a\u200b\u7684\u200b\n\n\n# pod \u200b\u5185\u90e8\u200b\u7684\u200b ip \u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u5927\u81f4\u200b\u5c31\u662f\u200b\u5982\u4e0b\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\n\n[root@pc-node-1 fip-vip]# k -n vpc1 exec -it vpc-1-busybox03 -- bash\n[root@vpc-1-busybox03 /]#\n[root@vpc-1-busybox03 /]#\n[root@vpc-1-busybox03 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1568: eth0@if1569: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:56:40:e5 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.5/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet 192.168.0.3/24 scope global secondary eth0  # \u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b vip \u200b\u7684\u200b\u914d\u7f6e\u200b\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe56:40e5/64 scope link\n       valid_lft forever preferred_lft forever\n\n[root@vpc-1-busybox03 /]# tcpdump -i eth0 host  192.168.0.3 -netvv\ntcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes\n00:00:00:ed:8e:c7 &gt; 00:00:00:56:40:e5, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 62, id 44830, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.32.51 &gt; 192.168.0.3: ICMP echo request, id 177, seq 1, length 64\n00:00:00:56:40:e5 &gt; 00:00:00:ed:8e:c7, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 64, id 43962, offset 0, flags [none], proto ICMP (1), length 84)\n    192.168.0.3 &gt; 10.5.32.51: ICMP echo reply, id 177, seq 1, length 64\n\n# pod \u200b\u5185\u90e8\u200b\u53ef\u4ee5\u200b\u6293\u200b\u5230\u200b fip \u200b\u76f8\u5173\u200b\u7684\u200b icmp \u200b\u5305\u200b\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#3-ovn-snat","title":"3. ovn-snat","text":""},{"location":"advance/ovn-eip-fip-snat/#31-ovn-snat-subnet-cidr","title":"3.1 ovn-snat \u200b\u5bf9\u5e94\u200b\u4e00\u4e2a\u200b subnet \u200b\u7684\u200b cidr","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u548c\u200b iptables-snat \u200b\u8bbe\u8ba1\u200b\u548c\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u57fa\u672c\u4e00\u81f4\u200b</p> <pre><code># cat 03-subnet-snat.yaml\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpcSubnet: vpc1-subnet1 # eip \u200b\u5bf9\u5e94\u200b\u6574\u4e2a\u200b\u7f51\u6bb5\u200b\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b subnet cidr \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpc: vpc1\n  v4IpCidr: 192.168.0.0/24 # \u200b\u8be5\u5b57\u6bb5\u200b\u53ef\u4ee5\u200b\u662f\u200b cidr \u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u662f\u200b ip\n</code></pre> <p>\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b externalSubnet \u200b\u663e\u5f0f\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u6269\u5c55\u200b\u4f7f\u7528\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u6269\u5c55\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b extra\u3002</p>"},{"location":"advance/ovn-eip-fip-snat/#32-ovn-snat-pod-ip","title":"3.2 ovn-snat \u200b\u5bf9\u5e94\u200b\u5230\u200b\u4e00\u4e2a\u200b pod ip","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u548c\u200b iptables-snat \u200b\u8bbe\u8ba1\u200b\u548c\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u57fa\u672c\u4e00\u81f4\u200b</p> <pre><code># cat 03-pod-snat.yaml\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-pod-vpc-ip\nspec:\n  externalSubnet: external204\n  type: nat\n\n---\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat01\nspec:\n  ovnEip: snat-for-pod-vpc-ip\n  ipName: vpc-1-busybox02.vpc1 # eip \u200b\u5bf9\u5e94\u200b\u5355\u4e2a\u200b pod ip\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat-for-subnet-in-vpc\nspec:\n  ovnEip: snat-for-subnet-in-vpc\n  vpc: vpc1\n  v4IpCidr: 192.168.0.4\n</code></pre> <p>\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b externalSubnet \u200b\u663e\u5f0f\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u6269\u5c55\u200b\u4f7f\u7528\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u6269\u5c55\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b extra\u3002</p> <p>\u200b\u4ee5\u4e0a\u200b\u8d44\u6e90\u200b\u521b\u5efa\u200b\u540e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b snat \u200b\u516c\u7f51\u200b\u529f\u80fd\u200b\u4f9d\u8d56\u200b\u7684\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\u3002</p> <pre><code># kubectl ko nbctl show vpc1\nrouter 87ad06fd-71d5-4ff8-a1f0-54fa3bba1a7f (vpc1)\n    port vpc1-vpc1-subnet1\n        mac: \"00:00:00:ED:8E:C7\"\n        networks: [\"192.168.0.1/24\"]\n    port vpc1-external204\n        mac: \"00:00:00:EF:05:C7\"\n        networks: [\"10.5.204.105/24\"]\n        gateway chassis: [7cedd14f-265b-42e5-ac17-e03e7a1f2342 276baccb-fe9c-4476-b41d-05872a94976d fd9f140c-c45d-43db-a6c0-0d4f8ea298dd]\n    nat 21d853b0-f7b4-40bd-9a53-31d2e2745739\n        external ip: \"10.5.204.115\"\n        logical ip: \"192.168.0.0/24\"\n        type: \"snat\"\n    nat da77a11f-c523-439c-b1d1-72c664196a0f\n        external ip: \"10.5.204.116\"\n        logical ip: \"192.168.0.4\"\n        type: \"snat\"\n</code></pre> <pre><code>[root@pc-node-1 03-cust-vpc]# k get po -A -o wide  | grep busy\nvpc1            vpc-1-busybox01                                 1/1     Running   0                3d15h   192.168.0.2   pc-node-2   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox02                                 1/1     Running   0                17h     192.168.0.4   pc-node-1   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox03                                 1/1     Running   0                17h     192.168.0.5   pc-node-1   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox04                                 1/1     Running   0                17h     192.168.0.6   pc-node-3   &lt;none&gt;           &lt;none&gt;\nvpc1            vpc-1-busybox05                                 1/1     Running   0                17h     192.168.0.7   pc-node-1   &lt;none&gt;           &lt;none&gt;\n\n# k exec -it -n vpc1            vpc-1-busybox04   bash\nkubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.\n[root@vpc-1-busybox04 /]#\n[root@vpc-1-busybox04 /]#\n[root@vpc-1-busybox04 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n17095: eth0@if17096: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:76:94:55 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.6/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe76:9455/64 scope link\n       valid_lft forever preferred_lft forever\n[root@vpc-1-busybox04 /]# ping 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=1 ttl=114 time=22.2 ms\n64 bytes from 223.5.5.5: icmp_seq=2 ttl=114 time=21.8 ms\n\n[root@pc-node-1 03-cust-vpc]# k exec -it -n vpc1            vpc-1-busybox02   bash\nkubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]#\n[root@vpc-1-busybox02 /]# ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1566: eth0@if1567: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether 00:00:00:0b:e9:d0 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 192.168.0.4/24 brd 192.168.0.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe0b:e9d0/64 scope link\n       valid_lft forever preferred_lft forever\n[root@vpc-1-busybox02 /]# ping 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=2 ttl=114 time=22.7 ms\n64 bytes from 223.5.5.5: icmp_seq=3 ttl=114 time=22.6 ms\n64 bytes from 223.5.5.5: icmp_seq=4 ttl=114 time=22.1 ms\n^C\n--- 223.5.5.5 ping statistics ---\n4 packets transmitted, 3 received, 25% packet loss, time 3064ms\nrtt min/avg/max/mdev = 22.126/22.518/22.741/0.278 ms\n\n# \u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u4e24\u4e2a\u200b pod \u200b\u53ef\u4ee5\u200b\u5206\u522b\u200b\u57fa\u4e8e\u200b\u8fd9\u200b\u4e24\u79cd\u200b snat \u200b\u8d44\u6e90\u200b\u4e0a\u200b\u5916\u7f51\u200b\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#4-ovn-dnat","title":"4. ovn-dnat","text":""},{"location":"advance/ovn-eip-fip-snat/#41-ovn-dnat-pod-dnat","title":"4.1 ovn-dnat \u200b\u4e3a\u200b pod \u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b dnat","text":"<pre><code>kind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  externalSubnet: underlay\n\n---\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ovnEip: eip-dnat\n  ipName: vpc-1-busybox01.vpc1 # \u200b\u6ce8\u610f\u200b\u8fd9\u91cc\u200b\u662f\u200b pod ip crd \u200b\u7684\u200b\u540d\u5b57\u200b\uff0c\u200b\u5177\u6709\u200b\u552f\u4e00\u6027\u200b\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ovnEip: eip-dnat\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n  vpc: vpc1\n  v4Ip: 192.168.0.3\n</code></pre> <p>\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b externalSubnet \u200b\u663e\u5f0f\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u6269\u5c55\u200b\u4f7f\u7528\u200b\u7684\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u4e2d\u200b\u6269\u5c55\u200b\u516c\u7f51\u200b\u7f51\u7edc\u200b\u4e3a\u200b extra\u3002</p> <p>OvnDnatRule \u200b\u7684\u200b\u914d\u7f6e\u200b\u4e0e\u200b IptablesDnatRule \u200b\u7c7b\u4f3c\u200b</p> <pre><code># kubectl get oeip eip-dnat\nNAME       V4IP        V6IP   MAC                 TYPE   READY\neip-dnat   10.5.49.4          00:00:00:4D:CE:49   dnat   true\n\n# kubectl get odnat\nNAME                   EIP                    PROTOCOL   V4EIP        V4IP           INTERNALPORT   EXTERNALPORT   IPNAME                                READY\neip-dnat               eip-dnat               tcp        10.5.49.4    192.168.0.3    22             22             vpc-1-busybox01.vpc1                  true\n</code></pre>"},{"location":"advance/ovn-eip-fip-snat/#42-ovn-dnat-vip-dnat","title":"4.2 ovn-dnat \u200b\u4e3a\u200b vip \u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b dnat","text":"<pre><code>kind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ipType: vip  # \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b dnat \u200b\u662f\u200b\u9762\u5411\u200b pod ip \u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u9700\u8981\u200b\u6807\u6ce8\u200b\u6307\u5b9a\u200b\u5bf9\u200b\u63a5\u5230\u200b vip \u200b\u8d44\u6e90\u200b\n  ovnEip: eip-dnat\n  ipName: test-dnat-vip\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n\n---\n# \u200b\u6216\u8005\u200b\u901a\u8fc7\u200b\u4f20\u7edf\u200b\u6307\u5b9a\u200b vpc \u200b\u4ee5\u53ca\u200b \u200b\u5185\u200b\u7f51\u200b ip \u200b\u7684\u200b\u65b9\u5f0f\u200b\n\nkind: OvnDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-dnat\nspec:\n  ipType: vip  # \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b dnat \u200b\u662f\u200b\u9762\u5411\u200b pod ip \u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u9700\u8981\u200b\u6807\u6ce8\u200b\u6307\u5b9a\u200b\u5bf9\u200b\u63a5\u5230\u200b vip \u200b\u8d44\u6e90\u200b\n  ovnEip: eip-dnat\n  ipName: test-dnat-vip\n  protocol: tcp\n  internalPort: \"22\"\n  externalPort: \"22\"\n  vpc: vpc1\n  v4Ip: 192.168.0.4\n</code></pre> <p>OvnDnatRule \u200b\u7684\u200b\u914d\u7f6e\u200b\u4e0e\u200b IptablesDnatRule \u200b\u7c7b\u4f3c\u200b</p> <pre><code># kubectl get vip test-dnat-vip\nNAME            V4IP          PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET         READY\ntest-dnat-vip   192.168.0.4           00:00:00:D0:C0:B5                         vpc1-subnet1   true\n\n# kubectl get oeip eip-dnat\nNAME       V4IP        V6IP   MAC                 TYPE   READY\neip-dnat   10.5.49.4          00:00:00:4D:CE:49   dnat   true\n\n# kubectl get odnat eip-dnat \nNAME       EIP        PROTOCOL   V4EIP       V4IP          INTERNALPORT   EXTERNALPORT   IPNAME          READY\neip-dnat   eip-dnat   tcp        10.5.49.4   192.168.0.4   22             22             test-dnat-vip   true\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/ovn-ipsec/","title":"\u4f7f\u7528\u200b IPsec \u200b\u52a0\u5bc6\u200b\u8282\u70b9\u200b\u95f4\u901a\u4fe1","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4ece\u200b v1.10.11 \u200b\u548c\u200b v1.11.4 \u200b\u540e\u200b\u5f00\u59cb\u200b\u652f\u6301\u200b\uff0ckernel \u200b\u7248\u672c\u200b\u81f3\u5c11\u200b\u662f\u200b 3.10.0 \u200b\u4ee5\u4e0a\u200b\uff0c\u200b\u540c\u65f6\u200b\u9700\u8981\u200b\u4fdd\u8bc1\u200b\u4e3b\u673a\u200b UDP 500 \u200b\u548c\u200b 4500 \u200b\u7aef\u53e3\u200b\u53ef\u7528\u200b\u3002</p>"},{"location":"advance/ovn-ipsec/#ipsec_1","title":"\u542f\u52a8\u200b IPsec","text":"<p>\u200b\u4ece\u200b Kube-OVN \u200b\u6e90\u7801\u200b\u62f7\u8d1d\u200b\u811a\u672c\u200b ipsec.sh\uff0c\u200b\u6267\u884c\u547d\u4ee4\u200b\u5982\u4e0b\u200b\uff0c\u200b\u8be5\u200b\u811a\u672c\u200b\u4f1a\u200b\u8c03\u7528\u200b ovs-pki \u200b\u751f\u6210\u200b\u548c\u200b\u5206\u914d\u200b\u52a0\u5bc6\u200b\u9700\u8981\u200b\u7684\u200b\u8bc1\u4e66\u200b\uff1a</p> <pre><code>bash ipsec.sh init\n</code></pre> <p>\u200b\u6267\u884c\u200b\u5b8c\u6bd5\u200b\u540e\u200b\uff0c\u200b\u8282\u70b9\u200b\u4e4b\u95f4\u200b\u4f1a\u200b\u534f\u5546\u200b\u4e00\u6bb5\u65f6\u95f4\u200b\u5efa\u7acb\u200b IPsec \u200b\u96a7\u9053\u200b\uff0c\u200b\u7ecf\u9a8c\u503c\u200b\u662f\u200b\u5341\u51e0\u79d2\u200b\u5230\u200b\u4e00\u5206\u949f\u200b\u4e4b\u95f4\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5982\u4e0b\u200b\u547d\u4ee4\u200b\u6765\u200b\u67e5\u770b\u200b IPsec \u200b\u72b6\u6001\u200b\uff1a</p> <pre><code># bash ipsec.sh status\n Pod {ovs-ovn-d7hdt} ipsec status...\nInterface name: ovn-a4718e-0 v1 (CONFIGURED)\n  Tunnel Type:    geneve\n  Local IP:       172.18.0.2\n  Remote IP:      172.18.0.4\n  Address Family: IPv4\n  SKB mark:       None\n  Local cert:     /etc/ipsec.d/certs/8aebd9df-46ef-47b9-85e3-73e9a765296d-cert.pem\n  Local name:     8aebd9df-46ef-47b9-85e3-73e9a765296d\n  Local key:      /etc/ipsec.d/private/8aebd9df-46ef-47b9-85e3-73e9a765296d-privkey.pem\n  Remote cert:    None\n  Remote name:    a4718e55-5b85-4f46-90e6-63527d080590\n  CA cert:        /etc/ipsec.d/cacerts/cacert.pem\n  PSK:            None\n  Custom Options: {}\n  Ofport:         2\n  CFM state:      Disabled\nKernel policies installed:\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\n  src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\nKernel security associations installed:\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\nIPsec connections that are active:\n\n Pod {ovs-ovn-fvbbj} ipsec status...\nInterface name: ovn-8aebd9-0 v1 (CONFIGURED)\n  Tunnel Type:    geneve\n  Local IP:       172.18.0.4\n  Remote IP:      172.18.0.2\n  Address Family: IPv4\n  SKB mark:       None\n  Local cert:     /etc/ipsec.d/certs/a4718e55-5b85-4f46-90e6-63527d080590-cert.pem\n  Local name:     a4718e55-5b85-4f46-90e6-63527d080590\n  Local key:      /etc/ipsec.d/private/a4718e55-5b85-4f46-90e6-63527d080590-privkey.pem\n  Remote cert:    None\n  Remote name:    8aebd9df-46ef-47b9-85e3-73e9a765296d\n  CA cert:        /etc/ipsec.d/cacerts/cacert.pem\n  PSK:            None\n  Custom Options: {}\n  Ofport:         1\n  CFM state:      Disabled\nKernel policies installed:\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\n  src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\nKernel security associations installed:\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp dport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp sport 6081\n  sel src 172.18.0.4/32 dst 172.18.0.2/32 proto udp sport 6081\n  sel src 172.18.0.2/32 dst 172.18.0.4/32 proto udp dport 6081\nIPsec connections that are active:\n</code></pre> <p>\u200b\u5efa\u7acb\u200b\u5b8c\u6210\u200b\u540e\u200b\u53ef\u4ee5\u200b\u6293\u5305\u200b\u89c2\u5bdf\u200b\u62a5\u6587\u200b\u5df2\u7ecf\u200b\u88ab\u200b\u52a0\u5bc6\u200b\uff1a</p> <pre><code># tcpdump -i eth0 -nel esp\n10:01:40.349896 IP kube-ovn-worker &gt; kube-ovn-control-plane.kind: ESP(spi=0xcc91322a,seq=0x13d0), length 156\n10:01:40.350015 IP kube-ovn-control-plane.kind &gt; kube-ovn-worker: ESP(spi=0xc8df4221,seq=0x1d37), length 156\n</code></pre> <p>\u200b\u5f53\u200b\u6267\u884c\u200b\u5b8c\u200b\u811a\u672c\u200b\u540e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u6267\u884c\u547d\u4ee4\u200b\u5173\u95ed\u200b IPsec\uff1a</p> <pre><code># bash ipsec.sh stop\n</code></pre> <p>\u200b\u6216\u8005\u200b\u6267\u884c\u547d\u4ee4\u200b\u518d\u6b21\u200b\u6253\u5f00\u200b\uff1a</p> <pre><code># bash ipsec.sh start\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/","title":"OVN SNAT \u200b\u57fa\u4e8e\u200b ECMP BFD \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u7684\u200b L3 HA \u200b\u652f\u6301","text":"<p>\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u57fa\u4e8e\u200b ovn snat \u200b\u540e\u200b\u57fa\u4e8e\u200b ecmp \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u54c8\u5e0c\u200b\u5230\u200b\u591a\u4e2a\u200b gw node ovnext0 \u200b\u7f51\u5361\u200b\u51fa\u200b\u516c\u7f51\u200b</p> <ul> <li>\u200b\u652f\u6301\u200b\u57fa\u4e8e\u200b bfd \u200b\u7684\u200b\u9ad8\u200b\u53ef\u7528\u200b</li> <li>\u200b\u4ec5\u200b\u652f\u6301\u200b hash \u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b</li> </ul> <pre><code>graph LR\n\npod--&gt;vpc-subnet--&gt;vpc--&gt;snat--&gt;ecmp--&gt;external-subnet--&gt;gw-node1-ovnext0--&gt; node1-external-switch\nexternal-subnet--&gt;gw-node2-ovnext0--&gt; node2-external-switch\nexternal-subnet--&gt;gw-node3-ovnext0--&gt; node3-external-switch</code></pre> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u548c\u200bovn-eip-fip-snat.md \u200b\u57fa\u672c\u4e00\u81f4\u200b\uff0c\u200b\u4e00\u81f4\u200b\u7684\u200b\u90e8\u5206\u200b\u5305\u62ec\u200b install.sh \u200b\u7684\u200b\u90e8\u7f72\u200b\u90e8\u5206\u200b\uff0cprovider-network\uff0cvlan\uff0csubnet \u200b\u7684\u200b\u51c6\u5907\u200b\u90e8\u5206\u200b\u3002</p> <p>\u200b\u81f3\u4e8e\u200b\u4e0d\u200b\u76f8\u540c\u200b\u7684\u200b\u90e8\u5206\u200b\uff0c\u200b\u4f1a\u200b\u5728\u200b\u4ee5\u4e0b\u200b\u90e8\u5206\u200b\u5177\u4f53\u200b\u9610\u8ff0\u200b\uff0c\u200b\u4e3b\u8981\u200b\u5305\u62ec\u200b lsp \u200b\u7c7b\u578b\u200b\u7684\u200b ovn-eip \u200b\u7684\u200b\u521b\u5efa\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u57fa\u4e8e\u200b vpc enable_bfd \u200b\u81ea\u52a8\u200b\u7ef4\u62a4\u200b bfd \u200b\u4ee5\u53ca\u200b ecmp \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u3002</p>"},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#1","title":"1. \u200b\u90e8\u7f72","text":""},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#11-underlay","title":"1.1 \u200b\u51c6\u5907\u200b underlay \u200b\u516c\u7f51\u200b\u7f51\u7edc","text":""},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#12-vpc-eip_snat","title":"1.2 \u200b\u9ed8\u8ba4\u200b vpc \u200b\u542f\u7528\u200b eip_snat","text":""},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#13-vpc-eip-snat-fip","title":"1.3 \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u542f\u7528\u200b eip snat fip \u200b\u529f\u80fd","text":"<p>\u200b\u4ee5\u4e0a\u200b\u90e8\u5206\u200b\u548c\u200b ovn-eip-fip-snat.md \u200b\u5b8c\u5168\u4e00\u81f4\u200b\uff0c\u200b\u8fd9\u4e9b\u200b\u529f\u80fd\u200b\u9a8c\u8bc1\u200b\u901a\u8fc7\u200b\u540e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u57fa\u4e8e\u200b\u5982\u4e0b\u200b\u65b9\u5f0f\u200b\uff0c\u200b\u5c06\u200b vpc \u200b\u5207\u6362\u200b\u5230\u200b\u57fa\u4e8e\u200b ecmp \u200b\u7684\u200b bfd \u200b\u9759\u6001\u200b\u8def\u7531\u200b\uff0c\u200b\u5f53\u7136\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u5207\u56de\u200b\u3002</p> <p>\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u4f7f\u7528\u200b\u8be5\u200b\u529f\u80fd\u200b\u4e4b\u524d\u200b\uff0c\u200b\u9700\u8981\u200b\u5148\u200b\u63d0\u4f9b\u200b\u597d\u7f51\u200b\u5173\u8282\u70b9\u200b\uff0c\u200b\u81f3\u5c11\u200b\u9700\u8981\u200b\u63d0\u4f9b\u200b 2 \u200b\u4e2a\u200b\u4ee5\u4e0a\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\uff0c\u200b\u6ce8\u610f\u200b\u5f53\u524d\u200b\u5b9e\u73b0\u200b ovn-eip \u200b\u7684\u200b\u540d\u5b57\u200b\u5fc5\u987b\u200b\u548c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u540d\u200b\u4fdd\u6301\u4e00\u81f4\u200b\uff0c\u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u505a\u200b\u8be5\u200b\u8d44\u6e90\u200b\u7684\u200b\u81ea\u52a8\u5316\u200b\u7ef4\u62a4\u200b\u3002</p> <pre><code># cat gw-node-eip.yaml\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-1\nspec:\n  externalSubnet: external204\n  type: lsp\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-2\nspec:\n  externalSubnet: external204\n  type: lsp\n\n---\nkind: OvnEip\napiVersion: kubeovn.io/v1\nmetadata:\n  name: pc-node-3\nspec:\n  externalSubnet: external204\n  type: lsp\n</code></pre> <p>\u200b\u7531\u4e8e\u200b\u8fd9\u4e2a\u200b\u573a\u666f\u200b\u76ee\u524d\u200b\u8bbe\u8ba1\u200b\u4e0a\u200b\u662f\u200b\u4f9b\u200b vpc ecmp \u200b\u51fa\u200b\u516c\u7f51\u200b\u4f7f\u7528\u200b\uff0c\u200b\u6240\u4ee5\u200b\u4ee5\u4e0a\u200b\u5728\u200b\u6ca1\u6709\u200b vpc \u200b\u542f\u7528\u200b bfd \u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u5373\u200b\u4e0d\u200b\u5b58\u5728\u200b\u5e26\u6709\u200b enable bfd \u200b\u6807\u7b7e\u200b\u7684\u200b lrp \u200b\u7684\u200b ovn eip \u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u4e0d\u4f1a\u200b\u89e6\u53d1\u200b\u521b\u5efa\u200b\u7f51\u5173\u200b\u7f51\u5361\u200b\uff0c\u200b\u4e5f\u200b\u65e0\u6cd5\u200b\u6210\u529f\u200b\u542f\u52a8\u200b\u5bf9\u7aef\u200b bfd \u200b\u4f1a\u8bdd\u200b\u7684\u200b\u76d1\u542c\u200b\u3002</p>"},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#2-vpc-ecmp-bfd-l3-ha","title":"2. \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u542f\u7528\u200b ecmp bfd L3 HA \u200b\u516c\u7f51\u200b\u529f\u80fd","text":"<pre><code># cat 01-vpc-ecmp-enable-external-bfd.yml\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc1\nspec:\n  namespaces:\n  - vpc1\n  enableExternal: true\n  enableBfd: true # bfd \u200b\u5f00\u5173\u200b\u53ef\u4ee5\u200b\u968f\u610f\u200b\u5207\u6362\u200b\uff0c\u200b\u5f00\u200b\u8868\u793a\u200b\u542f\u7528\u200b bfd ecmp \u200b\u8def\u7531\u200b\n  #enableBfd: false \n\n\n# cat 02-subnet.yml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: vpc1-subnet1\nspec:\n  cidrBlock: 192.168.0.0/24\n  default: false\n  disableGatewayCheck: false\n  disableInterConnection: true\n  enableEcmp: true  # \u200b\u53ea\u200b\u9700\u200b\u5f00\u542f\u200b ecmp\n  gatewayNode: \"\"\n  gatewayType: distributed\n  #gatewayType: centralized\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n  provider: ovn\n  vpc: vpc1\n  namespaces:\n  - vpc1\n</code></pre> <p>\u200b\u4f7f\u7528\u200b\u4e0a\u200b\u7684\u200b\u6ce8\u610f\u200b\u70b9\u200b:</p> <ol> <li>\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u4e0b\u200b\u7684\u200b ecmp \u200b\u53ea\u7528\u200b\u9759\u6001\u200b ecmp bfd \u200b\u8def\u7531\u200b\uff0cvpc enableBfd \u200b\u548c\u200b subnet enableEcmp \u200b\u540c\u65f6\u200b\u5f00\u542f\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u624d\u200b\u4f1a\u200b\u751f\u6548\u200b\uff0c\u200b\u624d\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u7ba1\u7406\u200b\u9759\u6001\u200b ecmp bfd \u200b\u8def\u7531\u200b\u3002</li> <li>\u200b\u4e0a\u8ff0\u200b\u914d\u7f6e\u200b\u5173\u95ed\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5207\u56de\u200b\u5e38\u89c4\u200b\u9ed8\u8ba4\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u3002</li> <li>\u200b\u9ed8\u8ba4\u200b vpc \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u8be5\u200b\u529f\u80fd\u200b\uff0c\u200b\u4ec5\u200b\u652f\u6301\u200b\u81ea\u5b9a\u4e49\u200b vpc\uff0c\u200b\u9ed8\u8ba4\u200b vpc \u200b\u6709\u200b\u66f4\u200b\u590d\u6742\u200b\u7684\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4ee5\u53ca\u200b snat \u200b\u8bbe\u8ba1\u200b\u3002</li> <li>\u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u7684\u200b subnet \u200b\u7684\u200b enableEcmp \u200b\u4ec5\u200b\u4f7f\u7528\u200b\u9759\u6001\u200b\u8def\u7531\u200b\uff0c\u200b\u7f51\u5173\u200b\u7c7b\u578b\u200b gatewayType \u200b\u6ca1\u6709\u200b\u4f5c\u7528\u200b\u3002</li> <li>\u200b\u5f53\u200b\u5173\u95ed\u200b EnableExternal \u200b\u65f6\u200b\uff0cvpc \u200b\u5185\u200b\u65e0\u6cd5\u200b\u901a\u5916\u200b\u7f51\u200b\u3002</li> <li>\u200b\u5f53\u200b\u5f00\u542f\u200b EnableExternal \u200b\u65f6\u200b\uff0c\u200b\u5173\u95ed\u200b EnableBfd \u200b\u65f6\u200b\uff0c\u200b\u4f1a\u200b\u57fa\u4e8e\u200b\u666e\u901a\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u4e0a\u200b\u5916\u7f51\u200b\uff0c\u200b\u4e0d\u200b\u5177\u5907\u200b\u9ad8\u200b\u53ef\u7528\u200b\u3002</li> </ol> <pre><code># \u200b\u4e0a\u8ff0\u200b\u6a21\u677f\u200b\u5e94\u7528\u200b\u540e\u200b ovn \u200b\u903b\u8f91\u200b\u5c42\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\n# \u200b\u67e5\u770b\u200b vpc\n# k get vpc\nNAME          ENABLEEXTERNAL   ENABLEBFD   STANDBY   SUBNETS                                NAMESPACES\novn-cluster   true                         true      [\"external204\",\"join\",\"ovn-default\"]\nvpc1          true             true        true      [\"vpc1-subnet1\"]                       [\"vpc1\"]\n\n# \u200b\u9ed8\u8ba4\u200b vpc \u200b\u672a\u200b\u652f\u6301\u200b ENABLEBFD\n# \u200b\u81ea\u5b9a\u4e49\u200b vpc \u200b\u5df2\u200b\u652f\u6301\u200b\u4e14\u200b\u5df2\u200b\u542f\u7528\u200b\n\n\n# 1. \u200b\u521b\u5efa\u200b\u4e86\u200b bfd \u200b\u4f1a\u8bdd\u200b\n# k ko nbctl list bfd\n_uuid               : be7df545-2c4c-4751-878f-b3507987f050\ndetect_mult         : 3\ndst_ip              : \"10.5.204.121\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n_uuid               : 684c4489-5b59-4693-8d8c-3beab93f8093\ndetect_mult         : 3\ndst_ip              : \"10.5.204.109\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n_uuid               : f0f62077-2ae9-4e79-b4f8-a446ec6e784c\ndetect_mult         : 3\ndst_ip              : \"10.5.204.108\"\nexternal_ids        : {}\nlogical_port        : vpc1-external204\nmin_rx              : 100\nmin_tx              : 100\noptions             : {}\nstatus              : up\n\n### \u200b\u6ce8\u610f\u200b\u6240\u6709\u200b status \u200b\u6b63\u5e38\u200b\u90fd\u200b\u5e94\u8be5\u200b\u662f\u200b up \u200b\u7684\u200b\n\n# 2. \u200b\u521b\u5efa\u200b\u4e86\u200b\u57fa\u4e8e\u200b bfd \u200b\u7684\u200b\u9759\u6001\u200b\u8def\u7531\u200b\n# k ko nbctl lr-route-list vpc1\nIPv4 Routes\nRoute Table &lt;main&gt;:\n           192.168.0.0/24              10.5.204.108 src-ip ecmp ecmp-symmetric-reply bfd\n           192.168.0.0/24              10.5.204.109 src-ip ecmp ecmp-symmetric-reply bfd\n           192.168.0.0/24              10.5.204.121 src-ip ecmp ecmp-symmetric-reply bfd\n\n# 3. \u200b\u9759\u6001\u200b\u8def\u7531\u200b\u8be6\u60c5\u200b\n# k ko nbctl find Logical_Router_Static_Route  policy=src-ip options=ecmp_symmetric_reply=\"true\"\n_uuid               : 3aacb384-d5ee-4b14-aebf-59e8c11717ba\nbfd                 : 684c4489-5b59-4693-8d8c-3beab93f8093\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.109\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n\n_uuid               : 18bcc585-bc05-430b-925b-ef673c8e1aef\nbfd                 : f0f62077-2ae9-4e79-b4f8-a446ec6e784c\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.108\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n\n_uuid               : 7d0a4e6b-cde0-4110-8176-fbaf19738498\nbfd                 : be7df545-2c4c-4751-878f-b3507987f050\nexternal_ids        : {}\nip_prefix           : \"192.168.0.0/24\"\nnexthop             : \"10.5.204.121\"\noptions             : {ecmp_symmetric_reply=\"true\"}\noutput_port         : []\npolicy              : src-ip\nroute_table         : \"\"\n</code></pre> <pre><code># \u200b\u540c\u65f6\u200b\u5728\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u90fd\u200b\u5e94\u8be5\u200b\u5177\u5907\u200b\u4ee5\u4e0b\u200b\u8d44\u6e90\u200b\n\n[root@pc-node-1 ~]# ip netns exec ovnext bash ip a\n/usr/sbin/ip: /usr/sbin/ip: cannot execute binary file\n[root@pc-node-1 ~]#\n[root@pc-node-1 ~]# ip netns exec ovnext ip a\n1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00\n    inet 127.0.0.1/8 scope host lo\n       valid_lft forever preferred_lft forever\n    inet6 ::1/128 scope host\n       valid_lft forever preferred_lft forever\n1541: ovnext0: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1400 qdisc noqueue state UNKNOWN group default qlen 1000\n    link/ether 00:00:00:ab:bd:87 brd ff:ff:ff:ff:ff:ff\n    inet 10.5.204.108/24 brd 10.5.204.255 scope global ovnext0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:feab:bd87/64 scope link\n       valid_lft forever preferred_lft forever\n[root@pc-node-1 ~]#\n[root@pc-node-1 ~]# ip netns exec ovnext route -n\nKernel IP routing table\nDestination     Gateway         Genmask         Flags Metric Ref    Use Iface\n0.0.0.0         10.5.204.254    0.0.0.0         UG    0      0        0 ovnext0\n10.5.204.0      0.0.0.0         255.255.255.0   U     0      0        0 ovnext0\n\n## \u200b\u6ce8\u610f\u200b\u4ee5\u4e0a\u200b\u5185\u5bb9\u200b\u548c\u200b\u4e00\u4e2a\u200b internal port unerlay \u200b\u516c\u7f51\u200b pod \u200b\u5185\u90e8\u200b\u7684\u200b ns \u200b\u5927\u81f4\u200b\u662f\u200b\u4e00\u81f4\u200b\u7684\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u53ea\u662f\u200b\u5728\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u4e0a\u200b\u5355\u72ec\u200b\u7ef4\u62a4\u200b\u4e86\u200b\u4e00\u4e2a\u200b ns\n\n[root@pc-node-1 ~]# ip netns exec ovnext bfdd-control status\nThere are 1 sessions:\nSession 1\n id=1 local=10.5.204.108 (p) remote=10.5.204.122 state=Up\n\n## \u200b\u8fd9\u91cc\u200b\u5373\u200b\u662f\u200b lrp bfd \u200b\u4f1a\u8bdd\u200b\u7684\u200b\u53e6\u4e00\u7aef\u200b\uff0c\u200b\u4e5f\u200b\u662f\u200b lrp ecmp \u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u7684\u200b\u5176\u4e2d\u200b\u4e00\u4e2a\u200b\n\n\n[root@pc-node-1 ~]# ip netns exec ovnext ping -c1 223.5.5.5\nPING 223.5.5.5 (223.5.5.5) 56(84) bytes of data.\n64 bytes from 223.5.5.5: icmp_seq=1 ttl=115 time=21.6 ms\n\n# \u200b\u5230\u200b\u516c\u7f51\u200b\u6ca1\u200b\u95ee\u9898\u200b\n</code></pre> <p>\u200b\u53ef\u4ee5\u200b\u5728\u200b\u67d0\u200b\u4e00\u4e2a\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u7684\u200b ovnext ns \u200b\u5185\u200b\u6293\u200b\u5230\u200b\u51fa\u53bb\u200b\u7684\u200b\u5305\u200b</p> <pre><code># tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n^C\n0 packets captured\n0 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-1 ~]# exit\n[root@pc-node-1 ~]# ssh pc-node-2\nLast login: Thu Feb 23 09:21:08 2023 from 10.5.32.51\n[root@pc-node-2 ~]# ip netns exec ovnext bash\n[root@pc-node-2 ~]# tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n^C\n0 packets captured\n0 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-2 ~]# exit\n[root@pc-node-2 ~]# logout\nConnection to pc-node-2 closed.\n[root@pc-node-1 ~]# ssh pc-node-3\nLast login: Thu Feb 23 08:32:41 2023 from 10.5.32.51\n[root@pc-node-3 ~]#  ip netns exec ovnext bash\n[root@pc-node-3 ~]# tcpdump -i ovnext0 host 223.5.5.5 -netvv\ndropped privs to tcpdump\ntcpdump: listening on ovnext0, link-type EN10MB (Ethernet), capture size 262144 bytes\n00:00:00:2d:f8:ce &gt; 00:00:00:fd:b2:a4, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 63, id 57978, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.204.102 &gt; 223.5.5.5: ICMP echo request, id 22, seq 71, length 64\n00:00:00:fd:b2:a4 &gt; dc:ef:80:5a:44:1a, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 62, id 57978, offset 0, flags [DF], proto ICMP (1), length 84)\n    10.5.204.102 &gt; 223.5.5.5: ICMP echo request, id 22, seq 71, length 64\n^C\n2 packets captured\n2 packets received by filter\n0 packets dropped by kernel\n[root@pc-node-3 ~]#\n\n# \u200b\u53ef\u4ee5\u200b\u5728\u200b\u8be5\u200b\u8282\u70b9\u200b down \u200b\u6389\u200b\u51fa\u53bb\u200b\u7684\u200b\u7f51\u5361\u200b\uff0c\u200b\u7136\u540e\u200b\u770b\u200b pod \u200b\u51fa\u53bb\u200b\u7684\u200b\u5305\u200b\u5728\u200b\u7f51\u7edc\u200b\u4e2d\u65ad\u200b\u4e2d\u200b\u4f1a\u200b\u51fa\u73b0\u200b\u51e0\u4e2a\u200b\u5305\u200b\n# \u200b\u4e00\u822c\u200b\u90fd\u200b\u4f1a\u200b\u770b\u5230\u200b\u4e22\u200b 3 \u200b\u4e2a\u200b\u5305\u200b\n</code></pre>"},{"location":"advance/ovn-l3-ha-based-ecmp-with-bfd/#3-bfd","title":"3. \u200b\u5173\u95ed\u200b bfd \u200b\u6a21\u5f0f","text":"<p>\u200b\u5728\u200b\u67d0\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u53ef\u80fd\u200b\u60f3\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\uff08\u200b\u96c6\u4e2d\u5f0f\u200b\uff09\u200b\u5355\u4e2a\u200b\u7f51\u5173\u200b\u76f4\u63a5\u200b\u51fa\u200b\u516c\u7f51\u200b\uff0c\u200b\u8fd9\u4e2a\u200b\u65f6\u5019\u200b\u548c\u200b\u9ed8\u8ba4\u200b vpc enable_eip_snat \u200b\u7684\u200b\u4f7f\u7528\u200b\u6a21\u5f0f\u200b\u662f\u200b\u4e00\u81f4\u200b\u7684\u200b</p> <pre><code># cat 01-vpc-ecmp-enable-external-bfd.yml\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc2\nspec:\n  namespaces:\n  - vpc2\n  enableExternal: true\n  #enableBfd: true\n  enableBfd: false\n\n## \u200b\u5c06\u200b bfd \u200b\u529f\u80fd\u200b\u76f4\u63a5\u200b\u7981\u7528\u200b\u5373\u53ef\u200b\n\n# k ko nbctl lr-route-list vpc2\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0              10.5.204.254 dst-ip\n\n# \u200b\u5e94\u7528\u200b\u540e\u200b\u8def\u7531\u200b\u4f1a\u200b\u5207\u6362\u200b\u56de\u200b\u6b63\u5e38\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u9759\u6001\u200b\u8def\u7531\u200b\n# \u200b\u540c\u65f6\u200b nbctl list bfd  \u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b lrp \u200b\u5173\u8054\u200b\u7684\u200b bfd \u200b\u4f1a\u8bdd\u200b\u5df2\u7ecf\u200b\u79fb\u9664\u200b\n# \u200b\u800c\u4e14\u200b ovnext ns \u200b\u4e2d\u200b\u7684\u200b\u5bf9\u200b\u7aef\u200b bfd \u200b\u4f1a\u8bdd\u200b\u4e5f\u200b\u81ea\u52a8\u200b\u79fb\u9664\u200b\n# \u200b\u8be5\u200b\u5207\u6362\u200b\u8fc7\u7a0b\u200b\u4fdd\u6301\u200b vpc subnet \u200b\u5185\u200b\u4fdd\u6301\u200b ping \u200b\u672a\u200b\u770b\u5230\u200b(\u200b\u79d2\u7ea7\u200b)\u200b\u4e22\u5305\u200b\n# \u200b\u518d\u200b\u5207\u6362\u200b\u56de\u53bb\u200b \u200b\u4e5f\u200b\u672a\u200b\u770b\u5230\u200b(\u200b\u79d2\u7ea7\u200b)\u200b\u4e22\u5305\u200b\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/ovn-remote-port-mirroring/","title":"OVN \u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"<p>\u200b\u6b64\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u6307\u5b9a\u200b Pod\u3001\u200b\u6307\u5b9a\u200b\u65b9\u5411\u200b\u7684\u200b\u6d41\u91cf\u200b\uff0c\u200b\u901a\u8fc7\u200b GRE/ERSPAN \u200b\u5c01\u88c5\u200b\u540e\u200b\uff0c\u200b\u4f20\u8f93\u200b\u5230\u200b\u8fdc\u7aef\u200b\u3002</p> <p>\u200b\u6b64\u200b\u529f\u80fd\u200b\u8981\u6c42\u200b Kube-OVN \u200b\u7248\u672c\u200b\u4e0d\u200b\u4f4e\u4e8e\u200b v1.12\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#multus-cni","title":"\u90e8\u7f72\u200b Multus-CNI","text":"<p>\u200b\u53c2\u8003\u200b Multus-CNI \u200b\u6587\u6863\u200b \u200b\u90e8\u7f72\u200b Multus\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#_1","title":"\u521b\u5efa\u200b\u9644\u5c5e\u200b\u7f51\u7edc","text":"<p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u5185\u5bb9\u200b\u521b\u5efa\u200b\u9644\u5c5e\u200b\u7f51\u7edc\u200b\uff1a</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: attachnet\n  namespace: default\nspec:\n  config: |\n    {\n      \"cniVersion\": \"0.3.1\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"attachnet.default.ovn\"\n    }\n</code></pre> <p>\u200b\u5176\u4e2d\u200b <code>provider</code> \u200b\u5b57\u200b\u6bb5\u200b\u683c\u5f0f\u200b\u4e3a\u200b <code>&lt;NAME&gt;.&lt;NAMESPACE&gt;.ovn</code>\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#underlay","title":"\u521b\u5efa\u200b Underlay \u200b\u7f51\u7edc","text":"<p>\u200b\u955c\u50cf\u200b\u6d41\u91cf\u200b\u662f\u200b\u5c01\u88c5\u200b\u540e\u200b\u8fdb\u884c\u200b\u4f20\u8f93\u200b\u7684\u200b\uff0c\u200b\u56e0\u6b64\u200b\u7528\u4e8e\u200b\u4f20\u8f93\u200b\u7684\u200b\u7f51\u7edc\u200b\uff0cMTU \u200b\u9700\u8981\u200b\u5927\u4e8e\u200b\u88ab\u200b\u955c\u50cf\u200b\u7684\u200b LSP/Pod\u3002\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b Underlay \u200b\u4f5c\u4e3a\u200b\u4f20\u8f93\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u5185\u5bb9\u200b\u521b\u5efa\u200b Underlay \u200b\u7f51\u7edc\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: net1\nspec:\n  defaultInterface: eth1\n---\napiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan1\nspec:\n  id: 0\n  provider: net1\n---\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 172.19.0.0/16\n  excludeIps:\n  - 172.19.0.2..172.19.0.20\n  gateway: 172.19.0.1\n  vlan: vlan1\n  provider: attachnet.default.ovn\n</code></pre> <p>\u200b\u5176\u4e2d\u200b\uff0c\u200b\u5b50\u7f51\u200b\u7684\u200b <code>provider</code> \u200b\u5fc5\u987b\u200b\u4e0e\u200b\u9644\u5c5e\u200b\u7f51\u7edc\u200b\u7684\u200b <code>provider</code> \u200b\u76f8\u540c\u200b\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#pod","title":"\u521b\u5efa\u200b\u6d41\u91cf\u200b\u63a5\u6536\u200b Pod","text":"<p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u5185\u5bb9\u200b\u521b\u5efa\u200b\u7528\u4e8e\u200b\u63a5\u6536\u200b\u955c\u50cf\u200b\u6d41\u91cf\u200b\u7684\u200b Pod\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: pod1\n  annotations:\n    k8s.v1.cni.cncf.io/networks: default/attachnet\nspec:\n  containers:\n  - name: bash\n    image: docker.io/kubeovn/kube-ovn:v1.13.0\n    args:\n    - bash\n    - -c\n    - sleep infinity\n    securityContext:\n      privileged: true\n</code></pre> <p>\u200b\u521b\u5efa\u200b\u5b8c\u6210\u200b\u540e\u200b\uff0c\u200b\u67e5\u770b\u200b Pod \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff1a</p> <pre><code>$ kubectl get ips | grep pod1\npod1.default                        10.16.0.12   00:00:00:FF:34:24  kube-ovn-worker  ovn-default\npod1.default.attachnet.default.ovn  172.19.0.21  00:00:00:A0:30:68  kube-ovn-worker  subnet1\n</code></pre> <p>\u200b\u8bb0\u4f4f\u200b\u7b2c\u4e8c\u200b\u7f51\u5361\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b <code>172.19.0.21</code>\u3002</p>"},{"location":"advance/ovn-remote-port-mirroring/#ovn_1","title":"\u521b\u5efa\u200b OVN \u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"<p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\u521b\u5efa\u200b OVN \u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\uff1a</p> <pre><code>kubectl ko nbctl mirror-add mirror1 gre 99 from-lport 172.19.0.21\nkubectl ko nbctl lsp-attach-mirror coredns-787d4945fb-gpnkb.kube-system mirror1\n</code></pre> <p>\u200b\u5176\u4e2d\u200b <code>coredns-787d4945fb-gpnkb.kube-system</code> \u200b\u662f\u200b OVN LSP \u200b\u7684\u200b\u540d\u79f0\u200b\uff0c\u200b\u683c\u5f0f\u200b\u901a\u5e38\u200b\u4e3a\u200b <code>&lt;POD_NAME&gt;.&lt;POD_NAMESPACE&gt;</code>\u3002</p> <p>\u200b\u76f8\u5173\u200b\u7684\u200b OVN \u200b\u547d\u4ee4\u200b\u4f7f\u7528\u200b\u65b9\u6cd5\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>ovn-nbctl mirror-add &lt;NAME&gt; &lt;TYPE&gt; &lt;INDEX&gt; &lt;FILTER&gt; &lt;IP&gt;\n\nNAME   - add a mirror with given name\nTYPE   - specify TYPE 'gre' or 'erspan'\nINDEX  - specify the tunnel INDEX value\n         (indicates key if GRE, erpsan_idx if ERSPAN)\nFILTER - specify FILTER for mirroring selection\n         ('to-lport' / 'from-lport')\nIP     - specify Sink / Destination i.e. Remote IP\n\novn-nbctl mirror-del [NAME]         remove mirrors\novn-nbctl mirror-list               print mirrors\n\novn-nbctl lsp-attach-mirror PORT MIRROR   attach source PORT to MIRROR\novn-nbctl lsp-detach-mirror PORT MIRROR   detach source PORT from MIRROR\n</code></pre>"},{"location":"advance/ovn-remote-port-mirroring/#pod_1","title":"\u914d\u7f6e\u200b\u6d41\u91cf\u200b\u63a5\u6536\u200b Pod","text":"<p>\u200b\u5728\u200b\u524d\u9762\u200b\u521b\u5efa\u200b\u7684\u200b Pod \u200b\u4e2d\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>root@pod1:/kube-ovn# ip link add mirror1 type gretap local 172.19.0.21 key 99 dev net1\nroot@pod1:/kube-ovn# ip link set mirror1 up\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u5c31\u200b\u53ef\u4ee5\u200b\u5728\u200b\u63a5\u6536\u200b\u6d41\u91cf\u200b\u7684\u200b Pod \u200b\u4e2d\u200b\u8fdb\u884c\u200b\u6293\u5305\u200b\u9a8c\u8bc1\u200b\uff1a</p> <pre><code>root@pod1:/kube-ovn# tcpdump -i mirror1 -nnve\ntcpdump: listening on mirror1, link-type EN10MB (Ethernet), snapshot length 262144 bytes\n05:13:30.328808 00:00:00:a3:f5:e2 &gt; 00:00:00:97:0f:6e, ethertype ARP (0x0806), length 42: Ethernet (len 6), IPv4 (len 4), Request who-has 10.16.0.7 tell 10.16.0.4, length 28\n05:13:30.559167 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 212: (tos 0x0, ttl 64, id 57364, offset 0, flags [DF], proto UDP (17), length 198)\n    10.16.0.4.53 &gt; 10.16.0.6.50472: 34511 NXDomain*- 0/1/1 (170)\n05:13:30.559343 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 212: (tos 0x0, ttl 64, id 57365, offset 0, flags [DF], proto UDP (17), length 198)\n    10.16.0.4.53 &gt; 10.16.0.6.45177: 1659 NXDomain*- 0/1/1 (170)\n05:13:30.560625 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 200: (tos 0x0, ttl 64, id 57367, offset 0, flags [DF], proto UDP (17), length 186)\n    10.16.0.4.53 &gt; 10.16.0.6.43848: 2636*- 0/1/1 (158)\n05:13:30.562774 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 191: (tos 0x0, ttl 64, id 57368, offset 0, flags [DF], proto UDP (17), length 177)\n    10.16.0.4.53 &gt; 10.16.0.6.37755: 48737 NXDomain*- 0/1/1 (149)\n05:13:30.563523 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 187: (tos 0x0, ttl 64, id 57369, offset 0, flags [DF], proto UDP (17), length 173)\n    10.16.0.4.53 &gt; 10.16.0.6.53887: 45519 NXDomain*- 0/1/1 (145)\n05:13:30.564940 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 201: (tos 0x0, ttl 64, id 57370, offset 0, flags [DF], proto UDP (17), length 187)\n    10.16.0.4.53 &gt; 10.16.0.6.40846: 25745 NXDomain*- 0/1/1 (159)\n05:13:30.565140 00:00:00:a3:f5:e2 &gt; 00:00:00:89:d5:cc, ethertype IPv4 (0x0800), length 201: (tos 0x0, ttl 64, id 57371, offset 0, flags [DF], proto UDP (17), length 187)\n    10.16.0.4.53 &gt; 10.16.0.6.45214: 61875 NXDomain*- 0/1/1 (159)\n05:13:30.566023 00:00:00:a3:f5:e2 &gt; 00:00:00:55:e4:4e, ethertype IPv4 (0x0800), length 80: (tos 0x0, ttl 64, id 45937, offset 0, flags [DF], proto UDP (17), length 66)\n    10.16.0.4.44116 &gt; 172.18.0.1.53: 16025+ [1au] AAAA? alauda.cn. (38)\n</code></pre>"},{"location":"advance/ovn-remote-port-mirroring/#_2","title":"\u6ce8\u610f\u4e8b\u9879","text":"<ol> <li>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b ERSPAN \u200b\u4f5c\u4e3a\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\uff0cOVN \u200b\u8282\u70b9\u200b\u53ca\u200b\u8fdc\u7aef\u200b\u8bbe\u5907\u200b\u7684\u200b Linux \u200b\u5185\u6838\u200b\u7248\u672c\u200b\u4e0d\u5f97\u200b\u4f4e\u4e8e\u200b 4.14\u3002\u200b\u82e5\u200b\u4f7f\u7528\u200b ERSPAN \u200b\u4f5c\u4e3a\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\u4e14\u200b\u4f7f\u7528\u200b IPv6 \u200b\u4f5c\u4e3a\u200b\u4f20\u8f93\u200b\u7f51\u7edc\u200b\uff0cLinux \u200b\u5185\u6838\u200b\u7248\u672c\u200b\u4e0d\u5f97\u200b\u4f4e\u4e8e\u200b 4.16\u3002</li> <li>\u200b\u955c\u50cf\u200b\u6d41\u91cf\u200b\u7684\u200b\u4f20\u8f93\u200b\u662f\u200b\u5355\u5411\u200b\u7684\u200b\uff0c\u200b\u53ea\u200b\u9700\u200b\u4fdd\u8bc1\u200b OVN \u200b\u8282\u70b9\u200b\u80fd\u591f\u200b\u8bbf\u95ee\u200b\u8fdc\u7aef\u200b\u8bbe\u5907\u200b\u5373\u53ef\u200b\u3002</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/performance-tuning/","title":"\u6027\u80fd\u200b\u8c03\u4f18","text":"<p>\u200b\u4e3a\u4e86\u200b\u4fdd\u6301\u200b\u5b89\u88c5\u200b\u7684\u200b\u7b80\u5355\u200b\u548c\u200b\u529f\u80fd\u200b\u7684\u200b\u5b8c\u5907\u200b\uff0cKube-OVN \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u5e76\u200b\u6ca1\u6709\u200b\u5bf9\u200b\u6027\u80fd\u200b\u9488\u5bf9\u6027\u200b\u7684\u200b\u4f18\u5316\u200b\u3002\u200b\u5982\u679c\u200b\u5e94\u7528\u200b\u5bf9\u200b\u5ef6\u8fdf\u200b\u548c\u200b\u541e\u5410\u91cf\u200b\u654f\u611f\u200b\uff0c \u200b\u7ba1\u7406\u5458\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u672c\u200b\u6587\u6863\u200b\u5bf9\u200b\u6027\u80fd\u200b\u8fdb\u884c\u200b\u9488\u5bf9\u6027\u200b\u4f18\u5316\u200b\u3002</p> <p>\u200b\u793e\u533a\u200b\u4f1a\u200b\u4e0d\u65ad\u200b\u8fed\u4ee3\u200b\u63a7\u5236\u9762\u677f\u200b\u548c\u200b\u4f18\u5316\u200b\u9762\u200b\u7684\u200b\u6027\u80fd\u200b\uff0c\u200b\u90e8\u5206\u200b\u901a\u7528\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u5df2\u7ecf\u200b\u96c6\u6210\u200b\u5230\u200b\u6700\u65b0\u200b\u7248\u672c\u200b\uff0c\u200b\u5efa\u8bae\u200b\u4f7f\u7528\u200b\u6700\u65b0\u200b\u7248\u672c\u200b\u83b7\u5f97\u200b\u66f4\u597d\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u6027\u80fd\u200b\u3002</p> <p>\u200b\u66f4\u200b\u591a\u200b\u5173\u4e8e\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u7684\u200b\u8fc7\u7a0b\u200b\u548c\u200b\u65b9\u6cd5\u8bba\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u89c2\u770b\u200b\u89c6\u9891\u200b\u5206\u4eab\u200b\uff1aKube-OVN \u200b\u5bb9\u5668\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u4e4b\u65c5\u200b\u3002</p>"},{"location":"advance/performance-tuning/#_2","title":"\u57fa\u51c6\u200b\u6d4b\u8bd5","text":"<p>\u200b\u7531\u4e8e\u200b\u8f6f\u786c\u4ef6\u200b\u73af\u5883\u200b\u7684\u200b\u5dee\u5f02\u200b\u6781\u5927\u200b\uff0c\u200b\u8fd9\u91cc\u200b\u63d0\u4f9b\u200b\u7684\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u6570\u636e\u200b\u53ea\u80fd\u200b\u4f5c\u4e3a\u200b\u53c2\u8003\u200b\uff0c\u200b\u5b9e\u9645\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b\u4f1a\u200b\u548c\u200b\u672c\u200b\u6587\u6863\u200b\u4e2d\u200b\u7684\u200b\u7ed3\u679c\u200b\u5b58\u5728\u200b\u8f83\u5927\u200b\u5dee\u5f02\u200b\u3002 \u200b\u5efa\u8bae\u200b\u6bd4\u8f83\u200b\u4f18\u5316\u200b\u524d\u540e\u200b\u7684\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u200b\uff0c\u200b\u548c\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u548c\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u200b\u6bd4\u8f83\u200b\u3002</p>"},{"location":"advance/performance-tuning/#overlay","title":"Overlay \u200b\u4f18\u5316\u200b\u524d\u540e\u200b\u6027\u80fd\u200b\u5bf9\u6bd4","text":"<p>\u200b\u73af\u5883\u200b\u4fe1\u606f\u200b\uff1a</p> <ul> <li>Kubernetes: 1.22.0</li> <li>OS: CentOS 7</li> <li>Kube-OVN: 1.8.0 Overlay \u200b\u6a21\u5f0f\u200b</li> <li>CPU: Intel(R) Xeon(R) E-2278G</li> <li>Network: 2*10Gbps, xmit_hash_policy=layer3+4</li> </ul> <p>\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b <code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1 -vu tcp_lat tcp_bw udp_lat udp_bw</code> \u200b\u6d4b\u8bd5\u200b  1 \u200b\u5b57\u8282\u200b\u5c0f\u5305\u200b\u4e0b\u200b tcp/udp \u200b\u7684\u200b\u5e26\u5bbd\u200b\u548c\u200b\u5ef6\u8fdf\u200b\uff0c\u200b\u5206\u522b\u200b\u6d4b\u8bd5\u200b\u4f18\u5316\u200b\u524d\u200b\uff0c\u200b\u4f18\u5316\u200b\u540e\u200b\u4ee5\u53ca\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u200b\uff1a</p> Type tcp_lat (us) udp_lat (us) tcp_bw (Mb/s) udp_bw(Mb/s) Kube-OVN Default 25.7 22.9 27.1 1.59 Kube-OVN Optimized 13.9 12.9 27.6 5.57 HOST Network 13.1 12.4 28.2 6.02"},{"location":"advance/performance-tuning/#overlay-underlay-calico","title":"Overlay\uff0c Underlay \u200b\u4ee5\u53ca\u200b Calico \u200b\u4e0d\u540c\u200b\u6a21\u5f0f\u200b\u6027\u80fd\u200b\u5bf9\u6bd4","text":"<p>\u200b\u4e0b\u9762\u200b\u6211\u4eec\u200b\u4f1a\u200b\u6bd4\u8f83\u200b\u4f18\u5316\u200b\u540e\u200b Kube-OVN \u200b\u5728\u200b\u4e0d\u540c\u200b\u5305\u200b\u5927\u5c0f\u200b\u4e0b\u200b\u7684\u200b Overlay \u200b\u548c\u200b Underlay \u200b\u6027\u80fd\u200b\uff0c\u200b\u5e76\u200b\u548c\u200b Calico \u200b\u7684\u200b <code>IPIP Always</code>, <code>IPIP never</code> \u200b\u4ee5\u53ca\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u505a\u200b\u6bd4\u8f83\u200b\u3002</p> <p>Environment:</p> <ul> <li>Kubernetes: 1.22.0</li> <li>OS: CentOS 7</li> <li>Kube-OVN: 1.8.0</li> <li>CPU: AMD EPYC 7402P 24-Core Processor</li> <li>Network: Intel Corporation Ethernet Controller XXV710 for 25GbE SFP28</li> </ul> <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1 -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Mb/s) udp_bw(Mb/s) Kube-OVN Overlay 15.2 14.6 23.6 2.65 Kube-OVN Underlay 14.3 13.8 24.2 3.46 Calico IPIP 21.4 20.2 23.6 1.18 Calico NoEncap 19.3 16.9 23.6 1.76 HOST Network 16.6 15.4 24.8 2.64 <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:1K -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Gb/s) udp_bw(Gb/s) Kube-OVN Overlay 16.5 15.8 10.2 2.77 Kube-OVN Underlay 15.9 14.5 9.6 3.22 Calico IPIP 22.5 21.5 1.45 1.14 Calico NoEncap 19.4 18.3 3.76 1.63 HOST Network 18.1 16.6 9.32 2.66 <p><code>qperf -t 60 &lt;server ip&gt; -ub -oo msg_size:4K -vu tcp_lat tcp_bw udp_lat udp_bw</code></p> Type tcp_lat (us) udp_lat (us) tcp_bw (Gb/s) udp_bw(Gb/s) Kube-OVN Overlay 34.7 41.6 16.0 9.23 Kube-OVN Underlay 32.6 44 15.1 6.71 Calico IPIP 44.8 52.9 2.94 3.26 Calico NoEncap 40 49.6 6.56 4.19 HOST Network 35.9 45.9 14.6 5.59 <p>\u200b\u5728\u200b\u90e8\u5206\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u200b\u4f1a\u200b\u4f18\u4e8e\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\uff0c\u200b\u8fd9\u662f\u200b\u4f18\u4e8e\u200b\u7ecf\u8fc7\u200b\u4f18\u5316\u200b\u540e\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u8def\u5f84\u200b\u5b8c\u5168\u200b\u7ed5\u8fc7\u200b\u4e86\u200b netfilter\uff0c \u200b\u800c\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7531\u4e8e\u200b <code>kube-proxy</code> \u200b\u7684\u200b\u5b58\u5728\u200b\u6240\u6709\u200b\u6570\u636e\u5305\u200b\u5747\u200b\u9700\u200b\u7ecf\u8fc7\u200b netfilter\uff0c\u200b\u4f1a\u200b\u5bfc\u81f4\u200b\u5728\u200b\u4e00\u4e9b\u200b\u73af\u5883\u200b\u4e0b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b \u200b\u7684\u200b\u6d88\u8017\u200b\u76f8\u5bf9\u200b\u66f4\u200b\u5c0f\u200b\uff0c\u200b\u56e0\u6b64\u200b\u4f1a\u200b\u6709\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u8868\u73b0\u200b\u3002</p>"},{"location":"advance/performance-tuning/#_3","title":"\u6570\u636e\u200b\u5e73\u9762\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u65b9\u6cd5","text":"<p>\u200b\u8fd9\u91cc\u200b\u4ecb\u7ecd\u200b\u7684\u200b\u4f18\u5316\u200b\u65b9\u6cd5\u200b\u548c\u200b\u8f6f\u786c\u4ef6\u200b\u73af\u5883\u200b\u4ee5\u53ca\u200b\u6240\u200b\u9700\u8981\u200b\u7684\u200b\u529f\u80fd\u200b\u76f8\u5173\u200b\uff0c\u200b\u8bf7\u200b\u4ed4\u7ec6\u200b\u4e86\u89e3\u200b\u4f18\u5316\u200b\u7684\u200b\u524d\u63d0\u6761\u4ef6\u200b\u518d\u200b\u8fdb\u884c\u200b\u5c1d\u8bd5\u200b\u3002</p>"},{"location":"advance/performance-tuning/#cpu","title":"CPU \u200b\u6027\u80fd\u200b\u6a21\u5f0f\u200b\u8c03\u6574","text":"<p>\u200b\u90e8\u5206\u200b\u73af\u5883\u200b\u4e0b\u200b CPU \u200b\u8fd0\u884c\u200b\u5728\u200b\u8282\u80fd\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u6027\u80fd\u200b\u8868\u73b0\u200b\u5c06\u4f1a\u200b\u4e0d\u200b\u7a33\u5b9a\u200b\uff0c\u200b\u5ef6\u8fdf\u200b\u4f1a\u200b\u51fa\u73b0\u200b\u660e\u663e\u589e\u52a0\u200b\uff0c\u200b\u5efa\u8bae\u200b\u4f7f\u7528\u200b CPU \u200b\u7684\u200b\u6027\u80fd\u200b\u6a21\u5f0f\u200b\u83b7\u5f97\u200b\u66f4\u200b\u7a33\u5b9a\u200b\u7684\u200b\u6027\u80fd\u200b\u8868\u73b0\u200b\uff1a</p> <pre><code>cpupower frequency-set -g performance\n</code></pre>"},{"location":"advance/performance-tuning/#_4","title":"\u7f51\u5361\u200b\u786c\u4ef6\u200b\u961f\u5217\u200b\u8c03\u6574","text":"<p>\u200b\u5728\u200b\u6d41\u91cf\u200b\u589e\u5927\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7f13\u51b2\u200b\u961f\u5217\u200b\u8fc7\u200b\u77ed\u200b\u53ef\u80fd\u200b\u5bfc\u81f4\u200b\u8f83\u200b\u9ad8\u200b\u7684\u200b\u4e22\u200b\u5305\u7387\u200b\u5bfc\u81f4\u200b\u6027\u80fd\u200b\u663e\u8457\u200b\u4e0b\u964d\u200b\uff0c\u200b\u9700\u8981\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b</p> <p>\u200b\u68c0\u67e5\u200b\u5f53\u524d\u200b\u7f51\u5361\u200b\u961f\u5217\u200b\u957f\u5ea6\u200b\uff1a</p> <pre><code># ethtool -g eno1\n Ring parameters for eno1:\n Pre-set maximums:\n RX:             4096\n RX Mini:        0\n RX Jumbo:       0\n TX:             4096\n Current hardware settings:\n RX:             255\n RX Mini:        0\n RX Jumbo:       0\n TX:             255\n</code></pre> <p>\u200b\u589e\u52a0\u200b\u961f\u5217\u200b\u957f\u5ea6\u200b\u81f3\u200b\u6700\u5927\u503c\u200b\uff1a</p> <pre><code>ethtool -G eno1 rx 4096\nethtool -G eno1 tx 4096\n</code></pre>"},{"location":"advance/performance-tuning/#tuned","title":"\u4f7f\u7528\u200b tuned \u200b\u4f18\u5316\u200b\u7cfb\u7edf\u200b\u53c2\u6570","text":"<p>tuned \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e00\u7cfb\u5217\u200b\u9884\u7f6e\u200b\u7684\u200b profile \u200b\u6587\u4ef6\u200b\u4fdd\u5b58\u200b\u4e86\u200b\u9488\u5bf9\u200b\u7279\u5b9a\u200b\u573a\u666f\u200b\u7684\u200b\u4e00\u7cfb\u5217\u200b\u7cfb\u7edf\u4f18\u5316\u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u9488\u5bf9\u200b\u5ef6\u8fdf\u200b\u4f18\u5148\u200b\u573a\u666f\u200b\uff1a</p> <pre><code>tuned-adm profile network-latency\n</code></pre> <p>\u200b\u9488\u5bf9\u200b\u541e\u5410\u91cf\u200b\u4f18\u5148\u200b\u573a\u666f\u200b\uff1a</p> <pre><code>tuned-adm profile network-throughput\n</code></pre>"},{"location":"advance/performance-tuning/#_5","title":"\u4e2d\u65ad\u200b\u7ed1\u5b9a","text":"<p>\u200b\u6211\u4eec\u200b\u63a8\u8350\u200b\u7981\u7528\u200b <code>irqbalance</code> \u200b\u5e76\u200b\u5c06\u200b\u7f51\u5361\u200b\u4e2d\u65ad\u200b\u548c\u200b\u7279\u5b9a\u200b CPU \u200b\u8fdb\u884c\u200b\u7ed1\u5b9a\u200b\uff0c\u200b\u6765\u200b\u907f\u514d\u200b\u5728\u200b\u591a\u4e2a\u200b CPU \u200b\u4e4b\u95f4\u200b\u5207\u6362\u200b\u5bfc\u81f4\u200b\u7684\u200b\u6027\u80fd\u200b\u6ce2\u52a8\u200b\u3002</p>"},{"location":"advance/performance-tuning/#ovn-lb","title":"\u5173\u95ed\u200b OVN LB","text":"<p>OVN \u200b\u7684\u200b L2 LB \u200b\u5b9e\u73b0\u200b\u8fc7\u7a0b\u200b\u4e2d\u200b\u9700\u8981\u200b\u8c03\u7528\u200b\u5185\u6838\u200b\u7684\u200b <code>conntrack</code> \u200b\u6a21\u5757\u200b\u5e76\u200b\u8fdb\u884c\u200b recirculate \u200b\u5bfc\u81f4\u200b\u5927\u91cf\u200b\u7684\u200b CPU \u200b\u5f00\u9500\u200b\uff0c\u200b\u7ecf\u200b\u6d4b\u8bd5\u200b\u8be5\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5e26\u6765\u200b 20% \u200b\u5de6\u53f3\u200b\u7684\u200b CPU \u200b\u5f00\u9500\u200b\uff0c \u200b\u5728\u200b Overlay \u200b\u7f51\u7edc\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b <code>kube-proxy</code> \u200b\u5b8c\u6210\u200b Service \u200b\u8f6c\u53d1\u200b\u529f\u80fd\u200b\uff0c\u200b\u83b7\u5f97\u200b\u66f4\u597d\u200b\u7684\u200b Pod-to-Pod \u200b\u6027\u80fd\u200b\u3002\u200b\u53ef\u4ee5\u200b\u5728\u200b <code>kube-ovn-controller</code> \u200b\u4e2d\u200b\u5173\u95ed\u200b\u8be5\u200b\u529f\u80fd\u200b\uff1a</p> <pre><code>command:\n- /kube-ovn/start-controller.sh\nargs:\n...\n- --enable-lb=false\n...\n</code></pre> <p>Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b <code>kube-proxy</code> \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b iptables \u200b\u6216\u200b ipvs \u200b\u63a7\u5236\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u6d41\u91cf\u200b\uff0c\u200b\u5982\u9700\u200b\u5173\u95ed\u200b LB \u200b\u529f\u80fd\u200b\u9700\u8981\u200b\u786e\u8ba4\u200b\u662f\u5426\u200b\u4e0d\u200b\u9700\u8981\u200b Service \u200b\u529f\u80fd\u200b\u3002</p>"},{"location":"advance/performance-tuning/#fastpath","title":"\u5185\u6838\u200b FastPath \u200b\u6a21\u5757","text":"<p>\u200b\u7531\u4e8e\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u548c\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u5728\u200b\u4e0d\u540c\u200b\u7684\u200b network ns\uff0c\u200b\u6570\u636e\u5305\u200b\u5728\u200b\u8de8\u200b\u5bbf\u4e3b\u673a\u200b\u4f20\u8f93\u200b\u65f6\u4f1a\u200b\u591a\u6b21\u200b\u7ecf\u8fc7\u200b netfilter \u200b\u6a21\u5757\u200b\uff0c\u200b\u4f1a\u200b\u5e26\u6765\u200b\u8fd1\u200b 20% \u200b\u7684\u200b CPU \u200b\u5f00\u9500\u200b\u3002\u200b\u7531\u4e8e\u200b\u5927\u90e8\u5206\u200b\u60c5\u51b5\u200b\u4e0b\u200b \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u5185\u200b\u5e94\u7528\u200b\u65e0\u987b\u200b\u4f7f\u7528\u200b netfilter \u200b\u6a21\u5757\u200b\u7684\u200b\u529f\u80fd\u200b\uff0c<code>FastPath</code> \u200b\u6a21\u5757\u200b\u53ef\u4ee5\u200b\u7ed5\u8fc7\u200b netfilter \u200b\u964d\u4f4e\u200b CPU \u200b\u5f00\u9500\u200b\u3002</p> <p>\u200b\u5982\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u5185\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b netfilter \u200b\u63d0\u4f9b\u200b\u7684\u200b\u529f\u80fd\u200b\u5982\u200b iptables\uff0cipvs\uff0cnftables \u200b\u7b49\u200b\uff0c\u200b\u8be5\u200b\u6a21\u5757\u200b\u4f1a\u200b\u4f7f\u200b\u76f8\u5173\u200b\u529f\u80fd\u200b\u5931\u6548\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u5185\u6838\u6a21\u5757\u200b\u548c\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u76f8\u5173\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u63d0\u4f9b\u200b\u4e00\u4e2a\u200b\u5355\u4e00\u200b\u9002\u5e94\u200b\u6240\u6709\u200b\u5185\u6838\u200b\u7684\u200b\u5185\u6838\u6a21\u5757\u200b\u5236\u54c1\u200b\u3002\u200b\u6211\u4eec\u200b\u9884\u5148\u200b\u7f16\u8bd1\u200b\u4e86\u200b\u90e8\u5206\u200b\u5185\u6838\u200b\u7684\u200b <code>FastPath</code> \u200b\u6a21\u5757\u200b\uff0c \u200b\u53ef\u4ee5\u200b\u524d\u5f80\u200b tunning-package \u200b\u8fdb\u884c\u200b\u4e0b\u8f7d\u200b\u3002</p> <p>\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u624b\u52a8\u200b\u8fdb\u884c\u200b\u7f16\u8bd1\u200b\uff0c\u200b\u65b9\u6cd5\u200b\u53c2\u8003\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b FastPath \u200b\u6a21\u5757\u200b</p> <p>\u200b\u83b7\u5f97\u200b\u5185\u6838\u6a21\u5757\u200b\u540e\u200b\u53ef\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4f7f\u7528\u200b <code>insmod kube_ovn_fastpath.ko</code> \u200b\u52a0\u8f7d\u200b <code>FastPath</code> \u200b\u6a21\u5757\u200b\uff0c\u200b\u5e76\u200b\u4f7f\u7528\u200b <code>dmesg</code> \u200b\u9a8c\u8bc1\u200b\u6a21\u5757\u200b\u52a0\u8f7d\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># dmesg\n...\n[619631.323788] init_module,kube_ovn_fastpath_local_out\n[619631.323798] init_module,kube_ovn_fastpath_post_routing\n[619631.323800] init_module,kube_ovn_fastpath_pre_routing\n[619631.323801] init_module,kube_ovn_fastpath_local_in\n...\n</code></pre>"},{"location":"advance/performance-tuning/#ovs","title":"OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u4f18\u5316","text":"<p>OVS \u200b\u7684\u200b flow \u200b\u5904\u7406\u200b\u5305\u62ec\u200b\u54c8\u5e0c\u200b\u8ba1\u7b97\u200b\uff0c\u200b\u5339\u914d\u200b\u7b49\u200b\u64cd\u4f5c\u200b\u4f1a\u200b\u6d88\u8017\u200b\u5927\u7ea6\u200b 10% \u200b\u5de6\u53f3\u200b\u7684\u200b CPU \u200b\u8d44\u6e90\u200b\u3002\u200b\u73b0\u4ee3\u200b x86 CPU \u200b\u4e0a\u200b\u7684\u200b\u4e00\u4e9b\u200b\u6307\u4ee4\u96c6\u200b\u4f8b\u5982\u200b <code>popcnt</code> \u200b\u548c\u200b <code>sse4.2</code> \u200b\u53ef\u4ee5\u200b \u200b\u52a0\u901f\u200b\u76f8\u5173\u200b\u8ba1\u7b97\u200b\u8fc7\u7a0b\u200b\uff0c\u200b\u4f46\u200b\u5185\u6838\u200b\u9ed8\u8ba4\u200b\u7f16\u8bd1\u200b\u672a\u200b\u5f00\u542f\u200b\u76f8\u5173\u200b\u9009\u9879\u200b\u3002\u200b\u7ecf\u200b\u6d4b\u8bd5\u200b\u5728\u200b\u5f00\u542f\u200b\u76f8\u5e94\u200b\u6307\u4ee4\u96c6\u200b\u4f18\u5316\u200b\u540e\u200b\uff0cflow \u200b\u76f8\u5173\u200b\u64cd\u4f5c\u200b CPU \u200b\u6d88\u8017\u200b\u5c06\u4f1a\u200b\u964d\u81f3\u200b 5% \u200b\u5de6\u53f3\u200b\u3002</p> <p>\u200b\u548c\u200b <code>FastPath</code> \u200b\u6a21\u5757\u200b\u7684\u200b\u7f16\u8bd1\u200b\u7c7b\u4f3c\u200b\uff0c\u200b\u7531\u4e8e\u200b\u5185\u6838\u6a21\u5757\u200b\u548c\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u76f8\u5173\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u63d0\u4f9b\u200b\u4e00\u4e2a\u200b\u5355\u4e00\u200b\u9002\u5e94\u200b\u6240\u6709\u200b\u5185\u6838\u200b\u7684\u200b\u5185\u6838\u6a21\u5757\u200b\u5236\u54c1\u200b\u3002\u200b\u7528\u6237\u200b\u9700\u8981\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b\u6216\u8005\u200b \u200b\u524d\u5f80\u200b tunning-package \u200b\u67e5\u770b\u200b\u662f\u5426\u200b\u6709\u200b\u5df2\u200b\u7f16\u8bd1\u200b\u597d\u200b\u7684\u200b\u5236\u54c1\u200b\u8fdb\u884c\u200b\u4e0b\u8f7d\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u8be5\u200b\u5185\u6838\u6a21\u5757\u200b\u524d\u200b\u8bf7\u200b\u5148\u200b\u786e\u8ba4\u200b CPU \u200b\u662f\u5426\u200b\u652f\u6301\u200b\u76f8\u5173\u200b\u6307\u4ee4\u96c6\u200b\uff1a</p> <pre><code>cat /proc/cpuinfo  | grep popcnt\ncat /proc/cpuinfo  | grep sse4_2\n</code></pre>"},{"location":"advance/performance-tuning/#centos","title":"CentOS \u200b\u4e0b\u200b\u7f16\u8bd1\u200b\u5b89\u88c5","text":"<p>\u200b\u5b89\u88c5\u200b\u76f8\u5173\u200b\u7f16\u8bd1\u200b\u4f9d\u8d56\u200b\u548c\u200b\u5185\u6838\u200b\u5934\u6587\u4ef6\u200b\uff1a</p> <pre><code>yum install -y gcc kernel-devel-$(uname -r) python3 autoconf automake libtool rpm-build openssl-devel\n</code></pre> <p>\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u5e76\u200b\u751f\u6210\u200b\u5bf9\u5e94\u200b RPM \u200b\u6587\u4ef6\u200b:</p> <pre><code>git clone -b branch-2.17 --depth=1 https://github.com/openvswitch/ovs.git\ncd ovs\ncurl -s  https://github.com/kubeovn/ovs/commit/2d2c83c26d4217446918f39d5cd5838e9ac27b32.patch |  git apply\n./boot.sh\n./configure --with-linux=/lib/modules/$(uname -r)/build CFLAGS=\"-g -O2 -mpopcnt -msse4.2\"\nmake rpm-fedora-kmod\ncd rpm/rpmbuild/RPMS/x86_64/\n</code></pre> <p>\u200b\u590d\u5236\u200b RPM \u200b\u5230\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u5e76\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a</p> <pre><code>rpm -i openvswitch-kmod-2.15.2-1.el7.x86_64.rpm\n</code></pre> <p>\u200b\u82e5\u200b\u4e4b\u524d\u200b\u5df2\u7ecf\u200b\u542f\u52a8\u200b\u8fc7\u200b Kube-OVN\uff0c\u200b\u65e7\u7248\u672c\u200b OVS \u200b\u6a21\u5757\u200b\u5df2\u200b\u52a0\u8f7d\u200b\u81f3\u200b\u5185\u6838\u200b\uff0c\u200b\u5efa\u8bae\u200b\u91cd\u542f\u200b\u673a\u5668\u200b\u91cd\u65b0\u200b\u52a0\u8f7d\u200b\u65b0\u7248\u200b\u5185\u6838\u6a21\u5757\u200b\u3002</p>"},{"location":"advance/performance-tuning/#ubuntu","title":"Ubuntu \u200b\u4e0b\u200b\u7f16\u8bd1\u200b\u5b89\u88c5","text":"<p>\u200b\u5b89\u88c5\u200b\u76f8\u5173\u200b\u7f16\u8bd1\u200b\u4f9d\u8d56\u200b\u548c\u200b\u5185\u6838\u200b\u5934\u6587\u4ef6\u200b\uff1a</p> <pre><code>apt install -y autoconf automake libtool gcc build-essential libssl-dev\n</code></pre> <p>\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u5e76\u200b\u5b89\u88c5\u200b\uff1a</p> <pre><code>apt install -y autoconf automake libtool gcc build-essential libssl-dev\n\ngit clone -b branch-2.17 --depth=1 https://github.com/openvswitch/ovs.git\ncd ovs\ncurl -s  https://github.com/kubeovn/ovs/commit/2d2c83c26d4217446918f39d5cd5838e9ac27b32.patch |  git apply\n./boot.sh\n./configure --prefix=/usr/ --localstatedir=/var --enable-ssl --with-linux=/lib/modules/$(uname -r)/build\nmake -j `nproc`\nmake install\nmake modules_install\n\ncat &gt; /etc/depmod.d/openvswitch.conf &lt;&lt; EOF\noverride openvswitch * extra\noverride vport-* * extra\nEOF\n\ndepmod -a\ncp debian/openvswitch-switch.init /etc/init.d/openvswitch-switch\n/etc/init.d/openvswitch-switch force-reload-kmod\n</code></pre> <p>\u200b\u82e5\u200b\u4e4b\u524d\u200b\u5df2\u7ecf\u200b\u542f\u52a8\u200b\u8fc7\u200b Kube-OVN\uff0c\u200b\u65e7\u7248\u672c\u200b OVS \u200b\u6a21\u5757\u200b\u5df2\u200b\u52a0\u8f7d\u200b\u81f3\u200b\u5185\u6838\u200b\uff0c\u200b\u5efa\u8bae\u200b\u91cd\u542f\u200b\u673a\u5668\u200b\u91cd\u65b0\u200b\u52a0\u8f7d\u200b\u65b0\u7248\u200b\u5185\u6838\u6a21\u5757\u200b\u3002</p>"},{"location":"advance/performance-tuning/#stt","title":"\u4f7f\u7528\u200b STT \u200b\u7c7b\u578b\u200b\u96a7\u9053","text":"<p>\u200b\u5e38\u89c1\u200b\u7684\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\u4f8b\u5982\u200b Geneve \u200b\u548c\u200b Vxlan \u200b\u4f7f\u7528\u200b UDP \u200b\u534f\u8bae\u200b\u5bf9\u200b\u6570\u636e\u5305\u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u5728\u200b\u5185\u6838\u200b\u4e2d\u6709\u200b\u826f\u597d\u200b\u7684\u200b\u652f\u6301\u200b\u3002\u200b\u4f46\u662f\u200b\u5f53\u200b\u4f7f\u7528\u200b UDP \u200b\u5c01\u88c5\u200b TCP \u200b\u6570\u636e\u5305\u200b\u65f6\u200b\uff0c \u200b\u73b0\u4ee3\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u548c\u200b\u7f51\u5361\u200b\u9488\u5bf9\u200b TCP \u200b\u534f\u8bae\u200b\u7684\u200b\u4f18\u5316\u200b\u548c\u200b offload \u200b\u529f\u80fd\u200b\u5c06\u200b\u65e0\u6cd5\u200b\u987a\u5229\u200b\u5de5\u4f5c\u200b\uff0c\u200b\u5bfc\u81f4\u200b TCP \u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u51fa\u73b0\u200b\u663e\u8457\u200b\u4e0b\u964d\u200b\u3002\u200b\u5728\u200b\u865a\u62df\u5316\u200b\u573a\u666f\u200b\u4e0b\u200b\u7531\u4e8e\u200b CPU \u200b\u7684\u200b\u9650\u5236\u200b\uff0c TCP \u200b\u5927\u5305\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u751a\u81f3\u200b\u53ef\u80fd\u200b\u53ea\u6709\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7684\u200b\u5341\u5206\u4e4b\u4e00\u200b\u3002</p> <p>STT \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u79cd\u200b\u521b\u65b0\u200b\u5f0f\u200b\u7684\u200b\u4f7f\u7528\u200b TCP \u200b\u683c\u5f0f\u200b\u6570\u636e\u5305\u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\u7684\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\uff0c\u200b\u8be5\u200b\u5c01\u88c5\u200b\u53ea\u662f\u200b\u6a21\u62df\u200b\u4e86\u200b TCP \u200b\u534f\u8bae\u200b\u7684\u200b\u5934\u90e8\u200b\u683c\u5f0f\u200b\uff0c\u200b\u5e76\u200b\u6ca1\u6709\u200b\u771f\u6b63\u200b\u5efa\u7acb\u200b TCP \u200b\u8fde\u63a5\u200b\uff0c\u200b\u4f46\u662f\u200b\u53ef\u4ee5\u200b \u200b\u5145\u5206\u5229\u7528\u200b\u73b0\u4ee3\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u548c\u200b\u7f51\u5361\u200b\u7684\u200b TCP \u200b\u4f18\u5316\u200b\u80fd\u529b\u200b\u3002\u200b\u5728\u200b\u6211\u4eec\u200b\u7684\u200b\u6d4b\u8bd5\u200b\u4e2d\u200b TCP \u200b\u5927\u5305\u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u80fd\u200b\u6709\u200b\u6570\u500d\u200b\u7684\u200b\u63d0\u5347\u200b\uff0c\u200b\u8fbe\u5230\u200b\u63a5\u8fd1\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u200b\u6c34\u5e73\u200b\u3002</p> <p>STT \u200b\u96a7\u9053\u200b\u5e76\u200b\u6ca1\u6709\u200b\u9884\u200b\u5b89\u88c5\u200b\u5728\u200b\u5185\u6838\u200b\u5185\u200b\uff0c\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u6765\u200b\u5b89\u88c5\u200b\uff0cOVS \u200b\u5185\u6838\u6a21\u5757\u200b\u7684\u200b\u7f16\u8bd1\u200b\u65b9\u6cd5\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u4e0a\u200b\u4e00\u8282\u200b\u3002</p> <p>STT \u200b\u96a7\u9053\u200b\u5f00\u542f\u200b\uff1a</p> <pre><code>kubectl set env daemonset/ovs-ovn -n kube-system TUNNEL_TYPE=stt\n\nkubectl delete pod -n kube-system -lapp=ovs\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/security-group/","title":"SecurityGroup \u200b\u4f7f\u7528","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u4e86\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u914d\u7f6e\u200b\uff0c\u200b\u914d\u7f6e\u200b\u5b89\u5168\u200b\u7ec4\u200b\u4f7f\u7528\u200b\u7684\u200b CRD \u200b\u4e3a\u200b SecurityGroup\u3002</p>"},{"location":"advance/security-group/#_1","title":"\u5b89\u5168\u200b\u7ec4\u200b\u793a\u4f8b","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: SecurityGroup\nmetadata:\n  name: sg-example\nspec:\n  allowSameGroupTraffic: true\n  egressRules:\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: all\n    remoteAddress: 10.16.0.13 # 10.16.0.0/16 \u200b\u914d\u7f6e\u200b\u7f51\u6bb5\u200b\n    remoteType: address\n  ingressRules:\n  - ipVersion: ipv4\n    policy: deny\n    priority: 1\n    protocol: icmp\n    remoteAddress: 10.16.0.14\n    remoteType: address\n</code></pre> <p>\u200b\u5b89\u5168\u200b\u7ec4\u5404\u5b57\u200b\u6bb5\u200b\u7684\u200b\u5177\u4f53\u200b\u542b\u4e49\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u63a5\u53e3\u200b\u89c4\u8303\u200b\u3002</p> <p>Pod \u200b\u901a\u8fc7\u200b\u6dfb\u52a0\u200b annotation \u200b\u6765\u200b\u7ed1\u5b9a\u200b\u5b89\u5168\u200b\u7ec4\u200b\uff0c\u200b\u4f7f\u7528\u200b\u7684\u200b annotation \u200b\u6709\u200b\u4e24\u4e2a\u200b\uff1a</p> <pre><code>    ovn.kubernetes.io/port_security: \"true\"\n    ovn.kubernetes.io/security_groups: sg-example\n</code></pre>"},{"location":"advance/security-group/#_2","title":"\u6ce8\u610f\u4e8b\u9879","text":"<ul> <li> <p>\u200b\u5b89\u5168\u200b\u7ec4\u200b\u6700\u540e\u200b\u662f\u200b\u901a\u8fc7\u200b\u8bbe\u7f6e\u200b ACL \u200b\u89c4\u5219\u200b\u6765\u200b\u9650\u5236\u200b\u8bbf\u95ee\u200b\u7684\u200b\uff0cOVN \u200b\u6587\u6863\u200b\u4e2d\u200b\u63d0\u5230\u200b\uff0c\u200b\u5982\u679c\u200b\u5339\u914d\u200b\u5230\u200b\u7684\u200b\u4e24\u4e2a\u200b ACL \u200b\u89c4\u5219\u200b\u62e5\u6709\u200b\u76f8\u540c\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u5b9e\u9645\u200b\u8d77\u200b\u4f5c\u7528\u200b\u7684\u200b\u662f\u200b\u54ea\u4e2a\u200b ACL \u200b\u662f\u200b\u4e0d\u200b\u786e\u5b9a\u200b\u7684\u200b\u3002\u200b\u56e0\u6b64\u200b\u8bbe\u7f6e\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u533a\u5206\u200b\u4f18\u5148\u7ea7\u200b\u3002</p> </li> <li> <p>\u200b\u5f53\u200b\u6dfb\u52a0\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u8981\u200b\u6e05\u695a\u200b\u7684\u200b\u77e5\u9053\u200b\u662f\u200b\u5728\u200b\u6dfb\u52a0\u200b\u4ec0\u4e48\u200b\u9650\u5236\u200b\u3002Kube-OVN \u200b\u4f5c\u4e3a\u200b CNI\uff0c\u200b\u521b\u5efa\u200b Pod \u200b\u540e\u200b\u4f1a\u200b\u8fdb\u884c\u200b Pod \u200b\u5230\u200b\u7f51\u5173\u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u5982\u679c\u200b\u8bbf\u95ee\u200b\u4e0d\u901a\u200b\u7f51\u5173\u200b\uff0c\u200b\u5c31\u200b\u4f1a\u200b\u5bfc\u81f4\u200b Pod \u200b\u4e00\u76f4\u200b\u5904\u4e8e\u200b ContainerCreating \u200b\u72b6\u6001\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u987a\u5229\u200b\u5207\u6362\u200b\u5230\u200b Running \u200b\u72b6\u6001\u200b\u3002</p> </li> </ul>"},{"location":"advance/security-group/#_3","title":"\u5b9e\u9645\u200b\u6d4b\u8bd5","text":"<p>\u200b\u5229\u7528\u200b\u4ee5\u4e0b\u200b yaml \u200b\u521b\u5efa\u200b Pod\uff0c\u200b\u5728\u200b annotation \u200b\u4e2d\u200b\u6307\u5b9a\u200b\u7ed1\u5b9a\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u7684\u200b\u5b89\u5168\u200b\u7ec4\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  labels:\n    app: static\n  annotations:\n    ovn.kubernetes.io/port_security: 'true'\n    ovn.kubernetes.io/security_groups: 'sg-example'\n  name: sg-test-pod\n  namespace: default\nspec:\n  nodeName: kube-ovn-worker\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>\u200b\u5b9e\u9645\u200b\u6d4b\u8bd5\u200b\u7ed3\u679c\u663e\u793a\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># kubectl get pod -o wide\nNAME                   READY   STATUS              RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES\nsg-test-pod            0/1     ContainerCreating   0          5h32m   &lt;none&gt;       kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\ntest-99fff7f86-52h9r   1/1     Running             0          5h41m   10.16.0.14   kube-ovn-control-plane   &lt;none&gt;           &lt;none&gt;\ntest-99fff7f86-qcgjw   1/1     Running             0          5h43m   10.16.0.13   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>\u200b\u6267\u884c\u200b kubectl describe pod \u200b\u67e5\u770b\u200b Pod \u200b\u7684\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u62a5\u9519\u200b\u63d0\u793a\u200b\uff1a</p> <pre><code># kubectl describe pod sg-test-pod\nName:         sg-test-pod\nNamespace:    default\nPriority:     0\nNode:         kube-ovn-worker/172.18.0.2\nStart Time:   Tue, 28 Feb 2023 10:29:36 +0800\nLabels:       app=static\nAnnotations:  ovn.kubernetes.io/allocated: true\n              ovn.kubernetes.io/cidr: 10.16.0.0/16\n              ovn.kubernetes.io/gateway: 10.16.0.1\n              ovn.kubernetes.io/ip_address: 10.16.0.15\n              ovn.kubernetes.io/logical_router: ovn-cluster\n              ovn.kubernetes.io/logical_switch: ovn-default\n              ovn.kubernetes.io/mac_address: 00:00:00:FA:17:97\n              ovn.kubernetes.io/pod_nic_type: veth-pair\n              ovn.kubernetes.io/port_security: true\n              ovn.kubernetes.io/routed: true\n              ovn.kubernetes.io/security_groups: sg-allow-reject\nStatus:       Pending\nIP:\nIPs:          &lt;none&gt;\n\u00b7\n\u00b7\n\u00b7\nEvents:\n  Type     Reason                  Age                    From     Message\n  ----     ------                  ----                   ----     -------\n  Warning  FailedCreatePodSandBox  5m3s (x70 over 4h59m)  kubelet  (combined from similar events): Failed to create pod sandbox: rpc error: code = Unknown desc = failed to setup network for sandbox \"40636e0c7f1ade5500fa958486163d74f2e2300051a71522a9afd7ba0538afb6\": plugin type=\"kube-ovn\" failed (add): RPC failed; request ip return 500 configure nic failed 10.16.0.15 network not ready after 200 ping 10.16.0.1\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u89c4\u5219\u200b\uff0c\u200b\u6dfb\u52a0\u200b\u5230\u200b\u7f51\u5173\u200b\u7684\u200b\u8bbf\u95ee\u200b\u89c4\u5219\u200b\uff0c\u200b\u53c2\u8003\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SecurityGroup\nmetadata:\n  name: sg-gw-both\nspec:\n  allowSameGroupTraffic: true\n  egressRules:\n  - ipVersion: ipv4\n    policy: allow\n    priority: 2\n    protocol: all\n    remoteAddress: 10.16.0.13\n    remoteType: address\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: all\n    remoteAddress: 10.16.0.1\n    remoteType: address\n  ingressRules:\n  - ipVersion: ipv4\n    policy: deny\n    priority: 2\n    protocol: icmp\n    remoteAddress: 10.16.0.14\n    remoteType: address\n  - ipVersion: ipv4\n    policy: allow\n    priority: 1\n    protocol: icmp\n    remoteAddress: 10.16.0.1\n    remoteType: address\n</code></pre> <p>\u200b\u5206\u522b\u200b\u5728\u200b\u5165\u200b\u65b9\u5411\u200b\u548c\u200b\u51fa\u200b\u65b9\u5411\u200b\u89c4\u5219\u200b\u4e2d\u200b\uff0c\u200b\u6dfb\u52a0\u200b\u5141\u8bb8\u200b\u5230\u200b\u7f51\u5173\u200b\u7684\u200b\u8bbf\u95ee\u200b\u89c4\u5219\u200b\uff0c\u200b\u5e76\u4e14\u200b\u8bbe\u7f6e\u200b\u8be5\u200b\u89c4\u5219\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\u6700\u9ad8\u200b\u3002</p> <p>\u200b\u5229\u7528\u200b\u4ee5\u4e0b\u200b yaml \u200b\u7ed1\u5b9a\u200b\u5b89\u5168\u200b\u7ec4\u200b\uff0c\u200b\u90e8\u7f72\u200b Pod \u200b\u540e\u200b\uff0c\u200b\u786e\u8ba4\u200b Pod \u200b\u53ef\u4ee5\u200b\u6b63\u5e38\u200b\u8fd0\u884c\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  labels:\n    app: static\n  annotations:\n    ovn.kubernetes.io/port_security: 'true'\n    ovn.kubernetes.io/security_groups: 'sg-gw-both'\n  name: sg-gw-both\n  namespace: default\nspec:\n  nodeName: kube-ovn-worker\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>\u200b\u90e8\u7f72\u200b\u540e\u200b\u67e5\u770b\u200b Pod \u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get pod -o wide\nNAME                   READY   STATUS              RESTARTS   AGE     IP           NODE                     NOMINATED NODE   READINESS GATES\nsg-test-pod            0/1     ContainerCreating   0          5h41m   &lt;none&gt;       kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\nsg-gw-both             1/1     Running             0          5h37m   10.16.0.19   kube-ovn-worker          &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>\u200b\u56e0\u6b64\u200b\u5bf9\u4e8e\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u4f7f\u7528\u200b\uff0c\u200b\u8981\u200b\u7279\u522b\u200b\u660e\u786e\u200b\u6dfb\u52a0\u200b\u7684\u200b\u9650\u5236\u200b\u89c4\u5219\u200b\u7684\u200b\u4f5c\u7528\u200b\u3002\u200b\u5982\u679c\u200b\u5355\u7eaf\u200b\u662f\u200b\u9650\u5236\u200b\u6d41\u91cf\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u8003\u8651\u200b\u4f7f\u7528\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u5b9e\u73b0\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/vip/","title":"VIP \u200b\u9884\u7559\u200b IP","text":"<p>VIP \u200b\u5373\u200b\u865a\u62df\u200b IP\uff0c \u200b\u7528\u4e8e\u200b\u9884\u7559\u200b IP \u200b\u8d44\u6e90\u200b\u3002\u200b\u4e4b\u6240\u4ee5\u200b\u8bbe\u8ba1\u200b VIP \u200b\u662f\u56e0\u4e3a\u200b kube-ovn \u200b\u7684\u200b IP \u200b\u548c\u200b POD \u200b\u5728\u200b\u547d\u540d\u200b\u4e0a\u200b\u76f4\u63a5\u200b\u5173\u8054\u200b\uff0c\u200b\u6240\u4ee5\u200b\u65e0\u6cd5\u200b\u57fa\u4e8e\u200b IP \u200b\u5b9e\u73b0\u200b\u76f4\u63a5\u200b\u5b9e\u73b0\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u529f\u80fd\u200b\u3002 VIP \u200b\u8bbe\u8ba1\u200b\u4e4b\u521d\u200b\u53c2\u8003\u200b\u4e86\u200b Openstack neutron Allowed-Address-Pairs\uff08AAP\uff09 \u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u7528\u4e8e\u200b Openstack octavia \u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u9879\u76ee\u200b\u3002 \u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u7528\u4e8e\u200b\u63d0\u4f9b\u200b\u865a\u62df\u673a\u200b\u5185\u90e8\u200b\u7684\u200b\u5e94\u7528\u200b\uff08POD\uff09IP\uff0c\u200b\u8fd9\u70b9\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b aliyun terway \u200b\u9879\u76ee\u200b\u3002 \u200b\u53e6\u5916\u200b\uff0c\u200b\u7531\u4e8e\u200b neutron \u200b\u6709\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u6240\u4ee5\u200b\u5bf9\u200b VIP \u200b\u8fdb\u884c\u200b\u4e86\u200b\u4e00\u5b9a\u200b\u6269\u5c55\u200b\uff0c\u200b\u4f7f\u5f97\u200b VIP \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u7528\u4e8e\u200b\u4e3a\u200b POD \u200b\u9884\u7559\u200b IP\uff0c\u200b\u4f46\u200b\u7531\u4e8e\u200b\u8fd9\u79cd\u200b\u8bbe\u8ba1\u200b\u4f1a\u200b\u5bfc\u81f4\u200b VIP \u200b\u548c\u200b IP \u200b\u7684\u200b\u529f\u80fd\u200b\u53d8\u5f97\u200b\u6a21\u7cca\u200b\uff0c\u200b\u5728\u200b\u5b9e\u73b0\u200b\u4e0a\u200b\u5e76\u200b\u4e0d\u662f\u200b\u4e00\u4e2a\u200b\u4f18\u96c5\u200b\u7684\u200b\u65b9\u5f0f\u200b\uff0c\u200b\u6240\u4ee5\u200b\u4e0d\u200b\u63a8\u8350\u200b\u5728\u200b\u751f\u4ea7\u200b\u4f7f\u7528\u200b\u3002 \u200b\u800c\u4e14\u200b\uff0c \u200b\u7531\u4e8e\u200b OVN \u200b\u7684\u200b Switch LB \u200b\u53ef\u4ee5\u200b\u63d0\u4f9b\u200b\u4e00\u79cd\u200b\u4ee5\u200b\u5b50\u7f51\u200b\u5185\u90e8\u200b IP \u200b\u4e3a\u200b LB \u200b\u524d\u7aef\u200b VIP \u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u6240\u4ee5\u200b\u53c8\u200b\u5bf9\u200b VIP \u200b\u5728\u200b\u5b50\u7f51\u200b\u5185\u200b\u4f7f\u7528\u200b OVN Switch LB Rule \u200b\u573a\u666f\u200b\u8fdb\u884c\u200b\u4e86\u200b\u6269\u5c55\u200b\u3002 \u200b\u603b\u4e4b\u200b\uff0c\u200b\u76ee\u524d\u200b VIP \u200b\u5728\u200b\u8bbe\u8ba1\u200b\u4e0a\u200b\u53ea\u6709\u200b\u4e09\u79cd\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\uff1a</p> <ul> <li>Allowed-Address-Pairs VIP</li> <li>Switch LB rule VIP</li> <li>Pod \u200b\u4f7f\u7528\u200b VIP \u200b\u6765\u200b\u56fa\u5b9a\u200b IP</li> </ul>"},{"location":"advance/vip/#1-allowed-address-pairs-vip","title":"1. Allowed-Address-Pairs VIP","text":"<p>\u200b\u5728\u200b\u8be5\u200b\u573a\u666f\u200b\u4e0b\u200b\u6211\u4eec\u200b\u5e0c\u671b\u200b\u52a8\u6001\u200b\u7684\u200b\u9884\u7559\u200b\u4e00\u90e8\u5206\u200b IP \u200b\u4f46\u662f\u200b\u5e76\u200b\u4e0d\u200b\u5206\u914d\u200b\u7ed9\u200b Pod \u200b\u800c\u662f\u200b\u5206\u914d\u200b\u7ed9\u200b\u5176\u4ed6\u200b\u7684\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u542f\u7528\u200b\uff0c\u200b\u4f8b\u5982\u200b\uff1a</p> <ul> <li>Kubernetes \u200b\u5d4c\u5957\u200b Kubernetes \u200b\u7684\u200b\u573a\u666f\u200b\u4e2d\u4e0a\u5c42\u200b Kubernetes \u200b\u4f7f\u7528\u200b Underlay \u200b\u7f51\u7edc\u200b\u4f1a\u200b\u5360\u7528\u200b\u5e95\u5c42\u200b Subnet \u200b\u53ef\u7528\u200b\u5730\u5740\u200b\u3002</li> <li>LB \u200b\u6216\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u4e00\u4e2a\u200b Subnet \u200b\u5185\u200b\u7684\u200b IP\uff0c\u200b\u4f46\u200b\u4e0d\u4f1a\u200b\u5355\u72ec\u200b\u8d77\u200b Pod\u3002</li> </ul> <p>\u200b\u6b64\u5916\u200b\uff0cVIP \u200b\u8fd8\u200b\u53ef\u4ee5\u200b\u4e3a\u200b Allowed-Address-Pairs \u200b\u9884\u7559\u200b IP \u200b\u7528\u6765\u200b\u652f\u6301\u200b\u5355\u4e2a\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b\u591a\u4e2a\u200b IP \u200b\u7684\u200b\u573a\u666f\u200b\uff0c\u200b\u4f8b\u5982\u200b\uff1a</p> <ul> <li>Keepalived \u200b\u901a\u8fc7\u200b\u914d\u7f6e\u200b\u989d\u5916\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u5bf9\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u5b9e\u73b0\u200b\u5feb\u901f\u200b\u6545\u969c\u200b\u5207\u6362\u200b\u548c\u200b\u7075\u6d3b\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u67b6\u6784\u200b</li> </ul>"},{"location":"advance/vip/#11-vip","title":"1.1 \u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u5730\u5740\u200b VIP","text":"<p>\u200b\u5982\u679c\u200b\u53ea\u662f\u200b\u4e3a\u4e86\u200b\u9884\u7559\u200b\u82e5\u5e72\u200b IP \u200b\u800c\u200b\u5bf9\u200b IP \u200b\u5730\u5740\u200b\u672c\u8eab\u200b\u6ca1\u6709\u200b\u8981\u6c42\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u521b\u5efa\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: vip-dynamic-01\nspec:\n  subnet: ovn-default\n  type: \"\"\n</code></pre> <ul> <li><code>subnet</code>: \u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b Subnet \u200b\u4e2d\u200b\u9884\u7559\u200b IP\u3002</li> <li><code>type</code>: \u200b\u76ee\u524d\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u7c7b\u578b\u200b\uff0c\u200b\u4e3a\u7a7a\u200b\u8868\u793a\u200b\u4ec5\u200b\u7528\u4e8e\u200b ipam ip \u200b\u5360\u4f4d\u200b\uff0c<code>switch_lb_vip</code> \u200b\u8868\u793a\u200b\u8be5\u200b vip \u200b\u4ec5\u200b\u7528\u4e8e\u200b switch lb \u200b\u524d\u7aef\u200b vip \u200b\u548c\u200b\u540e\u200b\u7aef\u200b ip \u200b\u9700\u200b\u5904\u4e8e\u200b\u540c\u4e00\u200b\u5b50\u7f51\u200b\u3002</li> </ul> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b VIP\uff1a</p> <pre><code># kubectl get vip\nNAME             V4IP         PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET        READY\nvip-dynamic-01   10.16.0.12           00:00:00:F0:DB:25                         ovn-default   true\n</code></pre> <p>\u200b\u53ef\u89c1\u200b\u8be5\u200b VIP \u200b\u88ab\u200b\u5206\u914d\u200b\u4e86\u200b <code>10.16.0.12</code> \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u53ef\u4ee5\u200b\u4e4b\u540e\u200b\u4f9b\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u4f7f\u7528\u200b\u3002</p>"},{"location":"advance/vip/#12-vip","title":"1.2 \u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b VIP","text":"<p>\u200b\u5982\u5bf9\u200b\u9884\u7559\u200b\u7684\u200b VIP \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u6709\u200b\u9700\u6c42\u200b\u53ef\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u56fa\u5b9a\u200b\u5206\u914d\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: static-vip01\nspec:\n  subnet: ovn-default \n  v4ip: \"10.16.0.121\"\n</code></pre> <ul> <li><code>subnet</code>: \u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b Subnet \u200b\u4e2d\u200b\u9884\u7559\u200b IP\u3002</li> <li><code>v4ip</code>: \u200b\u56fa\u5b9a\u200b\u5206\u914d\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u9700\u5728\u200b <code>subnet</code> \u200b\u7684\u200b CIDR \u200b\u8303\u56f4\u200b\u5185\u200b\u3002</li> </ul> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b VIP\uff1a</p> <pre><code># kubectl get vip\nNAME             V4IP         PV4IP   MAC                 PMAC   V6IP   PV6IP   SUBNET        READY\nstatic-vip01   10.16.0.121           00:00:00:F0:DB:26                         ovn-default   true\n</code></pre> <p>\u200b\u53ef\u89c1\u200b\u8be5\u200b VIP \u200b\u88ab\u200b\u5206\u914d\u200b\u4e86\u200b\u6240\u200b\u9884\u671f\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</p>"},{"location":"advance/vip/#13-pod-vip-aap","title":"1.3 Pod \u200b\u4f7f\u7528\u200b VIP \u200b\u5f00\u542f\u200b AAP","text":"<p>Pod \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b annotation \u200b\u6307\u5b9a\u200b VIP \u200b\u5f00\u542f\u200b AAP \u200b\u529f\u80fd\u200b\uff0clabels \u200b\u9700\u8981\u200b\u6ee1\u8db3\u200b VIP \u200b\u4e2d\u200b\u8282\u70b9\u200b\u9009\u62e9\u5668\u200b\u7684\u200b\u6761\u4ef6\u200b\u3002</p> <p>Pod annotation \u200b\u652f\u6301\u200b\u6307\u5b9a\u200b\u591a\u4e2a\u200b VIP\uff0c\u200b\u914d\u7f6e\u200b\u683c\u5f0f\u200b\u4e3a\u200b\uff1aovn.kubernetes.io/aaps: vip-aap,vip-aap2,vip-aap3</p> <p>AAP \u200b\u529f\u80fd\u200b\u652f\u6301\u200b\u591a\u200b\u7f51\u5361\u200b\u573a\u666f\u200b\uff0c\u200b\u82e5\u200b Pod \u200b\u914d\u7f6e\u200b\u4e86\u200b\u591a\u200b\u7f51\u5361\u200b\uff0cAAP \u200b\u4f1a\u200b\u5bf9\u200b Pod \u200b\u4e2d\u200b\u548c\u200b VIP \u200b\u540c\u4e00\u200b subnet \u200b\u7684\u200b\u5bf9\u5e94\u200b Port \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b</p>"},{"location":"advance/vip/#131-vip-aap","title":"1.3.1 \u200b\u521b\u5efa\u200b VIP \u200b\u652f\u6301\u200b AAP","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: vip-aap\nspec:\n  subnet: ovn-default\n  namespace: default\n  selector:\n    - \"app: aap1\"\n</code></pre> <p>VIP \u200b\u540c\u6837\u200b\u652f\u6301\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u548c\u200b\u968f\u673a\u200b\u5730\u5740\u200b\u7684\u200b\u5206\u914d\u200b\uff0c\u200b\u5206\u914d\u200b\u65b9\u5f0f\u200b\u5982\u4e0a\u200b\u6587\u200b\u6240\u8ff0\u200b\u3002</p> <ul> <li><code>namespace</code>: AAP \u200b\u573a\u666f\u200b\u4e0b\u200b\uff0cVIP \u200b\u9700\u663e\u5f0f\u200b\u5730\u200b\u6307\u5b9a\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\uff0cVIP \u200b\u4ec5\u200b\u5141\u8bb8\u200b\u76f8\u540c\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u7684\u200b\u8d44\u6e90\u200b\u5f00\u542f\u200b AAP \u200b\u529f\u80fd\u200b\u3002</li> <li><code>selector</code>: AAP \u200b\u573a\u666f\u200b\u4e0b\u200b\uff0c\u200b\u7528\u4e8e\u200b\u9009\u62e9\u200b VIP \u200b\u6240\u200b\u9644\u5c5e\u200b\u7684\u200b Pod \u200b\u7684\u200b\u8282\u70b9\u200b\u9009\u62e9\u5668\u200b\uff0c\u200b\u683c\u5f0f\u200b\u548c\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b NodeSelector \u200b\u683c\u5f0f\u200b\u76f8\u540c\u200b\u3002</li> </ul> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b VIP \u200b\u5bf9\u5e94\u200b\u7684\u200b Port\uff1a</p> <pre><code># kubectl ko nbctl show ovn-default\nswitch e32e1d3b-c539-45f4-ab19-be4e33a061f6 (ovn-default)\n    port aap-vip\n        type: virtual\n</code></pre> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: busybox\n  annotations:\n    ovn.kubernetes.io/aaps: vip-aap\n  labels:\n    app: aap1\nspec:\n  containers:\n    - name: busybox\n      image: busybox\n      command: [\"sleep\", \"3600\"]\n      securityContext: \n        capabilities:\n          add:\n            - NET_ADMIN\n</code></pre> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b AAP \u200b\u5bf9\u5e94\u200b\u7684\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code># kubectl ko nbctl list logical_switch_port aap-vip\n_uuid               : cd930750-0533-4f06-a6c0-217ddac73272\naddresses           : []\ndhcpv4_options      : []\ndhcpv6_options      : []\ndynamic_addresses   : []\nenabled             : []\nexternal_ids        : {ls=ovn-default, vendor=kube-ovn}\nha_chassis_group    : []\nmirror_rules        : []\nname                : aap-vip\noptions             : {virtual-ip=\"10.16.0.100\", virtual-parents=\"busybox.default\"}\nparent_name         : []\nport_security       : []\ntag                 : []\ntag_request         : []\ntype                : virtual\nup                  : false\n</code></pre> <p>virtual-ip \u200b\u88ab\u200b\u914d\u7f6e\u200b\u4e3a\u200b VIP \u200b\u9884\u7559\u200b\u7684\u200b IP\uff0cvirtual-parents \u200b\u914d\u7f6e\u200b\u4e3a\u200b\u5f00\u542f\u200b AAP \u200b\u529f\u80fd\u200b\u7684\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b Port\u3002</p> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code># kubectl exec -it busybox -- ip addr add 10.16.0.100/16 dev eth0\n# kubectl exec -it busybox01 -- ip addr show eth0\n35: eth0@if36: &lt;BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN&gt; mtu 1400 qdisc noqueue \n    link/ether 00:00:00:e2:ab:0c brd ff:ff:ff:ff:ff:ff\n    inet 10.16.0.7/16 brd 10.16.255.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet 10.16.0.100/16 scope global secondary eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fee2:ab0c/64 scope link \n       valid_lft forever preferred_lft forever\n</code></pre> <p>\u200b\u9664\u200b Pod \u200b\u521b\u5efa\u200b\u65f6\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u7684\u200b IP\uff0cVIP \u200b\u7684\u200b IP \u200b\u4e5f\u200b\u88ab\u200b\u6210\u529f\u200b\u7ed1\u5b9a\u200b\uff0c\u200b\u5e76\u4e14\u200b\u5f53\u524d\u200b subnet \u200b\u5185\u200b\u7684\u200b\u5176\u5b83\u200b Pod \u200b\u80fd\u200b\u548c\u200b\u8fd9\u200b\u4e24\u4e2a\u200b IP \u200b\u8fdb\u884c\u200b\u901a\u4fe1\u200b\u3002</p>"},{"location":"advance/vip/#2-switch-lb-rule-vip","title":"2. Switch LB rule vip","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: slr-01\nspec:\n  subnet: ovn-default\n  type: switch_lb_vip\n</code></pre> <ul> <li><code>subnet</code>: \u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b Subnet \u200b\u4e2d\u200b\u9884\u7559\u200b IP\u3002</li> <li><code>type</code>: \u200b\u76ee\u524d\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u7c7b\u578b\u200b\uff0c\u200b\u4e3a\u7a7a\u200b\u8868\u793a\u200b\u4ec5\u200b\u7528\u4e8e\u200b ipam ip \u200b\u5360\u4f4d\u200b\uff0c<code>switch_lb_vip</code> \u200b\u8868\u793a\u200b\u8be5\u200b vip \u200b\u4ec5\u200b\u7528\u4e8e\u200b switch lb \u200b\u524d\u7aef\u200b vip \u200b\u548c\u200b\u540e\u200b\u7aef\u200b ip \u200b\u9700\u200b\u5904\u4e8e\u200b\u540c\u4e00\u200b\u5b50\u7f51\u200b\u3002</li> </ul>"},{"location":"advance/vip/#3-pod-vip-ip","title":"3. Pod \u200b\u4f7f\u7528\u200b VIP \u200b\u6765\u200b\u56fa\u5b9a\u200b IP","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4ece\u200b v1.12 \u200b\u5f00\u59cb\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u8be5\u200b\u529f\u80fd\u200b\u548c\u200b IP \u200b\u529f\u80fd\u200b\u754c\u9650\u200b\u4e0d\u200b\u6e05\u6670\u200b\uff0c\u200b\u4e0d\u200b\u63a8\u8350\u200b\u5728\u200b\u751f\u4ea7\u200b\u4f7f\u7528\u200b</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vip\nmetadata:\n  name: pod-use-vip\nspec:\n  subnet: ovn-default\n  type: \"\"\n</code></pre> <p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b annotation \u200b\u5c06\u200b\u67d0\u4e2a\u200b VIP \u200b\u5206\u914d\u200b\u7ed9\u200b\u4e00\u4e2a\u200b Pod\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: static-ip\n  annotations:\n    ovn.kubernetes.io/vip: pod-use-vip # \u200b\u6307\u5b9a\u200b vip\n  namespace: default\nspec:\n  containers:\n    - name: static-ip\n      image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"advance/vip/#31-statefulset-kubevirt-vm-vip","title":"3.1 StatefulSet \u200b\u548c\u200b Kubevirt VM \u200b\u4fdd\u7559\u200b VIP","text":"<p>\u200b\u9488\u5bf9\u200b <code>StatefulSet</code> \u200b\u548c\u200b <code>VM</code> \u200b\u7684\u200b\u7279\u6b8a\u6027\u200b\uff0c\u200b\u5728\u200b\u4ed6\u4eec\u200b\u7684\u200b Pod \u200b\u9500\u6bc1\u200b\u518d\u62c9\u8d77\u200b\u8d77\u540e\u200b\u4f1a\u200b\u91cd\u65b0\u200b\u4f7f\u7528\u200b\u4e4b\u524d\u200b\u8bbe\u7f6e\u200b\u7684\u200b VIP\u3002</p> <p>VM \u200b\u4fdd\u7559\u200b VIP \u200b\u9700\u8981\u200b\u786e\u4fdd\u200b <code>kube-ovn-controller</code> \u200b\u7684\u200b <code>keep-vm-ip</code> \u200b\u53c2\u6570\u200b\u4e3a\u200b <code>true</code>\u3002\u200b\u8bf7\u200b\u53c2\u8003\u200b Kubevirt VM \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u5f00\u542f\u200b\u8bbe\u7f6e\u200b</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/vpc-internal-dns/","title":"\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b DNS","text":"<p>\u200b\u7531\u4e8e\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u548c\u200b \u200b\u9ed8\u8ba4\u200b VPC \u200b\u7f51\u7edc\u200b\u76f8\u4e92\u200b\u9694\u79bb\u200b\uff0c\u200b\u81ea\u200b\u5b9a\u200b VPC \u200b\u5185\u200b\u65e0\u6cd5\u8bbf\u95ee\u200b\u5230\u200b\u90e8\u7f72\u200b\u5728\u200b\u9ed8\u8ba4\u200b VPC \u200b\u5185\u200b\u7684\u200b coredns\u3002 \u200b\u5982\u679c\u200b\u7528\u6237\u200b\u5e0c\u671b\u200b\u5728\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u4f7f\u7528\u200b Kubernetes \u200b\u63d0\u4f9b\u200b\u7684\u200b\u96c6\u7fa4\u200b\u5185\u200b\u57df\u540d\u89e3\u6790\u200b\u80fd\u529b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u672c\u200b\u6587\u6863\u200b\uff0c\u200b\u5229\u7528\u200b <code>vpc-dns</code> CRD \u200b\u6765\u200b\u5b9e\u73b0\u200b\u3002</p> <p>\u200b\u8be5\u200b CRD \u200b\u6700\u7ec8\u200b\u4f1a\u200b\u90e8\u7f72\u200b\u4e00\u4e2a\u200b coredns\uff0c\u200b\u8be5\u200b Pod \u200b\u6709\u200b\u4e24\u4e2a\u200b\u7f51\u5361\u200b\uff0c\u200b\u4e00\u4e2a\u200b\u7f51\u5361\u200b\u5728\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC\uff0c\u200b\u53e6\u200b\u4e00\u4e2a\u200b\u7f51\u5361\u200b\u5728\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4ece\u800c\u200b\u5b9e\u73b0\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\uff0c\u200b\u540c\u65f6\u200b\u901a\u8fc7\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u63d0\u4f9b\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u3002</p>"},{"location":"advance/vpc-internal-dns/#vpc-dns_1","title":"\u90e8\u7f72\u200b vpc-dns \u200b\u6240\u200b\u4f9d\u8d56\u200b\u7684\u200b\u8d44\u6e90","text":"<pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: system:vpc-dns\nrules:\n  - apiGroups:\n    - \"\"\n    resources:\n    - endpoints\n    - services\n    - pods\n    - namespaces\n    verbs:\n    - list\n    - watch\n  - apiGroups:\n    - discovery.k8s.io\n    resources:\n    - endpointslices\n    verbs:\n    - list\n    - watch\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  annotations:\n    rbac.authorization.kubernetes.io/autoupdate: \"true\"\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: vpc-dns\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: system:vpc-dns\nsubjects:\n- kind: ServiceAccount\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-corefile\n  namespace: kube-system\ndata:\n  Corefile: |\n    .:53 {\n        errors\n        health {\n          lameduck 5s\n        }\n        ready\n        kubernetes cluster.local in-addr.arpa ip6.arpa {\n          pods insecure\n          fallthrough in-addr.arpa ip6.arpa\n        }\n        prometheus :9153\n        forward . /etc/resolv.conf {\n          prefer_udp\n        }\n        cache 30\n        loop\n        reload\n        loadbalance\n    }\n</code></pre> <p>\u200b\u9664\u4e86\u200b\u4ee5\u4e0a\u200b\u8d44\u6e90\u200b\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u8fd8\u200b\u4f9d\u8d56\u200b nat-gw-pod \u200b\u955c\u50cf\u200b\u8fdb\u884c\u200b\u8def\u7531\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"advance/vpc-internal-dns/#_1","title":"\u914d\u7f6e\u200b\u9644\u52a0\u200b\u7f51\u5361","text":"<pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-nad\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"ovn-nad.default.ovn\"\n    }'\n</code></pre>"},{"location":"advance/vpc-internal-dns/#vpc-dns-configmap","title":"\u914d\u7f6e\u200b vpc-dns \u200b\u7684\u200b Configmap","text":"<p>\u200b\u5728\u200b kube-system \u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u4e0b\u200b\u521b\u5efa\u200b configmap\uff0c\u200b\u914d\u7f6e\u200b vpc-dns \u200b\u4f7f\u7528\u200b\u53c2\u6570\u200b\uff0c\u200b\u7528\u4e8e\u200b\u540e\u9762\u200b\u542f\u52a8\u200b vpc-dns \u200b\u529f\u80fd\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-config\n  namespace: kube-system\ndata:\n  coredns-vip: 10.96.0.3\n  enable-vpc-dns: \"true\"\n  nad-name: ovn-nad\n  nad-provider: ovn-nad.default.ovn\n</code></pre> <ul> <li><code>enable-vpc-dns</code>\uff1a\u200b\u662f\u5426\u200b\u542f\u7528\u200b\u529f\u80fd\u200b\uff0c\u200b\u9ed8\u8ba4\u200b <code>true</code>\u3002</li> <li><code>coredns-image</code>\uff1adns \u200b\u90e8\u7f72\u200b\u955c\u50cf\u200b\u3002\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b coredns \u200b\u90e8\u7f72\u200b\u7248\u672c\u200b\u3002</li> <li><code>coredns-vip</code>\uff1a\u200b\u4e3a\u200b coredns \u200b\u63d0\u4f9b\u200b lb \u200b\u670d\u52a1\u200b\u7684\u200b vip\u3002</li> <li><code>coredns-template</code>\uff1acoredns \u200b\u90e8\u7f72\u200b\u6a21\u677f\u200b\u6240\u5728\u200b\u7684\u200b URL\u3002\u200b\u9ed8\u8ba4\u200b\u83b7\u53d6\u200b\u5f53\u524d\u200b\u7248\u672c\u200b ovn \u200b\u76ee\u5f55\u200b\u4e0b\u200b <code>coredns-template.yaml</code> \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>https://raw.githubusercontent.com/kubeovn/kube-ovn/\u200b\u5f53\u524d\u200b\u7248\u672c\u200b/yamls/coredns-template.yaml</code> \u3002</li> <li><code>nad-name</code>\uff1a\u200b\u914d\u7f6e\u200b\u7684\u200b <code>network-attachment-definitions</code> \u200b\u8d44\u6e90\u200b\u540d\u79f0\u200b\u3002</li> <li><code>nad-provider</code>\uff1a\u200b\u4f7f\u7528\u200b\u7684\u200b provider \u200b\u540d\u79f0\u200b\u3002</li> <li><code>k8s-service-host</code>\uff1a\u200b\u7528\u4e8e\u200b coredns \u200b\u8bbf\u95ee\u200b k8s apiserver \u200b\u670d\u52a1\u200b\u7684\u200b ip\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u5185\u200b apiserver \u200b\u5730\u5740\u200b\u3002</li> <li><code>k8s-service-port</code>\uff1a\u200b\u7528\u4e8e\u200b coredns \u200b\u8bbf\u95ee\u200b k8s apiserver \u200b\u670d\u52a1\u200b\u7684\u200b port\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u5185\u200b apiserver \u200b\u7aef\u53e3\u200b\u3002</li> </ul>"},{"location":"advance/vpc-internal-dns/#vpc-dns_2","title":"\u90e8\u7f72\u200b vpc-dns","text":"<p>\u200b\u914d\u7f6e\u200b vpc-dns yaml\uff1a</p> <pre><code>kind: VpcDns\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-cjh1\nspec:\n  vpc: cjh-vpc-1\n  subnet: cjh-subnet-1\n  replicas: 2\n</code></pre> <ul> <li><code>vpc</code> \uff1a \u200b\u7528\u4e8e\u200b\u90e8\u7f72\u200b dns \u200b\u7ec4\u4ef6\u200b\u7684\u200b vpc \u200b\u540d\u79f0\u200b\u3002</li> <li><code>subnet</code>\uff1a\u200b\u7528\u4e8e\u200b\u90e8\u7f72\u200b dns \u200b\u7ec4\u4ef6\u200b\u7684\u200b\u5b50\u200b\u540d\u79f0\u200b\u3002</li> <li><code>replicas</code>: vpc dns deployment replicas</li> </ul> <p>\u200b\u67e5\u770b\u200b\u90e8\u7f72\u200b\u8d44\u6e90\u200b\u7684\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get vpc-dns\nNAME        ACTIVE   VPC         SUBNET   \ntest-cjh1   false    cjh-vpc-1   cjh-subnet-1   \ntest-cjh2   true     cjh-vpc-1   cjh-subnet-2 \n</code></pre> <p><code>ACTIVE</code> : <code>true</code> \u200b\u90e8\u7f72\u200b\u4e86\u200b\u81ea\u5b9a\u4e49\u200b dns \u200b\u7ec4\u4ef6\u200b\uff0c<code>false</code> \u200b\u65e0\u200b\u90e8\u7f72\u200b\u3002</p> <p>\u200b\u9650\u5236\u200b\uff1a\u200b\u4e00\u4e2a\u200b VPC \u200b\u4e0b\u200b\u53ea\u4f1a\u200b\u90e8\u7f72\u200b\u4e00\u4e2a\u200b\u81ea\u5b9a\u4e49\u200b dns \u200b\u7ec4\u4ef6\u200b;</p> <ul> <li>\u200b\u5f53\u200b\u4e00\u4e2a\u200b VPC \u200b\u4e0b\u200b\u914d\u7f6e\u200b\u591a\u4e2a\u200b vpc-dns \u200b\u8d44\u6e90\u200b\uff08\u200b\u5373\u200b\u540c\u4e00\u4e2a\u200b VPC \u200b\u4e0d\u540c\u200b\u7684\u200b subnet\uff09\uff0c\u200b\u53ea\u6709\u200b\u4e00\u4e2a\u200b vpc-dns \u200b\u8d44\u6e90\u200b\u72b6\u6001\u200b <code>true</code>\uff0c\u200b\u5176\u4ed6\u200b\u4e3a\u200b <code>fasle</code>;</li> <li>\u200b\u5f53\u200b <code>true</code> \u200b\u7684\u200b vpc-dns \u200b\u88ab\u200b\u5220\u9664\u200b\u6389\u200b\uff0c\u200b\u4f1a\u200b\u83b7\u53d6\u200b\u5176\u4ed6\u200b <code>false</code> \u200b\u7684\u200b vpc-dns \u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\u3002</li> </ul>"},{"location":"advance/vpc-internal-dns/#_2","title":"\u9a8c\u8bc1\u200b\u90e8\u7f72\u200b\u7ed3\u679c","text":"<p>\u200b\u67e5\u770b\u200b vpc-dns Pod \u200b\u72b6\u6001\u200b\uff0c\u200b\u4f7f\u7528\u200b label <code>app=vpc-dns</code>\uff0c\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b\u6240\u6709\u200b vpc-dns pod \u200b\u72b6\u6001\u200b\uff1a</p> <pre><code># kubectl -n kube-system get pods -l app=vpc-dns\nNAME                                 READY   STATUS    RESTARTS   AGE\nvpc-dns-test-cjh1-7b878d96b4-g5979   1/1     Running   0          28s\nvpc-dns-test-cjh1-7b878d96b4-ltmf9   1/1     Running   0          28s\n</code></pre> <p>\u200b\u67e5\u770b\u200b slr \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl -n kube-system get slr\nNAME                VIP         PORT(S)                  SERVICE                             AGE\nvpc-dns-test-cjh1   10.96.0.3   53/UDP,53/TCP,9153/TCP   kube-system/slr-vpc-dns-test-cjh1   113s\n</code></pre> <p>\u200b\u8fdb\u5165\u200b\u8be5\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Pod\uff0c\u200b\u6d4b\u8bd5\u200b dns \u200b\u89e3\u6790\u200b:</p> <pre><code>nslookup kubernetes.default.svc.cluster.local 10.96.0.3\n</code></pre> <p>\u200b\u8be5\u200b VPC \u200b\u4e0b\u200b\u7684\u200b switch lb rule \u200b\u6240\u5728\u200b\u7684\u200b\u5b50\u7f51\u200b\u4ee5\u53ca\u200b\u540c\u4e00\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u5176\u4ed6\u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b pod \u200b\u90fd\u200b\u53ef\u4ee5\u200b\u89e3\u6790\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/vpc-internal-lb/","title":"\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861","text":"<p>Kubernetes \u200b\u63d0\u4f9b\u200b\u7684\u200b Service \u200b\u53ef\u4ee5\u200b\u7528\u4f5c\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\uff0c \u200b\u4f46\u662f\u200b\u5728\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c \u200b\u4f7f\u7528\u200b Service \u200b\u4f5c\u4e3a\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u5b58\u5728\u200b\u5982\u4e0b\u200b\u51e0\u4e2a\u200b\u95ee\u9898\u200b\uff1a</p> <ol> <li>Service IP \u200b\u8303\u56f4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u8d44\u6e90\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5171\u4eab\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u91cd\u53e0\u200b\u3002</li> <li>\u200b\u7528\u6237\u200b\u65e0\u6cd5\u200b\u6309\u7167\u200b\u81ea\u5df1\u200b\u610f\u613f\u200b\u8bbe\u7f6e\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</li> </ol> <p>\u200b\u4e3a\u4e86\u200b\u89e3\u51b3\u200b\u4e0a\u8ff0\u200b\u95ee\u9898\u200b\uff0cKube-OVN \u200b\u5728\u200b 1.11 \u200b\u5f15\u5165\u200b <code>SwitchLBRule</code> CRD\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u8bbe\u7f6e\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u7684\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\u3002</p> <p><code>SwitchLBRule</code> \u200b\u652f\u6301\u200b\u4ee5\u4e0b\u200b\u4e24\u79cd\u200b\u65b9\u5f0f\u200b\u8bbe\u7f6e\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u7684\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\u3002</p>"},{"location":"advance/vpc-internal-lb/#selector","title":"<code>Selector</code> \u200b\u81ea\u52a8\u200b\u751f\u6210\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219","text":"<p>\u200b\u901a\u8fc7\u200b <code>selector</code> \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b <code>label</code> \u200b\u81ea\u52a8\u200b\u5173\u8054\u200b <code>pod</code> \u200b\u914d\u7f6e\u200b\u751f\u6210\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\u3002</p> <p><code>SwitchLBRule</code> \u200b\u6837\u200b\u4f8b\u5982\u200b\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  cjh-slr-nginx\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  selector:\n    - app:nginx\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\n</code></pre> <ul> <li> <p><code>selector</code>, <code>sessionAffinity</code> \u200b\u548c\u200b <code>port</code> \u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u540c\u200b Kubernetes Service\u3002</p> </li> <li> <p><code>vip</code>\uff1a\u200b\u81ea\u5b9a\u4e49\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</p> </li> <li> <p><code>namespace</code>\uff1a<code>selector</code> \u200b\u6240\u200b\u9009\u62e9\u200b Pod \u200b\u6240\u5728\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u3002</p> </li> </ul> <p>Kube-OVN \u200b\u4f1a\u200b\u6839\u636e\u200b <code>SwitchLBRule</code> \u200b\u5b9a\u4e49\u200b\u9009\u62e9\u200b\u7684\u200b Pod \u200b\u5f97\u51fa\u200b Pod \u200b\u6240\u5728\u200b VPC \u200b\u5e76\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b L2 LB\u3002</p>"},{"location":"advance/vpc-internal-lb/#endpoints","title":"<code>Endpoints</code> \u200b\u81ea\u5b9a\u4e49\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219","text":"<p>\u200b\u901a\u8fc7\u200b <code>endpoints</code> \u200b\u53ef\u4ee5\u200b\u81ea\u5b9a\u4e49\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\uff0c\u200b\u7528\u4ee5\u200b\u652f\u6301\u200b\u65e0\u6cd5\u200b\u901a\u8fc7\u200b <code>selector</code> \u200b\u81ea\u52a8\u200b\u751f\u6210\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b\u7684\u200b\u573a\u666f\u200b\uff0c\u200b\u6bd4\u5982\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u540e\u7aef\u200b\u662f\u200b <code>kubevirt</code> \u200b\u521b\u5efa\u200b\u7684\u200b <code>vm</code> \u3002</p> <p><code>SwitchLBRule</code> \u200b\u6837\u200b\u4f8b\u5982\u200b\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  cjh-slr-nginx\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  endpoints:\n    - 192.168.0.101\n    - 192.168.0.102\n    - 192.168.0.103\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\n</code></pre> <ul> <li><code>sessionAffinity</code> \u200b\u548c\u200b <code>port</code> \u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u540c\u200b Kubernetes Service\u3002</li> <li><code>vip</code>\uff1a\u200b\u81ea\u5b9a\u4e49\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</li> <li><code>namespace</code>\uff1a<code>selector</code> \u200b\u6240\u200b\u9009\u62e9\u200b Pod \u200b\u6240\u5728\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u3002</li> <li><code>endpoints</code>\uff1a\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u540e\u200b\u7aef\u200b IP \u200b\u5217\u8868\u200b\u3002</li> </ul> <p>\u200b\u5982\u679c\u200b\u540c\u65f6\u200b\u914d\u7f6e\u200b\u4e86\u200b <code>selector</code> \u200b\u548c\u200b <code>endpoints</code>, \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5ffd\u7565\u200b <code>selector</code> \u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"advance/vpc-internal-lb/#_1","title":"\u5065\u5eb7\u68c0\u67e5","text":"<p><code>OVN</code> \u200b\u652f\u6301\u200b <code>IPv4</code> \u200b\u7684\u200b\u8d1f\u8f7d\u5e73\u8861\u200b\u5668\u200b\u670d\u52a1\u200b\u7ec8\u7aef\u200b\u7684\u200b\u8fd0\u884c\u72b6\u51b5\u200b\u68c0\u67e5\u200b\u3002 \u200b\u542f\u7528\u200b\u8fd0\u884c\u72b6\u51b5\u200b\u68c0\u67e5\u200b\u540e\u200b\uff0c\u200b\u8d1f\u8f7d\u5e73\u8861\u200b\u5668\u4f1a\u200b\u5bf9\u200b\u670d\u52a1\u200b\u7ec8\u7aef\u200b\u7684\u200b\u72b6\u6001\u200b\u8fdb\u884c\u200b\u68c0\u6d4b\u200b\u7ef4\u62a4\u200b\uff0c\u200b\u5e76\u200b\u4ec5\u200b\u4f7f\u7528\u200b\u8fd0\u884c\u72b6\u51b5\u200b\u826f\u597d\u200b\u7684\u200b\u670d\u52a1\u200b\u7ec8\u7aef\u200b\u3002</p> <p>[Health Checks](https://www.ovn.org/support/dist-docs/ovn-nb.5.html)</p> <p>\u200b\u6839\u636e\u200b <code>ovn</code> \u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u7684\u200b\u8fd0\u884c\u72b6\u51b5\u200b\u68c0\u67e5\u200b\uff0c\u200b\u5bf9\u200b <code>SwitchLBRule</code> \u200b\u6dfb\u52a0\u200b\u5065\u5eb7\u68c0\u67e5\u200b\u3002\u200b\u5728\u200b\u521b\u5efa\u200b <code>SwitchLBRule</code> \u200b\u7684\u200b\u540c\u65f6\u200b\uff0c\u200b\u4ece\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>VPC</code> \u200b\u548c\u200b <code>subnet</code> \u200b\u4e2d\u200b\u83b7\u53d6\u200b\u4e00\u4e2a\u200b\u53ef\u200b\u590d\u7528\u200b\u7684\u200b <code>vip</code> \u200b\u4f5c\u4e3a\u200b\u68c0\u6d4b\u200b\u7aef\u70b9\u200b\uff0c\u200b\u5e76\u200b\u6dfb\u52a0\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>ip_port_mappings</code> \u200b\u548c\u200b <code>load_balancer_health_check</code> \u200b\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u4e0a\u200b\u3002</p> <ul> <li>\u200b\u68c0\u6d4b\u200b\u7aef\u70b9\u200b <code>vip</code> \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5728\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>subnet</code> \u200b\u4e2d\u200b\u5224\u65ad\u200b\u662f\u5426\u200b\u5b58\u5728\u200b\uff0c\u200b\u5e76\u4e14\u200b\u4e0e\u200b <code>subnet</code> \u200b\u540c\u540d\u200b\uff0c\u200b\u5982\u679c\u200b\u4e0d\u200b\u5b58\u5728\u200b\u5219\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u521b\u5efa\u200b\uff0c\u200b\u5e76\u4e14\u200b\u5728\u200b\u6240\u6709\u200b\u5173\u8054\u200b\u7684\u200b <code>SwitchLBRule</code> \u200b\u88ab\u200b\u5220\u9664\u200b\u540e\u200b\u81ea\u52a8\u200b\u88ab\u200b\u5220\u9664\u200b\u3002</li> <li>\u200b\u6682\u65f6\u200b\u53ea\u200b\u652f\u6301\u200b\u901a\u8fc7\u200b <code>Selector</code> \u200b\u81ea\u52a8\u200b\u751f\u6210\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219\u200b</li> </ul>"},{"location":"advance/vpc-internal-lb/#_2","title":"\u521b\u5efa\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219","text":"<pre><code>root@server:~# kubectl get po -o wide -n vulpecula\nNAME                     READY   STATUS    RESTARTS   AGE     IP          NODE     NOMINATED NODE   READINESS GATES\nnginx-78d9578975-f4qn4   1/1     Running   3          4d16h   10.16.0.4   worker   &lt;none&gt;           &lt;none&gt;\nnginx-78d9578975-t8tm5   1/1     Running   3          4d16h   10.16.0.6   worker   &lt;none&gt;           &lt;none&gt;\n\n# \u200b\u521b\u5efa\u200b slr\nroot@server:~# cat &lt;&lt; END &gt; slr.yaml\napiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  nginx\n  namespace:  vulpecula\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  selector:\n    - app:nginx\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\nEND\nroot@server:~# kubectl apply -f slr.yaml\nroot@server:~# kubectl get slr\nNAME              VIP       PORT(S)    SERVICE                       AGE\nvulpecula-nginx   1.1.1.1   8888/TCP   default/slr-vulpecula-nginx   3d21h\n</code></pre> <p>\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u4e0e\u200b <code>subnet</code> \u200b\u540c\u540d\u200b\u7684\u200b <code>vip</code> \u200b\u5df2\u7ecf\u200b\u88ab\u200b\u521b\u5efa\u200b\u3002</p> <pre><code># \u200b\u67e5\u770b\u200b\u68c0\u6d4b\u200b\u7aef\u70b9\u200b vip\n\nroot@server:~# kubectl get vip\nNAME          NS    V4IP        MAC                 V6IP    PMAC   SUBNET        READY   TYPE\nvulpecula-subnet    10.16.0.2   00:00:00:39:95:C1   &lt;nil&gt;          vulpecula-subnet   true   \n</code></pre> <p>\u200b\u901a\u8fc7\u200b\u547d\u4ee4\u200b\u53ef\u4ee5\u200b\u67e5\u8be2\u200b\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>Load_Balancer_Health_Check</code> \u200b\u548c\u200b <code>Service_Monitor</code>\u3002</p> <pre><code>root@server:~# kubectl ko nbctl list Load_Balancer\n_uuid               : 3cbb6d43-44aa-4028-962f-30d2dba9f0b8\nexternal_ids        : {}\nhealth_check        : [5bee3f12-6b54-411c-9cc8-c9def8f67356]\nip_port_mappings    : {\"10.16.0.4\"=\"nginx-78d9578975-f4qn4.default:10.16.0.2\", \"10.16.0.6\"=\"nginx-78d9578975-t8tm5.default:10.16.0.2\"}\nname                : cluster-tcp-session-loadbalancer\noptions             : {affinity_timeout=\"10800\"}\nprotocol            : tcp\nselection_fields    : [ip_src]\nvips                : {\"1.1.1.1:8888\"=\"10.16.0.4:80,10.16.0.6:80\"}\n\nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\n_uuid               : 5bee3f12-6b54-411c-9cc8-c9def8f67356\nexternal_ids        : {switch_lb_subnet=vulpecula-subnet}\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nvip                 : \"1.1.1.1:8888\"\n\nroot@server:~# kubectl ko sbctl list Service_Monitor\n_uuid               : 1bddc541-cc49-44ea-9935-a4208f627a91\nexternal_ids        : {}\nip                  : \"10.16.0.4\"\nlogical_port        : nginx-78d9578975-f4qn4.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n\n_uuid               : 84dd24c5-e1b4-4e97-9daa-13687ed59785\nexternal_ids        : {}\nip                  : \"10.16.0.6\"\nlogical_port        : nginx-78d9578975-t8tm5.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n</code></pre> <p>\u200b\u6b64\u65f6\u200b\u901a\u8fc7\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b <code>vip</code> \u200b\u53ef\u4ee5\u200b\u6210\u529f\u200b\u5f97\u5230\u200b\u670d\u52a1\u200b\u54cd\u5e94\u200b\u3002</p> <pre><code>root@server:~# kubectl exec -it -n vulpecula nginx-78d9578975-t8tm5 -- curl 1.1.1.1:8888\n&lt;!DOCTYPE html&gt;\n&lt;html&gt;\n&lt;head&gt;\n&lt;title&gt;Welcome to nginx!&lt;/title&gt;\n&lt;p&gt;&lt;em&gt;Thank you for using nginx.&lt;/em&gt;&lt;/p&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre>"},{"location":"advance/vpc-internal-lb/#_3","title":"\u66f4\u65b0\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u670d\u52a1\u200b\u7ec8\u7aef","text":"<p>\u200b\u901a\u8fc7\u200b\u5220\u9664\u200b <code>pod</code> \u200b\u66f4\u65b0\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u7684\u200b\u670d\u52a1\u200b\u7ec8\u7aef\u200b\u3002</p> <pre><code>kubectl delete po nginx-78d9578975-f4qn4\nkubectl get po -o wide -n vulpecula\nNAME                     READY   STATUS    RESTARTS   AGE     IP          NODE     NOMINATED NODE   READINESS GATES\nnginx-78d9578975-lxmvh   1/1     Running   0          31s     10.16.0.8   worker   &lt;none&gt;           &lt;none&gt;\nnginx-78d9578975-t8tm5   1/1     Running   3          4d16h   10.16.0.6   worker   &lt;none&gt;           &lt;none&gt;\n</code></pre> <p>\u200b\u901a\u8fc7\u200b\u547d\u4ee4\u200b\u53ef\u4ee5\u200b\u67e5\u8be2\u200b\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>Load_Balancer_Health_Check</code> \u200b\u548c\u200b <code>Service_Monitor</code> \u200b\u5df2\u7ecf\u200b\u53d1\u751f\u200b\u4e86\u200b\u54cd\u5e94\u200b\u7684\u200b\u53d8\u5316\u200b\u3002</p> <pre><code>root@server:~# kubectl ko nbctl list Load_Balancer\n_uuid               : 3cbb6d43-44aa-4028-962f-30d2dba9f0b8\nexternal_ids        : {}\nhealth_check        : [5bee3f12-6b54-411c-9cc8-c9def8f67356]\nip_port_mappings    : {\"10.16.0.4\"=\"nginx-78d9578975-f4qn4.default:10.16.0.2\", \"10.16.0.6\"=\"nginx-78d9578975-t8tm5.default:10.16.0.2\", \"10.16.0.8\"=\"nginx-78d9578975-lxmvh.default:10.16.0.2\"}\nname                : cluster-tcp-session-loadbalancer\noptions             : {affinity_timeout=\"10800\"}\nprotocol            : tcp\nselection_fields    : [ip_src]\nvips                : {\"1.1.1.1:8888\"=\"10.16.0.6:80,10.16.0.8:80\"}\n\nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\n_uuid               : 5bee3f12-6b54-411c-9cc8-c9def8f67356\nexternal_ids        : {switch_lb_subnet=vulpecula-subnet}\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nvip                 : \"1.1.1.1:8888\"\n\nroot@server:~# kubectl ko sbctl list Service_Monitor\n_uuid               : 84dd24c5-e1b4-4e97-9daa-13687ed59785\nexternal_ids        : {}\nip                  : \"10.16.0.6\"\nlogical_port        : nginx-78d9578975-t8tm5.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n\n_uuid               : 5917b7b7-a999-49f2-a42d-da81f1eeb28f\nexternal_ids        : {}\nip                  : \"10.16.0.8\"\nlogical_port        : nginx-78d9578975-lxmvh.default\noptions             : {failure_count=\"3\", interval=\"5\", success_count=\"3\", timeout=\"20\"}\nport                : 80\nprotocol            : tcp\nsrc_ip              : \"10.16.0.2\"\nsrc_mac             : \"c6:d4:b8:08:54:e7\"\nstatus              : online\n</code></pre> <p>\u200b\u5220\u9664\u200b <code>SwitchLBRule</code>\uff0c\u200b\u5e76\u200b\u786e\u8ba4\u200b\u8d44\u6e90\u200b\u72b6\u6001\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b <code>Load_Balancer_Health_Check</code> \u200b\u548c\u200b <code>Service_Monitor</code> \u200b\u90fd\u200b\u5df2\u7ecf\u200b\u88ab\u200b\u5220\u9664\u200b\uff0c\u200b\u5e76\u4e14\u200b\u5bf9\u5e94\u200b\u7684\u200b <code>vip</code> \u200b\u4e5f\u200b\u88ab\u200b\u5220\u9664\u200b\u3002</p> <pre><code>root@server:~# kubectl delete -f slr.yaml \nswitchlbrule.kubeovn.io \"vulpecula-nginx\" deleted\nroot@server:~# kubectl get vip\nNo resources found\nroot@server:~# kubectl ko sbctl list Service_Monitor\nroot@server:~# \nroot@server:~# kubectl ko nbctl list Load_Balancer_Health_Check\nroot@server:~# \n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/vpc-peering/","title":"VPC \u200b\u4e92\u8054","text":"<p>VPC \u200b\u4e92\u8054\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u79cd\u200b\u5c06\u200b\u4e24\u4e2a\u200b VPC \u200b\u7f51\u7edc\u200b\u901a\u8fc7\u200b\u903b\u8f91\u200b\u8def\u7531\u200b\u6253\u901a\u200b\u7684\u200b\u673a\u5236\u200b\uff0c\u200b\u4ece\u800c\u200b\u4f7f\u200b\u4e24\u4e2a\u200b VPC \u200b\u5185\u200b\u7684\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u53ef\u4ee5\u200b\u50cf\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u79c1\u6709\u200b\u7f51\u7edc\u200b\u4e00\u6837\u200b\uff0c \u200b\u901a\u8fc7\u200b\u79c1\u6709\u200b\u5730\u5740\u200b\u76f8\u4e92\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u65e0\u9700\u200b\u901a\u8fc7\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u8fdb\u884c\u200b NAT \u200b\u8f6c\u53d1\u200b\u3002</p>"},{"location":"advance/vpc-peering/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ol> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ea\u200b\u9002\u7528\u200b\u4e8e\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC\u3002</li> <li>\u200b\u4e3a\u4e86\u200b\u907f\u514d\u200b\u8def\u7531\u200b\u91cd\u53e0\u200b\u4e24\u4e2a\u200b VPC \u200b\u5185\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u80fd\u200b\u91cd\u53e0\u200b\u3002</li> <li>\u200b\u76ee\u524d\u200b\u53ea\u200b\u652f\u6301\u200b\u4e24\u4e2a\u200b VPC \u200b\u7684\u200b\u4e92\u8054\u200b\uff0c\u200b\u66f4\u200b\u591a\u7ec4\u200b VPC \u200b\u4e4b\u95f4\u200b\u7684\u200b\u4e92\u8054\u200b\u6682\u200b\u4e0d\u200b\u652f\u6301\u200b\u3002</li> </ol>"},{"location":"advance/vpc-peering/#_2","title":"\u4f7f\u7528\u200b\u65b9\u5f0f","text":"<p>\u200b\u9996\u5148\u200b\u521b\u5efa\u200b\u4e24\u4e2a\u200b\u4e0d\u200b\u4e92\u8054\u200b\u7684\u200b VPC\uff0c\u200b\u6bcf\u4e2a\u200b VPC \u200b\u4e0b\u200b\u5404\u6709\u200b\u4e00\u4e2a\u200b Subnet\uff0cSubnet \u200b\u7684\u200b CIDR \u200b\u4e92\u4e0d\u200b\u91cd\u53e0\u200b\u3002</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-1\nspec: {}\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net1\nspec:\n  vpc: vpc-1\n  cidrBlock: 10.0.0.0/16\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-2\nspec: {}\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: vpc-2\n  cidrBlock: 172.31.0.0/16\n</code></pre> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b VPC \u200b\u5185\u200b\u5206\u522b\u200b\u589e\u52a0\u200b <code>vpcPeerings</code> \u200b\u548c\u200b\u5bf9\u5e94\u200b\u7684\u200b\u9759\u6001\u200b\u8def\u7531\u200b\uff1a</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-1\nspec: \n  vpcPeerings:\n    - remoteVpc: vpc-2\n      localConnectIP: 169.254.0.1/30\n  staticRoutes:\n    - cidr: 172.31.0.0/16\n      nextHopIP: 169.254.0.2\n      policy: policyDst\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: vpc-2\nspec:\n  vpcPeerings:\n    - remoteVpc: vpc-1\n      localConnectIP: 169.254.0.2/30\n  staticRoutes:\n    - cidr: 10.0.0.0/16\n      nextHopIP: 169.254.0.1\n      policy: policyDst\n</code></pre> <ul> <li><code>remoteVpc</code>: \u200b\u4e92\u8054\u200b\u7684\u200b\u53e6\u200b\u4e00\u4e2a\u200b VPC \u200b\u7684\u200b\u540d\u5b57\u200b\u3002</li> <li><code>localConnectIP</code>: \u200b\u4f5c\u4e3a\u200b\u4e92\u8054\u200b\u7aef\u70b9\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u548c\u200b CIDR\uff0c\u200b\u6ce8\u610f\u200b\u4e24\u7aef\u200b IP \u200b\u5e94\u200b\u5c5e\u4e8e\u200b\u540c\u4e00\u200b CIDR\uff0c\u200b\u4e14\u200b\u4e0d\u80fd\u200b\u548c\u200b\u5df2\u6709\u200b\u5b50\u7f51\u200b\u51b2\u7a81\u200b\u3002</li> <li><code>cidr</code>\uff1a\u200b\u53e6\u4e00\u7aef\u200b Subnet \u200b\u7684\u200b CIDR\u3002</li> <li><code>nextHopIP</code>\uff1a\u200b\u4e92\u8054\u200b VPC \u200b\u53e6\u4e00\u7aef\u200b\u7684\u200b <code>localConnectIP</code>\u3002</li> </ul> <p>\u200b\u5206\u522b\u200b\u5728\u200b\u4e24\u4e2a\u200b Subnet \u200b\u4e0b\u200b\u521b\u5efa\u200b Pod</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net1\n  name: vpc-1-pod\nspec:\n  containers:\n    - name: vpc-1-pod\n      image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net2\n  name: vpc-2-pod\nspec:\n  containers:\n    - name: vpc-2-pod\n      image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u6d4b\u8bd5\u200b\u7f51\u7edc\u200b\u8fde\u901a\u6027\u200b</p> <pre><code># kubectl exec -it vpc-1-pod -- ping $(kubectl get pod vpc-2-pod -o jsonpath='{.status.podIP}')\nPING 172.31.0.2 (172.31.0.2): 56 data bytes\n64 bytes from 172.31.0.2: seq=0 ttl=62 time=0.655 ms\n64 bytes from 172.31.0.2: seq=1 ttl=62 time=0.086 ms\n64 bytes from 172.31.0.2: seq=2 ttl=62 time=0.098 ms\n^C\n--- 172.31.0.2 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.086/0.279/0.655 ms\n# kubectl exec -it vpc-2-pod -- ping $(kubectl get pod vpc-1-pod -o jsonpath='{.status.podIP}')\nPING 10.0.0.2 (10.0.0.2): 56 data bytes\n64 bytes from 10.0.0.2: seq=0 ttl=62 time=0.594 ms\n64 bytes from 10.0.0.2: seq=1 ttl=62 time=0.093 ms\n64 bytes from 10.0.0.2: seq=2 ttl=62 time=0.088 ms\n^C\n--- 10.0.0.2 ping statistics ---\n3 packets transmitted, 3 packets received, 0% packet loss\nround-trip min/avg/max = 0.088/0.258/0.594 ms\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/windows/","title":"Windows \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u5305\u542b\u200b Windows \u200b\u7cfb\u7edf\u200b\u8282\u70b9\u200b\u7684\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5c06\u200b Windows \u200b\u5bb9\u5668\u200b\u7684\u200b\u7f51\u7edc\u200b\u7edf\u4e00\u200b\u63a5\u5165\u200b\u8fdb\u884c\u200b\u7ba1\u7406\u200b\u3002</p>"},{"location":"advance/windows/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ul> <li>\u200b\u53c2\u8003\u200b Adding Windows nodes \u200b\u589e\u52a0\u200b Windows \u200b\u8282\u70b9\u200b\u3002</li> <li>Windows \u200b\u8282\u70b9\u200b\u5fc5\u987b\u200b\u5b89\u88c5\u200b KB4489899 \u200b\u8865\u4e01\u200b\u4ee5\u200b\u4f7f\u200b Overlay/VXLAN \u200b\u7f51\u7edc\u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\uff0c\u200b\u5efa\u8bae\u200b\u66f4\u65b0\u200b\u7cfb\u7edf\u200b\u81f3\u200b\u6700\u65b0\u200b\u7248\u672c\u200b\u3002</li> <li>Windows \u200b\u8282\u70b9\u200b\u5fc5\u987b\u200b\u5b89\u88c5\u200b Hyper-V \u200b\u53ca\u200b\u7ba1\u7406\u5de5\u5177\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b Windows \u200b\u9650\u5236\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u53ea\u80fd\u200b\u4f7f\u7528\u200b Vxlan \u200b\u6a21\u5f0f\u200b\u3002</li> <li>\u200b\u6682\u200b\u4e0d\u200b\u652f\u6301\u200b SSL\uff0cIPv6\uff0c\u200b\u53cc\u6808\u200b\uff0cQoS \u200b\u529f\u80fd\u200b\u3002</li> <li>\u200b\u6682\u200b\u4e0d\u200b\u652f\u6301\u200b\u52a8\u6001\u200b\u5b50\u7f51\u200b\uff0c\u200b\u52a8\u6001\u200b\u96a7\u9053\u200b\u63a5\u53e3\u200b\u529f\u80fd\u200b\uff0c\u200b\u9700\u5728\u200b\u5b89\u88c5\u200b Windows \u200b\u8282\u70b9\u200b\u524d\u200b\u5b8c\u6210\u200b\u5b50\u7f51\u200b\u521b\u5efa\u200b\uff0c\u200b\u5e76\u200b\u56fa\u5b9a\u200b\u7f51\u7edc\u63a5\u53e3\u200b\u3002</li> <li>\u200b\u4e0d\u200b\u652f\u6301\u200b\u591a\u4e2a\u200b <code>ProviderNetwork</code>\uff0c\u200b\u4e14\u200b\u65e0\u6cd5\u200b\u52a8\u6001\u200b\u8c03\u6574\u200b\u6865\u63a5\u200b\u63a5\u53e3\u200b\u914d\u7f6e\u200b\u3002</li> </ul>"},{"location":"advance/windows/#ovs","title":"\u5b89\u88c5\u200b OVS","text":"<p>\u200b\u7531\u4e8e\u200b\u4e0a\u6e38\u200b OVN \u200b\u548c\u200b OVS \u200b\u5bf9\u200b Windows \u200b\u5bb9\u5668\u200b\u652f\u6301\u200b\u5b58\u5728\u200b\u4e00\u4e9b\u200b\u95ee\u9898\u200b\uff0c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u63d0\u4f9b\u200b\u7684\u200b\u7ecf\u8fc7\u200b\u4fee\u6539\u200b\u7684\u200b\u5b89\u88c5\u5305\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\u6253\u5f00\u200b Windows \u200b\u8282\u70b9\u200b\u7684\u200b <code>TESTSIGNING</code> \u200b\u542f\u52a8\u9879\u200b\uff0c\u200b\u6267\u884c\u200b\u6210\u529f\u200b\u540e\u200b\u9700\u8981\u200b\u91cd\u542f\u200b\u7cfb\u7edf\u200b\u751f\u6548\u200b\uff1a</p> <pre><code>bcdedit /set LOADOPTIONS DISABLE_INTEGRITY_CHECKS\nbcdedit /set TESTSIGNING ON\nbcdedit /set nointegritychecks ON\n</code></pre> <p>\u200b\u5728\u200b Windows \u200b\u8282\u70b9\u200b\u4e0b\u8f7d\u200b Windows \u200b\u5b89\u88c5\u5305\u200b\u5e76\u200b\u89e3\u538b\u200b\u5b89\u88c5\u200b\u3002</p> <p>\u200b\u5b89\u88c5\u200b\u5b8c\u6210\u200b\u540e\u200b\u786e\u8ba4\u200b\u670d\u52a1\u200b\u6b63\u5e38\u200b\u8fd0\u884c\u200b\uff1a</p> <pre><code>PS &gt; Get-Service | findstr ovs\nRunning  ovsdb-server  Open vSwitch DB Service\nRunning  ovs-vswitchd  Open vSwitch Service\n</code></pre>"},{"location":"advance/windows/#kube-ovn","title":"\u5b89\u88c5\u200b Kube-OVN","text":"<p>\u200b\u5728\u200b Windows \u200b\u8282\u70b9\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b install.ps1\u3002</p> <p>\u200b\u8865\u5145\u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\u5e76\u200b\u6267\u884c\u200b\uff1a</p> <pre><code>.\\install.ps1 -KubeConfig C:\\k\\admin.conf -ApiServer https://192.168.140.180:6443 -ServiceCIDR 10.96.0.0/12\n</code></pre> <p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b, Kube-OVN \u200b\u4f7f\u7528\u200b\u8282\u70b9\u200b IP \u200b\u6240\u5728\u200b\u7684\u200b\u7f51\u5361\u200b\u4f5c\u4e3a\u200b\u96a7\u9053\u200b\u63a5\u53e3\u200b\u3002 \u200b\u5982\u679c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u5176\u5b83\u200b\u7f51\u5361\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u524d\u200b\u7ed9\u200b\u8282\u70b9\u200b\u6dfb\u52a0\u200b\u6307\u5b9a\u200b\u7684\u200b Annotation\uff0c\u200b\u5982\u200b <code>ovn.kubernetes.io/tunnel_interface=Ethernet1</code>\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-bgp/","title":"BGP \u200b\u652f\u6301","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u5c06\u200b Pod \u200b\u6216\u200b Subnet \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u901a\u8fc7\u200b BGP \u200b\u534f\u8bae\u200b\u5411\u200b\u5916\u90e8\u200b\u8fdb\u884c\u200b\u8def\u7531\u200b\u5e7f\u64ad\u200b\uff0c\u200b\u4ece\u800c\u200b\u4f7f\u5f97\u200b Pod IP \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b\u3002 \u200b\u5982\u679c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u8be5\u200b\u529f\u80fd\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u7279\u5b9a\u200b\u8282\u70b9\u200b\u5b89\u88c5\u200b <code>kube-ovn-speaker</code> \u200b\u5e76\u200b\u5bf9\u200b\u9700\u8981\u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b\u7684\u200b Pod \u200b\u6216\u200b Subnet \u200b\u589e\u52a0\u200b\u5bf9\u5e94\u200b\u7684\u200b annotation\u3002</p>"},{"location":"advance/with-bgp/#kube-ovn-speaker","title":"\u5b89\u88c5\u200b kube-ovn-speaker","text":"<p><code>kube-ovn-speaker</code> \u200b\u5185\u200b\u4f7f\u7528\u200b GoBGP \u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u8def\u7531\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u8bbf\u95ee\u200b\u66b4\u9732\u200b\u5730\u5740\u200b\u7684\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u8def\u7531\u200b\u6307\u5411\u200b\u81ea\u8eab\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u90e8\u7f72\u200b <code>kube-ovn-speaker</code> \u200b\u7684\u200b\u8282\u70b9\u200b\u9700\u8981\u200b\u627f\u62c5\u200b\u56de\u7a0b\u200b\u6d41\u91cf\u200b\uff0c\u200b\u56e0\u6b64\u200b\u9700\u8981\u200b\u9009\u62e9\u200b\u7279\u5b9a\u200b\u8282\u70b9\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>kubectl label nodes speaker-node-1 ovn.kubernetes.io/bgp=true\nkubectl label nodes speaker-node-2 ovn.kubernetes.io/bgp=true\n</code></pre> <p>\u200b\u5f53\u200b\u5b58\u5728\u200b\u591a\u4e2a\u200b kube-ovn-speaker \u200b\u5b9e\u4f8b\u200b\u65f6\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u5b9e\u4f8b\u200b\u90fd\u200b\u4f1a\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u8def\u7531\u200b\uff0c\u200b\u4e0a\u6e38\u200b\u8def\u7531\u5668\u200b\u9700\u8981\u200b\u652f\u6301\u200b\u591a\u8def\u5f84\u200b ECMP\u3002</p> <p>\u200b\u4e0b\u8f7d\u200b\u5bf9\u5e94\u200b yaml:</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/yamls/speaker.yaml\n</code></pre> <p>\u200b\u4fee\u6539\u200b yaml \u200b\u5185\u200b\u76f8\u5e94\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>--neighbor-address=10.32.32.1\n--neighbor-as=65030\n--cluster-as=65000\n</code></pre> <ul> <li><code>neighbor-address</code>: BGP Peer \u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u901a\u5e38\u200b\u4e3a\u200b\u8def\u7531\u5668\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\u3002</li> <li><code>neighbor-as</code>: BGP Peer \u200b\u7684\u200b AS \u200b\u53f7\u200b\u3002</li> <li><code>cluster-as</code>: \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b AS \u200b\u53f7\u200b\u3002</li> </ul> <p>\u200b\u90e8\u7f72\u200b yaml:</p> <pre><code>kubectl apply -f speaker.yaml\n</code></pre>"},{"location":"advance/with-bgp/#podsubnet","title":"\u53d1\u5e03\u200b Pod/Subnet \u200b\u8def\u7531","text":"<p>\u200b\u5982\u9700\u200b\u4f7f\u7528\u200b BGP \u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u8def\u7531\u200b\uff0c\u200b\u9996\u5148\u200b\u9700\u8981\u200b\u5c06\u200b\u5bf9\u5e94\u200b Subnet \u200b\u7684\u200b <code>natOutgoing</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code>\uff0c\u200b\u4f7f\u5f97\u200b Pod IP \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u589e\u52a0\u200b annotation \u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\uff1a</p> <pre><code>kubectl annotate pod sample ovn.kubernetes.io/bgp=true\nkubectl annotate subnet ovn-default ovn.kubernetes.io/bgp=true\n</code></pre> <p>\u200b\u5220\u9664\u200b annotation \u200b\u53d6\u6d88\u200b\u53d1\u5e03\u200b\uff1a</p> <pre><code>kubectl annotate pod perf-ovn-xzvd4 ovn.kubernetes.io/bgp-\nkubectl annotate subnet ovn-default ovn.kubernetes.io/bgp-\n</code></pre>"},{"location":"advance/with-bgp/#bgp_1","title":"BGP \u200b\u9ad8\u7ea7\u200b\u9009\u9879","text":"<p><code>kube-ovn-speaker</code> \u200b\u652f\u6301\u200b\u66f4\u200b\u591a\u200b BGP \u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u9ad8\u7ea7\u200b\u914d\u7f6e\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u200b\u6839\u636e\u200b\u81ea\u5df1\u200b\u7f51\u7edc\u200b\u73af\u5883\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <ul> <li><code>announce-cluster-ip</code>: \u200b\u662f\u5426\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b Service \u200b\u8def\u7531\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>false</code>\u3002</li> <li><code>auth-password</code>: BGP peer \u200b\u7684\u200b\u8bbf\u95ee\u200b\u5bc6\u7801\u200b\u3002</li> <li><code>holdtime</code>: BGP \u200b\u90bb\u5c45\u200b\u95f4\u200b\u7684\u200b\u5fc3\u8df3\u200b\u63a2\u6d4b\u200b\u65f6\u95f4\u200b\uff0c\u200b\u8d85\u8fc7\u200b\u6539\u200b\u65f6\u95f4\u200b\u6ca1\u6709\u200b\u6d88\u606f\u200b\u7684\u200b\u90bb\u5c45\u200b\u5c06\u4f1a\u200b\u88ab\u200b\u79fb\u9664\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 90 \u200b\u79d2\u200b\u3002</li> <li><code>graceful-restart</code>: \u200b\u662f\u5426\u200b\u542f\u7528\u200b BGP Graceful Restart\u3002</li> <li><code>graceful-restart-time</code>: BGP Graceful restart time \u200b\u53ef\u200b\u53c2\u8003\u200b RFC4724 3\u3002</li> <li><code>graceful-restart-deferral-time</code>: BGP Graceful restart deferral time \u200b\u53ef\u200b\u53c2\u8003\u200b RFC4724 4.1\u3002</li> <li><code>passivemode</code>: Speaker \u200b\u8fd0\u884c\u200b\u5728\u200b passive \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u4e0d\u200b\u4e3b\u52a8\u200b\u8fde\u63a5\u200b peer\u3002</li> <li><code>ebgp-multihop</code>: ebgp ttl \u200b\u9ed8\u8ba4\u503c\u200b\u4e3a\u200b 1\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-cilium/","title":"Cilium \u200b\u96c6\u6210","text":"<p>Cilium \u200b\u662f\u200b\u4e00\u6b3e\u200b\u57fa\u4e8e\u200b eBPF \u200b\u7684\u200b\u7f51\u7edc\u200b\u548c\u200b\u5b89\u5168\u200b\u7ec4\u4ef6\u200b\uff0cKube-OVN \u200b\u5229\u7528\u200b\u5176\u4e2d\u200b\u7684\u200b CNI Chaining \u200b\u6a21\u5f0f\u200b\u6765\u200b\u5bf9\u200b\u5df2\u6709\u200b\u529f\u80fd\u200b\u8fdb\u884c\u200b\u589e\u5f3a\u200b\u3002 \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u540c\u65f6\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u4e30\u5bcc\u200b\u7684\u200b\u7f51\u7edc\u200b\u62bd\u8c61\u200b\u80fd\u529b\u200b\u548c\u200b eBPF \u200b\u5e26\u6765\u200b\u7684\u200b\u76d1\u63a7\u200b\u548c\u200b\u5b89\u5168\u200b\u80fd\u529b\u200b\u3002</p> <p>\u200b\u901a\u8fc7\u200b\u96c6\u6210\u200b Cilium\uff0cKube-OVN \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u83b7\u5f97\u200b\u5982\u4e0b\u200b\u589e\u76ca\u200b\uff1a</p> <ul> <li>\u200b\u66f4\u200b\u4e30\u5bcc\u200b\u9ad8\u6548\u200b\u7684\u200b\u5b89\u5168\u7b56\u7565\u200b\u3002</li> <li>\u200b\u57fa\u4e8e\u200b Hubble \u200b\u7684\u200b\u76d1\u63a7\u200b\u89c6\u56fe\u200b\u3002</li> </ul> <p></p>"},{"location":"advance/with-cilium/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ol> <li>Linux \u200b\u5185\u6838\u200b\u7248\u672c\u200b\u9ad8\u4e8e\u200b 4.19 \u200b\u6216\u200b\u5176\u4ed6\u200b\u517c\u5bb9\u200b\u5185\u6838\u200b\u4ee5\u200b\u83b7\u5f97\u200b\u5b8c\u6574\u200b eBPF \u200b\u80fd\u529b\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u63d0\u524d\u200b\u90e8\u7f72\u200b Helm \u200b\u4e3a\u200b\u5b89\u88c5\u200b Cilium \u200b\u505a\u200b\u51c6\u5907\u200b\uff0c\u200b\u90e8\u7f72\u200b Helm \u200b\u8bf7\u200b\u53c2\u8003\u200b Installing Helm\u3002</li> </ol>"},{"location":"advance/with-cilium/#kube-ovn","title":"\u914d\u7f6e\u200b Kube-OVN","text":"<p>\u200b\u4e3a\u4e86\u200b\u5145\u5206\u200b\u4f7f\u7528\u200b Cilium \u200b\u7684\u200b\u5b89\u5168\u200b\u80fd\u529b\u200b\uff0c\u200b\u9700\u8981\u200b\u5173\u95ed\u200b Kube-OVN \u200b\u5185\u200b\u7684\u200b <code>networkpolicy</code> \u200b\u529f\u80fd\u200b\uff0c\u200b\u5e76\u200b\u8c03\u6574\u200b CNI \u200b\u914d\u7f6e\u200b\u4f18\u5148\u7ea7\u200b\u3002</p> <p>\u200b\u5728\u200b <code>install.sh</code> \u200b\u811a\u672c\u200b\u91cc\u200b\u4fee\u6539\u200b\u4e0b\u5217\u200b\u53d8\u91cf\u200b\uff1a</p> <pre><code>ENABLE_NP=false\nCNI_CONFIG_PRIORITY=10\n</code></pre> <p>\u200b\u82e5\u200b\u5df2\u200b\u90e8\u7f72\u200b\u5b8c\u6210\u200b\uff0c\u200b\u53ef\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> \u200b\u7684\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b <code>networkpolicy</code>\uff1a</p> <pre><code>args:\n- --enable-np=false\n</code></pre> <p>\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> \u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u8c03\u6574\u200b CNI \u200b\u914d\u7f6e\u200b\u4f18\u5148\u7ea7\u200b\uff1a</p> <pre><code>args:\n- --cni-conf-name=10-kube-ovn.conflist\n</code></pre> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u8c03\u6574\u200b Kube-OVN \u200b\u914d\u7f6e\u6587\u4ef6\u200b\u540d\u79f0\u200b\uff0c\u200b\u4ee5\u4fbf\u200b\u4f18\u5148\u200b\u4f7f\u7528\u200b Cilium \u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff1a</p> <pre><code>mv /etc/cni/net.d/01-kube-ovn.conflist /etc/cni/net.d/10-kube-ovn.conflist\n</code></pre>"},{"location":"advance/with-cilium/#cilium_1","title":"\u90e8\u7f72\u200b Cilium","text":"<p>\u200b\u521b\u5efa\u200b <code>chaining.yaml</code> \u200b\u914d\u7f6e\u6587\u4ef6\u200b\uff0c\u200b\u4f7f\u7528\u200b Cilium \u200b\u7684\u200b generic-veth \u200b\u6a21\u5f0f\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: cni-configuration\n  namespace: kube-system\ndata:\n  cni-config: |-\n    {\n      \"name\": \"generic-veth\",\n      \"cniVersion\": \"0.3.1\",\n      \"plugins\": [\n        {\n          \"type\": \"kube-ovn\",\n          \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n          \"ipam\": {\n              \"type\": \"kube-ovn\",\n              \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\"\n          }\n        },\n        {\n          \"type\": \"portmap\",\n          \"snat\": true,\n          \"capabilities\": {\"portMappings\": true}\n        },\n        {\n          \"type\": \"cilium-cni\"\n        }\n      ]\n    }\n</code></pre> <p>\u200b\u5b89\u88c5\u200b\u914d\u7f6e\u6587\u4ef6\u200b\uff1a</p> <pre><code>kubectl apply -f chaining.yaml\n</code></pre> <p>\u200b\u4f7f\u7528\u200b Helm \u200b\u90e8\u7f72\u200b Cilium\uff1a</p> <pre><code>helm repo add cilium https://helm.cilium.io/\nhelm install cilium cilium/cilium --version 1.11.6 \\\n    --namespace kube-system \\\n    --set cni.chainingMode=generic-veth \\\n    --set cni.customConf=true \\\n    --set cni.configMap=cni-configuration \\\n    --set tunnel=disabled \\\n    --set enableIPv4Masquerade=false \\\n    --set enableIdentityMark=false \n</code></pre> <p>\u200b\u786e\u8ba4\u200b Cilium \u200b\u5b89\u88c5\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># cilium  status\n    /\u00af\u00af\\\n /\u00af\u00af\\__/\u00af\u00af\\    Cilium:         OK\n \\__/\u00af\u00af\\__/    Operator:       OK\n /\u00af\u00af\\__/\u00af\u00af\\    Hubble:         disabled\n \\__/\u00af\u00af\\__/    ClusterMesh:    disabled\n    \\__/\n\nDaemonSet         cilium             Desired: 2, Ready: 2/2, Available: 2/2\nDeployment        cilium-operator    Desired: 2, Ready: 2/2, Available: 2/2\nContainers:       cilium             Running: 2\n                  cilium-operator    Running: 2\nCluster Pods:     8/11 managed by Cilium\nImage versions    cilium             quay.io/cilium/cilium:v1.10.5@sha256:0612218e28288db360c63677c09fafa2d17edda4f13867bcabf87056046b33bb: 2\n                  cilium-operator    quay.io/cilium/operator-generic:v1.10.5@sha256:2d2f730f219d489ff0702923bf24c0002cd93eb4b47ba344375566202f56d972: 2\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-openstack/","title":"OpenStack \u200b\u96c6\u6210","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7528\u6237\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b OpenStack \u200b\u8fd0\u884c\u200b\u865a\u62df\u673a\u200b\uff0c\u200b\u4f7f\u7528\u200b Kubernetes \u200b\u8fd0\u884c\u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u9700\u8981\u200b\u5bb9\u5668\u200b\u548c\u200b\u865a\u673a\u200b\u4e4b\u95f4\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\u5e76\u200b\u5904\u4e8e\u200b\u7edf\u4e00\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u4e0b\u200b\u3002\u200b\u5982\u679c\u200b OpenStack Neutron \u200b\u4fa7\u200b\u540c\u6837\u200b\u4f7f\u7528\u200b OVN \u200b\u4f5c\u4e3a\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u200b\u63a7\u5236\u200b\uff0c\u200b\u90a3\u4e48\u200b Kube-OVN \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u548c\u200b\u5171\u4eab\u200b\u5e95\u5c42\u200b OVN \u200b\u4e24\u79cd\u200b\u65b9\u5f0f\u200b\u6253\u901a\u200b OpenStack \u200b\u548c\u200b Kubernetes \u200b\u7684\u200b\u7f51\u7edc\u200b\u3002</p>"},{"location":"advance/with-openstack/#_1","title":"\u96c6\u7fa4\u200b\u4e92\u8054","text":"<p>\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u548c\u200b\u4f7f\u7528\u200b OVN-IC \u200b\u8fdb\u884c\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u6253\u901a\u200b\u4e24\u4e2a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u65b9\u5f0f\u200b\u7c7b\u4f3c\u200b\uff0c\u200b\u53ea\u4e0d\u8fc7\u200b\u5c06\u200b\u96c6\u7fa4\u200b\u4e24\u7aef\u200b\u6362\u6210\u200b OpenStack \u200b\u548c\u200b Kubernetes\u3002</p>"},{"location":"advance/with-openstack/#_2","title":"\u524d\u63d0\u6761\u4ef6","text":"<ol> <li>\u200b\u81ea\u52a8\u200b\u4e92\u8054\u200b\u6a21\u5f0f\u200b\u4e0b\u200b OpenStack \u200b\u548c\u200b Kubernetes \u200b\u5185\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u80fd\u200b\u76f8\u4e92\u200b\u91cd\u53e0\u200b\u3002</li> <li>\u200b\u9700\u8981\u200b\u5b58\u5728\u200b\u4e00\u7ec4\u200b\u673a\u5668\u200b\u53ef\u4ee5\u200b\u88ab\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u901a\u8fc7\u200b\u7f51\u7edc\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u7528\u6765\u200b\u90e8\u7f72\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u7684\u200b\u63a7\u5236\u5668\u200b\u3002</li> <li>\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u9700\u8981\u200b\u6709\u200b\u4e00\u7ec4\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b IP \u200b\u8fdb\u884c\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8bbf\u200b\u7684\u200b\u673a\u5668\u200b\u4f5c\u4e3a\u200b\u4e4b\u540e\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u3002</li> <li>\u200b\u8be5\u200b\u65b9\u6848\u200b\u53ea\u200b\u6253\u901a\u200b Kubernetes \u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u548c\u200b OpenStack \u200b\u7684\u200b\u9009\u5b9a\u200b VPC\u3002</li> </ol>"},{"location":"advance/with-openstack/#ovn-ic","title":"\u90e8\u7f72\u200b OVN-IC \u200b\u6570\u636e\u5e93","text":"<p>\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u542f\u52a8\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\uff1a</p> <pre><code>docker run --name=ovn-ic-db -d --network=host -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre>"},{"location":"advance/with-openstack/#kubernetes","title":"Kubernetes \u200b\u4fa7\u200b\u64cd\u4f5c","text":"<p>\u200b\u5728\u200b <code>kube-system</code> Namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b <code>ovn-ic-config</code> ConfigMap\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre> <ul> <li><code>enable-ic</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u3002</li> <li><code>az-name</code>: \u200b\u533a\u5206\u200b\u4e0d\u540c\u200b\u96c6\u7fa4\u200b\u7684\u200b\u96c6\u7fa4\u200b\u540d\u79f0\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u4e92\u8054\u200b\u96c6\u7fa4\u200b\u9700\u200b\u4e0d\u540c\u200b\u3002</li> <li><code>ic-db-host</code>: \u200b\u90e8\u7f72\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</li> <li><code>ic-nb-port</code>: <code>OVN-IC</code> \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 6645\u3002</li> <li><code>ic-sb-port</code>: <code>OVN-IC</code> \u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 6646\u3002</li> <li><code>gw-nodes</code>: \u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u4e2d\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u5de5\u4f5c\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u200b\uff0c\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u3002</li> <li><code>auto-route</code>: \u200b\u662f\u5426\u200b\u81ea\u52a8\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u548c\u200b\u5b66\u4e60\u200b\u8def\u7531\u200b\u3002</li> </ul>"},{"location":"advance/with-openstack/#openstack_1","title":"OpenStack \u200b\u4fa7\u200b\u64cd\u4f5c","text":"<p>\u200b\u521b\u5efa\u200b\u548c\u200b Kubernetes \u200b\u4e92\u8054\u200b\u7684\u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\uff1a</p> <pre><code># openstack router create router0\n# openstack router list\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| ID                                   | Name    | Status | State | Project                          |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| d5b38655-249a-4192-8046-71aa4d2b4af1 | router0 | ACTIVE | UP    | 98a29ab7388347e7b5ff8bdd181ba4f9 |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n</code></pre> <p>\u200b\u5728\u200b OpenStack \u200b\u5185\u200b\u7684\u200b OVN \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u4e2d\u200b\u8bbe\u7f6e\u200b\u53ef\u7528\u200b\u533a\u200b\u540d\u5b57\u200b\uff0c\u200b\u8be5\u200b\u540d\u79f0\u200b\u9700\u200b\u548c\u200b\u5176\u4ed6\u200b\u4e92\u8054\u200b\u96c6\u7fa4\u200b\u4e0d\u540c\u200b\uff1a</p> <pre><code>ovn-nbctl set NB_Global . name=op-az\n</code></pre> <p>\u200b\u5728\u200b\u53ef\u200b\u8bbf\u95ee\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u8282\u70b9\u200b\u542f\u52a8\u200b <code>OVN-IC</code> \u200b\u63a7\u5236\u5668\u200b\uff1a</p> <pre><code>/usr/share/ovn/scripts/ovn-ctl --ovn-ic-nb-db=tcp:192.168.65.3:6645 \\\n  --ovn-ic-sb-db=tcp:192.168.65.3:6646 \\\n  --ovn-northd-nb-db=unix:/run/ovn/ovnnb_db.sock \\\n  --ovn-northd-sb-db=unix:/run/ovn/ovnsb_db.sock \\\n  start_ic\n</code></pre> <ul> <li><code>ovn-ic-nb-db</code>\uff0c<code>ovn-ic-sb-db</code>: OVN-IC \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u548c\u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b\u5730\u5740\u200b\u3002</li> <li><code>ovn-northd-nb-db</code>\uff0c <code>ovn-northd-sb-db</code>: \u200b\u5f53\u524d\u200b\u96c6\u7fa4\u200b OVN \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u548c\u200b\u5357\u5411\u200b\u6570\u636e\u200b\u5730\u5740\u200b\u3002</li> </ul> <p>\u200b\u914d\u7f6e\u200b\u4e92\u8054\u7f51\u200b\u5173\u8282\u70b9\u200b\uff1a</p> <pre><code>ovs-vsctl set open_vswitch . external_ids:ovn-is-interconn=true\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u9700\u8981\u200b\u5728\u200b OpenStack \u200b\u7684\u200b OVN \u200b\u5185\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\u521b\u5efa\u200b\u903b\u8f91\u200b\u62d3\u6251\u200b\u3002</p> <p>\u200b\u8fde\u63a5\u200b <code>ts</code> \u200b\u4e92\u8054\u200b\u4ea4\u6362\u673a\u200b\u548c\u200b <code>router0</code> \u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\uff0c\u200b\u5e76\u200b\u8bbe\u7f6e\u200b\u76f8\u5173\u200b\u89c4\u5219\u200b\uff1a</p> <pre><code>ovn-nbctl lrp-add router0 lrp-router0-ts 00:02:ef:11:39:4f 169.254.100.73/24\novn-nbctl lsp-add ts lsp-ts-router0 -- lsp-set-addresses lsp-ts-router0 router \\\n  -- lsp-set-type lsp-ts-router0 router \\\n  -- lsp-set-options lsp-ts-router0  router-port=lrp-router0-ts\novn-nbctl lrp-set-gateway-chassis lrp-router0-ts {gateway chassis} 1000\novn-nbctl set NB_Global . options:ic-route-adv=true options:ic-route-learn=true\n</code></pre> <p>\u200b\u9a8c\u8bc1\u200b\u5df2\u200b\u5b66\u4e60\u200b\u5230\u200b Kubernetes \u200b\u8def\u7531\u200b\u89c4\u5219\u200b\uff1a</p> <pre><code># ovn-nbctl lr-route-list router0\nIPv4 Routes\n                10.0.0.22            169.254.100.34 dst-ip (learned)\n             10.16.0.0/16            169.254.100.34 dst-ip (learned)\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u5728\u200b <code>router0</code> \u200b\u7f51\u7edc\u200b\u4e0b\u200b\u521b\u5efa\u200b\u865a\u673a\u200b\u9a8c\u8bc1\u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u548c\u200b Kubernetes \u200b\u4e0b\u200b Pod \u200b\u4e92\u901a\u200b\u3002</p>"},{"location":"advance/with-openstack/#ovn","title":"\u5171\u4eab\u200b\u5e95\u5c42\u200b OVN","text":"<p>\u200b\u5728\u200b\u8be5\u200b\u65b9\u6848\u200b\u4e0b\u200b\uff0cOpenStack \u200b\u548c\u200b Kubernetes \u200b\u5171\u4eab\u200b\u4f7f\u7528\u200b\u540c\u4e00\u4e2a\u200b OVN\uff0c\u200b\u56e0\u6b64\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u4e24\u8005\u200b\u7684\u200b VPC \u200b\u548c\u200b Subnet \u200b\u7b49\u200b\u6982\u5ff5\u200b\u62c9\u9f50\u200b\uff0c\u200b\u5b9e\u73b0\u200b\u66f4\u597d\u200b\u7684\u200b\u63a7\u5236\u200b\u548c\u200b\u4e92\u8054\u200b\u3002</p> <p>\u200b\u5728\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u6211\u4eec\u200b\u6b63\u5e38\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u90e8\u7f72\u200b OVN\uff0cOpenStack \u200b\u4fee\u6539\u200b Neutron \u200b\u914d\u7f6e\u200b\u5b9e\u73b0\u200b\u8fde\u63a5\u200b\u540c\u4e00\u4e2a\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u3002OpenStack \u200b\u9700\u200b\u4f7f\u7528\u200b networking-ovn \u200b\u4f5c\u4e3a\u200b Neutron \u200b\u540e\u200b\u7aef\u200b\u5b9e\u73b0\u200b\u3002</p>"},{"location":"advance/with-openstack/#neutron","title":"Neutron \u200b\u914d\u7f6e\u200b\u4fee\u6539","text":"<p>\u200b\u4fee\u6539\u200b Neutron \u200b\u914d\u7f6e\u6587\u4ef6\u200b <code>/etc/neutron/plugins/ml2/ml2_conf.ini</code>\uff1a</p> <pre><code>[ovn]\n...\novn_nb_connection = tcp:[192.168.137.176]:6641,tcp:[192.168.137.177]:6641,tcp:[192.168.137.178]:6641\novn_sb_connection = tcp:[192.168.137.176]:6642,tcp:[192.168.137.177]:6642,tcp:[192.168.137.178]:6642\novn_l3_scheduler = OVN_L3_SCHEDULER\n</code></pre> <ul> <li><code>ovn_nb_connection</code>\uff0c <code>ovn_sb_connection</code>: \u200b\u5730\u5740\u200b\u9700\u200b\u4fee\u6539\u200b\u4e3a\u200b Kube-OVN \u200b\u90e8\u7f72\u200b <code>ovn-central</code> \u200b\u8282\u70b9\u200b\u7684\u200b\u5730\u5740\u200b\u3002</li> </ul> <p>\u200b\u4fee\u6539\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u7684\u200b OVS \u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ovs-vsctl set open . external-ids:ovn-remote=tcp:[192.168.137.176]:6642,tcp:[192.168.137.177]:6642,tcp:[192.168.137.178]:6642\novs-vsctl set open . external-ids:ovn-encap-type=geneve\novs-vsctl set open . external-ids:ovn-encap-ip=192.168.137.200\n</code></pre> <ul> <li><code>external-ids:ovn-remote</code>: \u200b\u5730\u5740\u200b\u9700\u200b\u4fee\u6539\u200b\u4e3a\u200b Kube-OVN \u200b\u90e8\u7f72\u200b <code>ovn-central</code> \u200b\u8282\u70b9\u200b\u7684\u200b\u5730\u5740\u200b\u3002</li> <li><code>ovn-encap-ip</code>: \u200b\u4fee\u6539\u200b\u4e3a\u200b\u5f53\u524d\u200b\u8282\u70b9\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</li> </ul>"},{"location":"advance/with-openstack/#kubernetes-openstack","title":"\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u4f7f\u7528\u200b OpenStack \u200b\u5185\u200b\u8d44\u6e90","text":"<p>\u200b\u63a5\u4e0b\u6765\u200b\u4ecb\u7ecd\u200b\u5982\u4f55\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u67e5\u8be2\u200b OpenStack \u200b\u7684\u200b\u7f51\u7edc\u8d44\u6e90\u200b\u5e76\u200b\u5728\u200b OpenStack \u200b\u7684\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u521b\u5efa\u200b Pod\u3002</p> <p>\u200b\u67e5\u8be2\u200b OpenStack \u200b\u4e2d\u200b\u5df2\u6709\u200b\u7684\u200b\u7f51\u7edc\u8d44\u6e90\u200b\uff0c\u200b\u5982\u4e0b\u200b\u8d44\u6e90\u200b\u5df2\u7ecf\u200b\u9884\u5148\u200b\u521b\u5efa\u200b\u5b8c\u6210\u200b\uff1a</p> <pre><code># openstack router list\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| ID                                   | Name    | Status | State | Project                          |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n| 22040ed5-0598-4f77-bffd-e7fd4db47e93 | router0 | ACTIVE | UP    | 62381a21d569404aa236a5dd8712449c |\n+--------------------------------------+---------+--------+-------+----------------------------------+\n# openstack network list\n+--------------------------------------+----------+--------------------------------------+\n| ID                                   | Name     | Subnets                              |\n+--------------------------------------+----------+--------------------------------------+\n| cd59e36a-37db-4c27-b709-d35379a7920f | provider | 01d73d9f-fdaa-426c-9b60-aa34abbfacae |\n+--------------------------------------+----------+--------------------------------------+\n# openstack subnet list\n+--------------------------------------+-------------+--------------------------------------+----------------+\n| ID                                   | Name        | Network                              | Subnet         |\n+--------------------------------------+-------------+--------------------------------------+----------------+\n| 01d73d9f-fdaa-426c-9b60-aa34abbfacae | provider-v4 | cd59e36a-37db-4c27-b709-d35379a7920f | 192.168.1.0/24 |\n+--------------------------------------+-------------+--------------------------------------+----------------+\n# openstack server list\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n| ID                                   | Name              | Status | Networks              | Image  | Flavor |\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n| 8433d622-a8d6-41a7-8b31-49abfd64f639 | provider-instance | ACTIVE | provider=192.168.1.61 | ubuntu | m1     |\n+--------------------------------------+-------------------+--------+-----------------------+--------+--------+\n</code></pre> <p>\u200b\u5728\u200b Kubernetes \u200b\u4fa7\u200b\uff0c\u200b\u67e5\u8be2\u200b VPC \u200b\u8d44\u6e90\u200b\uff1a</p> <pre><code># kubectl get vpc\nNAME                                           STANDBY   SUBNETS\nneutron-22040ed5-0598-4f77-bffd-e7fd4db47e93   true      [\"neutron-cd59e36a-37db-4c27-b709-d35379a7920f\"]\novn-cluster                                    true      [\"join\",\"ovn-default\"]\n</code></pre> <p><code>neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93</code> \u200b\u4e3a\u200b\u4ece\u200b OpenStack \u200b\u540c\u6b65\u200b\u8fc7\u6765\u200b\u7684\u200b VPC \u200b\u8d44\u6e90\u200b\u3002</p> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u6309\u7167\u200b Kube-OVN \u200b\u539f\u751f\u200b\u7684\u200b VPC \u200b\u548c\u200b Subnet \u200b\u64cd\u4f5c\u200b\u521b\u5efa\u200b Pod \u200b\u5e76\u200b\u8fd0\u884c\u200b\u3002</p> <p>VPC, Subnet \u200b\u7ed1\u5b9a\u200b Namespace <code>net2</code>\uff0c\u200b\u5e76\u200b\u521b\u5efa\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Namespace\nmetadata:\n  name: net2\n---\napiVersion: kubeovn.io/v1\nkind: Vpc\nmetadata:\n  creationTimestamp: \"2021-06-20T13:34:11Z\"\n  generation: 2\n  labels:\n    ovn.kubernetes.io/vpc_external: \"true\"\n  name: neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93\n  resourceVersion: \"583728\"\n  uid: 18d4c654-f511-4def-a3a0-a6434d237c1e\nspec:\n  namespaces:\n  - net2\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: neutron-22040ed5-0598-4f77-bffd-e7fd4db47e93\n  namespaces:\n    - net2\n  cidrBlock: 12.0.1.0/24\n  natOutgoing: false\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: ubuntu\n  namespace: net2\nspec:\n  containers:\n    - image: docker.io/kubeovn/kube-ovn:v1.8.0\n      command:\n        - \"sleep\"\n        - \"604800\"\n      imagePullPolicy: IfNotPresent\n      name: ubuntu\n  restartPolicy: Always\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-ovn-ic/","title":"\u4f7f\u7528\u200b OVN-IC \u200b\u8fdb\u884c\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u901a\u8fc7\u200b OVN-IC \u200b\u5c06\u200b\u4e24\u4e2a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b Pod \u200b\u7f51\u7edc\u200b\u6253\u901a\u200b\uff0c\u200b\u6253\u901a\u200b\u540e\u200b\u7684\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b Pod \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Pod IP \u200b\u8fdb\u884c\u200b\u76f4\u63a5\u200b\u901a\u4fe1\u200b\u3002 Kube-OVN \u200b\u4f7f\u7528\u200b\u96a7\u9053\u200b\u5bf9\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u4e4b\u95f4\u200b\u53ea\u8981\u200b\u5b58\u5728\u200b\u4e00\u7ec4\u200b IP \u200b\u53ef\u8fbe\u200b\u7684\u200b\u673a\u5668\u200b\u5373\u53ef\u200b\u5b8c\u6210\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u4e92\u901a\u200b\u3002</p> <p>\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u7684\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u4e3a\u200b Overlay \u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\uff0cUnderlay \u200b\u7f51\u7edc\u200b\u5982\u679c\u200b\u60f3\u8981\u200b\u5b9e\u73b0\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u9700\u8981\u200b\u5e95\u5c42\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u505a\u200b\u7f51\u7edc\u200b\u6253\u901a\u200b\u3002</p> <p></p>"},{"location":"advance/with-ovn-ic/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ol> <li> <p>1.11.16 \u200b\u4e4b\u540e\u200b\u7248\u672c\u200b\u90e8\u7f72\u200b\u7684\u200b\u96c6\u7fa4\u200b\u9ed8\u8ba4\u200b\u5173\u95ed\u200b\u4e86\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u7684\u200b\u5f00\u5173\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u90e8\u7f72\u200b\u811a\u672c\u200b <code>install.sh</code> \u200b\u91cc\u200b\u4fee\u6539\u200b\u4e0b\u5217\u200b\u53d8\u91cf\u200b\uff1a</p> <pre><code>ENABLE_IC=true\n</code></pre> <p>\u200b\u6253\u5f00\u200b\u5f00\u5173\u200b\u540e\u200b\u90e8\u7f72\u200b\u96c6\u7fa4\u200b\uff0c\u200b\u4f1a\u200b\u51fa\u73b0\u200b\u7ec4\u4ef6\u200b deployment ovn-ic-controller\u3002 2. \u200b\u81ea\u52a8\u200b\u4e92\u8054\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u4e0d\u540c\u200b\u96c6\u7fa4\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u80fd\u200b\u76f8\u4e92\u200b\u91cd\u53e0\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u9700\u5728\u200b\u5b89\u88c5\u200b\u65f6\u200b\u914d\u7f6e\u200b\u4e3a\u200b\u4e0d\u200b\u91cd\u53e0\u200b\u7684\u200b\u7f51\u6bb5\u200b\u3002\u200b\u82e5\u200b\u5b58\u5728\u200b\u91cd\u53e0\u200b\u9700\u200b\u53c2\u8003\u200b\u540e\u7eed\u200b\u624b\u52a8\u200b\u4e92\u8054\u200b\u8fc7\u7a0b\u200b\uff0c\u200b\u53ea\u80fd\u200b\u5c06\u200b\u4e0d\u200b\u91cd\u53e0\u200b\u7f51\u6bb5\u200b\u6253\u901a\u200b\u3002 3. \u200b\u9700\u8981\u200b\u5b58\u5728\u200b\u4e00\u7ec4\u200b\u673a\u5668\u200b\u53ef\u4ee5\u200b\u88ab\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u7684\u200b <code>kube-ovn-controller</code> \u200b\u901a\u8fc7\u200b IP \u200b\u8bbf\u95ee\u200b\uff0c\u200b\u7528\u6765\u200b\u90e8\u7f72\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u7684\u200b\u63a7\u5236\u5668\u200b\u3002 4. \u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u9700\u8981\u200b\u6709\u200b\u4e00\u7ec4\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b IP \u200b\u8fdb\u884c\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8bbf\u200b\u7684\u200b\u673a\u5668\u200b\u4f5c\u4e3a\u200b\u4e4b\u540e\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\u3002 5. \u200b\u8be5\u200b\u529f\u80fd\u200b\u53ea\u200b\u5bf9\u200b\u9ed8\u8ba4\u200b VPC \u200b\u751f\u6548\u200b\uff0c\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u4e92\u8054\u200b\u529f\u80fd\u200b\u3002</p> </li> </ol>"},{"location":"advance/with-ovn-ic/#ovn-ic_1","title":"\u90e8\u7f72\u200b\u5355\u200b\u8282\u70b9\u200b OVN-IC \u200b\u6570\u636e\u5e93","text":""},{"location":"advance/with-ovn-ic/#1","title":"\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 1","text":"<p>\u200b\u4f18\u5148\u200b\u63a8\u8350\u200b\u65b9\u6848\u200b 1\uff0cKube-OVN v1.11.16 \u200b\u4e4b\u540e\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u8be5\u200b\u65b9\u6cd5\u200b\u4e0d\u200b\u533a\u522b\u200b \"\u200b\u5355\u200b\u8282\u70b9\u200b\" \u200b\u6216\u8005\u200b \"\u200b\u591a\u200b\u8282\u70b9\u200b\u9ad8\u200b\u53ef\u7528\u200b\" \u200b\u90e8\u7f72\u200b\uff0c\u200b\u63a7\u5236\u5668\u200b\u4f1a\u4ee5\u200b Deployment \u200b\u7684\u200b\u5f62\u5f0f\u200b\u90e8\u7f72\u200b\u5728\u200b master \u200b\u8282\u70b9\u200b\u4e0a\u200b\uff0c\u200b\u96c6\u7fa4\u200b master \u200b\u8282\u70b9\u200b\u4e3a\u200b 1\uff0c\u200b\u5373\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\uff0cmaster \u200b\u8282\u70b9\u200b\u4e3a\u200b\u591a\u4e2a\u200b\uff0c\u200b\u5373\u200b\u591a\u200b\u8282\u70b9\u200b\u9ad8\u200b\u53ef\u7528\u200b\u90e8\u7f72\u200b\u3002</p> <p>\u200b\u5148\u200b\u83b7\u53d6\u200b\u811a\u672c\u200b <code>install-ovn-ic.sh</code>\uff0c\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install-ic-server.sh\n</code></pre> <p>\u200b\u6267\u884c\u547d\u4ee4\u200b\u5b89\u88c5\u200b\uff0c\u200b\u5176\u4e2d\u200b <code>TS_NUM</code> \u200b\u8868\u793a\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u7684\u200b ECMP Path \u200b\u6570\u91cf\u200b\uff1a</p> <pre><code>sed 's/VERSION=.*/VERSION=v1.13.0/' dist/images/install-ic-server.sh | TS_NUM=3 bash\n</code></pre> <p>\u200b\u6267\u884c\u200b\u6210\u529f\u200b\u8f93\u51fa\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>deployment.apps/ovn-ic-server created\nWaiting for deployment spec update to be observed...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 0 out of 3 new replicas have been updated...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 0 of 3 updated replicas are available...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"ovn-ic-server\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"ovn-ic-server\" successfully rolled out\nOVN IC Server installed Successfully\n</code></pre> <p>\u200b\u901a\u8fc7\u200b <code>kubectl ko icsbctl show</code> \u200b\u547d\u4ee4\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b\u5f53\u524d\u200b\u4e92\u8054\u200b\u63a7\u5236\u5668\u200b\u7684\u200b\u72b6\u6001\u200b\uff0c\u200b\u547d\u4ee4\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kubectl ko icsbctl show\navailability-zone az0\n    gateway 059b5c54-c540-4d77-b009-02d65f181a02\n        hostname: kube-ovn-worker\n        type: geneve\n            ip: 172.18.0.3\n        port ts-az0\n            transit switch: ts\n            address: [\"00:00:00:B4:8E:BE 169.254.100.97/24\"]\n    gateway 74ee4b9a-ba48-4a07-861e-1a8e4b9f905f\n        hostname: kube-ovn-worker2\n        type: geneve\n            ip: 172.18.0.2\n        port ts1-az0\n            transit switch: ts1\n            address: [\"00:00:00:19:2E:F7 169.254.101.90/24\"]\n    gateway 7e2428b6-344c-4dd5-a0d5-972c1ccec581\n        hostname: kube-ovn-control-plane\n        type: geneve\n            ip: 172.18.0.4\n        port ts2-az0\n            transit switch: ts2\n            address: [\"00:00:00:EA:32:BA 169.254.102.103/24\"]\navailability-zone az1\n    gateway 034da7cb-3826-4318-81ce-6a877a9bf285\n        hostname: kube-ovn1-worker\n        type: geneve\n            ip: 172.18.0.6\n        port ts-az1\n            transit switch: ts\n            address: [\"00:00:00:25:3A:B9 169.254.100.51/24\"]\n    gateway 2531a683-283e-4fb8-a619-bdbcb33539b8\n        hostname: kube-ovn1-worker2\n        type: geneve\n            ip: 172.18.0.5\n        port ts1-az1\n            transit switch: ts1\n            address: [\"00:00:00:52:87:F4 169.254.101.118/24\"]\n    gateway b0efb0be-e5a7-4323-ad4b-317637a757c4\n        hostname: kube-ovn1-control-plane\n        type: geneve\n            ip: 172.18.0.8\n        port ts2-az1\n            transit switch: ts2\n            address: [\"00:00:00:F6:93:1A 169.254.102.17/24\"]\n</code></pre>"},{"location":"advance/with-ovn-ic/#2","title":"\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 2","text":"<p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b <code>kube-ovn-controller</code> \u200b\u53ef\u200b\u901a\u8fc7\u200b IP \u200b\u8bbf\u95ee\u200b\u7684\u200b\u673a\u5668\u200b\u4e0a\u200b\u90e8\u7f72\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\uff0c\u200b\u8be5\u200b\u8282\u70b9\u200b\u5c06\u200b\u4fdd\u5b58\u200b\u5404\u4e2a\u200b\u96c6\u7fa4\u200b\u540c\u6b65\u200b\u4e0a\u6765\u200b\u7684\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u3002</p> <p>\u200b\u90e8\u7f72\u200b <code>docker</code> \u200b\u7684\u200b\u73af\u5883\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u542f\u52a8\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\uff1a</p> <pre><code>docker run --name=ovn-ic-db -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --network=host --privileged  -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>\u200b\u5bf9\u4e8e\u200b\u90e8\u7f72\u200b <code>containerd</code> \u200b\u53d6\u4ee3\u200b <code>docker</code> \u200b\u7684\u200b\u73af\u5883\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>ctr -n k8s.io run -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre>"},{"location":"advance/with-ovn-ic/#_2","title":"\u81ea\u52a8\u200b\u8def\u7531\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5728\u200b\u81ea\u52a8\u200b\u8def\u7531\u200b\u8bbe\u7f6e\u200b\u4e0b\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u4f1a\u200b\u5c06\u200b\u81ea\u5df1\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b Subnet \u200b\u7684\u200b CIDR \u200b\u4fe1\u606f\u200b\u540c\u6b65\u200b\u7ed9\u200b <code>OVN-IC</code>\uff0c\u200b\u56e0\u6b64\u200b\u8981\u200b\u786e\u4fdd\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u7684\u200b Subnet CIDR \u200b\u4e0d\u200b\u5b58\u5728\u200b\u91cd\u53e0\u200b\u3002</p> <p>\u200b\u5728\u200b <code>kube-system</code> Namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b <code>ovn-ic-config</code> ConfigMap\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre> <ul> <li><code>enable-ic</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u3002</li> <li><code>az-name</code>: \u200b\u533a\u5206\u200b\u4e0d\u540c\u200b\u96c6\u7fa4\u200b\u7684\u200b\u96c6\u7fa4\u200b\u540d\u79f0\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u4e92\u8054\u200b\u96c6\u7fa4\u200b\u9700\u200b\u4e0d\u540c\u200b\u3002</li> <li><code>ic-db-host</code>: \u200b\u90e8\u7f72\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</li> <li><code>ic-nb-port</code>: <code>OVN-IC</code> \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 6645\u3002</li> <li><code>ic-sb-port</code>: <code>OVN-IC</code> \u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 6646\u3002</li> <li><code>gw-nodes</code>: \u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u4e2d\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u5de5\u4f5c\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u200b\uff0c\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u3002</li> <li><code>auto-route</code>: \u200b\u662f\u5426\u200b\u81ea\u52a8\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u548c\u200b\u5b66\u4e60\u200b\u8def\u7531\u200b\u3002</li> </ul> <p>\u200b\u6ce8\u610f\u200b\uff1a \u200b\u4e3a\u4e86\u200b\u4fdd\u8bc1\u200b\u64cd\u4f5c\u200b\u7684\u200b\u6b63\u786e\u6027\u200b\uff0c<code>ovn-ic-config</code> \u200b\u8fd9\u4e2a\u200b ConfigMap \u200b\u4e0d\u200b\u5141\u8bb8\u200b\u4fee\u6539\u200b\u3002\u200b\u5982\u200b\u6709\u200b\u53c2\u6570\u200b\u9700\u8981\u200b\u53d8\u66f4\u200b\uff0c\u200b\u8bf7\u200b\u5220\u9664\u200b\u8be5\u200b ConfigMap\uff0c\u200b\u4fee\u6539\u200b\u540e\u200b\u518d\u200b\u5e94\u7528\u200b\u6b64\u200b ConfigMap\u3002</p> <p>\u200b\u5728\u200b <code>ovn-ic</code> \u200b\u5bb9\u5668\u200b\u5185\u200b\u901a\u8fc7\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u67e5\u770b\u200b\u662f\u5426\u200b\u5df2\u200b\u5efa\u7acb\u200b\u4e92\u8054\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b <code>ts</code>\uff1a</p> <pre><code># ovn-ic-sbctl show\navailability-zone az1\n    gateway deee03e0-af16-4f45-91e9-b50c3960f809\n        hostname: az1-gw\n        type: geneve\n            ip: 192.168.42.145\n        port ts-az1\n            transit switch: ts\n            address: [\"00:00:00:50:AC:8C 169.254.100.45/24\"]\navailability-zone az2\n    gateway e94cc831-8143-40e3-a478-90352773327b\n        hostname: az2-gw\n        type: geneve\n            ip: 192.168.42.149\n        port ts-az2\n            transit switch: ts\n            address: [\"00:00:00:07:4A:59 169.254.100.63/24\"]\n</code></pre> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u89c2\u5bdf\u200b\u903b\u8f91\u200b\u8def\u7531\u200b\u662f\u5426\u200b\u6709\u200b\u5b66\u4e60\u200b\u5230\u200b\u7684\u200b\u5bf9\u200b\u7aef\u200b\u8def\u7531\u200b\uff1a</p> <pre><code># kubectl ko nbctl lr-route-list ovn-cluster\nIPv4 Routes\n                10.42.1.1            169.254.100.45 dst-ip (learned)\n                10.42.1.3                100.64.0.2 dst-ip\n                10.16.0.2                100.64.0.2 src-ip\n                10.16.0.3                100.64.0.2 src-ip\n                10.16.0.4                100.64.0.2 src-ip\n                10.16.0.6                100.64.0.2 src-ip\n             10.17.0.0/16            169.254.100.45 dst-ip (learned)\n            100.65.0.0/16            169.254.100.45 dst-ip (learned)\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u5c1d\u8bd5\u200b\u5728\u200b\u96c6\u7fa4\u200b 1 \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b Pod \u200b\u5185\u200b\u76f4\u63a5\u200b <code>ping</code> \u200b\u96c6\u7fa4\u200b 2 \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b Pod IP \u200b\u89c2\u5bdf\u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u8054\u901a\u200b\u3002</p> <p>\u200b\u5bf9\u4e8e\u200b\u67d0\u4e2a\u200b\u4e0d\u60f3\u200b\u5bf9\u5916\u200b\u81ea\u52a8\u200b\u53d1\u5e03\u200b\u8def\u7531\u200b\u7684\u200b\u5b50\u7f51\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b Subnet \u200b\u91cc\u200b\u7684\u200b <code>disableInterConnection</code> \u200b\u6765\u200b\u7981\u6b62\u200b\u8def\u7531\u200b\u5e7f\u64ad\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: no-advertise\nspec:\n  cidrBlock: 10.199.0.0/16\n  disableInterConnection: true\n</code></pre>"},{"location":"advance/with-ovn-ic/#_3","title":"\u624b\u52a8\u200b\u8def\u7531\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5bf9\u4e8e\u200b\u96c6\u7fa4\u200b\u95f4\u200b\u5b58\u5728\u200b\u91cd\u53e0\u200b CIDR \u200b\u53ea\u200b\u5e0c\u671b\u200b\u505a\u200b\u90e8\u5206\u200b\u5b50\u7f51\u200b\u6253\u901a\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u624b\u52a8\u200b\u53d1\u5e03\u200b\u5b50\u200b\u7f51\u8def\u200b\u7531\u200b\u3002</p> <p>\u200b\u5728\u200b <code>kube-system</code> Namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b <code>ovn-ic-config</code> ConfigMap\uff0c\u200b\u5e76\u200b\u5c06\u200b <code>auto-route</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3\"\n  ic-nb-port: \"6645\" \n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"false\"\n</code></pre> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u5206\u522b\u200b\u67e5\u770b\u200b\u8fdc\u7aef\u200b\u903b\u8f91\u200b\u7aef\u53e3\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u7528\u4e8e\u200b\u4e4b\u540e\u200b\u624b\u52a8\u200b\u914d\u7f6e\u200b\u8def\u7531\u200b\uff1a</p> <pre><code>[root@az1 ~]# kubectl ko nbctl show\nswitch a391d3a1-14a0-4841-9836-4bd930c447fb (ts)\n    port ts-az1\n        type: router\n        router-port: az1-ts\n    port ts-az2\n        type: remote\n        addresses: [\"00:00:00:4B:E2:9F 169.254.100.31/24\"]\n\n[root@az2 ~]# kubectl ko nbctl show\nswitch da6138b8-de81-4908-abf9-b2224ec4edf3 (ts)\n    port ts-az2\n        type: router\n        router-port: az2-ts\n    port ts-az1\n        type: remote\n        addresses: [\"00:00:00:FB:2A:F7 169.254.100.79/24\"]        \n</code></pre> <p>\u200b\u7531\u200b\u4e0a\u200b\u8f93\u51fa\u200b\u53ef\u77e5\u200b\uff0c\u200b\u96c6\u7fa4\u200b <code>az1</code> \u200b\u5230\u200b \u200b\u96c6\u7fa4\u200b <code>az2</code> \u200b\u7684\u200b\u8fdc\u7aef\u200b\u5730\u5740\u200b\u4e3a\u200b <code>169.254.100.31</code>\uff0c<code>az2</code> \u200b\u5230\u200b <code>az1</code> \u200b\u7684\u200b\u8fdc\u7aef\u200b\u5730\u5740\u200b\u4e3a\u200b <code>169.254.100.79</code>\u3002</p> <p>\u200b\u4e0b\u9762\u200b\u624b\u52a8\u200b\u8bbe\u7f6e\u200b\u8def\u7531\u200b\uff0c\u200b\u5728\u200b\u8be5\u200b\u4f8b\u5b50\u200b\u4e2d\u200b\uff0c\u200b\u96c6\u7fa4\u200b <code>az1</code> \u200b\u5185\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>10.16.0.0/24</code>\uff0c\u200b\u96c6\u7fa4\u200b <code>az2</code> \u200b\u5185\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>10.17.0.0/24</code>\u3002</p> <p>\u200b\u5728\u200b\u96c6\u7fa4\u200b <code>az1</code> \u200b\u8bbe\u7f6e\u200b\u5230\u200b\u96c6\u7fa4\u200b <code>az2</code> \u200b\u7684\u200b\u8def\u7531\u200b:</p> <pre><code>kubectl ko nbctl lr-route-add ovn-cluster 10.17.0.0/24 169.254.100.31\n</code></pre> <p>\u200b\u5728\u200b\u96c6\u7fa4\u200b <code>az2</code> \u200b\u8bbe\u7f6e\u200b\u5230\u200b\u96c6\u7fa4\u200b <code>az1</code> \u200b\u7684\u200b\u8def\u7531\u200b:</p> <pre><code>kubectl ko nbctl lr-route-add ovn-cluster 10.16.0.0/24 169.254.100.79\n</code></pre>"},{"location":"advance/with-ovn-ic/#ovn-ic_2","title":"\u9ad8\u200b\u53ef\u7528\u200b OVN-IC \u200b\u6570\u636e\u5e93\u200b\u90e8\u7f72","text":""},{"location":"advance/with-ovn-ic/#1_1","title":"\u9ad8\u200b\u53ef\u7528\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 1","text":"<p>\u200b\u4f18\u5148\u200b\u63a8\u8350\u200b\u65b9\u6848\u200b 1\uff0cKube-OVN v1.11.16 \u200b\u4e4b\u540e\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u65b9\u6cd5\u200b\u540c\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 1</p>"},{"location":"advance/with-ovn-ic/#2_1","title":"\u9ad8\u200b\u53ef\u7528\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 2","text":"<p><code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u4e4b\u95f4\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Raft \u200b\u534f\u8bae\u200b\u7ec4\u6210\u200b\u4e00\u4e2a\u200b\u9ad8\u200b\u53ef\u7528\u200b\u96c6\u7fa4\u200b\uff0c\u200b\u8be5\u200b\u90e8\u7f72\u200b\u6a21\u5f0f\u200b\u9700\u8981\u200b\u81f3\u5c11\u200b 3 \u200b\u4e2a\u200b\u8282\u70b9\u200b\u3002</p> <p>\u200b\u9996\u5148\u200b\u5728\u200b\u7b2c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u542f\u52a8\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b leader\u3002</p> <p>\u200b\u90e8\u7f72\u200b <code>docker</code> \u200b\u73af\u5883\u200b\u7684\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>docker run --name=ovn-ic-db -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --network=host --privileged -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn -e LOCAL_IP=\"192.168.65.3\"  -e NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"   kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>\u200b\u5982\u679c\u200b\u662f\u200b\u90e8\u7f72\u200b <code>containerd</code> \u200b\u7684\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>ctr -n k8s.io run -d --env \"ENABLE_OVN_LEADER_CHECK=\"false\"\" --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\"  --env=\"NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"\" --env=\"LOCAL_IP=\"192.168.65.3\"\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre> <ul> <li><code>LOCAL_IP</code>\uff1a \u200b\u5f53\u524d\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740\u200b\u3002</li> <li><code>NODE_IPS</code>\uff1a \u200b\u8fd0\u884c\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u4e09\u4e2a\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u4f7f\u7528\u200b\u9017\u53f7\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b\u3002</li> </ul> <p>\u200b\u63a5\u4e0b\u6765\u200b\uff0c\u200b\u5728\u200b\u53e6\u5916\u200b\u4e24\u4e2a\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b follower\u3002</p> <p>\u200b\u90e8\u7f72\u200b <code>docker</code> \u200b\u73af\u5883\u200b\u7684\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>docker run --name=ovn-ic-db -d --network=host --privileged -v /etc/ovn/:/etc/ovn -v /var/run/ovn:/var/run/ovn -v /var/log/ovn:/var/log/ovn -e LOCAL_IP=\"192.168.65.2\"  -e NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\" -e LEADER_IP=\"192.168.65.3\"  kubeovn/kube-ovn:v1.13.0 bash start-ic-db.sh\n</code></pre> <p>\u200b\u5982\u679c\u200b\u662f\u200b\u90e8\u7f72\u200b <code>containerd</code> \u200b\u7684\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>ctr -n k8s.io run -d --net-host --privileged --mount=\"type=bind,src=/etc/ovn/,dst=/etc/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/run/ovn,dst=/var/run/ovn,options=rbind:rw\" --mount=\"type=bind,src=/var/log/ovn,dst=/var/log/ovn,options=rbind:rw\"  --env=\"NODE_IPS=\"192.168.65.3,192.168.65.2,192.168.65.1\"\" --env=\"LOCAL_IP=\"192.168.65.2\"\" --env=\"LEADER_IP=\"192.168.65.3\"\" docker.io/kubeovn/kube-ovn:v1.13.0 ovn-ic-db bash start-ic-db.sh\n</code></pre> <ul> <li><code>LOCAL_IP</code>\uff1a \u200b\u5f53\u524d\u200b\u5bb9\u5668\u200b\u6240\u5728\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740\u200b\u3002</li> <li><code>NODE_IPS</code>\uff1a \u200b\u8fd0\u884c\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u4e09\u4e2a\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u4f7f\u7528\u200b\u9017\u53f7\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b\u3002</li> <li><code>LEADER_IP</code>: \u200b\u8fd0\u884c\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b leader \u200b\u8282\u70b9\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002</li> </ul> <p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u96c6\u7fa4\u200b\u521b\u5efa\u200b <code>ovn-ic-config</code> \u200b\u65f6\u200b\u6307\u5b9a\u200b\u591a\u4e2a\u200b <code>OVN-IC</code> \u200b\u6570\u636e\u5e93\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-ic-config\n  namespace: kube-system\ndata:\n  enable-ic: \"true\"\n  az-name: \"az1\" \n  ic-db-host: \"192.168.65.3,192.168.65.2,192.168.65.1\"\n  ic-nb-port: \"6645\"\n  ic-sb-port: \"6646\"\n  gw-nodes: \"az1-gw\"\n  auto-route: \"true\"\n</code></pre>"},{"location":"advance/with-ovn-ic/#ecmp","title":"\u652f\u6301\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b ECMP","text":"<p>\u200b\u524d\u63d0\u200b\u63a7\u5236\u5668\u200b\u662f\u200b\u6309\u7167\u200b\u5355\u200b\u8282\u70b9\u200b\u90e8\u7f72\u200b\u65b9\u6848\u200b 1\u200b\u90e8\u7f72\u200b</p> <p>\u200b\u8be5\u200b\u65b9\u6848\u200b\u9ed8\u8ba4\u200b\u652f\u6301\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b ECMP\uff0cECMP path \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 3\uff0c\u200b\u540c\u65f6\u200b\u4e5f\u200b\u652f\u6301\u200b\u4fee\u6539\u200b ECMP path \u200b\u6761\u6570\u200b\uff0c\u200b\u4f7f\u7528\u200b\u547d\u4ee4\u200b:</p> <pre><code>kubectl edit deployment ovn-ic-server -n kube-system\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u73af\u5883\u53d8\u91cf\u200b 'TS_NUM' \u200b\u6570\u503c\u200b\u5373\u53ef\u200b\uff0c<code>TS_NUM</code> \u200b\u8868\u793a\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u4e4b\u95f4\u200b\u8bbf\u95ee\u200b\u7684\u200b ECMP Path \u200b\u6761\u6570\u200b\u3002</p>"},{"location":"advance/with-ovn-ic/#_4","title":"\u624b\u52a8\u200b\u91cd\u7f6e","text":"<p>\u200b\u5728\u200b\u4e00\u4e9b\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u7531\u4e8e\u200b\u914d\u7f6e\u200b\u9519\u8bef\u200b\u9700\u8981\u200b\u5bf9\u200b\u6574\u4e2a\u200b\u4e92\u8054\u200b\u914d\u7f6e\u200b\u8fdb\u884c\u200b\u6e05\u7406\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u6e05\u7406\u200b\u73af\u5883\u200b\u3002</p> <p>\u200b\u5220\u9664\u200b\u5f53\u524d\u200b\u7684\u200b <code>ovn-ic-config</code> Configmap\uff1a</p> <pre><code>kubectl -n kube-system delete cm ovn-ic-config\n</code></pre> <p>\u200b\u5220\u9664\u200b <code>ts</code> \u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\uff1a</p> <pre><code>kubectl ko nbctl ls-del ts\n</code></pre> <p>\u200b\u5728\u200b\u5bf9\u200b\u7aef\u200b\u96c6\u7fa4\u200b\u91cd\u590d\u200b\u540c\u6837\u200b\u7684\u200b\u6b65\u9aa4\u200b\u3002</p>"},{"location":"advance/with-ovn-ic/#az-name","title":"\u4fee\u6539\u200b az-name","text":"<p>\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b <code>kubectl edit</code> \u200b\u7684\u200b\u65b9\u5f0f\u200b\u5bf9\u200b <code>ovn-ic-config</code> \u200b\u8fd9\u4e2a\u200b configmap \u200b\u4e2d\u200b\u7684\u200b <code>az-name</code> \u200b\u5b57\u200b\u6bb5\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002 \u200b\u4f46\u662f\u200b\u9700\u8981\u200b\u5728\u200b\u6bcf\u4e2a\u200b ovn-cni pod \u200b\u4e0a\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff0c\u200b\u5426\u5219\u200b\u53ef\u80fd\u200b\u51fa\u73b0\u200b\u6700\u957f\u200b 10 \u200b\u5206\u949f\u200b\u7684\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u4e2d\u65ad\u200b\u3002</p> <pre><code>ovn-appctl -t ovn-controller inc-engine/recompute\n</code></pre>"},{"location":"advance/with-ovn-ic/#_5","title":"\u6e05\u7406\u200b\u96c6\u7fa4\u200b\u4e92\u8054","text":"<p>\u200b\u5220\u9664\u200b\u6240\u6709\u200b\u96c6\u7fa4\u200b\u7684\u200b <code>ovn-ic-config</code> Configmap\uff1a</p> <pre><code>kubectl -n kube-system delete cm ovn-ic-config\n</code></pre> <p>\u200b\u5220\u9664\u200b\u6240\u6709\u200b\u96c6\u7fa4\u200b\u7684\u200b <code>ts</code> \u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\uff1a</p> <pre><code>kubectl ko nbctl ls-del ts\n</code></pre> <p>\u200b\u5220\u9664\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u63a7\u5236\u5668\u200b\uff0c\u200b\u5982\u679c\u200b\u662f\u200b\u9ad8\u200b\u53ef\u7528\u200b OVN-IC \u200b\u6570\u636e\u5e93\u200b\u90e8\u7f72\u200b\uff0c\u200b\u9700\u8981\u200b\u90fd\u200b\u6e05\u7406\u200b\u6389\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u63a7\u5236\u5668\u200b\u662f\u200b <code>docker</code> \u200b\u90e8\u7f72\u200b\u6267\u884c\u547d\u4ee4\u200b\uff1a</p> <pre><code>docker stop ovn-ic-db \ndocker rm ovn-ic-db\n</code></pre> <p>\u200b\u5982\u679c\u200b\u63a7\u5236\u5668\u200b\u662f\u200b <code>containerd</code> \u200b\u90e8\u7f72\u200b\u6267\u884c\u547d\u4ee4\u200b\uff1a</p> <pre><code>ctr -n k8s.io task kill ovn-ic-db\nctr -n k8s.io containers rm ovn-ic-db\n</code></pre> <p>\u200b\u5982\u679c\u200b\u63a7\u5236\u5668\u200b\u662f\u200b\u4f7f\u7528\u200b deployment <code>ovn-ic-server</code> \u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>kubectl delete deployment ovn-ic-server -n kube-system\n</code></pre> <p>\u200b\u7136\u540e\u200b\u5728\u200b\u6bcf\u4e2a\u200b master \u200b\u8282\u70b9\u200b\u4e0a\u200b\u6e05\u7406\u200b\u4e92\u8054\u200b\u76f8\u5173\u200b\u7684\u200b DB\uff0c\u200b\u547d\u4ee4\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>rm -f /etc/origin/ovn/ovn_ic_nb_db.db\nrm -f /etc/origin/ovn/ovn_ic_sb_db.db\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"advance/with-submariner/","title":"\u4f7f\u7528\u200b Submariner \u200b\u8fdb\u884c\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054","text":"<p>Submariner \u200b\u4f5c\u4e3a\u200b\u53ef\u4ee5\u200b\u6253\u901a\u200b\u591a\u4e2a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b Pod \u200b\u548c\u200b Service \u200b\u7f51\u7edc\u200b\u7684\u200b\u5f00\u6e90\u200b\u7f51\u7edc\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u80fd\u591f\u200b\u5e2e\u52a9\u200b  Kube-OVN \u200b\u5b9e\u73b0\u200b\u591a\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u3002</p> <p>\u200b\u76f8\u6bd4\u200b\u901a\u8fc7\u200b OVN-IC \u200b\u6253\u901a\u200b\u591a\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u7684\u200b\u65b9\u5f0f\u200b\uff0cSubmariner \u200b\u53ef\u4ee5\u200b\u6253\u901a\u200b Kube-OVN \u200b\u548c\u200b\u975e\u200b Kube-OVN \u200b\u7684\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e76\u200b \u200b\u80fd\u200b\u63d0\u4f9b\u200b Service \u200b\u7684\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u80fd\u529b\u200b\u3002\u200b\u4f46\u662f\u200b Submariner \u200b\u76ee\u524d\u200b\u53ea\u80fd\u200b\u5b9e\u73b0\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u7684\u200b\u6253\u901a\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u5b9e\u73b0\u200b\u591a\u5b50\u200b\u7f51\u200b\u9009\u62e9\u6027\u200b\u6253\u901a\u200b\u3002</p>"},{"location":"advance/with-submariner/#_1","title":"\u524d\u63d0\u6761\u4ef6","text":"<ul> <li>\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u7684\u200b Service CIDR \u200b\u548c\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u4e0d\u80fd\u200b\u91cd\u53e0\u200b\u3002</li> </ul>"},{"location":"advance/with-submariner/#submariner_1","title":"\u90e8\u7f72\u200b Submariner","text":"<p>\u200b\u4e0b\u8f7d\u200b <code>subctl</code> \u200b\u4e8c\u8fdb\u5236\u200b\u6587\u4ef6\u200b\uff0c\u200b\u5e76\u200b\u90e8\u7f72\u200b\u5230\u200b\u76f8\u5e94\u200b\u8def\u5f84\u200b\uff1a</p> <pre><code>curl -Ls https://get.submariner.io | bash\nexport PATH=$PATH:~/.local/bin\necho export PATH=\\$PATH:~/.local/bin &gt;&gt; ~/.profile\n</code></pre> <p>\u200b\u5207\u6362\u200b <code>kubeconfig</code> \u200b\u81f3\u200b\u5e0c\u671b\u200b\u90e8\u7f72\u200b <code>submariner-broker</code> \u200b\u7684\u200b\u96c6\u7fa4\u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\uff1a</p> <pre><code>subctl deploy-broker\n</code></pre> <p>\u200b\u5728\u200b\u672c\u200b\u6587\u6863\u200b\u4e2d\u200b <code>cluster0</code> \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>10.16.0.0/16</code>\uff0cjoin \u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>100.64.0.0/16</code>\uff0c<code>cluster1</code> \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b <code>11.16.0.0/16</code>\uff0cjoin \u200b\u5b50\u7f51\u200b CIDR \u200b\u4e3a\u200b '100.68.0.0/16'\u3002</p> <p>\u200b\u5207\u6362\u200b <code>kubeconfig</code> \u200b\u81f3\u200b <code>cluster0</code> \u200b\u6ce8\u518c\u200b\u96c6\u7fa4\u200b\u81f3\u200b broker\uff0c\u200b\u5e76\u200b\u6ce8\u518c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b:</p> <pre><code>subctl  join broker-info.subm --clusterid  cluster0 --clustercidr 100.64.0.0/16,10.16.0.0/16  --natt=false --cable-driver vxlan --health-check=false\nkubectl label nodes cluster0 submariner.io/gateway=true\n</code></pre> <p>\u200b\u5207\u6362\u200b <code>kubeconfig</code> \u200b\u81f3\u200b <code>cluster1</code> \u200b\u6ce8\u518c\u200b\u96c6\u7fa4\u200b\u81f3\u200b broker\uff0c\u200b\u5e76\u200b\u6ce8\u518c\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b:</p> <pre><code>subctl  join broker-info.subm --clusterid  cluster1 --clustercidr 100.68.0.0/16,11.16.0.0/16  --natt=false --cable-driver vxlan --health-check=false\nkubectl label nodes cluster1 submariner.io/gateway=true\n</code></pre> <p>\u200b\u5982\u679c\u200b\u6267\u884c\u200b <code>join</code> \u200b\u547d\u4ee4\u200b\u4e4b\u540e\u200b\u6ca1\u6709\u200b\u65b0\u200b\u7684\u200b <code>gateway, routeagent</code>pod \u200b\u51fa\u73b0\u200b\u7684\u8bdd\u200b, \u200b\u8bf7\u200b\u4e3a\u200b <code>submariner-operator</code> \u200b\u8fd9\u4e2a\u200b <code>clusterrole</code> \u200b\u589e\u52a0\u200b\u4ee5\u4e0b\u200b\u6743\u9650\u200b:</p> <pre><code>- apiGroups:\n  - \"apps\"\n  resources:\n  - daemonsets\n  verbs:\n  - create\n  - get\n  - list\n  - watch\n  - update\n</code></pre> <p>\u200b\u5bf9\u4e8e\u200b\u591a\u200b\u8282\u70b9\u200b\u7684\u200b\u96c6\u7fa4\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b\u9ed8\u8ba4\u200b\u7684\u200b <code>subnet</code> <code>ovn-default</code> \u200b\u7684\u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b\u6539\u4e3a\u200b <code>centralized</code>\u3002\u200b\u4e3a\u200b submariner \u200b\u914d\u7f6e\u200b\u7684\u200b <code>gateway</code> \u200b\u8282\u70b9\u200b\u9700\u8981\u200b\u548c\u200b <code>subnet</code> \u200b\u8282\u70b9\u200b\u5b8c\u5168\u76f8\u540c\u200b\u3002</p> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u5728\u200b\u4e24\u4e2a\u200b\u96c6\u7fa4\u200b\u5185\u200b\u5206\u522b\u200b\u542f\u52a8\u200b Pod \u200b\u5e76\u200b\u5c1d\u8bd5\u200b\u4f7f\u7528\u200b IP \u200b\u8fdb\u884c\u200b\u76f8\u4e92\u200b\u8bbf\u95ee\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u51fa\u73b0\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\u95ee\u9898\u200b\u53ef\u200b\u901a\u8fc7\u200b <code>subctl</code> \u200b\u547d\u4ee4\u200b\u8fdb\u884c\u200b\u8bca\u65ad\u200b\uff1a</p> <pre><code>subctl show all\nsubctl diagnose all\n</code></pre> <p>\u200b\u66f4\u200b\u591a\u200b Submariner \u200b\u76f8\u5173\u200b\u64cd\u4f5c\u200b\u8bf7\u200b\u67e5\u770b\u200b Submariner \u200b\u7528\u6237\u624b\u518c\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/custom-routes/","title":"\u81ea\u5b9a\u4e49\u200b\u8def\u7531","text":"<p>\u200b\u53ef\u4ee5\u200b\u5728\u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\u901a\u8fc7\u200b Annotations \u200b\u6765\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b\u7684\u200b\u8def\u7531\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: custom-routes\n  annotations:\n    ovn.kubernetes.io/routes: |\n      [{\n        \"dst\": \"192.168.0.101/24\",\n        \"gw\": \"10.16.0.254\"\n      }, {\n        \"gw\": \"10.16.0.254\"\n      }]\nspec:\n  containers:\n  - name: nginx\n    image: docker.io/library/nginx:alpine\n</code></pre> <p><code>dst</code> \u200b\u5b57\u6bb5\u200b\u4e3a\u200b\u7a7a\u200b\u8868\u793a\u200b\u4fee\u6539\u200b\u9ed8\u8ba4\u200b\u8def\u7531\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u4e3a\u200b Deployment\u3001DaemonSet \u200b\u6216\u200b StatefulSet\uff0c\u200b\u5bf9\u5e94\u200b\u7684\u200b Annotation \u200b\u9700\u8981\u200b\u914d\u7f6e\u200b\u5728\u200b\u8d44\u6e90\u200b\u7684\u200b <code>.spec.template.metadata.annotations</code> \u200b\u4e2d\u200b\uff0c\u200b\u793a\u4f8b\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: custom-routes\n  labels:\n    app: nginx\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: nginx\n  template:\n    metadata:\n      labels:\n        app: nginx\n      annotations:\n        ovn.kubernetes.io/routes: |\n          [{\n            \"dst\": \"192.168.0.101/24\",\n            \"gw\": \"10.16.0.254\"\n          }, {\n            \"gw\": \"10.16.0.254\"\n          }]\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/library/nginx:alpine\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/dual-stack/","title":"\u53cc\u6808\u200b\u4f7f\u7528","text":"<p>Kube-OVN \u200b\u4e2d\u200b\u4e0d\u540c\u200b\u7684\u200b\u5b50\u7f51\u200b\u53ef\u4ee5\u200b\u652f\u6301\u200b\u4e0d\u540c\u200b\u7684\u200b\u534f\u8bae\u200b\uff0c\u200b\u4e00\u4e2a\u200b\u96c6\u7fa4\u200b\u5185\u200b\u53ef\u4ee5\u200b\u540c\u65f6\u200b\u5b58\u5728\u200b IPv4\uff0cIPv6 \u200b\u548c\u200b\u53cc\u6808\u200b\u7c7b\u578b\u200b\u7684\u200b\u5b50\u7f51\u200b\u3002 \u200b\u6211\u4eec\u200b\u63a8\u8350\u200b\u4e00\u4e2a\u200b\u96c6\u7fa4\u200b\u5185\u200b\u4f7f\u7528\u200b\u7edf\u4e00\u200b\u7684\u200b\u534f\u8bae\u200b\u7c7b\u578b\u200b\u4ee5\u200b\u7b80\u5316\u200b\u4f7f\u7528\u200b\u548c\u200b\u7ef4\u62a4\u200b\u3002</p> <p>\u200b\u4e3a\u4e86\u200b\u652f\u6301\u200b\u53cc\u6808\u200b\uff0c\u200b\u9700\u8981\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u6ee1\u8db3\u200b\u53cc\u6808\u200b\u8981\u6c42\u200b\uff0c\u200b\u540c\u65f6\u200b\u9700\u8981\u200b\u5bf9\u200b Kubernetes \u200b\u76f8\u5173\u200b\u53c2\u6570\u200b\u505a\u200b\u8c03\u6574\u200b\uff0c \u200b\u8bf7\u200b\u53c2\u8003\u200b Kubernetes \u200b\u7684\u200b\u53cc\u6808\u200b\u5b98\u65b9\u200b\u6307\u5bfc\u200b\u3002</p>"},{"location":"guide/dual-stack/#_2","title":"\u521b\u5efa\u200b\u53cc\u6808\u200b\u5b50\u7f51","text":"<p>\u200b\u5728\u200b\u914d\u7f6e\u200b\u53cc\u6808\u200b\u65f6\u200b\uff0c\u200b\u53ea\u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u5b50\u7f51\u200b CIDR \u200b\u683c\u5f0f\u200b\u4e3a\u200b <code>cidr=&lt;IPv4 CIDR&gt;,&lt;IPv6 CIDR&gt;</code> \u200b\u5373\u53ef\u200b\u3002 CIDR \u200b\u987a\u5e8f\u200b\u8981\u6c42\u200b IPv4 \u200b\u5728\u200b\u524d\u200b\uff0cIPv6 \u200b\u5728\u200b\u540e\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata: \n  name: ovn-test\nspec:\n  cidrBlock: 10.16.0.0/16,fd00:10:16::/64\n  excludeIps:\n  - 10.16.0.1\n  - fd00:10:16::1\n  gateway: 10.16.0.1,fd00:10:16::1\n</code></pre> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u65f6\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b\u53cc\u6808\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u4fee\u6539\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>POD_CIDR=\"10.16.0.0/16,fd00:10:16::/64\"\nJOIN_CIDR=\"100.64.0.0/16,fd00:100:64::/64\"\n</code></pre>"},{"location":"guide/dual-stack/#pod","title":"\u67e5\u770b\u200b Pod \u200b\u5730\u5740","text":"<p>\u200b\u914d\u7f6e\u200b\u53cc\u6808\u200b\u7f51\u7edc\u200b\u7684\u200b Pod \u200b\u5c06\u4f1a\u200b\u4ece\u200b\u8be5\u200b\u5b50\u7f51\u200b\u540c\u65f6\u200b\u5206\u914d\u200b IPv4 \u200b\u548c\u200b IPv6 \u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u5206\u914d\u200b\u7ed3\u679c\u200b\u4f1a\u200b\u663e\u793a\u200b\u5728\u200b Pod \u200b\u7684\u200b annotation \u200b\u4e2d\u200b:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/allocated: \"true\"\n    ovn.kubernetes.io/cidr: 10.16.0.0/16,fd00:10:16::/64\n    ovn.kubernetes.io/gateway: 10.16.0.1,fd00:10:16::1\n    ovn.kubernetes.io/ip_address: 10.16.0.9,fd00:10:16::9\n    ovn.kubernetes.io/logical_switch: ovn-default\n    ovn.kubernetes.io/mac_address: 00:00:00:14:88:09\n    ovn.kubernetes.io/network_types: geneve\n    ovn.kubernetes.io/routed: \"true\"\n...\npodIP: 10.16.0.9\n  podIPs:\n  - ip: 10.16.0.9\n  - ip: fd00:10:16::9\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/eip-snat/","title":"EIP \u200b\u548c\u200b SNAT \u200b\u914d\u7f6e","text":"<p>\u200b\u8be5\u200b\u914d\u7f6e\u200b\u9488\u5bf9\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u8bf7\u200b\u53c2\u8003\u200b VPC \u200b\u7f51\u5173\u200b</p> <p>Kube-OVN \u200b\u652f\u6301\u200b\u5229\u7528\u200b OVN \u200b\u4e2d\u200b\u7684\u200b L3 Gateway \u200b\u529f\u80fd\u200b\u6765\u200b\u5b9e\u73b0\u200b Pod \u200b\u7ea7\u522b\u200b\u7684\u200b SNAT \u200b\u548c\u200b EIP \u200b\u529f\u80fd\u200b\u3002 \u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b SNAT\uff0c\u200b\u4e00\u7ec4\u200b Pod \u200b\u53ef\u4ee5\u200b\u5171\u4eab\u200b\u4e00\u4e2a\u200b IP \u200b\u5730\u5740\u200b\u5bf9\u5916\u200b\u8fdb\u884c\u200b\u8bbf\u95ee\u200b\u3002 \u200b\u901a\u8fc7\u200b EIP \u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u4e00\u4e2a\u200b Pod \u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u548c\u200b\u4e00\u4e2a\u200b\u5916\u90e8\u200b IP \u200b\u5173\u8054\u200b\uff0c \u200b\u5916\u90e8\u200b\u670d\u52a1\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b EIP \u200b\u76f4\u63a5\u200b\u8bbf\u95ee\u200b Pod\uff0cPod \u200b\u4e5f\u200b\u5c06\u200b\u901a\u8fc7\u200b\u8fd9\u4e2a\u200b EIP \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u670d\u52a1\u200b\u3002</p> <p></p>"},{"location":"guide/eip-snat/#_1","title":"\u51c6\u5907\u200b\u5de5\u4f5c","text":"<ul> <li>\u200b\u4e3a\u4e86\u200b\u4f7f\u7528\u200b OVN \u200b\u7684\u200b L3 Gateway \u200b\u80fd\u529b\u200b\uff0c\u200b\u5fc5\u987b\u200b\u5c06\u200b\u4e00\u4e2a\u200b\u5355\u72ec\u200b\u7684\u200b\u7f51\u5361\u200b\u63a5\u5165\u200b OVS \u200b\u7f51\u6865\u200b\u4e2d\u200b\u8fdb\u884c\u200b Overlay \u200b\u548c\u200b Underlay \u200b\u7f51\u7edc\u200b\u7684\u200b\u6253\u901a\u200b\uff0c \u200b\u4e3b\u673a\u200b\u5fc5\u987b\u200b\u6709\u200b\u5176\u4ed6\u200b\u7684\u200b\u7f51\u5361\u200b\u7528\u4e8e\u200b\u8fd0\u7ef4\u200b\u7ba1\u7406\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u7ecf\u8fc7\u200b NAT \u200b\u540e\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u4f1a\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b Underlay \u200b\u7f51\u7edc\u200b\uff0c\u200b\u5fc5\u987b\u200b\u786e\u8ba4\u200b\u5f53\u524d\u200b\u7684\u200b\u7f51\u7edc\u200b\u67b6\u6784\u200b\u4e0b\u200b\u6b64\u7c7b\u200b\u6570\u636e\u5305\u200b\u53ef\u4ee5\u200b\u5b89\u5168\u200b\u901a\u8fc7\u200b\u3002</li> <li>\u200b\u76ee\u524d\u200b EIP \u200b\u548c\u200b SNAT \u200b\u5730\u5740\u200b\u6ca1\u6709\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\uff0c\u200b\u9700\u8981\u200b\u7ba1\u7406\u5458\u200b\u624b\u52a8\u200b\u5206\u914d\u200b\u907f\u514d\u200b\u5730\u5740\u200b\u51b2\u7a81\u200b\u3002</li> </ul>"},{"location":"guide/eip-snat/#_2","title":"\u521b\u5efa\u200b\u914d\u7f6e\u6587\u4ef6","text":"<p>\u200b\u5728\u200b <code>kube-system</code> \u200b\u4e0b\u200b\u521b\u5efa\u200b ConfigMap <code>ovn-external-gw-config</code>\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: ovn-external-gw-config\n  namespace: kube-system\ndata:\n  enable-external-gw: \"true\"\n  external-gw-nodes: \"kube-ovn-worker\"\n  external-gw-nic: \"eth1\"\n  external-gw-addr: \"172.56.0.1/16\"\n  nic-ip: \"172.56.0.254/16\"\n  nic-mac: \"16:52:f3:13:6a:25\"\n</code></pre> <ul> <li><code>enable-external-gw</code>: \u200b\u662f\u5426\u200b\u5f00\u542f\u200b SNAT \u200b\u548c\u200b EIP \u200b\u529f\u80fd\u200b\u3002</li> <li><code>type</code>: <code>centrailized</code> \u200b\u6216\u200b <code>distributed</code>\uff0c \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>centralized</code> \u200b\u5982\u679c\u200b\u4f7f\u7528\u200b <code>distributed</code>\uff0c\u200b\u5219\u200b\u96c6\u7fa4\u200b\u6240\u6709\u200b\u8282\u70b9\u200b\u90fd\u200b\u9700\u8981\u200b\u6709\u200b\u540c\u540d\u200b\u7f51\u5361\u200b\u6765\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u529f\u80fd\u200b\u3002</li> <li><code>external-gw-nodes</code>: <code>centralized</code> \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u4f5c\u7528\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u200b\uff0c\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u3002</li> <li><code>external-gw-nic</code>: \u200b\u8282\u70b9\u200b\u4e0a\u200b\u627f\u62c5\u200b\u7f51\u5173\u200b\u4f5c\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\u540d\u200b\u3002</li> <li><code>external-gw-addr</code>: \u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u7f51\u5173\u200b\u7684\u200b IP \u200b\u548c\u200b\u63a9\u7801\u200b\u3002</li> <li><code>nic-ip</code>,<code>nic-mac</code>: \u200b\u5206\u914d\u200b\u7ed9\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\u7aef\u53e3\u200b\u7684\u200b IP \u200b\u548c\u200b Mac\uff0c\u200b\u9700\u4e3a\u200b\u7269\u7406\u200b\u6bb5\u200b\u672a\u200b\u88ab\u200b\u5360\u7528\u200b\u7684\u200b IP \u200b\u548c\u200b Mac\u3002</li> </ul>"},{"location":"guide/eip-snat/#ovn-ovs","title":"\u89c2\u5bdf\u200b OVN \u200b\u548c\u200b OVS \u200b\u72b6\u6001\u200b\u786e\u8ba4\u200b\u914d\u7f6e\u200b\u751f\u6548","text":"<p>\u200b\u68c0\u67e5\u200b OVN-NB \u200b\u72b6\u6001\u200b, \u200b\u786e\u8ba4\u200b <code>ovn-external</code> \u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u5b58\u5728\u200b\uff0c\u200b\u5e76\u4e14\u200b <code>ovn-cluster-ovn-external</code> \u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\u7aef\u53e3\u200b\u4e0a\u200b \u200b\u7ed1\u5b9a\u200b\u4e86\u200b\u6b63\u786e\u200b\u7684\u200b\u5730\u5740\u200b\u548c\u200b chassis\u3002</p> <pre><code># kubectl ko nbctl show\nswitch 3de4cea7-1a71-43f3-8b62-435a57ef16a6 (ovn-external)\n    port ln-ovn-external\n        type: localnet\n        addresses: [\"unknown\"]\n    port ovn-external-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-external\nrouter e1eb83ad-34be-4ed5-9a02-fcc8b1d357c4 (ovn-cluster)\n    port ovn-cluster-ovn-external\n        mac: \"ac:1f:6b:2d:33:f1\"\n        networks: [\"172.56.0.100/16\"]\n        gateway chassis: [a5682814-2e2c-46dd-9c1c-6803ef0dab66]\n</code></pre> <p>\u200b\u68c0\u67e5\u200b OVS \u200b\u72b6\u6001\u200b\uff0c\u200b\u786e\u8ba4\u200b\u76f8\u5e94\u200b\u7684\u200b\u7f51\u5361\u200b\u5df2\u7ecf\u200b\u6865\u63a5\u200b\u8fdb\u200b <code>br-external</code> \u200b\u7f51\u6865\u200b\uff1a</p> <pre><code># kubectl ko vsctl ${gateway node name} show\ne7d81150-7743-4d6e-9e6f-5c688232e130\n    Bridge br-external\n        Port br-external\n            Interface br-external\n                type: internal\n        Port eno2\n            Interface eno2\n        Port patch-ln-ovn-external-to-br-int\n            Interface patch-ln-ovn-external-to-br-int\n                type: patch\n                options: {peer=patch-br-int-to-ln-ovn-external}\n</code></pre>"},{"location":"guide/eip-snat/#pod-eip-snat","title":"Pod \u200b\u914d\u7f6e\u200b EIP \u200b\u548c\u200b SNAT","text":"<p>\u200b\u53ef\u200b\u901a\u8fc7\u200b\u5728\u200b Pod \u200b\u4e0a\u200b\u589e\u52a0\u200b <code>ovn.kubernetes.io/snat</code> \u200b\u6216\u200b <code>ovn.kubernetes.io/eip</code> annotation \u200b\u6765\u200b\u5206\u522b\u200b\u914d\u7f6e\u200b SNAT \u200b\u548c\u200b EIP\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: pod-gw\n  annotations:\n    ovn.kubernetes.io/snat: 172.56.0.200\nspec:\n  containers:\n  - name: snat-pod\n    image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  name: pod-gw\n  annotations:\n    ovn.kubernetes.io/eip: 172.56.0.233\nspec:\n  containers:\n  - name: eip-pod\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u53ef\u200b\u901a\u8fc7\u200b kubectl \u200b\u6216\u200b\u5176\u4ed6\u200b\u5de5\u5177\u200b\u52a8\u6001\u200b\u8c03\u6574\u200b Pod \u200b\u6240\u200b\u914d\u7f6e\u200b\u7684\u200b EIP \u200b\u6216\u200b SNAT \u200b\u89c4\u5219\u200b\uff0c\u200b\u66f4\u6539\u200b\u65f6\u8bf7\u200b\u6ce8\u610f\u200b\u8981\u200b\u540c\u65f6\u200b\u5220\u9664\u200b <code>ovn.kubernetes.io/routed</code> annotation \u200b\u89e6\u53d1\u200b\u8def\u7531\u200b\u7684\u200b\u53d8\u66f4\u200b\uff1a</p> <pre><code>kubectl annotate pod pod-gw ovn.kubernetes.io/eip=172.56.0.221 --overwrite\nkubectl annotate pod pod-gw ovn.kubernetes.io/routed-\n</code></pre> <p>\u200b\u5f53\u200b EIP \u200b\u6216\u200b SNAT \u200b\u89c4\u5219\u200b\u751f\u6548\u200b\u540e\u200b\uff0c<code>ovn.kubernetes.io/routed</code> annotation \u200b\u4f1a\u200b\u88ab\u200b\u91cd\u65b0\u200b\u6dfb\u52a0\u200b\u3002</p>"},{"location":"guide/eip-snat/#_3","title":"\u9ad8\u7ea7\u200b\u914d\u7f6e","text":"<p><code>kube-ovn-controller</code> \u200b\u7684\u200b\u90e8\u5206\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u53ef\u200b\u5bf9\u200b SNAT \u200b\u548c\u200b EIP \u200b\u529f\u80fd\u200b\u8fdb\u884c\u200b\u9ad8\u9636\u200b\u914d\u7f6e\u200b\uff1a</p> <ul> <li><code>--external-gateway-config-ns</code>: Configmap <code>ovn-external-gw-config</code> \u200b\u6240\u5c5e\u200b Namespace\uff0c \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>kube-system</code>\u3002</li> <li><code>--external-gateway-net</code>: \u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u6240\u200b\u6865\u63a5\u200b\u7684\u200b\u7f51\u6865\u200b\u540d\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>external</code>\u3002</li> <li><code>--external-gateway-vlanid</code>: \u200b\u7269\u7406\u200b\u7f51\u7edc\u200b Vlan Tag \u200b\u53f7\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 0\uff0c \u200b\u5373\u200b\u4e0d\u200b\u4f7f\u7528\u200b Vlan\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/ip/","title":"\u6307\u5b9a\u200b\u8d44\u6e90\u200b\u9884\u7559\u200b IP","text":"<p>IP \u200b\u7528\u4e8e\u200b\u7ef4\u62a4\u200b Pod \u200b\u6216\u8005\u200b VirtualMachine(VM) \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002IP \u200b\u7684\u200b\u751f\u547d\u5468\u671f\u200b\u7ef4\u62a4\u200b\u5305\u62ec\u200b\u4ee5\u4e0b\u200b\u4e1a\u52a1\u200b\u573a\u666f\u200b\uff1a</p> <ul> <li> <ol> <li>IP \u200b\u968f\u200b Pod \u200b\u521b\u5efa\u200b\uff0c\u200b\u4e5f\u200b\u968f\u200b Pod \u200b\u5220\u9664\u200b\u3002</li> </ol> </li> <li> <ol> <li>VM IP \u200b\u901a\u8fc7\u200b\u914d\u7f6e\u200b ENABLE_KEEP_VM_IP \u200b\u6765\u200b\u4fdd\u7559\u200b VM IP \u200b\u8d44\u6e90\u200b\uff0c\u200b\u8fd9\u79cd\u200b IP \u200b\u968f\u200b VM Pod \u200b\u521b\u5efa\u200b\uff0c\u200b\u4f46\u662f\u200b\u4e0d\u968f\u200b VM Pod \u200b\u5220\u9664\u200b\u3002</li> </ol> </li> <li> <ol> <li>Statefulset Pod IP \u200b\u4f1a\u200b\u6839\u636e\u200b Statefulset \u200b\u7684\u200b\u5bb9\u91cf\u200b\u4ee5\u53ca\u200b Pod \u200b\u5e8f\u5217\u53f7\u200b\u81ea\u52a8\u200b\u9009\u62e9\u200b\u662f\u5426\u200b\u4fdd\u7559\u200b Pod IP\u3002</li> </ol> </li> </ul> <p>\u200b\u5b9e\u9645\u4e0a\u200b\u5728\u200b\u4e1a\u52a1\u200b\u4f7f\u7528\u200b\u4e2d\u200b\uff0c\u200b\u5f80\u5f80\u200b\u9700\u8981\u200b\u63d0\u524d\u200b\u9884\u7559\u200b IP \u200b\u8d44\u6e90\u200b\uff0c \u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u4e1a\u52a1\u200b\u573a\u666f\u200b\u5305\u62ec\u200b\u5982\u4e0b\u200b\u4e24\u79cd\u200b\uff1a</p> <ul> <li> <ol> <li>Pod \u200b\u6216\u8005\u200b VM \u200b\u5df2\u7ecf\u200b\u521b\u5efa\u200b\uff0c\u200b\u9700\u8981\u200b\u9884\u7559\u200b IP</li> </ol> </li> <li> <ol> <li>Pod \u200b\u6216\u8005\u200b VM \u200b\u5c1a\u672a\u200b\u521b\u5efa\u200b\uff0c\u200b\u9700\u8981\u200b\u9884\u7559\u200b IP</li> </ol> </li> </ul> <p>\u200b\u4ee5\u4e0a\u200b\u8fd9\u200b\u51e0\u79cd\u200b\u573a\u666f\u200b\uff0cIP \u200b\u548c\u200b Pod \u200b\u5728\u200b\u547d\u540d\u200b\u4e0a\u200b\u7684\u200b\u5bf9\u5e94\u200b\u5173\u7cfb\u200b\u4fdd\u6301\u4e00\u81f4\u200b:</p> <ul> <li>Pod IP \u200b\u7684\u200b\u547d\u540d\u200b\u683c\u5f0f\u200b: Pod-name.Pod-namespace(.subnet-provider)</li> <li>VM Pod IP \u200b\u7684\u200b\u547d\u540d\u200b\u683c\u5f0f\u200b: vm-name.Pod-namespace.(subnet-provider)</li> </ul> <p>\u200b\u5982\u679c\u200b\u4e0d\u200b\u786e\u5b9a\u200b\u8fd9\u4e9b\u200b\u53c2\u6570\u200b\uff0c\u200b\u53ea\u662f\u200b\u60f3\u200b\u7b80\u5355\u200b\u9884\u7559\u200b IP\uff0c\u200b\u8bf7\u200b\u4f7f\u7528\u200b IP Pool\u3002</p> <p>\u200b\u5177\u4f53\u6765\u8bf4\u200b\uff0c\u200b\u8fd9\u4e2a\u200b\u529f\u80fd\u200b\u662f\u200b\u6307\u5b9a\u200b Pod \u200b\u6216\u8005\u200b VM \u200b\u9884\u7559\u200b IP\uff0c \u200b\u5728\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u521b\u5efa\u200b\u6d41\u7a0b\u200b\u4e2d\u200b\uff0c\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b\u8d44\u6e90\u200b\u540d\u200b\uff0c\u200b\u8d44\u6e90\u7c7b\u578b\u200b\uff0c\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\uff0c\u200b\u5b50\u7f51\u200b\u7b49\u200b\u5fc5\u8981\u200b\u53c2\u6570\u200b\u3002\u200b\u56fa\u5b9a\u200b IP \u200b\u9884\u7559\u200b\uff0c\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b ip \u200b\u5730\u5740\u200b\uff0cMAC \u200b\u5730\u5740\u200b\uff08\u200b\u5982\u200b\u6709\u200b\u9700\u8981\u200b\uff09\u3002</p> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u4e4b\u524d\u200b\u5b9e\u73b0\u200b\u7684\u200b Pod \u200b\u4f7f\u7528\u200b vip \u200b\u5360\u7528\u200b IP \u200b\u7684\u200b\u65b9\u5f0f\u200b\u5f03\u7528\u200b\u3002\uff08\u200b\u8fd9\u200b\u4e24\u79cd\u200b\u529f\u80fd\u200b\u91cd\u53e0\u200b\uff09</p>"},{"location":"guide/ip/#ip_1","title":"\u4e00\u200b\u3001\u200b\u521b\u5efa\u200b\u9884\u7559\u200b IP","text":"<ul> <li>Pod \u200b\u6216\u8005\u200b VM \u200b\u5df2\u7ecf\u200b\u521b\u5efa\u200b\uff0c\u200b\u9700\u8981\u200b\u9884\u7559\u200b IP</li> <li>Pod \u200b\u6216\u8005\u200b VM \u200b\u5c1a\u672a\u200b\u521b\u5efa\u200b\uff0c\u200b\u9700\u8981\u200b\u9884\u7559\u200b IP</li> </ul> <p>\u200b\u9884\u7559\u200b IP \u200b\u53ea\u662f\u200b\u4e00\u4e2a\u200b\u6269\u5c55\u200b\u529f\u80fd\u200b\uff0c\u200b\u652f\u6301\u200b Pod \u200b\u4f7f\u7528\u200b\u9884\u7559\u200b\u7684\u200b IP\uff0c\u200b\u4f46\u662f\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\uff0c\u200b\u547d\u540d\u200b\u89c4\u5219\u200b\u548c\u200b IP \u200b\u968f\u200b Pod \u200b\u800c\u200b\u521b\u5efa\u200b\u7684\u200b\u4e1a\u52a1\u200b\u903b\u8f91\u200b\u4e00\u81f4\u200b\u3002 \u200b\u6240\u4ee5\u200b\u9884\u7559\u200b IP \u200b\u521b\u5efa\u200b\u65f6\u200b\u9700\u8981\u200b\u660e\u786e\u200b\u8be5\u200b IP \u200b\u540e\u7eed\u200b\u88ab\u200b\u4ec0\u4e48\u200b\u8d44\u6e90\u200b\u4f7f\u7528\u200b\uff0c\u200b\u5fc5\u987b\u200b\u51c6\u786e\u200b\u586b\u5199\u200b\u7c7b\u578b\u200b\uff0cPod \u200b\u540d\u200b\u6216\u8005\u200b VM \u200b\u540d\u200b\uff0cnamespace\uff0c\u200b\u5b50\u7f51\u200b\u7b49\u200b\u4fe1\u606f\u200b\u3002 \u200b\u5f53\u200b\u4f7f\u7528\u200b\u8fd9\u4e2a\u200b IP \u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u4e1a\u52a1\u200b\u9700\u8981\u200b\u6821\u9a8c\u200b IP \u200b\u7ed1\u5b9a\u200b\u5230\u200b\u7684\u200b Pod \u200b\u548c\u200b VM \u200b\u662f\u5426\u200b\u548c\u200b IP \u200b\u672c\u8eab\u200b\u7684\u200b\u5c5e\u6027\u200b\u4e00\u81f4\u200b\uff0c\u200b\u5426\u5219\u200b Pod \u200b\u6216\u8005\u200b VM \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u8be5\u200b IP\u3002</p> <p>IP CR \u200b\u63a7\u5236\u5668\u200b\u7684\u200b\u521b\u5efa\u200b\u8fc7\u7a0b\u200b\u4ec5\u200b\u5904\u7406\u200b\u9884\u7559\u200b IP \u200b\u4e1a\u52a1\u200b\u573a\u666f\u200b\uff0c\u200b\u4e0d\u200b\u5904\u7406\u200b\u968f\u200b Pod \u200b\u521b\u5efa\u200b\u7684\u200b IP \u200b\u8d44\u6e90\u200b\u3002 \u200b\u968f\u200b Pod \u200b\u521b\u5efa\u200b\u7684\u200b IP \u200b\u8d44\u6e90\u200b\u6d41\u7a0b\u200b\u4e2d\u200b\uff0cLSP \u200b\u7684\u200b\u521b\u5efa\u200b\u5728\u200b IP CR \u200b\u7684\u200b\u521b\u5efa\u200b\u4e4b\u524d\u200b\uff0c\u200b\u6240\u4ee5\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b LSP \u200b\u6709\u65e0\u200b\u6765\u200b\u5224\u65ad\u200b\uff0c\u200b\u5728\u200b IP CR \u200b\u63a7\u5236\u5668\u200b\u7684\u200b\u5904\u7406\u8fc7\u7a0b\u200b\u4e2d\u200b\uff0c\u200b\u4f1a\u5148\u200b\u5224\u65ad\u200b\u662f\u5426\u200b\u5b58\u5728\u200b LSP\uff0c\u200b\u5982\u679c\u200b\u5b58\u5728\u200b\u5219\u200b\u4e0d\u200b\u5904\u7406\u200b\u8be5\u200b\u4e1a\u52a1\u200b\u903b\u8f91\u200b\uff1aIP \u200b\u968f\u200b Pod \u200b\u521b\u5efa\u200b\u7684\u200b\u4e1a\u52a1\u200b\u903b\u8f91\u200b\u3002 \u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u521b\u5efa\u200b\u652f\u6301\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b IP \u200b\u4ee5\u53ca\u200b\u624b\u52a8\u200b\u6307\u5b9a\u200b IP\uff0cIP \u200b\u7684\u200b\u521b\u5efa\u200b\u8fc7\u7a0b\u200b\u4e2d\u200b\u53ea\u4f1a\u200b\u5b9e\u73b0\u200b IP \u200b\u5360\u4f4d\u200b\uff0c\u200b\u800c\u200b\u4e0d\u4f1a\u200b\u521b\u5efa\u200b LSP\u3002 LSP \u200b\u7684\u200b\u521b\u5efa\u200b\u8fd8\u662f\u200b\u7ef4\u62a4\u200b\u5728\u200b Pod \u200b\u521b\u5efa\u200b\u6d41\u7a0b\u200b\u4e2d\u200b\u3002 IP CR \u200b\u7684\u200b\u521b\u5efa\u200b\u8fc7\u7a0b\u200b\u4e5f\u200b\u5c31\u662f\u200b\u4ec5\u200b\u5b9e\u73b0\u200b IP \u200b\u7684\u200b\u9884\u7559\u200b\uff0c\u200b\u8fd9\u79cd\u200b IP \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u6dfb\u52a0\u200b\u4e00\u4e2a\u200b keep-ip \u200b\u7684\u200b label\uff0c\u200b\u8868\u660e\u200b\u6c38\u4e45\u200b\u9884\u7559\u200b\u4e0d\u4f1a\u200b\u968f\u200b Pod \u200b\u5220\u9664\u200b\u800c\u200b\u6e05\u7406\u200b\u3002\u200b\u9700\u8981\u200b\u4e1a\u52a1\u200b\u6216\u8005\u200b\u7ba1\u7406\u5458\u200b\u6765\u200b\u7ba1\u7406\u200b\u8fd9\u79cd\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u6e05\u7406\u200b\uff0cGC \u200b\u4e0d\u4f1a\u200b\u81ea\u52a8\u200b\u5904\u7406\u200b\u8be5\u200b IP\u3002</p>"},{"location":"guide/ip/#11-ip","title":"1.1 \u200b\u9884\u7559\u200b IP \u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u5730\u5740","text":"<p>\u200b\u5982\u679c\u200b\u53ea\u662f\u200b\u4e3a\u4e86\u200b\u9884\u7559\u200b\u82e5\u5e72\u200b IP \u200b\u800c\u200b\u5bf9\u200b IP \u200b\u5730\u5740\u200b\u672c\u8eab\u200b\u6ca1\u6709\u200b\u8981\u6c42\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u521b\u5efa\u200b\uff1a</p> <pre><code># cat 01-dynamic.yaml\n\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  name: vm-dynamic-01.default\nspec:\n  subnet: ovn-default\n  podType: \"VirtualMachine\"\n  namespace: default\n  podName: vm-dynamic-01\n</code></pre> <ul> <li><code>subnet</code>: \u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b Subnet \u200b\u4e2d\u200b\u9884\u7559\u200b IP\u3002</li> <li><code>podType</code>: \u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b Pod \u200b\u7684\u200b Owner \u200b\u7c7b\u578b\u200b: \"StatefulSet\", \"VirtualMachine\"\u3002</li> <li><code>podName</code>: IP \u200b\u5c5e\u6027\u200b\u4e2d\u200b\u7684\u200b podName \u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b\u4f7f\u7528\u200b\u8be5\u200b IP \u200b\u8d44\u6e90\u200b\u7684\u200b\u540d\u5b57\u200b\uff0cPod \u200b\u6216\u8005\u200b VirtualMachine \u200b\u7684\u200b\u540d\u5b57\u200b\u3002</li> <li><code>namespace</code>: \u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b\u4f7f\u7528\u200b\u8be5\u200b IP \u200b\u8d44\u6e90\u200b\u6240\u5728\u200b\u7684\u200b namespace\uff0cPod \u200b\u6216\u8005\u200b VirtualMachine namespace\u3002</li> </ul> <p>\u200b\u6ce8\u610f\u200b\uff1a \u200b\u8fd9\u4e9b\u200b IP \u200b\u5c5e\u6027\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u53d8\u66f4\u200b</p> <p>\u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\u67e5\u8be2\u200b\u8be5\u200b IP\uff1a</p> <pre><code># kubectl get subnet ovn-default\nNAME          PROVIDER   VPC           PROTOCOL   CIDR           PRIVATE   NAT    DEFAULT   GATEWAYTYPE   V4USED   V4AVAILABLE   V6USED   V6AVAILABLE   EXCLUDEIPS      U2OINTERCONNECTIONIP\novn-default   ovn        ovn-cluster   IPv4       10.16.0.0/16   false     true   true      distributed   7        65526         0        0             [\"10.16.0.1\"]\n\n# kubectl get ip vm-dynamic-01.default -o yaml\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  annotations:\n    kubectl.kubernetes.io/last-applied-configuration: |\n      {\"apiVersion\":\"kubeovn.io/v1\",\"kind\":\"IP\",\"metadata\":{\"annotations\":{},\"name\":\"vm-dynamic-01.default\"},\"spec\":{\"namespace\":\"default\",\"podName\":\"vm-dynamic-01\",\"podType\":\"VirtualMachine\",\"subnet\":\"ovn-default\"}}\n  creationTimestamp: \"2024-01-29T03:05:40Z\"\n  finalizers:\n  - kube-ovn-controller\n  generation: 2\n  labels:\n    ovn.kubernetes.io/ip_reserved: \"true\" # \u200b\u9884\u7559\u200b IP \u200b\u6807\u8bc6\u200b\n    ovn.kubernetes.io/node-name: \"\"\n    ovn.kubernetes.io/subnet: ovn-default\n  name: vm-dynamic-01.default\n  resourceVersion: \"1571\"\n  uid: 89d05a26-294a-450b-ab63-1eaa957984d7\nspec:\n  attachIps: []\n  attachMacs: []\n  attachSubnets: []\n  containerID: \"\"\n  ipAddress: 10.16.0.13\n  macAddress: 00:00:00:86:C6:36\n  namespace: default\n  nodeName: \"\"\n  podName: vm-dynamic-01\n  podType: VirtualMachine\n  subnet: ovn-default\n  v4IpAddress: 10.16.0.13\n  v6IpAddress: \"\"\n\n# kubectl ko nbctl show ovn-default | grep vm-dynamic-01.default\n# \u200b\u9884\u7559\u200b IP\uff0c\u200b\u4ec5\u200b\u5728\u200b IPAM \u200b\u4e2d\u200b\u5206\u914d\u200b\u5730\u5740\u200b\uff0c\u200b\u4e0d\u200b\u521b\u5efa\u200b LSP\uff0c\u200b\u6240\u4ee5\u200b\u67e5\u770b\u200b\u4e0d\u5230\u200b\n</code></pre>"},{"location":"guide/ip/#12-ip","title":"1.2 \u200b\u6307\u5b9a\u200b\u5730\u5740\u200b\u9884\u7559\u200b IP","text":"<p>\u200b\u5982\u5bf9\u200b\u9884\u7559\u200b\u7684\u200b IP \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u6709\u200b\u9700\u6c42\u200b\u53ef\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u56fa\u5b9a\u200b\u5206\u914d\u200b\uff1a</p> <pre><code># cat  02-static.yaml\n\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  name: pod-static-01.default\nspec:\n  subnet: ovn-default\n  podType: \"\"\n  namespace: default\n  podName: pod-static-01\n  v4IpAddress: 10.16.0.3\n  v6IpAddress:\n\n# kubectl get ip pod-static-01.default -o yaml\napiVersion: kubeovn.io/v1\nkind: IP\nmetadata:\n  annotations:\n    kubectl.kubernetes.io/last-applied-configuration: |\n      {\"apiVersion\":\"kubeovn.io/v1\",\"kind\":\"IP\",\"metadata\":{\"annotations\":{},\"name\":\"pod-static-01.default\"},\"spec\":{\"namespace\":\"default\",\"podName\":\"pod-static-01\",\"podType\":\"\",\"subnet\":\"ovn-default\",\"v4IpAddress\":\"10.16.0.3\",\"v6IpAddress\":null}}\n  creationTimestamp: \"2024-01-29T03:08:28Z\"\n  finalizers:\n  - kube-ovn-controller\n  generation: 2\n  labels:\n    ovn.kubernetes.io/ip_reserved: \"true\"\n    ovn.kubernetes.io/node-name: \"\"\n    ovn.kubernetes.io/subnet: ovn-default\n  name: pod-static-01.default\n  resourceVersion: \"1864\"\n  uid: 11fc767d-f57d-4520-89f9-448f9b272bca\nspec:\n  attachIps: []\n  attachMacs: []\n  attachSubnets: []\n  containerID: \"\"\n  ipAddress: 10.16.0.3\n  macAddress: 00:00:00:4D:B4:36\n  namespace: default\n  nodeName: \"\"\n  podName: pod-static-01\n  podType: \"\"\n  subnet: ovn-default\n  v4IpAddress: 10.16.0.3\n  v6IpAddress: \"\"\n</code></pre> <ul> <li><code>v4IpAddress</code>: \u200b\u6307\u5b9a\u200b IPv4 \u200b\u5730\u5740\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u9700\u5728\u200b <code>subnet</code> \u200b\u7684\u200b CIDR \u200b\u8303\u56f4\u200b\u5185\u200b\u3002</li> <li><code>v6IpAddress</code>: \u200b\u6307\u5b9a\u200b IPv6 \u200b\u5730\u5740\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u9700\u5728\u200b <code>subnet</code> \u200b\u7684\u200b CIDR \u200b\u8303\u56f4\u200b\u5185\u200b\u3002</li> </ul>"},{"location":"guide/ip/#pod-ip","title":"Pod \u200b\u4f7f\u7528\u200b\u9884\u7559\u200b IP","text":"<p>\u200b\u6ce8\u610f\u200b: Pod \u200b\u7684\u200b\u540d\u5b57\u200b\u4ee5\u53ca\u200b namespace \u200b\u5fc5\u987b\u200b\u548c\u200b\u9884\u7559\u200b IP \u200b\u7684\u200b\u5c5e\u6027\u200b\u4e00\u81f4\u200b\uff0c\u200b\u5426\u5219\u200b Pod \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u8be5\u200b IP\u3002VM \u200b\u4e5f\u200b\u662f\u200b\u5982\u6b64\u200b\u3002</p> <p>\u200b\u5220\u9664\u200b Pod \u200b\u6216\u8005\u200b VM \u200b\u540e\u200b\uff0c \u200b\u8be5\u200b IP CR \u200b\u4f9d\u7136\u200b\u4fdd\u7559\u200b\u3002</p> <pre><code>root@base:~/test/ip# kubectl get po -n default -o wide\nNAME            READY   STATUS    RESTARTS   AGE   IP          NODE              NOMINATED NODE   READINESS GATES\npod-static-01   1/1     Running   0          30s   10.16.0.3   kube-ovn-worker   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"guide/ip/#_1","title":"\u4e8c\u200b\u3001\u200b\u5220\u9664","text":"<p>kube-ovn-controller GC \u200b\u6d41\u7a0b\u200b\u4e0d\u4f1a\u200b\u6e05\u7406\u200b\u72ec\u7acb\u200b\u7684\u200b IP \u200b\u8d44\u6e90\u200b\u3002\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u6e05\u7406\u200b IP \u200b\u4ee5\u53ca\u200b\u5b83\u200b\u7684\u200b LSP\uff0c\u200b\u8bf7\u200b\u76f4\u63a5\u200b\u5220\u9664\u200b IP CR \u200b\u8d44\u6e90\u200b\u3002</p> <p>IP \u200b\u7684\u200b\u5220\u9664\u200b\u6d41\u7a0b\u200b\u4f1a\u200b\u57fa\u4e8e\u200b IP \u200b\u5c5e\u6027\u200b\u4e2d\u200b\u7684\u200b podName \u200b\u548c\u200b namespace \u200b\u4ee5\u53ca\u200b subnet provider \u200b\u683c\u5f0f\u5316\u200b\u51fa\u200b ipam key\uff0cLSP \u200b\u540d\u200b\uff0c\u200b\u91ca\u653e\u200b IPAM \u200b\u5360\u4f4d\u200b\uff0c\u200b\u5220\u9664\u200b LSP\uff0c\u200b\u4ee5\u53ca\u200b\u6e05\u7406\u200b IP \u200b\u672c\u8eab\u200b\u7684\u200b Finalizer\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/ippool/","title":"IP \u200b\u6c60\u200b\u4f7f\u7528","text":"<p>IP \u200b\u6c60\u200b\uff08IPPool\uff09\u200b\u662f\u200b\u6bd4\u200b\u5b50\u7f51\u200b\uff08Subnet\uff09\u200b\u66f4\u7ec6\u200b\u529b\u5ea6\u200b\u7684\u200b IPAM \u200b\u7ba1\u7406\u200b\u5355\u5143\u200b\u3002\u200b\u4f60\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b IP \u200b\u6c60\u5c06\u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b\u7ec6\u5206\u200b\u4e3a\u200b\u591a\u4e2a\u200b\u5355\u5143\u200b\uff0c\u200b\u6bcf\u4e2a\u200b\u5355\u5143\u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b\u6216\u200b\u591a\u4e2a\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\uff08Namespace\uff09\u3002</p>"},{"location":"guide/ippool/#_1","title":"\u4f7f\u7528\u200b\u65b9\u6cd5","text":"<p>\u200b\u4f7f\u7528\u200b\u793a\u4f8b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: IPPool\nmetadata:\n  name: pool-1\nspec:\n  subnet: ovn-default\n  ips:\n  - \"10.16.0.201\"\n  - \"10.16.0.210/30\"\n  - \"10.16.0.220..10.16.0.230\"\n  namespaces:\n  - ns-1\n</code></pre> <p>\u200b\u5b57\u200b\u6bb5\u200b\u8bf4\u660e\u200b\uff1a</p> \u200b\u540d\u79f0\u200b \u200b\u7528\u9014\u200b \u200b\u5907\u6ce8\u200b subnet \u200b\u6307\u5b9a\u200b\u6240\u5c5e\u200b\u5b50\u7f51\u200b \u200b\u5fc5\u586b\u200b ips \u200b\u6307\u5b9a\u200b\u5305\u542b\u200b\u7684\u200b IP \u200b\u8303\u56f4\u200b \u200b\u652f\u6301\u200b \u3001 \u200b\u4ee5\u53ca\u200b .. \u200b\u4e09\u79cd\u200b\u683c\u5f0f\u200b\uff0c\u200b\u652f\u6301\u200b IPv6\u3002 namespaces \u200b\u7ed1\u5b9a\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b \u200b\u53ef\u200b\u9009"},{"location":"guide/ippool/#_2","title":"\u6ce8\u610f\u4e8b\u9879","text":"<ol> <li>\u200b\u4e3a\u200b\u4fdd\u8bc1\u200b\u4e0e\u200b Workload \u200b\u901a\u7528\u200b IP Pool \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b \u200b\u7684\u200b\u517c\u5bb9\u6027\u200b\uff0cIP \u200b\u6c60\u200b\u7684\u200b\u540d\u79f0\u200b\u4e0d\u80fd\u200b\u662f\u200b\u4e00\u4e2a\u200b IP \u200b\u5730\u5740\u200b\uff1b</li> <li>IP \u200b\u6c60\u200b\u7684\u200b <code>.spec.ips</code> \u200b\u53ef\u200b\u6307\u5b9a\u200b\u8d85\u51fa\u200b\u5b50\u7f51\u200b\u8303\u56f4\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u4f46\u200b\u5b9e\u9645\u200b\u6709\u6548\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u662f\u200b <code>.spec.ips</code> \u200b\u4e0e\u200b\u5b50\u7f51\u200b CIDR \u200b\u7684\u200b\u4ea4\u96c6\u200b\uff1b</li> <li>\u200b\u540c\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b\u4e0d\u540c\u200b IP \u200b\u6c60\u200b\uff0c\u200b\u4e0d\u80fd\u200b\u5305\u542b\u200b\u76f8\u540c\u200b\u7684\u200b\uff08\u200b\u6709\u6548\u200b\uff09IP \u200b\u5730\u5740\u200b\uff1b</li> <li>IP \u200b\u6c60\u200b\u7684\u200b <code>.spec.ips</code> \u200b\u53ef\u200b\u52a8\u6001\u200b\u4fee\u6539\u200b\uff1b</li> <li>IP \u200b\u6c60\u4f1a\u200b\u7ee7\u627f\u200b\u5b50\u7f51\u200b\u7684\u200b\u4fdd\u7559\u200b IP\uff0c\u200b\u4ece\u200b IP \u200b\u6c60\u200b\u968f\u673a\u200b\u5206\u914d\u200b IP \u200b\u5730\u5740\u200b\u65f6\u200b\uff0c\u200b\u4f1a\u200b\u8df3\u200b\u8fc7\u200b\u5305\u542b\u200b\u5728\u200b IP \u200b\u6c60\u4e2d\u200b\u7684\u200b\u4fdd\u7559\u200b IP\uff1b</li> <li>\u200b\u4ece\u200b\u5b50\u7f51\u200b\u968f\u673a\u200b\u5206\u914d\u200b IP \u200b\u5730\u5740\u200b\u65f6\u200b\uff0c\u200b\u53ea\u4f1a\u200b\u4ece\u200b\u5b50\u7f51\u200b\u6240\u6709\u200b IP \u200b\u6c60\u200b\u4ee5\u5916\u200b\u7684\u200b\u8303\u56f4\u200b\u5206\u914d\u200b\u3002</li> </ol> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/loadbalancer-service/","title":"LoadBalancer \u200b\u7c7b\u578b\u200b Service","text":"<p>Kube-OVN \u200b\u5df2\u7ecf\u200b\u652f\u6301\u200b\u4e86\u200b VPC \u200b\u548c\u200b VPC \u200b\u7f51\u5173\u200b\u7684\u200b\u5b9e\u73b0\u200b\uff0c\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b VPC \u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b VPC \u200b\u7f51\u5173\u200b\u7684\u200b\u4f7f\u7528\u200b\u6bd4\u8f83\u590d\u6742\u200b\uff0c\u200b\u57fa\u4e8e\u200b VPC \u200b\u7f51\u5173\u200b\u7684\u200b\u5b9e\u73b0\u200b\u505a\u200b\u4e86\u200b\u7b80\u5316\u200b\uff0c\u200b\u652f\u6301\u200b\u5728\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u521b\u5efa\u200b <code>LoadBalancer</code> \u200b\u7c7b\u578b\u200b\u7684\u200b Service\uff0c\u200b\u5b9e\u73b0\u200b\u901a\u8fc7\u200b LoadBalancerIP \u200b\u6765\u200b\u8bbf\u95ee\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Service\u3002</p> <p>\u200b\u9996\u5148\u200b\u786e\u8ba4\u200b\u73af\u5883\u200b\u4e0a\u200b\u6ee1\u8db3\u200b\u4ee5\u4e0b\u200b\u6761\u4ef6\u200b\uff1a</p> <ol> <li>\u200b\u5b89\u88c5\u200b\u4e86\u200b <code>multus-cni</code> \u200b\u548c\u200b <code>macvlan cni</code>\u3002</li> <li>LoadBalancer Service \u200b\u7684\u200b\u652f\u6301\u200b\uff0c\u200b\u662f\u200b\u5bf9\u200b VPC \u200b\u7f51\u5173\u200b\u4ee3\u7801\u200b\u8fdb\u884c\u200b\u7b80\u5316\u200b\u5b9e\u73b0\u200b\u7684\u200b\uff0c\u200b\u4ecd\u7136\u200b\u4f7f\u7528\u200b <code>vpc-nat-gw</code> \u200b\u7684\u200b\u955c\u50cf\u200b\uff0c\u200b\u4f9d\u8d56\u200b macvlan \u200b\u63d0\u4f9b\u200b\u591a\u200b\u7f51\u5361\u200b\u529f\u80fd\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u76ee\u524d\u200b\u53ea\u200b\u652f\u6301\u200b\u5728\u200b<code>\u200b\u9ed8\u8ba4\u200b VPC</code> \u200b\u914d\u7f6e\u200b\uff0c\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e0b\u200b\u7684\u200b LoadBalancer \u200b\u652f\u6301\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b VPC \u200b\u7684\u200b\u6587\u6863\u200b VPC \u200b\u914d\u7f6e\u200b\u3002</li> </ol>"},{"location":"guide/loadbalancer-service/#vpc-loadbalancer-service","title":"\u9ed8\u8ba4\u200b VPC LoadBalancer Service \u200b\u914d\u7f6e\u200b\u6b65\u9aa4","text":""},{"location":"guide/loadbalancer-service/#_1","title":"\u5f00\u542f\u200b\u7279\u6027\u200b\u5f00\u5173","text":"<p>\u200b\u4fee\u6539\u200b kube-system namespace \u200b\u4e0b\u200b\u7684\u200b deployment <code>kube-ovn-controller</code>\uff0c\u200b\u5728\u200b <code>args</code> \u200b\u4e2d\u200b\u589e\u52a0\u200b\u53c2\u6570\u200b  <code>--enable-lb-svc=true</code>\uff0c\u200b\u5f00\u542f\u200b\u529f\u80fd\u200b\u5f00\u5173\u200b\uff0c\u200b\u8be5\u200b\u53c2\u6570\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b false\u3002</p> <pre><code>containers:\n- args:\n  - /kube-ovn/start-controller.sh\n  - --default-cidr=10.16.0.0/16\n  - --default-gateway=10.16.0.1\n  - --default-gateway-check=true\n  - --enable-lb-svc=true                  // \u200b\u53c2\u6570\u8bbe\u7f6e\u200b\u4e3a\u200b true\n</code></pre>"},{"location":"guide/loadbalancer-service/#networkattachmentdefinition-crd","title":"\u521b\u5efa\u200b NetworkAttachmentDefinition CRD \u200b\u8d44\u6e90","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b <code>net-attach-def</code> \u200b\u8d44\u6e90\u200b:</p> <pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: lb-svc-attachment\n  namespace: kube-system\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth0\",                         //\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\uff0c\u200b\u6839\u636e\u200b\u5b9e\u9645\u200b\u60c5\u51b5\u200b\u914d\u7f6e\u200b\n      \"mode\": \"bridge\"\n    }'\n</code></pre> <p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u901a\u8fc7\u200b\u7269\u7406\u200b\u7f51\u5361\u200b <code>eth0</code> \u200b\u6765\u200b\u5b9e\u73b0\u200b\u591a\u200b\u7f51\u5361\u200b\u529f\u80fd\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u5176\u4ed6\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>master</code> \u200b\u53d6\u503c\u200b\uff0c\u200b\u6307\u5b9a\u200b\u4f7f\u7528\u200b\u7684\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u540d\u79f0\u200b\u3002</p>"},{"location":"guide/loadbalancer-service/#subnet","title":"\u521b\u5efa\u200b Subnet","text":"<p>\u200b\u521b\u5efa\u200b\u7684\u200b Subnet\uff0c\u200b\u7528\u4e8e\u200b\u7ed9\u200b LoadBalancer Service \u200b\u5206\u914d\u200b LoadBalancerIP\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u6b63\u5e38\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5916\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u8bbf\u95ee\u200b\u5230\u200b\u3002\u200b\u53ef\u4ee5\u200b\u914d\u7f6e\u200b Underlay Subnet \u200b\u7528\u4e8e\u200b\u5730\u5740\u200b\u5206\u914d\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b\u65b0\u200b\u5b50\u7f51\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: attach-subnet\nspec:\n  protocol: IPv4\n  provider: lb-svc-attachment.kube-system    # provider \u200b\u683c\u5f0f\u200b\u56fa\u5b9a\u200b\uff0c\u200b\u7531\u200b\u4e0a\u200b\u4e00\u6b65\u200b\u521b\u5efa\u200b\u7684\u200b net-attach-def \u200b\u8d44\u6e90\u200b\u7684\u200b Name.Namespace \u200b\u7ec4\u6210\u200b\n  cidrBlock: 172.18.0.0/16\n  gateway: 172.18.0.1\n  excludeIps:\n  - 172.18.0.0..172.18.0.10\n</code></pre> <p>Subnet \u200b\u4e2d\u200b <code>provider</code> \u200b\u53c2\u6570\u200b\u4ee5\u200b <code>ovn</code> \u200b\u6216\u8005\u200b\u4ee5\u200b <code>.ovn</code> \u200b\u4e3a\u200b\u540e\u7f00\u200b\u7ed3\u675f\u200b\uff0c\u200b\u8868\u793a\u200b\u8be5\u200b\u5b50\u7f51\u200b\u662f\u200b\u7531\u200b Kube-OVN \u200b\u7ba1\u7406\u200b\u4f7f\u7528\u200b\uff0c\u200b\u9700\u8981\u200b\u5bf9\u5e94\u200b\u521b\u5efa\u200b <code>logical switch</code> \u200b\u8bb0\u5f55\u200b\u3002</p> <p><code>provider</code> \u200b\u975e\u200b <code>ovn</code> \u200b\u6216\u8005\u200b\u975e\u200b <code>.ovn</code> \u200b\u4e3a\u200b\u540e\u7f00\u200b\u7ed3\u675f\u200b\uff0c\u200b\u5219\u200b Kube-OVN \u200b\u53ea\u200b\u63d0\u4f9b\u200b IPAM \u200b\u529f\u80fd\u200b\uff0c\u200b\u8bb0\u5f55\u200b IP \u200b\u5730\u5740\u200b\u5206\u914d\u60c5\u51b5\u200b\uff0c\u200b\u4e0d\u200b\u5bf9\u200b\u5b50\u7f51\u200b\u505a\u200b\u4e1a\u52a1\u200b\u903b\u8f91\u200b\u5904\u7406\u200b\u3002</p>"},{"location":"guide/loadbalancer-service/#loadbalancer-service_1","title":"\u521b\u5efa\u200b LoadBalancer Service","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b LoadBalancer Service\uff1a</p> <pre><code>apiVersion: v1\nkind: Service\nmetadata:\n  annotations:\n    lb-svc-attachment.kube-system.kubernetes.io/logical_switch: attach-subnet   #\u200b\u53ef\u200b\u9009\u200b\n    ovn.kubernetes.io/attachmentprovider: lb-svc-attachment.kube-system          #\u200b\u5fc5\u987b\u200b\n  labels:\n    app: dynamic\n  name: test-service\n  namespace: default\nspec:\n  loadBalancerIP: 172.18.0.18                                                   #\u200b\u53ef\u200b\u9009\u200b\n  ports:\n    - name: test\n      protocol: TCP\n      port: 80\n      targetPort: 80\n  selector:\n    app: dynamic\n  sessionAffinity: None\n  type: LoadBalancer\n</code></pre> <p>\u200b\u5728\u200b yaml \u200b\u4e2d\u200b\uff0cannotation <code>ovn.kubernetes.io/attachmentprovider</code>  \u200b\u4e3a\u200b\u5fc5\u586b\u200b\u9879\u200b\uff0c\u200b\u53d6\u503c\u200b\u7531\u200b\u7b2c\u4e00\u6b65\u200b\u521b\u5efa\u200b\u7684\u200b <code>net-attach-def</code> \u200b\u8d44\u6e90\u200b\u7684\u200b Name.Namespace \u200b\u7ec4\u6210\u200b\u3002\u200b\u8be5\u200b annotation \u200b\u7528\u4e8e\u200b\u5728\u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\uff0c\u200b\u67e5\u627e\u200b <code>net-attach-def</code> \u200b\u8d44\u6e90\u200b\u3002</p> <p>\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b annotation \u200b\u6307\u5b9a\u200b\u591a\u200b\u7f51\u5361\u200b\u5730\u5740\u200b\u5206\u914d\u200b\u4f7f\u7528\u200b\u7684\u200b\u5b50\u7f51\u200b\u3002annotation key \u200b\u683c\u5f0f\u200b\u4e3a\u200b net-attach-def \u200b\u8d44\u6e90\u200b\u7684\u200b <code>Name.Namespace.kubernetes.io/logical_switch</code>\u3002\u200b\u8be5\u200b\u914d\u7f6e\u200b\u4e3a\u200b<code>\u200b\u53ef\u200b\u9009\u200b</code>\u200b\u9009\u9879\u200b\uff0c\u200b\u5728\u200b\u6ca1\u6709\u200b\u6307\u5b9a\u200b LoadBalancerIP \u200b\u5730\u5740\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u5c06\u200b\u4ece\u200b\u8be5\u200b\u5b50\u7f51\u200b\u52a8\u6001\u5206\u914d\u200b\u5730\u5740\u200b\uff0c\u200b\u586b\u5145\u200b\u5230\u200b LoadBalancerIP \u200b\u5b57\u200b\u6bb5\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u9759\u6001\u200b\u914d\u7f6e\u200b LoadBalancerIP \u200b\u5730\u5740\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u914d\u7f6e\u200b <code>spec.loadBalancerIP</code> \u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u8be5\u200b\u5730\u5740\u200b\u9700\u8981\u200b\u5728\u200b\u6307\u5b9a\u200b\u5b50\u7f51\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\u5185\u200b\u3002</p> <p>\u200b\u5728\u200b\u6267\u884c\u200b yaml \u200b\u521b\u5efa\u200b Service \u200b\u540e\u200b\uff0c\u200b\u5728\u200b Service \u200b\u540c\u200b Namespace \u200b\u4e0b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b Pod \u200b\u542f\u52a8\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get pod\nNAME                                      READY   STATUS    RESTARTS   AGE\nlb-svc-test-service-6869d98dd8-cjvll      1/1     Running   0          107m\n# kubectl get svc\nNAME              TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE\ntest-service      LoadBalancer   10.109.201.193   172.18.0.18   80:30056/TCP   107m\n</code></pre> <p>\u200b\u6307\u5b9a\u200b <code>service.spec.loadBalancerIP</code> \u200b\u53c2\u6570\u200b\u65f6\u200b\uff0c\u200b\u6700\u7ec8\u200b\u5c06\u200b\u8be5\u200b\u53c2\u6570\u200b\u8d4b\u503c\u200b\u7ed9\u200b service external-ip \u200b\u5b57\u200b\u6bb5\u200b\u3002\u200b\u4e0d\u200b\u6307\u5b9a\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u8be5\u200b\u53c2\u6570\u200b\u4e3a\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u503c\u200b\u3002</p> <p>\u200b\u67e5\u770b\u200b\u6d4b\u8bd5\u200b Pod \u200b\u7684\u200b yaml \u200b\u8f93\u51fa\u200b\uff0c\u200b\u5b58\u5728\u200b\u591a\u200b\u7f51\u5361\u200b\u5206\u914d\u200b\u7684\u200b\u5730\u5740\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get pod -o yaml lb-svc-test-service-6869d98dd8-cjvll\napiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    k8s.v1.cni.cncf.io/network-status: |-\n      [{\n          \"name\": \"kube-ovn\",\n          \"ips\": [\n              \"10.16.0.2\"\n          ],\n          \"default\": true,\n          \"dns\": {}\n      },{\n          \"name\": \"default/test-service\",\n          \"interface\": \"net1\",\n          \"mac\": \"ba:85:f7:02:9f:42\",\n          \"dns\": {}\n      }]\n    k8s.v1.cni.cncf.io/networks: default/test-service\n    k8s.v1.cni.cncf.io/networks-status: |-\n      [{\n          \"name\": \"kube-ovn\",\n          \"ips\": [\n              \"10.16.0.2\"\n          ],\n          \"default\": true,\n          \"dns\": {}\n      },{\n          \"name\": \"default/test-service\",\n          \"interface\": \"net1\",\n          \"mac\": \"ba:85:f7:02:9f:42\",\n          \"dns\": {}\n      }]\n    ovn.kubernetes.io/allocated: \"true\"\n    ovn.kubernetes.io/cidr: 10.16.0.0/16\n    ovn.kubernetes.io/gateway: 10.16.0.1\n    ovn.kubernetes.io/ip_address: 10.16.0.2\n    ovn.kubernetes.io/logical_router: ovn-cluster\n    ovn.kubernetes.io/logical_switch: ovn-default\n    ovn.kubernetes.io/mac_address: 00:00:00:45:F4:29\n    ovn.kubernetes.io/pod_nic_type: veth-pair\n    ovn.kubernetes.io/routed: \"true\"\n    test-service.default.kubernetes.io/allocated: \"true\"\n    test-service.default.kubernetes.io/cidr: 172.18.0.0/16\n    test-service.default.kubernetes.io/gateway: 172.18.0.1\n    test-service.default.kubernetes.io/ip_address: 172.18.0.18\n    test-service.default.kubernetes.io/logical_switch: attach-subnet\n    test-service.default.kubernetes.io/mac_address: 00:00:00:AF:AA:BF\n    test-service.default.kubernetes.io/pod_nic_type: veth-pair\n</code></pre> <p>\u200b\u67e5\u770b\u200b Service \u200b\u7684\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get svc -o yaml test-service\napiVersion: v1\nkind: Service\nmetadata:\n  annotations:\n    kubectl.kubernetes.io/last-applied-configuration: |\n      {\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{\"test-service.default.kubernetes.io/logical_switch\":\"attach-subnet\"},\"labels\":{\"app\":\"dynamic\"},\"name\":\"test-service\",\"namespace\":\"default\"},\"spec\":{\"ports\":[{\"name\":\"test\",\"port\":80,\"protocol\":\"TCP\",\"targetPort\":80}],\"selector\":{\"app\":\"dynamic\"},\"sessionAffinity\":\"None\",\"type\":\"LoadBalancer\"}}\n    ovn.kubernetes.io/vpc: ovn-cluster\n    test-service.default.kubernetes.io/logical_switch: attach-subnet\n  creationTimestamp: \"2022-06-15T09:01:58Z\"\n  labels:\n    app: dynamic\n  name: test-service\n  namespace: default\n  resourceVersion: \"38485\"\n  uid: 161edee1-7f6e-40f5-9e09-5a52c44267d0\nspec:\n  allocateLoadBalancerNodePorts: true\n  clusterIP: 10.109.201.193\n  clusterIPs:\n  - 10.109.201.193\n  externalTrafficPolicy: Cluster\n  internalTrafficPolicy: Cluster\n  ipFamilies:\n  - IPv4\n  ipFamilyPolicy: SingleStack\n  ports:\n  - name: test\n    nodePort: 30056\n    port: 80\n    protocol: TCP\n    targetPort: 80\n  selector:\n    app: dynamic\n  sessionAffinity: None\n  type: LoadBalancer\nstatus:\n  loadBalancer:\n    ingress:\n    - ip: 172.18.0.18\n</code></pre>"},{"location":"guide/loadbalancer-service/#loadbalancerip","title":"\u6d4b\u8bd5\u200b LoadBalancerIP \u200b\u8bbf\u95ee","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml, \u200b\u521b\u5efa\u200b\u6d4b\u8bd5\u200b Pod\uff0c\u200b\u4f5c\u4e3a\u200b Service \u200b\u7684\u200b Endpoints \u200b\u63d0\u4f9b\u200b\u670d\u52a1\u200b:</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: dynamic\n  name: dynamic\n  namespace: default\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: dynamic\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      creationTimestamp: null\n      labels:\n        app: dynamic\n    spec:\n      containers:\n      - image: docker.io/library/nginx:alpine\n        imagePullPolicy: IfNotPresent\n        name: nginx\n      dnsPolicy: ClusterFirst\n      restartPolicy: Always\n</code></pre> <p>\u200b\u6b63\u5e38\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u63d0\u4f9b\u200b\u7684\u200b\u5b50\u7f51\u200b\u5730\u5740\u200b\uff0c\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5916\u200b\u5e94\u8be5\u200b\u53ef\u4ee5\u200b\u8bbf\u95ee\u200b\u5230\u200b\u3002\u200b\u4e3a\u4e86\u200b\u7b80\u5355\u200b\u9a8c\u8bc1\u200b\uff0c\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\u8bbf\u95ee\u200b Service \u200b\u7684\u200b <code>LoadBalancerIP:Port</code>\uff0c\u200b\u67e5\u770b\u200b\u662f\u5426\u200b\u6b63\u5e38\u200b\u8bbf\u95ee\u200b\u6210\u529f\u200b\u3002</p> <pre><code># curl 172.18.0.11:80\n&lt;html&gt;\n&lt;head&gt;\n        &lt;title&gt;Hello World!&lt;/title&gt;\n        &lt;link href='//fonts.googleapis.com/css?family=Open+Sans:400,700' rel='stylesheet' type='text/css'&gt;\n        &lt;style&gt;\n        body {\n                background-color: white;\n                text-align: center;\n                padding: 50px;\n                font-family: \"Open Sans\",\"Helvetica Neue\",Helvetica,Arial,sans-serif;\n        }\n        #logo {\n                margin-bottom: 40px;\n        }\n        &lt;/style&gt;\n&lt;/head&gt;\n&lt;body&gt;\n                &lt;h1&gt;Hello World!&lt;/h1&gt;\n                                &lt;h3&gt;Links found&lt;/h3&gt;\n        &lt;h3&gt;I am on  dynamic-7d8d7874f5-hsgc4&lt;/h3&gt;\n        &lt;h3&gt;Cookie                  =&lt;/h3&gt;\n                                        &lt;b&gt;KUBERNETES&lt;/b&gt; listening in 443 available at tcp://10.96.0.1:443&lt;br /&gt;\n                                                &lt;h3&gt;my name is hanhouchao!&lt;/h3&gt;\n                        &lt;h3&gt; RequestURI='/'&lt;/h3&gt;\n&lt;/body&gt;\n&lt;/html&gt;\n</code></pre> <p>\u200b\u8fdb\u5165\u200b Service \u200b\u521b\u5efa\u200b\u7684\u200b Pod\uff0c\u200b\u67e5\u770b\u200b\u7f51\u7edc\u200b\u7684\u200b\u4fe1\u606f\u200b</p> <pre><code># ip a\n4: net1@if62: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc noqueue state UP group default\n    link/ether ba:85:f7:02:9f:42 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 172.18.0.18/16 scope global net1\n       valid_lft forever preferred_lft forever\n    inet6 fe80::b885:f7ff:fe02:9f42/64 scope link\n       valid_lft forever preferred_lft forever\n36: eth0@if37: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1400 qdisc noqueue state UP group default\n    link/ether 00:00:00:45:f4:29 brd ff:ff:ff:ff:ff:ff link-netnsid 0\n    inet 10.16.0.2/16 brd 10.16.255.255 scope global eth0\n       valid_lft forever preferred_lft forever\n    inet6 fe80::200:ff:fe45:f429/64 scope link\n       valid_lft forever preferred_lft forever\n\n# ip rule\n0: from all lookup local\n32764: from all iif eth0 lookup 100\n32765: from all iif net1 lookup 100\n32766: from all lookup main\n32767: from all lookup default\n\n# ip route show table 100\ndefault via 172.18.0.1 dev net1\n10.109.201.193 via 10.16.0.1 dev eth0\n172.18.0.0/16 dev net1 scope link\n\n# iptables -t nat -L -n -v\nChain PREROUTING (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            172.18.0.18          tcp dpt:80 to:10.109.201.193:80\n\nChain INPUT (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n\nChain OUTPUT (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n\nChain POSTROUTING (policy ACCEPT 0 packets, 0 bytes)\n pkts bytes target     prot opt in     out     source               destination\n    0     0 MASQUERADE  all  --  *      *       0.0.0.0/0            10.109.201.193\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/mirror/","title":"\u6d41\u91cf\u200b\u955c\u50cf","text":"<p>\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u8fdb\u51fa\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u8fdb\u884c\u200b\u590d\u5236\u5230\u200b\u4e3b\u673a\u200b\u7684\u200b\u7279\u5b9a\u200b\u7f51\u5361\u200b\u3002\u200b\u7ba1\u7406\u5458\u200b\u6216\u200b\u5f00\u53d1\u8005\u200b \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u76d1\u542c\u200b\u8fd9\u5757\u200b\u7f51\u5361\u200b\u83b7\u5f97\u200b\u5b8c\u6574\u200b\u7684\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u6765\u200b\u8fdb\u4e00\u6b65\u200b\u8fdb\u884c\u200b\u5206\u6790\u200b\uff0c\u200b\u76d1\u63a7\u200b\uff0c\u200b\u5b89\u5168\u200b\u5ba1\u8ba1\u200b\u7b49\u200b\u64cd\u4f5c\u200b\u3002 \u200b\u4e5f\u200b\u53ef\u200b\u548c\u200b\u4f20\u7edf\u200b\u7684\u200b NPM \u200b\u5bf9\u63a5\u200b\u83b7\u53d6\u200b\u66f4\u200b\u7ec6\u7c92\u5ea6\u200b\u7684\u200b\u6d41\u91cf\u200b\u76d1\u63a7\u200b\u3002</p> <p>\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5e26\u6765\u200b\u4e00\u5b9a\u200b\u7684\u200b\u6027\u80fd\u200b\u635f\u5931\u200b\uff0c\u200b\u6839\u636e\u200b CPU \u200b\u6027\u80fd\u200b\u4ee5\u53ca\u200b\u6d41\u91cf\u200b\u7684\u200b\u7279\u5f81\u200b\uff0c\u200b\u4f1a\u200b\u6709\u200b 5%~10% \u200b\u7684\u200b \u200b\u989d\u5916\u200b CPU \u200b\u6d88\u8017\u200b\u3002</p> <p></p>"},{"location":"guide/mirror/#_2","title":"\u5168\u5c40\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u914d\u7f6e","text":"<p>\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u529f\u80fd\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u5173\u95ed\u200b\u72b6\u6001\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u5f00\u542f\u200b\u8bf7\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\uff1a</p> <ul> <li><code>--enable-mirror=true</code>\uff1a \u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u3002</li> <li><code>--mirror-iface=mirror0</code>: \u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u6240\u200b\u590d\u5236\u5230\u200b\u7684\u200b\u7f51\u5361\u200b\u540d\u200b\u3002\u200b\u8be5\u200b\u7f51\u5361\u200b\u53ef\u200b\u4e3a\u4e3b\u200b\u673a\u4e0a\u200b\u5df2\u200b\u5b58\u5728\u200b\u7684\u200b\u4e00\u5757\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\uff0c \u200b\u6b64\u65f6\u200b\u8be5\u200b\u7f51\u5361\u200b\u4f1a\u200b\u88ab\u200b\u6865\u63a5\u200b\u8fdb\u200b br-int \u200b\u7f51\u6865\u200b\uff0c\u200b\u955c\u50cf\u200b\u6d41\u91cf\u200b\u4f1a\u200b\u76f4\u63a5\u200b\u63a5\u5165\u200b\u5e95\u5c42\u200b\u4ea4\u6362\u673a\u200b\u3002\u200b\u82e5\u200b\u7f51\u5361\u200b\u540d\u200b\u4e0d\u200b\u5b58\u5728\u200b\uff0cKube-OVN \u200b\u4f1a\u200b\u81ea\u52a8\u200b \u200b\u521b\u5efa\u200b\u4e00\u5757\u200b\u540c\u540d\u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u5361\u200b\uff0c\u200b\u7ba1\u7406\u5458\u200b\u6216\u200b\u5f00\u53d1\u8005\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5bbf\u4e3b\u673a\u200b\u4e0a\u200b\u901a\u8fc7\u200b\u8be5\u200b\u7f51\u5361\u200b\u83b7\u53d6\u200b\u5f53\u524d\u200b\u8282\u70b9\u200b\u6240\u6709\u200b\u6d41\u91cf\u200b\u3002\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>mirror0</code>\u3002</li> </ul> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u7528\u200b tcpdump \u200b\u6216\u200b\u5176\u4ed6\u200b\u6d41\u91cf\u200b\u5206\u6790\u200b\u5de5\u5177\u200b\u76d1\u542c\u200b <code>mirror0</code> \u200b\u4e0a\u200b\u7684\u200b\u6d41\u91cf\u200b\uff1a</p> <pre><code>tcpdump -ni mirror0\n</code></pre>"},{"location":"guide/mirror/#pod","title":"Pod \u200b\u7ea7\u522b\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u914d\u7f6e","text":"<p>\u200b\u5982\u679c\u200b\u53ea\u200b\u9700\u200b\u5bf9\u200b\u90e8\u5206\u200b Pod \u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b\u955c\u50cf\u200b\uff0c\u200b\u5219\u200b\u9700\u8981\u200b\u5173\u95ed\u200b\u5168\u5c40\u200b\u7684\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u529f\u80fd\u200b\uff0c\u200b\u7136\u540e\u200b\u5728\u200b\u7279\u5b9a\u200b Pod \u200b\u4e0a\u200b\u589e\u52a0\u200b <code>ovn.kubernetes.io/mirror</code> annotation \u200b\u6765\u200b\u5f00\u542f\u200b Pod \u200b\u7ea7\u522b\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u3002</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: mirror-pod\n  namespace: ls1\n  annotations:\n    ovn.kubernetes.io/mirror: \"true\"\nspec:\n  containers:\n  - name: mirror-pod\n    image: docker.io/library/nginx:alpine\n</code></pre>"},{"location":"guide/mirror/#_3","title":"\u6027\u80fd\u200b\u6d4b\u8bd5","text":"<p>\u200b\u5728\u200b\u76f8\u540c\u200b\u73af\u5883\u200b\u4e0a\u200b\uff0c\u200b\u5206\u522b\u200b\u5f00\u542f\u200b\u548c\u200b\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u5f00\u5173\u200b\uff0c\u200b\u8fdb\u884c\u200b\u6d4b\u8bd5\u200b</p>"},{"location":"guide/mirror/#1-pod-to-pod-in-the-same-nodes","title":"1. Pod to Pod in the same Nodes","text":""},{"location":"guide/mirror/#_4","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 12.7 us 289 Mbits/sec 12.6 us (1.8%) 77.9 Mbits/sec 128 15.5 us 517 Mbits/sec 12.7 us (0%) 155 Mbits/sec 512 12.2 us 1.64 Gbits/sec 12.4 us (0%) 624 Mbits/sec 1k 13 us 2.96 Gbits/sec 11.4 us (0.53%) 1.22 Gbits/sec 4k 18 us 7.67 Gbits/sec 25.7 us (0.41%) 1.50 Gbits/sec"},{"location":"guide/mirror/#_5","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 11.9 us 324 Mbits/sec 12.2 us (0.22%) 102 Mbits/sec 128 10.5 us 582 Mbits/sec 9.5 us (0.21%) 198 Mbits/sec 512 11.6 us 1.84 Gbits/sec 9.32 us (0.091%) 827 Mbits/sec 1k 10.5 us 3.44 Gbits/sec 10 us (1.2%) 1.52 Gbits/sec 4k 16.7 us 8.52 Gbits/sec 18.2 us (1.3%) 2.42 Gbits/sec"},{"location":"guide/mirror/#2-pod-to-pod-in-the-different-nodes","title":"2. Pod to Pod in the different Nodes","text":""},{"location":"guide/mirror/#_6","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 258 us 143 Mbits/sec 237 us (61%) 28.5 Mbits/sec 128 240 us 252 Mbits/sec 231 us (64%) 54.9 Mbits/sec 512 236 us 763 Mbits/sec 256 us (68%) 194 Mbits/sec 1k 242 us 969 Mbits/sec 225 us (62%) 449 Mbits/sec 4k 352 us 1.12 Gbits/sec 382 us (0.71%) 21.4 Mbits/sec"},{"location":"guide/mirror/#_7","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 278 us 140 Mbits/sec 227 us (24%) 59.6 Mbits/sec 128 249 us 265 Mbits/sec 265 us (23%) 114 Mbits/sec 512 233 us 914 Mbits/sec 235 us (21%) 468 Mbits/sec 1k 238 us 1.14 Gbits/sec 240 us (15%) 891 Mbits/sec 4k 370 us 1.25 Gbits/sec 361 us (0.43%) 7.54 Mbits/sec"},{"location":"guide/mirror/#3-node-to-node","title":"3. Node to Node","text":""},{"location":"guide/mirror/#_8","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 205 us 162 Mbits/sec 183 us (11%) 74.2 Mbits/sec 128 222 us 280 Mbits/sec 206 us (6.3%) 155 Mbits/sec 512 220 us 1.04 Gbits/sec 177 us (20%) 503 Mbits/sec 1k 213 us 2.06 Gbits/sec 201 us (8.6%) 1.14 Gbits/sec 4k 280 us 5.01 Gbits/sec 315 us (37%) 1.20 Gbits/sec"},{"location":"guide/mirror/#_9","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 204 us 157 Mbits/sec 204 us (8.8%) 81.9 Mbits/sec 128 213 us 262 Mbits/sec 225 us (19%) 136 Mbits/sec 512 220 us 1.02 Gbits/sec 227 us (21%) 486 Mbits/sec 1k 217 us 1.79 Gbits/sec 218 us (29%) 845 Mbits/sec 4k 275 us 5.27 Gbits/sec 336 us (34%) 1.21 Gbits/sec"},{"location":"guide/mirror/#4-pod-to-the-node-where-the-pod-is-located","title":"4. Pod to the Node where the Pod is located","text":""},{"location":"guide/mirror/#_10","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 12.2 us 295 Mbits/sec 12.7 us (0.27%) 74.1 Mbits/sec 128 14.1 us 549 Mbits/sec 10.6 us (0.41%) 153 Mbits/sec 512 13.5 us 1.83 Gbits/sec 12.7 us (0.23%) 586 Mbits/sec 1k 12 us 2.69 Gbits/sec 13 us (1%) 1.16 Gbits/sec 4k 18.9 us 4.51 Gbits/sec 21.8 us (0.42%) 1.81 Gbits/sec"},{"location":"guide/mirror/#_11","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 10.4 us 335 Mbits/sec 12.2 us (0.75%) 95.4 Mbits/sec 128 12.1 us 561 Mbits/sec 11.3 us (0.25%) 194 Mbits/sec 512 11.6 us 1.87 Gbits/sec 10.7 us (0.66%) 745 Mbits/sec 1k 12.7 us 3.12 Gbits/sec 10.9 us (1.2%) 1.46 Gbits/sec 4k 16.5 us 8.23 Gbits/sec 17.9 us (1.5%) 2.51 Gbits/sec"},{"location":"guide/mirror/#5-pod-to-the-node-where-the-pod-is-not-located","title":"5. Pod to the Node where the Pod is not located","text":""},{"location":"guide/mirror/#_12","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 234 us 153 Mbits/sec 232 us (63%) 29.4 Mbits/sec 128 237 us 261 Mbits/sec 238 us (49%) 76.1 Mbits/sec 512 231 us 701 Mbits/sec 238 us (57%) 279 Mbits/sec 1k 256 us 1.05 Gbits/sec 228 us (56%) 524 Mbits/sec 4k 330 us 1.08 Gbits/sec 359 us (1.5%) 35.7 Mbits/sec"},{"location":"guide/mirror/#_13","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 283 us 141 Mbits/sec 230 us (26%) 55.8 Mbits/sec 128 234 us 255 Mbits/sec 234 us (25%) 113 Mbits/sec 512 246 us 760 Mbits/sec 234 us (22%) 458 Mbits/sec 1k 268 us 1.23 Gbits/sec 242 us (20%) 879 Mbits/sec 4k 326 us 1.20 Gbits/sec 369 us (0.5%) 7.87 Mbits/sec"},{"location":"guide/mirror/#6-pod-to-the-cluster-ip-service","title":"6. Pod to the cluster ip service","text":""},{"location":"guide/mirror/#_14","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 237 us 133 Mbits/sec 213 us (65%) 25.5 Mbits/sec 128 232 us 271 Mbits/sec 222 us (62%) 54.8 Mbits/sec 512 266 us 800 Mbits/sec 234 us (60%) 232 Mbits/sec 1k 248 us 986 Mbits/sec 239 us (50%) 511 Mbits/sec 4k 314 us 1.03 Gbits/sec 367 us (0.6%) 13.2 Mbits/sec TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14305.17 0.87ms 1.48ms 24.46ms 100 29082.07 3.87ms 4.35ms 102.85ms"},{"location":"guide/mirror/#_15","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"Size TCP Latency TCP Bandwidth UDP Latency UDP Lost Rate UDP Bandwidth 64 241 us 145 Mbits/sec 225 us (19%) 60.2 Mbits/sec 128 245 us 261 Mbits/sec 212 us (15%) 123 Mbits/sec 512 252 us 821 Mbits/sec 219 us (14%) 499 Mbits/sec 1k 253 us 1.08 Gbits/sec 242 us (16%) 852 Mbits/sec 4k 320 us 1.32 Gbits/sec 360 us (0.47%) 6.70 Mbits/sec TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 13634.07 0.96ms 1.72ms 30.07ms 100 30215.23 3.59ms 3.20ms 77.56ms"},{"location":"guide/mirror/#7-host-to-the-node-port-service-where-the-pod-is-not-located-on-the-target-node","title":"7. Host to the Node port service where the Pod is not located on the target Node","text":""},{"location":"guide/mirror/#_16","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14802.73 0.88ms 1.66ms 31.49ms 100 29809.58 3.78ms 4.12ms 105.34ms"},{"location":"guide/mirror/#_17","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14273.33 0.90ms 1.60ms 37.16ms 100 30757.81 3.62ms 3.41ms 59.78ms"},{"location":"guide/mirror/#8-host-to-the-node-port-service-where-the-pod-is-located-on-the-target-node","title":"8. Host to the Node port service where the Pod is located on the target Node","text":""},{"location":"guide/mirror/#_18","title":"\u5f00\u542f\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 15402.39 802.50us 1.42ms 30.91ms 100 29424.66 4.05ms 4.31ms 90.60ms"},{"location":"guide/mirror/#_19","title":"\u5173\u95ed\u200b\u6d41\u91cf\u200b\u955c\u50cf","text":"TCP-Conn-Number QPS Avg-Resp-Time Stdev-Resp-Time Max-Resp-Time 10 14649.21 0.91ms 1.72ms 43.92ms 100 32143.61 3.66ms 3.76ms 67.02ms <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/networkpolicy-log/","title":"NetworkPolicy \u200b\u65e5\u5fd7","text":"<p>NetworkPolicy \u200b\u4e3a\u200b Kubernetes \u200b\u63d0\u4f9b\u200b\u7684\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u63a5\u53e3\u200b\uff0cKube-OVN \u200b\u901a\u8fc7\u200b OVN \u200b\u7684\u200b ACL \u200b\u8fdb\u884c\u200b\u4e86\u200b\u5b9e\u73b0\u200b\u3002 \u200b\u4f7f\u7528\u200b\u4e86\u200b NetworkPolicy \u200b\u540e\u200b\u5982\u679c\u200b\u51fa\u73b0\u200b\u7f51\u7edc\u200b\u4e0d\u901a\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0c\u200b\u96be\u4ee5\u200b\u5224\u65ad\u200b\u662f\u200b\u7f51\u7edc\u6545\u969c\u200b\u95ee\u9898\u200b\u8fd8\u662f\u200b NetworkPolicy \u200b\u89c4\u5219\u200b\u8bbe\u7f6e\u200b\u95ee\u9898\u200b\u5bfc\u81f4\u200b\u7684\u200b\u7f51\u7edc\u200b\u4e2d\u65ad\u200b\u3002 Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b NetworkPolicy \u200b\u65e5\u5fd7\u200b\u529f\u80fd\u200b\uff0c\u200b\u5e2e\u52a9\u200b\u7ba1\u7406\u5458\u200b\u5feb\u901f\u200b\u5b9a\u4f4d\u200b NetworkPolicy Drop \u200b\u89c4\u5219\u200b\u662f\u5426\u200b\u547d\u4e2d\u200b\uff0c\u200b\u5e76\u200b\u8bb0\u5f55\u200b\u6709\u200b\u54ea\u4e9b\u200b\u975e\u6cd5\u200b\u8bbf\u95ee\u200b\u3002</p> <p>NetworkPolicy \u200b\u65e5\u5fd7\u200b\u529f\u80fd\u200b\u4e00\u65e6\u200b\u5f00\u542f\u200b\uff0c\u200b\u5bf9\u200b\u6bcf\u4e2a\u200b\u547d\u4e2d\u200b Drop \u200b\u89c4\u5219\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u90fd\u200b\u9700\u8981\u200b\u6253\u5370\u200b\u65e5\u5fd7\u200b\uff0c\u200b\u4f1a\u200b\u5e26\u6765\u200b\u989d\u5916\u200b\u6027\u80fd\u200b\u5f00\u9500\u200b\u3002 \u200b\u5728\u200b\u6076\u610f\u200b\u653b\u51fb\u200b\u4e0b\u200b\uff0c\u200b\u77ed\u65f6\u95f4\u200b\u5927\u91cf\u200b\u65e5\u5fd7\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u8017\u5c3d\u200b CPU\u3002\u200b\u6211\u4eec\u200b\u5efa\u8bae\u200b\u5728\u200b\u751f\u4ea7\u200b\u73af\u5883\u200b\u9ed8\u8ba4\u200b\u5173\u95ed\u200b\u65e5\u5fd7\u200b\u529f\u80fd\u200b\uff0c\u200b\u5728\u200b\u9700\u8981\u200b\u6392\u67e5\u200b\u95ee\u9898\u200b\u65f6\u200b\uff0c\u200b\u52a8\u6001\u200b\u5f00\u542f\u200b\u65e5\u5fd7\u200b\u3002</p>"},{"location":"guide/networkpolicy-log/#networkpolicy_1","title":"\u5f00\u542f\u200b NetworkPolicy \u200b\u65e5\u5fd7","text":"<p>\u200b\u5728\u200b\u9700\u8981\u200b\u5f00\u542f\u200b\u65e5\u5fd7\u200b\u8bb0\u5f55\u200b\u7684\u200b NetworkPolicy \u200b\u4e2d\u200b\u589e\u52a0\u200b annotation <code>ovn.kubernetes.io/enable_log</code>\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: networking.k8s.io/v1\nkind: NetworkPolicy\nmetadata:\n  name: default-deny-ingress\n  namespace: kube-system\n  annotations:\n    ovn.kubernetes.io/enable_log: \"true\"\nspec:\n  podSelector: {}\n  policyTypes:\n  - Ingress\n</code></pre> <p>\u200b\u63a5\u4e0b\u6765\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5bf9\u5e94\u200b Pod \u200b\u6240\u5728\u200b\u4e3b\u673a\u200b\u7684\u200b <code>/var/log/ovn/ovn-controller.log</code> \u200b\u4e2d\u200b\u89c2\u5bdf\u200b\u5230\u200b\u88ab\u200b\u4e22\u5f03\u200b\u6570\u636e\u5305\u200b\u7684\u200b\u65e5\u5fd7\u200b\uff1a</p> <pre><code># tail -f /var/log/ovn/ovn-controller.log\n2022-07-20T05:55:03.229Z|00394|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=54343,tp_dst=53\n2022-07-20T05:55:06.229Z|00395|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=44187,tp_dst=53\n2022-07-20T05:55:08.230Z|00396|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=54274,tp_dst=53\n2022-07-20T05:55:11.231Z|00397|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=32778,tp_dst=53\n2022-07-20T05:55:11.231Z|00398|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.9,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=34188,tp_dst=53\n2022-07-20T05:55:13.231Z|00399|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: udp,vlan_tci=0x0000,dl_src=00:00:00:21:b7:d1,dl_dst=00:00:00:8d:0b:86,nw_src=10.16.0.10,nw_dst=10.16.0.7,nw_tos=0,nw_ecn=0,nw_ttl=63,tp_src=43290,tp_dst=53\n2022-07-20T05:55:22.096Z|00400|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n2022-07-20T05:55:22.097Z|00401|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n2022-07-20T05:55:22.098Z|00402|acl_log(ovn_pinctrl0)|INFO|name=\"&lt;unnamed&gt;\", verdict=drop, severity=warning, direction=to-lport: icmp,vlan_tci=0x0000,dl_src=00:00:00:6c:42:91,dl_dst=00:00:00:a5:d7:63,nw_src=10.16.0.9,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0\n</code></pre>"},{"location":"guide/networkpolicy-log/#networkpolicy_2","title":"\u5173\u95ed\u200b NetworkPolicy \u200b\u65e5\u5fd7","text":"<p>\u200b\u5c06\u200b\u5bf9\u5e94\u200b NetworkPolicy \u200b\u4e2d\u200b\u7684\u200b annotation <code>ovn.kubernetes.io/enable_log</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>false</code> \u200b\u5373\u53ef\u200b\u5173\u95ed\u200b NetworkPolicy \u200b\u65e5\u5fd7\u200b\uff1a</p> <pre><code>kubectl annotate networkpolicy -n kube-system default-deny-ingress ovn.kubernetes.io/enable_log=false --overwrite\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/prometheus-grafana/","title":"\u914d\u7f6e\u200b\u76d1\u63a7\u200b\u548c\u200b\u9762\u677f","text":"<p>Kube-OVN \u200b\u53ef\u4ee5\u200b\u5c06\u200b\u7f51\u7edc\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u4fe1\u606f\u200b\u4ee5\u53ca\u200b\u7f51\u7edc\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u8d28\u91cf\u200b\u4fe1\u606f\u200b\u6307\u6807\u200b\u4ee5\u200b Prometheus \u200b\u6240\u200b\u652f\u6301\u200b\u7684\u200b\u683c\u5f0f\u200b\u5bf9\u5916\u200b\u8f93\u51fa\u200b\u3002</p> <p>\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b kube-prometheus \u200b\u6240\u200b\u63d0\u4f9b\u200b\u7684\u200b CRD \u200b\u6765\u200b\u5b9a\u4e49\u200b\u76f8\u5e94\u200b\u7684\u200b Prometheus \u200b\u76d1\u63a7\u200b\u89c4\u5219\u200b\u3002 \u200b\u7528\u6237\u200b\u9700\u8981\u200b\u9884\u5148\u200b\u5b89\u88c5\u200b kube-prometheus \u200b\u6765\u200b\u542f\u7528\u200b\u76f8\u5173\u200b\u7684\u200b CRD\u3002Kube-OVN \u200b\u6240\u200b\u652f\u6301\u200b\u7684\u200b\u5168\u90e8\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u8bf7\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b\u539f\u751f\u200b Prometheus \u200b\u8bf7\u200b\u53c2\u8003\u200b\u914d\u7f6e\u200b\u539f\u751f\u200b Prometheus \u200b\u83b7\u53d6\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b \u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"guide/prometheus-grafana/#prometheus-monitor","title":"\u5b89\u88c5\u200b Prometheus Monitor","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b Prometheus Monitor CRD \u200b\u6765\u200b\u7ba1\u7406\u200b\u76d1\u63a7\u200b\u8f93\u51fa\u200b\uff1a</p> <pre><code># \u200b\u7f51\u54af\u200b\u8d28\u91cf\u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/pinger-monitor.yaml\n# kube-ovn-controller \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/controller-monitor.yaml\n# kube-ovn-cni \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/cni-monitor.yaml\n# ovn \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\nkubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovn-monitor.yaml\n</code></pre> <p>Prometheus \u200b\u62c9\u53d6\u200b\u76d1\u63a7\u200b\u65f6\u95f4\u200b\u95f4\u9694\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b 15s\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u8c03\u6574\u200b\u9700\u8981\u200b\u4fee\u6539\u200b yaml \u200b\u4e2d\u200b\u7684\u200b <code>interval</code> \u200b\u5b57\u200b\u6bb5\u200b\u3002</p>"},{"location":"guide/prometheus-grafana/#grafana","title":"\u52a0\u8f7d\u200b Grafana \u200b\u9762\u677f","text":"<p>Kube-OVN \u200b\u8fd8\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u9884\u5148\u200b\u5b9a\u4e49\u200b\u597d\u200b\u7684\u200b Grafana Dashboard \u200b\u5c55\u793a\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u548c\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u76f8\u5173\u200b\u4fe1\u606f\u200b\u3002</p> <p>\u200b\u4e0b\u8f7d\u200b\u5bf9\u5e94\u200b Dashboard \u200b\u6a21\u677f\u200b\uff1a</p> <pre><code># \u200b\u7f51\u7edc\u200b\u8d28\u91cf\u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/pinger-grafana.json\n# kube-ovn-controller \u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/controller-grafana.json\n# kube-ovn-cni \u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/cni-grafana.json\n# ovn \u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovn-grafana.json\n# ovs \u200b\u76f8\u5173\u200b\u9762\u677f\u200b\nwget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/monitoring/ovs-grafana.json\n</code></pre> <p>\u200b\u5728\u200b Grafana \u200b\u4e2d\u200b\u5bfc\u5165\u200b\u6a21\u677f\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u6570\u636e\u6e90\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5bf9\u5e94\u200b\u7684\u200b Prometheus \u200b\u5373\u53ef\u200b\u770b\u5230\u200b\u5982\u4e0b\u200b Dashboard\uff1a</p> <p><code>kube-ovn-controller</code> \u200b\u8fd0\u884c\u72b6\u51b5\u200b\u76f8\u5173\u200b\u9762\u677f\u200b\uff1a</p> <p></p> <p><code>kube-ovn-pinger</code> \u200b\u7f51\u7edc\u200b\u8d28\u91cf\u200b\u76f8\u5173\u200b\u9762\u677f\u200b\uff1a</p> <p></p> <p><code>kube-ovn-cni</code> \u200b\u8fd0\u884c\u72b6\u51b5\u200b\u76f8\u5173\u200b\u9762\u677f\u200b\uff1a</p> <p></p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/prometheus/","title":"\u914d\u7f6e\u200b\u539f\u751f\u200b Prometheus \u200b\u83b7\u53d6\u200b\u76d1\u63a7\u200b\u6570\u636e","text":"<p>Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e30\u5bcc\u200b\u7684\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\uff0c\u200b\u7528\u4e8e\u200b OVN/OVS \u200b\u5065\u5eb7\u200b\u72b6\u6001\u200b\u68c0\u67e5\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u548c\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u68c0\u67e5\u200b\u3002Kube-OVN \u200b\u914d\u7f6e\u200b\u4e86\u200b ServiceMonitor\uff0c\u200b\u53ef\u4ee5\u200b\u7528\u4e8e\u200b Prometheus \u200b\u52a8\u6001\u200b\u83b7\u53d6\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p> <p>\u200b\u5728\u200b\u67d0\u4e9b\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u53ea\u200b\u5b89\u88c5\u200b\u4e86\u200b Prometheus Server\uff0c\u200b\u6ca1\u6709\u200b\u5b89\u88c5\u200b\u5176\u4ed6\u200b\u7684\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b Prometheus \u200b\u7684\u200b\u914d\u7f6e\u200b\uff0c\u200b\u52a8\u6001\u200b\u83b7\u53d6\u200b\u96c6\u7fa4\u200b\u73af\u5883\u200b\u7684\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\u3002</p>"},{"location":"guide/prometheus/#prometheus_1","title":"Prometheus \u200b\u914d\u7f6e","text":"<p>\u200b\u4ee5\u4e0b\u200b\u7684\u200b\u914d\u7f6e\u200b\u6587\u6863\u200b\uff0c\u200b\u53c2\u8003\u200b\u81ea\u200b Prometheus \u200b\u670d\u52a1\u200b\u53d1\u73b0\u200b\u3002</p>"},{"location":"guide/prometheus/#_1","title":"\u6743\u9650\u200b\u914d\u7f6e","text":"<p>Prometheus \u200b\u90e8\u7f72\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\uff0c\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b k8s apiserver \u200b\u6765\u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b\u8d44\u6e90\u200b\uff0c\u200b\u4ece\u800c\u200b\u5b9e\u73b0\u200b\u67e5\u8be2\u200b\u4e1a\u52a1\u200b\u7684\u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u914d\u7f6e\u200b Prometheus \u200b\u9700\u8981\u200b\u7684\u200b\u6743\u9650\u200b\uff1a</p> <pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  name: prometheus\nrules:\n- apiGroups: [\"\"]\n  resources:\n  - nodes\n  - nodes/proxy\n  - services\n  - endpoints\n  - pods\n  verbs: [\"get\", \"list\", \"watch\"]\n- apiGroups:\n  - extensions\n  resources:\n  - ingresses\n  verbs: [\"get\", \"list\", \"watch\"]\n- nonResourceURLs: [\"/metrics\"]\n  verbs: [\"get\"]\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: prometheus\n  namespace: default\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  name: prometheus\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: prometheus\nsubjects:\n- kind: ServiceAccount\n  name: prometheus\n  namespace: default\n</code></pre>"},{"location":"guide/prometheus/#prometheus_2","title":"Prometheus \u200b\u914d\u7f6e\u6587\u4ef6","text":"<p>Prometheus \u200b\u7684\u200b\u542f\u52a8\u200b\uff0c\u200b\u4f9d\u8d56\u4e8e\u200b\u914d\u7f6e\u6587\u4ef6\u200b prometheus.yml\uff0c\u200b\u53ef\u4ee5\u200b\u5c06\u200b\u8be5\u200b\u6587\u4ef6\u200b\u5185\u5bb9\u200b\u914d\u7f6e\u200b\u5728\u200b ConfigMap \u200b\u5185\u200b\uff0c\u200b\u52a8\u6001\u200b\u6302\u8f7d\u200b\u5230\u200b Pod \u200b\u4e2d\u200b\u3002</p> <p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml\uff0c\u200b\u521b\u5efa\u200b Prometheus \u200b\u4f7f\u7528\u200b\u7684\u200b ConfigMap \u200b\u6587\u4ef6\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: prometheus-config\ndata:\n  prometheus.yml: |-\n    global:\n      scrape_interval:     15s \n      evaluation_interval: 15s\n    scrape_configs:\n    - job_name: 'prometheus'\n      static_configs:\n      - targets: ['localhost:9090']\n\n    - job_name: 'kubernetes-nodes'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: node\n\n    - job_name: 'kubernetes-service'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: service\n\n    - job_name: 'kubernetes-endpoints'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: endpoints\n\n    - job_name: 'kubernetes-ingress'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: ingress\n\n    - job_name: 'kubernetes-pods'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: pod\n</code></pre> <p>Prometheus \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u57fa\u4e8e\u200b\u89d2\u8272\u200b\u67e5\u8be2\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u76d1\u63a7\u200b\u7684\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u53ef\u4ee5\u200b\u67e5\u770b\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b kubernetes_sd_config\u3002</p> <p>\u200b\u5728\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u4e2d\u200b\uff0cPrometheus \u200b\u652f\u6301\u200b\u67e5\u8be2\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u7684\u200b\u89d2\u8272\u200b\u5305\u542b\u200b node\u3001service\u3001pod\u3001endpoints \u200b\u548c\u200b ingress\u3002\u200b\u5728\u200b ConfigMap \u200b\u914d\u7f6e\u6587\u4ef6\u200b\u4e2d\u200b\u7ed9\u51fa\u200b\u4e86\u200b\u4ee5\u4e0a\u200b\u5168\u90e8\u200b\u8d44\u6e90\u200b\u7684\u200b\u76d1\u63a7\u200b\u67e5\u8be2\u200b\u914d\u7f6e\u200b\u793a\u4f8b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u6839\u636e\u200b\u9700\u8981\u200b\u9009\u62e9\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"guide/prometheus/#prometheus_3","title":"Prometheus \u200b\u90e8\u7f72","text":"<p>\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml \u200b\u6587\u4ef6\u200b\uff0c\u200b\u90e8\u7f72\u200b Prometheus Server\uff1a</p> <pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  labels:\n    app: prometheus\n  name: prometheus\n  namespace: default\nspec:\n  replicas: 1\n  selector:\n    matchLabels:\n      app: prometheus\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      labels:\n        app: prometheus\n    spec:\n      serviceAccountName: prometheus\n      serviceAccount: prometheus\n      containers:\n      - image: docker.io/prom/prometheus:latest\n        imagePullPolicy: IfNotPresent\n        name: prometheus\n        command:\n        - \"/bin/prometheus\"\n        args:\n        - \"--config.file=/etc/prometheus/prometheus.yml\"\n        ports:\n        - containerPort: 9090\n          protocol: TCP\n        volumeMounts:\n        - mountPath: \"/etc/prometheus\"\n          name: prometheus-config\n      volumes:\n      - name: prometheus-config\n        configMap:\n          name: prometheus-config\n</code></pre> <p>\u200b\u5728\u200b\u90e8\u7f72\u200b\u5b8c\u200b Prometheus \u200b\u4e4b\u540e\u200b\uff0c\u200b\u53c2\u8003\u200b\u4ee5\u4e0b\u200b yaml \u200b\u6587\u4ef6\u200b\uff0c\u200b\u90e8\u7f72\u200b Prometheus Service\uff1a</p> <pre><code>kind: Service\napiVersion: v1\nmetadata:\n  name: prometheus\n  namespace: default\n  labels:\n    name: prometheus\nspec:\n  ports:\n    - name: test\n      protocol: TCP\n      port: 9090\n      targetPort: 9090\n  type: NodePort\n  selector:\n    app: prometheus\n  sessionAffinity: None\n</code></pre> <p>\u200b\u5c06\u200b Prometheus \u200b\u901a\u8fc7\u200b NodePort \u200b\u66b4\u9732\u200b\u540e\u200b\uff0c\u200b\u5373\u53ef\u200b\u901a\u8fc7\u200b\u8282\u70b9\u200b\u6765\u200b\u8bbf\u95ee\u200b Prometheus\u3002</p>"},{"location":"guide/prometheus/#prometheus_4","title":"Prometheus \u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\u9a8c\u8bc1","text":"<p>\u200b\u67e5\u770b\u200b\u73af\u5883\u200b\u4e0a\u200b Prometheus \u200b\u76f8\u5173\u200b\u7684\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get svc \nNAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE\nkubernetes   ClusterIP   10.4.0.1       &lt;none&gt;        443/TCP          8d\nprometheus   NodePort    10.4.102.222   &lt;none&gt;        9090:32611/TCP   8d\n# kubectl get pod -o wide\nNAME                          READY   STATUS    RESTARTS   AGE    IP          NODE              NOMINATED NODE   READINESS GATES\nprometheus-7544b6b84d-v9m8s   1/1     Running   0          3d5h   10.3.0.7    192.168.137.219   &lt;none&gt;           &lt;none&gt;\n# kubectl get endpoints -o wide\nNAME         ENDPOINTS                                                        AGE\nkubernetes   192.168.136.228:6443,192.168.136.232:6443,192.168.137.219:6443   8d\nprometheus   10.3.0.7:9090                                                    8d\n</code></pre> <p>\u200b\u901a\u8fc7\u200b NodePort \u200b\u8bbf\u95ee\u200b Prometheus\uff0c\u200b\u67e5\u770b\u200b Status/Service Discovery \u200b\u52a8\u6001\u200b\u67e5\u8be2\u200b\u5230\u200b\u7684\u200b\u6570\u636e\u200b\uff1a</p> <p></p> <p>\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u5f53\u524d\u200b\u53ef\u4ee5\u200b\u67e5\u8be2\u200b\u5230\u200b\u96c6\u7fa4\u200b\u4e0a\u200b\u5168\u90e8\u200b\u7684\u200b Service \u200b\u6570\u636e\u200b\u4fe1\u606f\u200b\u3002</p>"},{"location":"guide/prometheus/#_2","title":"\u914d\u7f6e\u200b\u67e5\u8be2\u200b\u6307\u5b9a\u200b\u7684\u200b\u8d44\u6e90","text":"<p>\u200b\u4ee5\u4e0a\u200b\u7684\u200b ConfigMap \u200b\u914d\u7f6e\u200b\u4e2d\u200b\uff0c\u200b\u6ca1\u6709\u200b\u6dfb\u52a0\u200b\u8fc7\u6ee4\u200b\u6761\u4ef6\u200b\uff0c\u200b\u67e5\u8be2\u200b\u4e86\u200b\u6240\u6709\u200b\u7684\u200b\u8d44\u6e90\u200b\u6570\u636e\u200b\u3002\u200b\u5982\u679c\u200b\u53ea\u200b\u9700\u8981\u200b\u67d0\u4e2a\u200b\u89d2\u8272\u200b\u7684\u200b\u8d44\u6e90\u200b\u6570\u636e\u200b\uff0c\u200b\u5219\u200b\u53ef\u4ee5\u200b\u6dfb\u52a0\u200b\u8fc7\u6ee4\u200b\u6761\u4ef6\u200b\u3002</p> <p>\u200b\u4ee5\u200b Service \u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u4fee\u6539\u200b ConfigMap \u200b\u5185\u5bb9\u200b\uff0c\u200b\u53ea\u200b\u67e5\u8be2\u200b\u5173\u5fc3\u200b\u7684\u200b Service \u200b\u76d1\u63a7\u200b\u6570\u636e\u200b\u3002</p> <pre><code>    - job_name: 'kubernetes-service'\n      tls_config:\n        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt\n      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token\n      kubernetes_sd_configs:\n      - role: service\n      relabel_configs:\n      - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape]\n        action: \"keep\"\n        regex: \"true\"\n      - action: labelmap\n        regex: __meta_kubernetes_service_label_(.+)\n      - source_labels: [__meta_kubernetes_namespace]\n        target_label: kubernetes_namespace\n      - source_labels: [__meta_kubernetes_service_name]\n        target_label: kubernetes_service_name\n      - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_path]\n        action: replace\n        target_label: __metrics_path__\n        regex: \"(.+)\"\n</code></pre> <p>Service \u200b\u9ed8\u8ba4\u200b\u76d1\u63a7\u200b\u8def\u5f84\u200b\u4e3a\u200b /metrics\u3002\u200b\u5982\u679c\u200b Service \u200b\u63d0\u4f9b\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u662f\u200b\u5176\u4ed6\u200b\u7684\u200b\u8def\u5f84\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u7ed9\u200b Service \u200b\u6dfb\u52a0\u200b annotation <code>prometheus.io/path</code> \u200b\u6765\u200b\u6307\u5b9a\u200b\u91c7\u96c6\u200b\u8def\u5f84\u200b\u3002</p> <p>\u200b\u5e94\u7528\u200b\u4ee5\u4e0a\u200b yaml\uff0c\u200b\u66f4\u65b0\u200b ConfigMap \u200b\u4fe1\u606f\u200b\uff0c\u200b\u91cd\u5efa\u200b Prometheus Pod\uff0c\u200b\u4f7f\u200b\u914d\u7f6e\u200b\u751f\u6548\u200b\u3002</p> <p>\u200b\u67e5\u770b\u200b kube-system Namespace \u200b\u4e0b\u200b\u7684\u200b Service \u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get svc -n kube-system\nNAME                  TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)                  AGE\nkube-dns              ClusterIP   10.4.0.10      &lt;none&gt;        53/UDP,53/TCP,9153/TCP   13d\nkube-ovn-cni          ClusterIP   10.4.228.60    &lt;none&gt;        10665/TCP                13d\nkube-ovn-controller   ClusterIP   10.4.172.213   &lt;none&gt;        10660/TCP                13d\nkube-ovn-monitor      ClusterIP   10.4.242.9     &lt;none&gt;        10661/TCP                13d\nkube-ovn-pinger       ClusterIP   10.4.122.52    &lt;none&gt;        8080/TCP                 13d\novn-nb                ClusterIP   10.4.80.213    &lt;none&gt;        6641/TCP                 13d\novn-northd            ClusterIP   10.4.126.234   &lt;none&gt;        6643/TCP                 13d\novn-sb                ClusterIP   10.4.216.249   &lt;none&gt;        6642/TCP                 13d\n</code></pre> <p>\u200b\u7ed9\u200b Service \u200b\u6dfb\u52a0\u200b annotation <code>prometheus.io/scrape=\"true\"</code>\uff1a</p> <pre><code># kubectl annotate svc -n kube-system kube-ovn-cni  prometheus.io/scrape=true\nservice/kube-ovn-cni annotated\n# kubectl annotate svc -n kube-system kube-ovn-controller  prometheus.io/scrape=true\nservice/kube-ovn-controller annotated\n# kubectl annotate svc -n kube-system kube-ovn-monitor  prometheus.io/scrape=true\nservice/kube-ovn-monitor annotated\n# kubectl annotate svc -n kube-system kube-ovn-pinger  prometheus.io/scrape=true\nservice/kube-ovn-pinger annotated\n</code></pre> <p>\u200b\u67e5\u770b\u200b\u914d\u7f6e\u200b\u540e\u200b\u7684\u200b Service \u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get svc -o yaml -n kube-system kube-ovn-controller\napiVersion: v1\nkind: Service\nmetadata:\n  annotations:\n    helm.sh/chart-version: v3.10.0-alpha.55\n    helm.sh/original-name: kube-ovn-controller\n    ovn.kubernetes.io/vpc: ovn-cluster\n    prometheus.io/scrape: \"true\"                        // \u200b\u6dfb\u52a0\u200b\u7684\u200b annotation\n  labels:\n    app: kube-ovn-controller\n  name: kube-ovn-controller\n  namespace: kube-system\nspec:\n  clusterIP: 10.4.172.213\n  clusterIPs:\n  - 10.4.172.213\n  internalTrafficPolicy: Cluster\n  ipFamilies:\n  - IPv4\n  ipFamilyPolicy: SingleStack\n  ports:\n  - name: metrics\n    port: 10660\n    protocol: TCP\n    targetPort: 10660\n  selector:\n    app: kube-ovn-controller\n  sessionAffinity: None\n  type: ClusterIP\nstatus:\n  loadBalancer: {}\n</code></pre> <p>\u200b\u67e5\u770b\u200b Prometheus Status Targets \u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u770b\u5230\u200b\u53ea\u6709\u200b\u6dfb\u52a0\u200b\u4e86\u200b annotation \u200b\u7684\u200b Service \u200b\u88ab\u200b\u8fc7\u6ee4\u51fa\u6765\u200b\uff1a </p> <p>\u200b\u66f4\u200b\u591a\u200b\u5173\u4e8e\u200b relabel \u200b\u6dfb\u52a0\u200b\u8fc7\u6ee4\u200b\u53c2\u6570\u200b\u7684\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Prometheus-Relabel\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/qos/","title":"\u5bb9\u5668\u200b\u7f51\u7edc\u200b QoS \u200b\u914d\u7f6e","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u57fa\u4e8e\u200b\u5355\u4e2a\u200b Pod \u200b\u7684\u200b\u4e24\u79cd\u200b\u4e0d\u540c\u200b\u7c7b\u578b\u200b\u7684\u200b QoS\uff1a</p> <ul> <li>\u200b\u6700\u5927\u200b\u5e26\u5bbd\u200b\u9650\u5236\u200b QoS\u3002</li> <li><code>linux-netem</code>\uff0c\u200b\u6a21\u62df\u200b\u8bbe\u5907\u200b\u5e72\u6270\u200b\u4e22\u5305\u200b\u7b49\u200b\u7684\u200b QoS\uff0c\u200b\u53ef\u200b\u7528\u4e8e\u200b\u6a21\u62df\u200b\u6d4b\u8bd5\u200b\u3002</li> </ul> <p>\u200b\u76ee\u524d\u200b\u53ea\u200b\u652f\u6301\u200b Pod \u200b\u7ea7\u522b\u200b QoS \u200b\u4e0d\u200b\u652f\u6301\u200b Namespace \u200b\u6216\u200b Subnet \u200b\u7ea7\u522b\u200b\u7684\u200b QoS \u200b\u9650\u5236\u200b\u3002</p>"},{"location":"guide/qos/#qos_1","title":"\u57fa\u4e8e\u200b\u6700\u5927\u200b\u5e26\u5bbd\u200b\u9650\u5236\u200b\u7684\u200b QoS","text":"<p>\u200b\u8be5\u200b\u7c7b\u578b\u200b\u7684\u200b QoS \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Pod annotation \u200b\u52a8\u6001\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u4e0d\u200b\u4e2d\u65ad\u200b Pod \u200b\u8fd0\u884c\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\u3002 \u200b\u5e26\u5bbd\u200b\u9650\u901f\u200b\u7684\u200b\u5355\u4f4d\u200b\u4e3a\u200b <code>Mbit/s</code>\u3002</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: qos\n  namespace: ls1\n  annotations:\n    ovn.kubernetes.io/ingress_rate: \"3\"\n    ovn.kubernetes.io/egress_rate: \"1\"\nspec:\n  containers:\n  - name: qos\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u4f7f\u7528\u200b annotation \u200b\u52a8\u6001\u200b\u8c03\u6574\u200b QoS\uff1a</p> <pre><code>kubectl annotate --overwrite  pod nginx-74d5899f46-d7qkn ovn.kubernetes.io/ingress_rate=3\n</code></pre>"},{"location":"guide/qos/#qos_2","title":"\u6d4b\u8bd5\u200b QoS \u200b\u8c03\u6574","text":"<p>\u200b\u90e8\u7f72\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b\u9700\u8981\u200b\u7684\u200b\u5bb9\u5668\u200b\uff1a</p> <pre><code>kind: DaemonSet\napiVersion: apps/v1\nmetadata:\n  name: perf\n  namespace: ls1\n  labels:\n    app: perf\nspec:\n  selector:\n    matchLabels:\n      app: perf\n  template:\n    metadata:\n      labels:\n        app: perf\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/kubeovn/perf\n</code></pre> <p>\u200b\u8fdb\u5165\u200b\u5176\u4e2d\u200b\u4e00\u4e2a\u200b Pod \u200b\u5e76\u200b\u5f00\u542f\u200b iperf3 server\uff1a</p> <pre><code># kubectl exec -it perf-4n4gt -n ls1 sh\n# iperf3 -s\n-----------------------------------------------------------\nServer listening on 5201\n-----------------------------------------------------------\n</code></pre> <p>\u200b\u8fdb\u5165\u200b\u53e6\u200b\u4e00\u4e2a\u200b Pod \u200b\u8bf7\u6c42\u200b\u4e4b\u524d\u200b\u7684\u200b Pod\uff1a</p> <pre><code># kubectl exec -it perf-d4mqc -n ls1 sh\n# iperf3 -c 10.66.0.12\nConnecting to host 10.66.0.12, port 5201\n[  4] local 10.66.0.14 port 51544 connected to 10.66.0.12 port 5201\n[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd\n[  4]   0.00-1.00   sec  86.4 MBytes   725 Mbits/sec    3    350 KBytes\n[  4]   1.00-2.00   sec  89.9 MBytes   754 Mbits/sec  118    473 KBytes\n[  4]   2.00-3.00   sec   101 MBytes   848 Mbits/sec  184    586 KBytes\n[  4]   3.00-4.00   sec   104 MBytes   875 Mbits/sec  217    671 KBytes\n[  4]   4.00-5.00   sec   111 MBytes   935 Mbits/sec  175    772 KBytes\n[  4]   5.00-6.00   sec   100 MBytes   840 Mbits/sec  658    598 KBytes\n[  4]   6.00-7.00   sec   106 MBytes   890 Mbits/sec  742    668 KBytes\n[  4]   7.00-8.00   sec   102 MBytes   857 Mbits/sec  764    724 KBytes\n[  4]   8.00-9.00   sec  97.4 MBytes   817 Mbits/sec  1175    764 KBytes\n[  4]   9.00-10.00  sec   111 MBytes   934 Mbits/sec  1083    838 KBytes\n- - - - - - - - - - - - - - - - - - - - - - - - -\n[ ID] Interval           Transfer     Bandwidth       Retr\n[  4]   0.00-10.00  sec  1010 MBytes   848 Mbits/sec  5119             sender\n[  4]   0.00-10.00  sec  1008 MBytes   846 Mbits/sec                  receiver\n\niperf Done.\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u7b2c\u4e00\u4e2a\u200b Pod \u200b\u7684\u200b\u5165\u53e3\u200b\u5e26\u5bbd\u200b QoS\uff1a</p> <pre><code>kubectl annotate --overwrite  pod perf-4n4gt -n ls1 ovn.kubernetes.io/ingress_rate=30\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u4ece\u200b\u7b2c\u4e8c\u4e2a\u200b Pod \u200b\u6d4b\u8bd5\u200b\u7b2c\u4e00\u4e2a\u200b Pod \u200b\u5e26\u5bbd\u200b\uff1a</p> <pre><code># iperf3 -c 10.66.0.12\nConnecting to host 10.66.0.12, port 5201\n[  4] local 10.66.0.14 port 52372 connected to 10.66.0.12 port 5201\n[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd\n[  4]   0.00-1.00   sec  3.66 MBytes  30.7 Mbits/sec    2   76.1 KBytes\n[  4]   1.00-2.00   sec  3.43 MBytes  28.8 Mbits/sec    0    104 KBytes\n[  4]   2.00-3.00   sec  3.50 MBytes  29.4 Mbits/sec    0    126 KBytes\n[  4]   3.00-4.00   sec  3.50 MBytes  29.3 Mbits/sec    0    144 KBytes\n[  4]   4.00-5.00   sec  3.43 MBytes  28.8 Mbits/sec    0    160 KBytes\n[  4]   5.00-6.00   sec  3.43 MBytes  28.8 Mbits/sec    0    175 KBytes\n[  4]   6.00-7.00   sec  3.50 MBytes  29.3 Mbits/sec    0    212 KBytes\n[  4]   7.00-8.00   sec  3.68 MBytes  30.9 Mbits/sec    0    294 KBytes\n[  4]   8.00-9.00   sec  3.74 MBytes  31.4 Mbits/sec    0    398 KBytes\n[  4]   9.00-10.00  sec  3.80 MBytes  31.9 Mbits/sec    0    526 KBytes\n- - - - - - - - - - - - - - - - - - - - - - - - -\n[ ID] Interval           Transfer     Bandwidth       Retr\n[  4]   0.00-10.00  sec  35.7 MBytes  29.9 Mbits/sec    2             sender\n[  4]   0.00-10.00  sec  34.5 MBytes  29.0 Mbits/sec                  receiver\n\niperf Done.\n</code></pre>"},{"location":"guide/qos/#linux-netem-qos","title":"linux-netem QoS","text":"<p>RHEL \u200b\u7cfb\u5217\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u9700\u8981\u200b\u5b89\u88c5\u200b netem \u200b\u76f8\u5173\u200b\u6a21\u5757\u200b\uff1a yum install -y kernel-modules-extra &amp;&amp; modprobe sch_netem</p> <p>Pod \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5982\u4e0b\u200b annotation \u200b\u914d\u7f6e\u200b <code>linux-netem</code> \u200b\u7c7b\u578b\u200b QoS\uff1a <code>ovn.kubernetes.io/latency</code>\u3001<code>ovn.kubernetes.io/limit</code> \u200b\u548c\u200b <code>ovn.kubernetes.io/loss</code>\u3002</p> <ul> <li><code>ovn.kubernetes.io/latency</code>\uff1a\u200b\u8bbe\u7f6e\u200b Pod \u200b\u6d41\u91cf\u200b\u5ef6\u8fdf\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b\u6574\u6570\u200b\uff0c\u200b\u5355\u4f4d\u200b\u4e3a\u200b ms\u3002</li> <li><code>ovn.kubernetes.io/limit</code>\uff1a \u200b\u4e3a\u200b <code>qdisc</code> \u200b\u961f\u5217\u200b\u53ef\u200b\u5bb9\u7eb3\u200b\u7684\u200b\u6700\u5927\u200b\u6570\u636e\u5305\u200b\u6570\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b\u6574\u5f62\u200b\u6570\u503c\u200b\uff0c\u200b\u4f8b\u5982\u200b 1000\u3002</li> <li><code>ovn.kubernetes.io/loss</code>\uff1a \u200b\u4e3a\u200b\u8bbe\u7f6e\u200b\u7684\u200b\u62a5\u6587\u200b\u4e22\u5305\u200b\u6982\u7387\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b float \u200b\u7c7b\u578b\u200b\uff0c\u200b\u4f8b\u5982\u200b\u53d6\u503c\u200b\u4e3a\u200b 20\uff0c\u200b\u5219\u200b\u4e3a\u200b\u8bbe\u7f6e\u200b 20% \u200b\u7684\u200b\u4e22\u200b\u5305\u200b\u6982\u7387\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/setup-options/","title":"\u5b89\u88c5\u200b\u548c\u200b\u914d\u7f6e\u200b\u9009\u9879","text":"<p>\u200b\u5728\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u4e2d\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u914d\u7f6e\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff0cKube-OVN \u200b\u8fd8\u200b\u652f\u6301\u200b\u66f4\u200b\u591a\u200b \u200b\u81ea\u5b9a\u4e49\u200b\u914d\u7f6e\u200b\uff0c\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff0c\u200b\u6216\u8005\u200b\u4e4b\u540e\u200b\u66f4\u6539\u200b\u5404\u4e2a\u200b\u7ec4\u4ef6\u200b\u7684\u200b\u53c2\u6570\u200b\u6765\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u4f1a\u200b\u4ecb\u7ecd\u200b\u8fd9\u4e9b\u200b\u81ea\u5b9a\u4e49\u200b\u9009\u9879\u200b \u200b\u7684\u200b\u4f5c\u7528\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5982\u4f55\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"guide/setup-options/#_2","title":"\u5185\u7f6e\u200b\u7f51\u7edc\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u5728\u200b\u5b89\u88c5\u200b\u65f6\u4f1a\u200b\u914d\u7f6e\u200b\u4e24\u4e2a\u200b\u5185\u7f6e\u200b\u5b50\u7f51\u200b\uff1a</p> <ol> <li><code>default</code> \u200b\u5b50\u7f51\u200b\uff0c\u200b\u4f5c\u4e3a\u200b Pod \u200b\u5206\u914d\u200b IP \u200b\u4f7f\u7528\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u9ed8\u8ba4\u200b CIDR \u200b\u4e3a\u200b <code>10.16.0.0/16</code>\uff0c\u200b\u7f51\u5173\u200b\u4e3a\u200b <code>10.16.0.1</code>\u3002</li> <li><code>join</code> \u200b\u5b50\u7f51\u200b\uff0c\u200b\u4f5c\u4e3a\u200b Node \u200b\u548c\u200b Pod \u200b\u4e4b\u95f4\u200b\u8fdb\u884c\u200b\u7f51\u7edc\u901a\u4fe1\u200b\u7684\u200b\u7279\u6b8a\u200b\u5b50\u7f51\u200b, \u200b\u9ed8\u8ba4\u200b CIDR \u200b\u4e3a\u200b <code>100.64.0.0/16</code>\uff0c\u200b\u7f51\u5173\u200b\u4e3a\u200b <code>100.64.0.1</code>\u3002</li> </ol> <p>\u200b\u5728\u200b\u5b89\u88c5\u200b\u65f6\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u5185\u200b\u7684\u200b\u914d\u7f6e\u200b\u8fdb\u884c\u200b\u66f4\u6539\u200b\uff1a</p> <pre><code>POD_CIDR=\"10.16.0.0/16\"\nPOD_GATEWAY=\"10.16.0.1\"\nJOIN_CIDR=\"100.64.0.0/16\"\nEXCLUDE_IPS=\"\"\n</code></pre> <p><code>EXCLUDE_IP</code> \u200b\u53ef\u200b\u8bbe\u7f6e\u200b <code>POD_CIDR</code> \u200b\u4e0d\u200b\u8fdb\u884c\u200b\u5206\u914d\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\uff0c\u200b\u683c\u5f0f\u200b\u4e3a\u200b\uff1a<code>192.168.10.20..192.168.10.30</code>\u3002</p> <p>\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b Overlay \u200b\u60c5\u51b5\u200b\u4e0b\u200b\u8fd9\u200b\u4e24\u4e2a\u200b\u7f51\u7edc\u200b\u4e0d\u80fd\u200b\u548c\u200b\u5df2\u6709\u200b\u7684\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u548c\u200b Service CIDR \u200b\u51b2\u7a81\u200b\u3002</p> <p>\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u53ef\u4ee5\u200b\u5bf9\u200b\u8fd9\u200b\u4e24\u4e2a\u200b\u7f51\u7edc\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u8bf7\u200b\u53c2\u8003\u200b\u4fee\u6539\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u548c\u200b\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b\u3002</p>"},{"location":"guide/setup-options/#service","title":"Service \u200b\u7f51\u6bb5\u200b\u914d\u7f6e","text":"<p>\u200b\u7531\u4e8e\u200b\u90e8\u5206\u200b <code>kube-proxy</code> \u200b\u8bbe\u7f6e\u200b\u7684\u200b iptables \u200b\u548c\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u4f1a\u200b\u548c\u200b Kube-OVN \u200b\u8bbe\u7f6e\u200b\u7684\u200b\u89c4\u5219\u200b\u4ea7\u751f\u200b\u4ea4\u96c6\u200b\uff0c\u200b\u56e0\u6b64\u200b Kube-OVN \u200b\u9700\u8981\u200b\u77e5\u9053\u200b Service \u200b\u7684\u200b CIDR \u200b\u6765\u200b\u6b63\u786e\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b\u89c4\u5219\u200b\u3002</p> <p>\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b\uff1a</p> <pre><code>SVC_CIDR=\"10.96.0.0/12\"  \n</code></pre> <p>\u200b\u6765\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --service-cluster-ip-range=10.96.0.0/12\n</code></pre> <p>\u200b\u6765\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002</p>"},{"location":"guide/setup-options/#overlay","title":"Overlay \u200b\u7f51\u5361\u200b\u9009\u62e9","text":"<p>\u200b\u5728\u200b\u8282\u70b9\u200b\u5b58\u5728\u200b\u591a\u5757\u200b\u7f51\u5361\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0cKube-OVN \u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u9009\u62e9\u200b Kubernetes Node IP \u200b\u5bf9\u5e94\u200b\u7684\u200b\u7f51\u5361\u200b\u4f5c\u4e3a\u200b\u5bb9\u5668\u200b\u95f4\u200b\u8de8\u200b\u8282\u70b9\u200b\u901a\u4fe1\u200b\u7684\u200b\u7f51\u5361\u200b\u5e76\u200b\u5efa\u7acb\u200b\u5bf9\u5e94\u200b\u7684\u200b\u96a7\u9053\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u9009\u62e9\u200b\u5176\u4ed6\u200b\u7684\u200b\u7f51\u5361\u200b\u5efa\u7acb\u200b\u5bb9\u5668\u200b\u96a7\u9053\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u4fee\u6539\u200b\uff1a</p> <pre><code>IFACE=eth1\n</code></pre> <p>\u200b\u8be5\u200b\u9009\u9879\u200b\u652f\u6301\u200b\u4ee5\u200b\u9017\u53f7\u200b\u6240\u200b\u5206\u9694\u200b\u6b63\u5219\u8868\u8fbe\u5f0f\u200b,\u200b\u4f8b\u5982\u200b <code>ens[a-z0-9]*,eth[a-z0-9]*</code>\u3002</p> <p>\u200b\u5b89\u88c5\u200b\u540e\u200b\u4e5f\u200b\u53ef\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <pre><code>args:\n- --iface=eth1\n</code></pre> <p>\u200b\u5982\u679c\u200b\u6bcf\u53f0\u200b\u673a\u5668\u200b\u7684\u200b\u7f51\u5361\u200b\u540d\u5747\u200b\u4e0d\u540c\u200b\uff0c\u200b\u4e14\u200b\u6ca1\u6709\u200b\u56fa\u5b9a\u200b\u89c4\u5f8b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u8282\u70b9\u200b annotation <code>ovn.kubernetes.io/tunnel_interface</code> \u200b\u8fdb\u884c\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u7684\u200b\u9010\u4e00\u200b\u914d\u7f6e\u200b\uff0c\u200b\u62e5\u6709\u200b\u8be5\u200b annotation \u200b\u8282\u70b9\u200b\u4f1a\u200b\u8986\u76d6\u200b <code>iface</code> \u200b\u7684\u200b\u914d\u7f6e\u200b\uff0c\u200b\u4f18\u5148\u200b\u4f7f\u7528\u200b annotation\u3002</p> <pre><code>kubectl annotate node no1 ovn.kubernetes.io/tunnel_interface=ethx\n</code></pre>"},{"location":"guide/setup-options/#mtu","title":"MTU \u200b\u8bbe\u7f6e","text":"<p>\u200b\u7531\u4e8e\u200b Overlay \u200b\u5c01\u88c5\u200b\u9700\u8981\u200b\u5360\u636e\u200b\u989d\u5916\u200b\u7684\u200b\u7a7a\u95f4\u200b\uff0cKube-OVN \u200b\u5728\u200b\u521b\u5efa\u200b\u5bb9\u5668\u200b\u7f51\u5361\u200b\u65f6\u4f1a\u200b\u6839\u636e\u200b\u9009\u62e9\u200b\u7f51\u5361\u200b\u7684\u200b MTU \u200b\u8fdb\u884c\u200b\u5bb9\u5668\u200b\u7f51\u5361\u200b\u7684\u200b MTU \u200b\u8c03\u6574\u200b\uff0c \u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Overlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b Pod \u200b\u7f51\u5361\u200b MTU \u200b\u4e3a\u200b\u4e3b\u673a\u200b\u7f51\u5361\u200b MTU - 100\uff0cUnderlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\uff0cPod \u200b\u7f51\u5361\u200b\u548c\u200b\u4e3b\u673a\u200b\u7f51\u5361\u200b\u6709\u200b\u76f8\u540c\u200b MTU\u3002</p> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u8c03\u6574\u200b Overlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b MTU \u200b\u7684\u200b\u5927\u5c0f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --mtu=1333\n</code></pre>"},{"location":"guide/setup-options/#_3","title":"\u5168\u5c40\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5728\u200b\u5f00\u542f\u200b\u5168\u5c40\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0cKube-OVN \u200b\u4f1a\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u521b\u5efa\u200b\u4e00\u5757\u200b <code>mirror0</code> \u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u5361\u200b\uff0c\u200b\u590d\u5236\u200b\u5f53\u524d\u200b\u673a\u5668\u200b\u6240\u6709\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u5230\u200b\u8be5\u200b\u7f51\u5361\u200b\u4e0a\u200b\uff0c \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b tcpdump \u200b\u53ca\u5176\u200b\u4ed6\u200b\u5de5\u5177\u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u5206\u6790\u200b\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u901a\u8fc7\u200b\u4e0b\u9762\u200b\u7684\u200b\u914d\u7f6e\u200b\u5f00\u542f\u200b\uff1a</p> <pre><code>ENABLE_MIRROR=true\n</code></pre> <p>\u200b\u4e5f\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b\u53c2\u6570\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b:</p> <pre><code>args:\n- --enable-mirror=true\n</code></pre> <p>\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u7684\u200b\u80fd\u529b\u200b\u5728\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e2d\u4e3a\u200b\u5173\u95ed\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u7ec6\u7c92\u5ea6\u200b\u7684\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u6216\u200b\u9700\u8981\u200b\u5c06\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u5230\u200b\u989d\u5916\u200b\u7684\u200b\u7f51\u5361\u200b\u8bf7\u200b\u53c2\u8003\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u6d41\u91cf\u200b\u955c\u50cf\u200b\u3002</p>"},{"location":"guide/setup-options/#lb","title":"LB \u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b OVN \u200b\u4e2d\u200b\u7684\u200b L2 LB \u200b\u6765\u200b\u5b9e\u73b0\u200b Service \u200b\u8f6c\u53d1\u200b\uff0c\u200b\u5728\u200b Overlay \u200b\u573a\u666f\u200b\u4e2d\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b\u4f7f\u7528\u200b <code>kube-proxy</code> \u200b\u6765\u200b\u5b8c\u6210\u200b Service \u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b, \u200b\u5728\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u5173\u95ed\u200b Kube-OVN \u200b\u7684\u200b LB \u200b\u529f\u80fd\u200b\u4ee5\u200b\u8fbe\u5230\u200b\u63a7\u5236\u200b\u9762\u200b\u548c\u200b\u6570\u636e\u200b\u9762\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ENABLE_LB=false\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>args:\n- --enable-lb=false\n</code></pre> <p>LB \u200b\u7684\u200b\u529f\u80fd\u200b\u5728\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e2d\u4e3a\u200b\u5f00\u542f\u200b\u3002</p> <p>\u200b\u4ece\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c\u200b\u5728\u200b subnet crd \u200b\u5b9a\u4e49\u200b\u4e2d\u200b\u589e\u52a0\u200b\u4e86\u200b spec \u200b\u5b57\u200b\u6bb5\u200b <code>enableLb</code>\uff0c\u200b\u5c06\u200b Kube-OVN \u200b\u7684\u200b LB \u200b\u529f\u80fd\u200b\u8fc1\u79fb\u200b\u5230\u200b\u5b50\u7f51\u200b\u5c42\u7ea7\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b\u4e0d\u540c\u200b\u7684\u200b\u5b50\u7f51\u200b\u5206\u522b\u200b\u8bbe\u7f6e\u200b\u662f\u5426\u200b\u5f00\u542f\u200b LB \u200b\u529f\u80fd\u200b\u3002<code>kube-ovn-controller</code> Deployment \u200b\u4e2d\u200b\u7684\u200b <code>enable-lb</code> \u200b\u53c2\u6570\u200b\u4f5c\u4e3a\u200b\u5168\u5c40\u200b\u53c2\u6570\u200b\uff0c\u200b\u63a7\u5236\u200b\u662f\u5426\u200b\u521b\u5efa\u200b load-balancer \u200b\u8bb0\u5f55\u200b\uff0c\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u65b0\u589e\u200b\u7684\u200b <code>enableLb</code> \u200b\u53c2\u6570\u200b\u7528\u4e8e\u200b\u63a7\u5236\u200b\u5b50\u7f51\u200b\u662f\u5426\u200b\u5173\u8054\u200b load-balancer \u200b\u8bb0\u5f55\u200b\u3002\u200b\u4e4b\u524d\u200b\u7248\u672c\u5347\u7ea7\u200b\u5230\u200b v1.12.0 \u200b\u4e4b\u540e\u200b\uff0c\u200b\u5b50\u7f51\u200b <code>enableLb</code> \u200b\u53c2\u6570\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u7ee7\u627f\u200b\u539f\u6709\u200b\u7684\u200b\u5168\u5c40\u200b\u5f00\u5173\u200b\u53c2\u6570\u200b\u53d6\u503c\u200b\u3002</p>"},{"location":"guide/setup-options/#networkpolicy","title":"NetworkPolicy \u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b OVN \u200b\u4e2d\u200b\u7684\u200b ACL \u200b\u6765\u200b\u5b9e\u73b0\u200b NetworkPolicy\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b\u5173\u95ed\u200b NetworkPolicy \u200b\u529f\u80fd\u200b \u200b\u6216\u8005\u200b\u4f7f\u7528\u200b Cilium Chain \u200b\u7684\u200b\u65b9\u5f0f\u200b\u5229\u7528\u200b eBPF \u200b\u5b9e\u73b0\u200b NetworkPolicy\uff0c \u200b\u5728\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u5173\u95ed\u200b Kube-OVN \u200b\u7684\u200b NetworkPolicy \u200b\u529f\u80fd\u200b\u4ee5\u200b\u8fbe\u5230\u200b\u63a7\u5236\u200b\u9762\u200b\u548c\u200b\u6570\u636e\u200b\u9762\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ENABLE_NP=false\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>args:\n- --enable-np=false\n</code></pre> <p>NetworkPolicy \u200b\u7684\u200b\u80fd\u529b\u200b\u5728\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e2d\u4e3a\u200b\u5f00\u542f\u200b\u3002</p>"},{"location":"guide/setup-options/#eip-snat","title":"EIP \u200b\u548c\u200b SNAT \u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u9ed8\u8ba4\u200b\u7f51\u7edc\u200b\u4e0b\u200b\u5982\u679c\u200b\u65e0\u9700\u200b\u4f7f\u7528\u200b EIP \u200b\u548c\u200b SNAT \u200b\u7684\u200b\u80fd\u529b\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b\u5173\u95ed\u200b\u76f8\u5173\u200b\u529f\u80fd\u200b\uff0c\u200b\u4ee5\u200b\u51cf\u5c11\u200b <code>kube-ovn-controller</code> \u200b\u5728\u200b\u521b\u5efa\u200b\u548c\u200b\u66f4\u65b0\u200b \u200b\u7f51\u7edc\u200b\u65f6\u200b\u7684\u200b\u68c0\u67e5\u200b\u6d88\u8017\u200b\uff0c\u200b\u5728\u200b\u5927\u89c4\u6a21\u200b\u96c6\u7fa4\u200b\u73af\u5883\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u63d0\u5347\u200b\u5904\u7406\u901f\u5ea6\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ENABLE_EIP_SNAT=false\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>args:\n- --enable-eip-snat=false\n</code></pre> <p>EIP \u200b\u548c\u200b SNAT \u200b\u7684\u200b\u80fd\u529b\u200b\u5728\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e2d\u4e3a\u200b\u5f00\u542f\u200b\u3002\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u76f8\u5173\u200b\u4f7f\u7528\u200b\u548c\u200b\u5176\u4ed6\u200b\u53ef\u200b\u914d\u200b\u53c2\u6570\u200b\u8bf7\u200b\u53c2\u8003\u200b EIP \u200b\u548c\u200b SNAT \u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"guide/setup-options/#load-balancer-service","title":"Load Balancer \u200b\u7c7b\u578b\u200b Service \u200b\u652f\u6301\u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u53ef\u200b\u901a\u8fc7\u200b\u5f00\u542f\u200b\u8be5\u200b\u9009\u9879\u200b\u6765\u200b\u652f\u6301\u200b Load Balancer \u200b\u7c7b\u578b\u200b Service\u3002\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u76f8\u5173\u200b\u4f7f\u7528\u200b\u548c\u200b\u5176\u4ed6\u200b\u53ef\u200b\u914d\u200b\u53c2\u6570\u200b\u8bf7\u200b\u53c2\u8003\u200b LoadBalancer \u200b\u7c7b\u578b\u200b Service\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u9ed8\u8ba4\u200b\u5173\u95ed\u200b\uff0c\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>ENABLE_LB_SVC=true\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u901a\u8fc7\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>args:\n- --enable-lb-svc=true\n</code></pre>"},{"location":"guide/setup-options/#ecmp","title":"\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b ECMP \u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u652f\u6301\u200b\u4e3b\u5907\u200b\u548c\u200b ECMP \u200b\u4e24\u79cd\u200b\u9ad8\u200b\u53ef\u7528\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u542f\u7528\u200b ECMP \u200b\u6a21\u5f0f\u200b\uff0c \u200b\u9700\u8981\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u914d\u7f6e\u200b:</p> <pre><code>args:\n- --enable-ecmp=true \n</code></pre> <p>\u200b\u4ece\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c\u200b\u5728\u200b subnet crd \u200b\u5b9a\u4e49\u200b\u4e2d\u200b\u589e\u52a0\u200b\u4e86\u200b spec \u200b\u5b57\u200b\u6bb5\u200b <code>enableEcmp</code>\uff0c\u200b\u5c06\u200b\u96c6\u4e2d\u5f0f\u200b\u5b50\u7f51\u200b ECMP \u200b\u5f00\u5173\u200b\u63a7\u5236\u200b\u8fc1\u79fb\u200b\u5230\u200b\u5b50\u7f51\u200b\u5c42\u7ea7\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b\u4e0d\u540c\u200b\u7684\u200b\u5b50\u7f51\u200b\u5206\u522b\u200b\u8bbe\u7f6e\u200b\u662f\u5426\u200b\u5f00\u542f\u200b ECMP \u200b\u6a21\u5f0f\u200b\u3002\u200b\u539f\u6709\u200b\u7684\u200b <code>kube-ovn-controller</code> Deployment \u200b\u4e2d\u200b\u7684\u200b <code>enable-ecmp</code> \u200b\u53c2\u6570\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\u3002\u200b\u4e4b\u524d\u200b\u7248\u672c\u5347\u7ea7\u200b\u5230\u200b v1.12.0 \u200b\u4e4b\u540e\u200b\uff0c\u200b\u5b50\u7f51\u200b\u5f00\u5173\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u7ee7\u627f\u200b\u539f\u6709\u200b\u7684\u200b\u5168\u5c40\u200b\u5f00\u5173\u200b\u53c2\u6570\u200b\u53d6\u503c\u200b\u3002</p> <p>\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e0b\u200b\u4e3a\u4e3b\u200b\u5907\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u7f51\u5173\u200b\u76f8\u5173\u200b\u5185\u5bb9\u200b\u8bf7\u200b\u53c2\u8003\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b\u3002</p>"},{"location":"guide/setup-options/#kubevirt-vm","title":"Kubevirt VM \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u5f00\u542f\u200b\u8bbe\u7f6e","text":"<p>\u200b\u9488\u5bf9\u200b Kubevirt \u200b\u521b\u5efa\u200b\u7684\u200b VM \u200b\u5b9e\u4f8b\u200b\uff0c<code>kube-ovn-controller</code> \u200b\u53ef\u4ee5\u200b\u6309\u7167\u200b\u7c7b\u4f3c\u200b StatefulSet Pod \u200b\u7684\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b IP \u200b\u5730\u5740\u200b\u5206\u914d\u200b\u548c\u200b\u7ba1\u7406\u200b\u3002 \u200b\u4ee5\u200b\u8fbe\u5230\u200b VM \u200b\u5b9e\u4f8b\u200b\u5728\u200b\u751f\u547d\u5468\u671f\u200b\u5185\u542f\u505c\u200b\uff0c\u200b\u5347\u7ea7\u200b\uff0c\u200b\u8fc1\u79fb\u200b\u7b49\u200b\u64cd\u4f5c\u8fc7\u7a0b\u200b\u4e2d\u200b\u5730\u5740\u200b\u56fa\u5b9a\u200b\u4e0d\u53d8\u200b\uff0c\u200b\u66f4\u7b26\u200b\u865a\u62df\u5316\u200b\u5408\u200b\u7528\u6237\u200b\u7684\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u4f53\u9a8c\u200b\u3002</p> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u5728\u200b 1.10.6 \u200b\u540e\u200b\u9ed8\u8ba4\u200b\u5f00\u542f\u200b\uff0c\u200b\u82e5\u200b\u8981\u200b\u5173\u95ed\u200b\u6b64\u200b\u529f\u80fd\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u542f\u52a8\u200b\u547d\u4ee4\u200b\u4e2d\u200b\u8bbe\u7f6e\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --keep-vm-ip=false\n</code></pre>"},{"location":"guide/setup-options/#cni","title":"CNI \u200b\u914d\u7f6e\u200b\u76f8\u5173\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u5728\u200b <code>/opt/cni/bin</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\u5b89\u88c5\u200b CNI \u200b\u6267\u884c\u200b\u6587\u4ef6\u200b\uff0c\u200b\u5728\u200b <code>/etc/cni/net.d</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\u5b89\u88c5\u200b CNI \u200b\u914d\u7f6e\u6587\u4ef6\u200b <code>01-kube-ovn.conflist</code>\u3002 \u200b\u5982\u679c\u200b\u9700\u8981\u200b\u66f4\u6539\u200b\u5b89\u88c5\u200b\u4f4d\u7f6e\u200b\u548c\u200b CNI \u200b\u914d\u7f6e\u6587\u4ef6\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u7684\u200b\u4e0b\u5217\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <pre><code>CNI_CONF_DIR=\"/etc/cni/net.d\"\nCNI_BIN_DIR=\"/opt/cni/bin\"\nCNI_CONFIG_PRIORITY=\"01\"\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u66f4\u6539\u200b <code>kube-ovn-cni</code> DaemonSet \u200b\u7684\u200b Volume \u200b\u6302\u8f7d\u200b\u548c\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>volumes:\n- name: cni-conf\n  hostPath:\n    path: \"/etc/cni/net.d\"\n- name: cni-bin\n  hostPath:\n    path:\"/opt/cni/bin\"\n...\nargs:\n- --cni-conf-name=01-kube-ovn.conflist\n</code></pre>"},{"location":"guide/setup-options/#_4","title":"\u96a7\u9053\u200b\u7c7b\u578b\u200b\u8bbe\u7f6e","text":"<p>Kube-OVN \u200b\u9ed8\u8ba4\u200b Overlay \u200b\u7684\u200b\u5c01\u88c5\u200b\u6a21\u5f0f\u200b\u4e3a\u200b Geneve\uff0c\u200b\u5982\u679c\u200b\u60f3\u200b\u66f4\u6362\u200b\u4e3a\u200b Vxlan \u200b\u6216\u200b STT\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u7684\u200b\u4e0b\u5217\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <pre><code>TUNNEL_TYPE=\"vxlan\"\n</code></pre> <p>\u200b\u6216\u8005\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u66f4\u6539\u200b <code>ovs-ovn</code> DaemonSet \u200b\u7684\u200b\u73af\u5883\u53d8\u91cf\u200b\uff1a</p> <pre><code>env:\n- name: TUNNEL_TYPE\n  value: \"vxlan\"\n</code></pre> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b STT \u200b\u96a7\u9053\u200b\u9700\u8981\u200b\u989d\u5916\u200b\u7f16\u8bd1\u200b ovs \u200b\u7684\u200b\u5185\u6838\u6a21\u5757\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b\u6027\u80fd\u200b\u8c03\u4f18\u200b\u3002</p> <p>\u200b\u4e0d\u540c\u200b\u534f\u8bae\u200b\u5728\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u4e2d\u200b\u7684\u200b\u533a\u522b\u200b\u8bf7\u200b\u53c2\u8003\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\u8bf4\u660e\u200b\u3002</p>"},{"location":"guide/setup-options/#ssl","title":"SSL \u200b\u8bbe\u7f6e","text":"<p>OVN DB \u200b\u7684\u200b API \u200b\u63a5\u53e3\u200b\u652f\u6301\u200b SSL \u200b\u52a0\u5bc6\u200b\u6765\u200b\u4fdd\u8bc1\u200b\u8fde\u63a5\u200b\u5b89\u5168\u200b\uff0c\u200b\u5982\u200b\u8981\u200b\u5f00\u542f\u200b\u53ef\u200b\u8c03\u6574\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u7684\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b:</p> <pre><code>ENABLE_SSL=true\n</code></pre> <p>SSL \u200b\u529f\u80fd\u200b\u9ed8\u8ba4\u200b\u5b89\u88c5\u200b\u4e0b\u200b\u4e3a\u200b\u5173\u95ed\u200b\u6a21\u5f0f\u200b\u3002</p>"},{"location":"guide/setup-options/#ip","title":"\u7ed1\u5b9a\u200b\u672c\u5730\u200b ip","text":"<p>kube-ovn-controller/kube-ovn-cni/kube-ovn-monitor \u200b\u8fd9\u4e9b\u200b\u670d\u52a1\u200b\u652f\u6301\u200b\u7ed1\u5b9a\u200b\u672c\u5730\u200b ip\uff0c\u200b\u8be5\u200b\u529f\u80fd\u8bbe\u8ba1\u200b\u539f\u56e0\u200b\u4e3b\u8981\u200b\u662f\u56e0\u4e3a\u200b\u67d0\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\u51fa\u4e8e\u200b\u5b89\u5168\u200b\u8003\u8651\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u670d\u52a1\u200b\u7ed1\u5b9a\u200b 0.0.0.0 \uff08\u200b\u6bd4\u5982\u200b\u8be5\u200b\u670d\u52a1\u200b\u90e8\u7f72\u200b\u5728\u200b\u67d0\u4e2a\u200b\u5bf9\u5916\u200b\u7f51\u5173\u200b\u4e0a\u200b\uff0c\u200b\u5916\u90e8\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b\u516c\u7f51\u200b ip \u200b\u5e76\u200b\u6307\u5b9a\u200b\u7aef\u53e3\u200b\u53bb\u200b\u8bbf\u95ee\u200b\u5230\u200b\u8be5\u200b\u670d\u52a1\u200b\uff09\uff0c\u200b\u8be5\u200b\u529f\u80fd\u200b\u9ed8\u8ba4\u200b\u662f\u200b\u6253\u5f00\u200b\u7684\u200b\uff0c\u200b\u7531\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b\u63a7\u5236\u200b\uff1a</p> <pre><code>ENABLE_BIND_LOCAL_IP=true\n</code></pre> <p>\u200b\u4ee5\u200b kube-ovn-monitor \u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u5f00\u542f\u200b\u529f\u80fd\u200b\u540e\u4f1a\u200b\u628a\u200b\u670d\u52a1\u200b\u7ed1\u5b9a\u200b\u672c\u5730\u200b\u7684\u200b pod ip \u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># netstat -tunlp |grep kube-ovn\ntcp        0      0 172.18.0.5:10661        0.0.0.0:*               LISTEN      2612/./kube-ovn-mon\n</code></pre> <p>\u200b\u5b89\u88c5\u200b\u540e\u200b\u4e5f\u200b\u53ef\u200b\u901a\u8fc7\u200b\u4fee\u6539\u200b\u670d\u52a1\u200b\u7684\u200b deployment \u200b\u6216\u8005\u200b daemonSet \u200b\u7684\u200b\u73af\u5883\u53d8\u91cf\u200b\u53c2\u6570\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff1a</p> <pre><code>env:\n- name: ENABLE_BIND_LOCAL_IP\n  value: \"false\"\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/static-ip-mac/","title":"\u56fa\u5b9a\u200b\u5730\u5740","text":"<p>Kube-OVN \u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u6839\u636e\u200b Pod \u200b\u6240\u5728\u200b Namespace \u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u968f\u673a\u200b\u5206\u914d\u200b IP \u200b\u548c\u200b Mac\u3002 \u200b\u9488\u5bf9\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b\u9700\u8981\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0cKube-OVN \u200b\u6839\u636e\u200b\u4e0d\u540c\u200b\u7684\u200b\u573a\u666f\u200b\uff0c\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u591a\u79cd\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u7684\u200b\u65b9\u6cd5\u200b\uff1a</p> <ul> <li>\u200b\u5355\u4e2a\u200b Pod \u200b\u56fa\u5b9a\u200b IP/Mac\u3002</li> <li>Workload \u200b\u901a\u7528\u200b IP Pool \u200b\u65b9\u5f0f\u200b\u6307\u5b9a\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\u3002</li> <li>StatefulSet \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u3002</li> <li>KubeVirt VM \u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u3002</li> </ul>"},{"location":"guide/static-ip-mac/#pod-ip-mac","title":"\u5355\u4e2a\u200b Pod \u200b\u56fa\u5b9a\u200b IP \u200b\u548c\u200b Mac","text":"<p>\u200b\u53ef\u4ee5\u200b\u5728\u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\u901a\u8fc7\u200b annotation \u200b\u6765\u200b\u6307\u5b9a\u200b Pod \u200b\u8fd0\u884c\u200b\u65f6\u200b\u6240\u200b\u9700\u200b\u7684\u200b IP/Mac, <code>kube-ovn-controller</code> \u200b\u8fd0\u884c\u200b\u65f6\u200b\u5c06\u200b\u4f1a\u200b\u8df3\u200b\u8fc7\u200b\u5730\u5740\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u9636\u6bb5\u200b\uff0c\u200b\u7ecf\u8fc7\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\u540e\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\u6307\u5b9a\u200b\u5730\u5740\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: static-ip\n  annotations:\n    ovn.kubernetes.io/ip_address: 10.16.0.15   // \u200b\u53cc\u6808\u200b\u5730\u5740\u200b\u4f7f\u7528\u200b\u9017\u53f7\u200b\u5206\u9694\u200b 10.16.0.15,fd00:10:16::15\n    ovn.kubernetes.io/mac_address: 00:00:00:53:6B:B6\nspec:\n  containers:\n  - name: static-ip\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u5728\u200b\u4f7f\u7528\u200b annotation \u200b\u5b9a\u4e49\u200b\u5355\u4e2a\u200b Pod IP/Mac \u200b\u65f6\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u4ee5\u4e0b\u51e0\u70b9\u200b\uff1a</p> <ol> <li>\u200b\u6240\u200b\u4f7f\u7528\u200b\u7684\u200b IP/Mac \u200b\u4e0d\u80fd\u200b\u548c\u200b\u5df2\u6709\u200b\u7684\u200b IP/Mac \u200b\u51b2\u7a81\u200b\u3002</li> <li>IP \u200b\u5fc5\u987b\u200b\u5728\u200b\u6240\u5c5e\u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u5185\u200b\u3002</li> <li>\u200b\u53ef\u4ee5\u200b\u53ea\u200b\u6307\u5b9a\u200b IP \u200b\u6216\u200b Mac\uff0c\u200b\u53ea\u200b\u6307\u5b9a\u200b\u4e00\u4e2a\u200b\u65f6\u200b\uff0c\u200b\u53e6\u200b\u4e00\u4e2a\u200b\u4f1a\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u3002</li> </ol>"},{"location":"guide/static-ip-mac/#workload-ip-pool","title":"Workload \u200b\u901a\u7528\u200b IP Pool \u200b\u56fa\u5b9a\u200b\u5730\u5740","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u901a\u8fc7\u200b annotation <code>ovn.kubernetes.io/ip_pool</code> \u200b\u7ed9\u200b Workload\uff08Deployment/StatefulSet/DaemonSet/Job/CronJob\uff09\u200b\u8bbe\u7f6e\u200b\u56fa\u5b9a\u200b IP\u3002 <code>kube-ovn-controller</code> \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u9009\u62e9\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u6307\u5b9a\u200b\u7684\u200b IP \u200b\u5e76\u200b\u8fdb\u884c\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\u3002</p> <p>IP Pool \u200b\u7684\u200b Annotation \u200b\u9700\u8981\u200b\u52a0\u200b\u5728\u200b <code>template</code> \u200b\u5185\u200b\u7684\u200b <code>annotation</code> \u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u9664\u4e86\u200b Kubernetes \u200b\u5185\u7f6e\u200b\u7684\u200b Workload \u200b\u7c7b\u578b\u200b\uff0c \u200b\u5176\u4ed6\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b\u7684\u200b Workload \u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u540c\u6837\u200b\u7684\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b\u56fa\u5b9a\u200b\u5730\u5740\u200b\u5206\u914d\u200b\u3002</p>"},{"location":"guide/static-ip-mac/#deployment-ip","title":"Deployment \u200b\u56fa\u5b9a\u200b IP \u200b\u793a\u4f8b","text":"<pre><code>apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: ippool\n  labels:\n    app: ippool\nspec:\n  replicas: 2\n  selector:\n    matchLabels:\n      app: ippool\n  template:\n    metadata:\n      labels:\n        app: ippool\n      annotations:\n        ovn.kubernetes.io/ip_pool: 10.16.0.15,10.16.0.16,10.16.0.17 // \u200b\u53cc\u6808\u200b\u5730\u5740\u200b\u4f7f\u7528\u200b\u5206\u200b\u53f7\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b 10.16.0.15,fd00:10:16::000E;10.16.0.16,fd00:10:16::000F;10.16.0.17,fd00:10:16::0010\n    spec:\n      containers:\n      - name: ippool\n        image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u5bf9\u200b Workload \u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b IP \u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\u4ee5\u4e0b\u51e0\u70b9\u200b\uff1a</p> <ol> <li><code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b IP \u200b\u5e94\u8be5\u200b\u5c5e\u4e8e\u200b\u6240\u5728\u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u5185\u200b\u3002</li> <li><code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b IP \u200b\u4e0d\u80fd\u200b\u548c\u200b\u5df2\u200b\u4f7f\u7528\u200b\u7684\u200b IP \u200b\u51b2\u7a81\u200b\u3002</li> <li>\u200b\u5f53\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b IP \u200b\u6570\u91cf\u200b\u5c0f\u4e8e\u200b replicas \u200b\u6570\u91cf\u200b\u65f6\u200b\uff0c\u200b\u591a\u51fa\u200b\u7684\u200b Pod \u200b\u5c06\u200b\u65e0\u6cd5\u200b\u521b\u5efa\u200b\u3002\u200b\u4f60\u200b\u9700\u8981\u200b\u6839\u636e\u200b Workload \u200b\u7684\u200b\u66f4\u65b0\u200b\u7b56\u7565\u200b\u4ee5\u53ca\u200b\u6269\u5bb9\u200b\u89c4\u5212\u200b\u8c03\u6574\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b IP \u200b\u7684\u200b\u6570\u91cf\u200b\u3002</li> </ol>"},{"location":"guide/static-ip-mac/#statefulset","title":"StatefulSet \u200b\u56fa\u5b9a\u200b\u5730\u5740","text":"<p>StatefulSet \u200b\u9ed8\u8ba4\u200b\u652f\u6301\u200b\u56fa\u5b9a\u200b IP\uff0c\u200b\u800c\u4e14\u200b\u548c\u200b\u5176\u4ed6\u200b Workload \u200b\u76f8\u540c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u6765\u200b\u6307\u5b9a\u200b Pod \u200b\u4f7f\u7528\u200b\u7684\u200b IP \u200b\u8303\u56f4\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b StatefulSet \u200b\u591a\u200b\u7528\u4e8e\u200b\u6709\u200b\u72b6\u6001\u200b\u670d\u52a1\u200b\uff0c\u200b\u5bf9\u200b\u7f51\u7edc\u200b\u6807\u793a\u200b\u7684\u200b\u56fa\u5b9a\u200b\u6709\u200b\u66f4\u200b\u9ad8\u200b\u7684\u200b\u8981\u6c42\u200b\uff0cKube-OVN \u200b\u505a\u200b\u4e86\u200b\u7279\u6b8a\u200b\u7684\u200b\u5f3a\u5316\u200b\uff1a</p> <ol> <li>Pod \u200b\u4f1a\u200b\u6309\u200b\u987a\u5e8f\u200b\u5206\u914d\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b IP\u3002\u200b\u4f8b\u5982\u200b StatefulSet \u200b\u7684\u200b\u540d\u5b57\u200b\u4e3a\u200b web\uff0c\u200b\u5219\u200b web-0 \u200b\u4f1a\u200b\u4f7f\u7528\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u4e2d\u200b\u7684\u200b\u7b2c\u4e00\u4e2a\u200b IP\uff0c web-1 \u200b\u4f1a\u200b\u4f7f\u7528\u200b\u7b2c\u4e8c\u4e2a\u200b IP\uff0c\u200b\u4ee5\u6b64\u7c7b\u63a8\u200b\u3002</li> <li>StatefulSet Pod \u200b\u5728\u200b\u66f4\u65b0\u200b\u6216\u200b\u5220\u9664\u200b\u7684\u200b\u8fc7\u7a0b\u200b\u4e2d\u200b OVN \u200b\u4e2d\u200b\u7684\u200b logical_switch_port \u200b\u4e0d\u4f1a\u200b\u5220\u9664\u200b\uff0c\u200b\u65b0\u200b\u751f\u6210\u200b\u7684\u200b Pod \u200b\u76f4\u63a5\u200b\u590d\u7528\u200b\u65e7\u200b\u7684\u200b interface \u200b\u4fe1\u606f\u200b\u3002\u200b\u56e0\u6b64\u200b Pod \u200b\u53ef\u4ee5\u200b\u590d\u7528\u200b IP/Mac \u200b\u53ca\u5176\u200b\u4ed6\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\uff0c\u200b\u8fbe\u5230\u200b\u548c\u200b StatefulSet Volume \u200b\u7c7b\u4f3c\u200b\u7684\u200b\u72b6\u6001\u200b\u4fdd\u7559\u200b\u529f\u80fd\u200b\u3002</li> <li>\u200b\u57fa\u4e8e\u200b 2 \u200b\u7684\u200b\u80fd\u529b\u200b\uff0c\u200b\u5bf9\u4e8e\u200b\u6ca1\u6709\u200b <code>ovn.kubernetes.io/ip_pool</code> \u200b\u6ce8\u89e3\u200b\u7684\u200b StatefulSet\uff0cPod \u200b\u7b2c\u4e00\u6b21\u200b\u751f\u6210\u200b\u65f6\u4f1a\u200b\u968f\u673a\u200b\u5206\u914d\u200b IP/Mac\uff0c\u200b\u4e4b\u540e\u200b\u5728\u200b\u6574\u4e2a\u200b StatefulSet \u200b\u7684\u200b\u751f\u547d\u5468\u671f\u200b\u5185\u200b\uff0c\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\u90fd\u200b\u4f1a\u200b\u4fdd\u6301\u200b\u56fa\u5b9a\u200b\u3002</li> </ol>"},{"location":"guide/static-ip-mac/#statefulset_1","title":"StatefulSet \u200b\u793a\u4f8b","text":"<pre><code>apiVersion: apps/v1\nkind: StatefulSet\nmetadata:\n  name: web\nspec:\n  serviceName: \"nginx\"\n  replicas: 2\n  selector:\n    matchLabels:\n      app: nginx\n  template:\n    metadata:\n      labels:\n        app: nginx\n    spec:\n      containers:\n      - name: nginx\n        image: docker.io/library/nginx:alpine\n        ports:\n        - containerPort: 80\n          name: web\n</code></pre> <p>\u200b\u53ef\u4ee5\u200b\u5c1d\u8bd5\u200b\u5220\u9664\u200b StatefulSet \u200b\u4e0b\u200b Pod \u200b\u89c2\u5bdf\u200b Pod IP \u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\u3002</p>"},{"location":"guide/static-ip-mac/#kubevirt-vm","title":"KubeVirt VM \u200b\u56fa\u5b9a\u200b\u5730\u5740","text":"<p>\u200b\u9488\u5bf9\u200b KubeVirt \u200b\u521b\u5efa\u200b\u7684\u200b VM \u200b\u5b9e\u4f8b\u200b\uff0c<code>kube-ovn-controller</code> \u200b\u53ef\u4ee5\u200b\u6309\u7167\u200b\u7c7b\u4f3c\u200b StatefulSet Pod \u200b\u7684\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b IP \u200b\u5730\u5740\u200b\u5206\u914d\u200b\u548c\u200b\u7ba1\u7406\u200b\u3002 \u200b\u4ee5\u200b\u8fbe\u5230\u200b VM \u200b\u5b9e\u4f8b\u200b\u5728\u200b\u751f\u547d\u5468\u671f\u200b\u5185\u542f\u505c\u200b\uff0c\u200b\u5347\u7ea7\u200b\uff0c\u200b\u8fc1\u79fb\u200b\u7b49\u200b\u64cd\u4f5c\u8fc7\u7a0b\u200b\u4e2d\u200b\u5730\u5740\u200b\u56fa\u5b9a\u200b\u4e0d\u53d8\u200b\uff0c\u200b\u66f4\u7b26\u200b\u865a\u62df\u5316\u200b\u5408\u200b\u7528\u6237\u200b\u7684\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u4f53\u9a8c\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/subnet/","title":"\u5b50\u7f51\u200b\u4f7f\u7528","text":"<p>\u200b\u5b50\u7f51\u200b\u662f\u200b Kube-OVN \u200b\u4e2d\u200b\u7684\u200b\u4e00\u4e2a\u200b\u6838\u5fc3\u200b\u6982\u5ff5\u200b\u548c\u200b\u57fa\u672c\u200b\u4f7f\u7528\u200b\u5355\u5143\u200b\uff0cKube-OVN \u200b\u4f1a\u4ee5\u200b\u5b50\u7f51\u200b\u6765\u200b\u7ec4\u7ec7\u200b IP \u200b\u548c\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff0c\u200b\u6bcf\u4e2a\u200b Namespace \u200b\u53ef\u4ee5\u200b\u5f52\u5c5e\u4e8e\u200b\u7279\u5b9a\u200b\u7684\u200b\u5b50\u7f51\u200b\uff0c Namespace \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u4ece\u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u83b7\u53d6\u200b IP \u200b\u5e76\u200b\u5171\u4eab\u200b\u5b50\u7f51\u200b\u7684\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff08CIDR\uff0c\u200b\u7f51\u5173\u200b\u7c7b\u578b\u200b\uff0c\u200b\u8bbf\u95ee\u63a7\u5236\u200b\uff0cNAT \u200b\u63a7\u5236\u200b\u7b49\u200b\uff09\u3002</p> <p>\u200b\u548c\u200b\u5176\u4ed6\u200b CNI \u200b\u7684\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u7ed1\u5b9a\u200b\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b\u5b9e\u73b0\u200b\u4e0d\u540c\u200b\uff0c\u200b\u5728\u200b Kube-OVN \u200b\u4e2d\u5b50\u200b\u7f51\u4e3a\u200b\u4e00\u4e2a\u200b\u5168\u5c40\u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff0c\u200b\u540c\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b\u5730\u5740\u200b\u53ef\u4ee5\u200b\u5206\u5e03\u200b\u5728\u200b\u4efb\u610f\u200b\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u3002</p> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u540c\u4e00\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u4e0d\u540c\u200b\u5b50\u7f51\u200b\u4e0d\u80fd\u200b\u5305\u542b\u200b\u540c\u6837\u200b\u7684\u200b IP\uff0c\u200b\u4ee5\u53ca\u200b\u57fa\u4e8e\u200b VPC peering \u200b\u6216\u8005\u200b VPN \u200b\u4e92\u76f8\u200b\u6253\u901a\u200b\u7684\u200b\u4e0d\u540c\u200b\u5b50\u7f51\u200b\u4e0d\u80fd\u200b\u5305\u542b\u200b\u540c\u6837\u200b\u7684\u200b IP\u3002</p> <p></p> <p>Overlay \u200b\u548c\u200b Underlay \u200b\u7684\u200b\u5b50\u7f51\u200b\u5728\u200b\u4f7f\u7528\u200b\u548c\u200b\u914d\u7f6e\u200b\u4e0a\u200b\u5b58\u5728\u200b\u4e00\u4e9b\u200b\u5dee\u5f02\u200b\uff0c\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u4f1a\u200b\u4ecb\u7ecd\u200b\u4e0d\u540c\u200b\u7c7b\u578b\u200b\u5b50\u7f51\u200b\u7684\u200b\u4e00\u4e9b\u200b\u5171\u540c\u200b\u914d\u7f6e\u200b\u548c\u200b\u5dee\u5f02\u5316\u200b\u529f\u80fd\u200b\u3002</p>"},{"location":"guide/subnet/#_2","title":"\u9ed8\u8ba4\u200b\u5b50\u7f51","text":"<p>\u200b\u4e3a\u4e86\u200b\u65b9\u4fbf\u200b\u7528\u6237\u200b\u7684\u200b\u5feb\u901f\u200b\u4e0a\u200b\u624b\u200b\u4f7f\u7528\u200b\uff0cKube-OVN \u200b\u5185\u7f6e\u200b\u4e86\u200b\u4e00\u4e2a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u6240\u6709\u200b\u672a\u200b\u663e\u5f0f\u200b\u58f0\u660e\u200b\u5b50\u7f51\u200b\u5f52\u5c5e\u200b\u7684\u200b Namespace \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u4ece\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u5206\u914d\u200b IP\uff0c \u200b\u5e76\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u7684\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\u3002\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7684\u200b\u914d\u7f6e\u200b\u4e3a\u200b\u5b89\u88c5\u200b\u65f6\u200b\u6307\u5b9a\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u5185\u7f6e\u200b\u7f51\u7edc\u200b\u8bbe\u7f6e\u200b\uff0c \u200b\u5982\u679c\u200b\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u4fee\u6539\u200b\u9ed8\u8ba4\u200b\u7f51\u7edc\u200b\u7684\u200b CIDR \u200b\u8bf7\u200b\u53c2\u8003\u200b\u4fee\u6539\u200b\u9ed8\u8ba4\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5728\u200b Overlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b\u4e86\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\u5e76\u200b\u5bf9\u200b\u51fa\u7f51\u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b NAT \u200b\u8f6c\u6362\u200b\uff0c\u200b\u5176\u200b\u884c\u4e3a\u200b\u548c\u200b Flannel \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u884c\u4e3a\u200b\u57fa\u672c\u4e00\u81f4\u200b\uff0c \u200b\u7528\u6237\u200b\u65e0\u9700\u200b\u989d\u5916\u200b\u7684\u200b\u914d\u7f6e\u200b\u5373\u53ef\u200b\u4f7f\u7528\u200b\u5230\u200b\u5927\u90e8\u5206\u200b\u7684\u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u4f5c\u4e3a\u200b\u51fa\u7f51\u200b\u7f51\u5173\u200b\uff0c\u200b\u5e76\u200b\u5f00\u542f\u200b arping \u200b\u68c0\u67e5\u200b\u7f51\u7edc\u200b\u8fde\u901a\u6027\u200b\u3002</p>"},{"location":"guide/subnet/#_3","title":"\u67e5\u770b\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51","text":"<p>\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b spec \u200b\u4e2d\u200b\u7684\u200b default \u200b\u5b57\u6bb5\u200b\u4e3a\u200b true\uff0c\u200b\u4e00\u4e2a\u200b\u96c6\u7fa4\u200b\u4e0b\u200b\u53ea\u6709\u200b\u4e00\u4e2a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u540d\u4e3a\u200b <code>ovn-default</code>\u3002</p> <p>\u200b\u67e5\u770b\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff1a</p> <pre><code># kubectl get subnet ovn-default -o yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  creationTimestamp: \"2019-08-06T09:33:43Z\"\n  generation: 1\n  name: ovn-default\n  resourceVersion: \"1571334\"\n  selfLink: /apis/kubeovn.io/v1/subnets/ovn-default\n  uid: 7e2451f8-fb44-4f7f-b3e0-cfd27f6fd5d6\nspec:\n  cidrBlock: 10.16.0.0/16\n  default: true\n  excludeIps:\n  - 10.16.0.1\n  gateway: 10.16.0.1\n  gatewayType: distributed\n  natOutgoing: true\n  private: false\n  protocol: IPv4\n</code></pre>"},{"location":"guide/subnet/#join","title":"Join \u200b\u5b50\u7f51","text":"<p>\u200b\u5728\u200b Kubernetes \u200b\u7684\u200b\u7f51\u7edc\u200b\u89c4\u8303\u200b\u4e2d\u200b\uff0c\u200b\u8981\u6c42\u200b Node \u200b\u53ef\u4ee5\u200b\u548c\u200b\u6240\u6709\u200b\u7684\u200b Pod \u200b\u76f4\u63a5\u200b\u901a\u4fe1\u200b\u3002 \u200b\u4e3a\u4e86\u200b\u5728\u200b Overlay \u200b\u7f51\u7edc\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u8fbe\u5230\u200b\u8fd9\u4e2a\u200b\u76ee\u7684\u200b\uff0c Kube-OVN \u200b\u521b\u5efa\u200b\u4e86\u200b\u4e00\u4e2a\u200b <code>join</code> \u200b\u5b50\u7f51\u200b\uff0c \u200b\u5e76\u200b\u5728\u200b\u6bcf\u4e2a\u200b Node \u200b\u8282\u70b9\u200b\u521b\u5efa\u200b\u4e86\u200b\u4e00\u5757\u200b\u865a\u62df\u200b\u7f51\u5361\u200b ovn0 \u200b\u63a5\u5165\u200b <code>join</code> \u200b\u5b50\u7f51\u200b\uff0c\u200b\u901a\u8fc7\u200b\u8be5\u200b\u7f51\u7edc\u200b\u5b8c\u6210\u200b\u8282\u70b9\u200b\u548c\u200b Pod \u200b\u4e4b\u95f4\u200b\u7684\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\u3002</p> <p>\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7684\u200b\u914d\u7f6e\u200b\u4e3a\u200b\u5b89\u88c5\u200b\u65f6\u200b\u6307\u5b9a\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u5185\u7f6e\u200b\u7f51\u7edc\u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u5982\u679c\u200b\u8981\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u4fee\u6539\u200b\u3002 join \u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u8bf7\u200b\u53c2\u8003\u200b\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b</p>"},{"location":"guide/subnet/#join_1","title":"\u67e5\u770b\u200b Join \u200b\u5b50\u7f51","text":"<p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u96c6\u4e2d\u5f0f\u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u65e0\u6cd5\u200b\u901a\u8fc7\u200b <code>hostport</code>, \u200b\u4ee5\u53ca\u200b\u8bbe\u7f6e\u200b\u4e86\u200b <code>externalTrafficPolicy: Local</code> \u200b\u7684\u200b NodePort \u200b\u7c7b\u578b\u200b Service \u200b\u8fdb\u884c\u200b\u8bbf\u95ee\u200b\uff0c</p> <p>\u200b\u8be5\u200b\u5b50\u7f51\u200b\u9ed8\u8ba4\u200b\u540d\u4e3a\u200b <code>join</code> \u200b\u4e00\u822c\u200b\u65e0\u9700\u200b\u5bf9\u200b\u8be5\u200b\u5b50\u7f51\u200b CIDR \u200b\u5916\u200b\u7684\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002</p> <pre><code># kubectl get subnet join -o yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  creationTimestamp: \"2019-08-06T09:33:43Z\"\n  generation: 1\n  name: join\n  resourceVersion: \"1571333\"\n  selfLink: /apis/kubeovn.io/v1/subnets/join\n  uid: 9c744810-c678-4d50-8a7d-b8ec12ef91b8\nspec:\n  cidrBlock: 100.64.0.0/16\n  default: false\n  excludeIps:\n  - 100.64.0.1\n  gateway: 100.64.0.1\n  gatewayNode: \"\"\n  gatewayType: \"\"\n  natOutgoing: false\n  private: false\n  protocol: IPv4\n</code></pre> <p>\u200b\u5728\u200b node \u200b\u8282\u70b9\u200b\u67e5\u770b\u200b ovn0 \u200b\u7f51\u5361\u200b\uff1a</p> <pre><code># ifconfig ovn0\novn0: flags=4163&lt;UP,BROADCAST,RUNNING,MULTICAST&gt;  mtu 1420\n        inet 100.64.0.4  netmask 255.255.0.0  broadcast 100.64.255.255\n        inet6 fe80::800:ff:fe40:5  prefixlen 64  scopeid 0x20&lt;link&gt;\n        ether 0a:00:00:40:00:05  txqueuelen 1000  (Ethernet)\n        RX packets 18  bytes 1428 (1.3 KiB)\n        RX errors 0  dropped 0  overruns 0  frame 0\n        TX packets 19  bytes 1810 (1.7 KiB)\n        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0\n</code></pre>"},{"location":"guide/subnet/#_4","title":"\u521b\u5efa\u200b\u81ea\u5b9a\u4e49\u200b\u5b50\u7f51","text":"<p>\u200b\u8fd9\u91cc\u200b\u6211\u4eec\u200b\u4ecb\u7ecd\u200b\u521b\u5efa\u200b\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u5176\u200b\u548c\u200b\u67d0\u4e2a\u200b Namespace \u200b\u505a\u200b\u5173\u8054\u200b\u7684\u200b\u57fa\u672c\u64cd\u4f5c\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u9ad8\u7ea7\u200b\u914d\u7f6e\u200b\u8bf7\u200b\u53c2\u8003\u200b\u540e\u7eed\u200b\u5185\u5bb9\u200b\u3002</p>"},{"location":"guide/subnet/#_5","title":"\u521b\u5efa\u200b\u5b50\u7f51","text":"<pre><code>cat &lt;&lt;EOF | kubectl create -f -\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 10.66.0.0/16\n  excludeIps:\n  - 10.66.0.1..10.66.0.10\n  - 10.66.0.101..10.66.0.151\n  gateway: 10.66.0.1\n  gatewayType: distributed\n  natOutgoing: true\n  routeTable: \"\"\n  namespaces:\n  - ns1\n  - ns2\nEOF\n</code></pre> <ul> <li><code>cidrBlock</code>: \u200b\u5b50\u7f51\u200b CIDR \u200b\u8303\u56f4\u200b\uff0c\u200b\u540c\u4e00\u4e2a\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u4e0d\u540c\u200b Subnet CIDR \u200b\u4e0d\u80fd\u200b\u91cd\u53e0\u200b\u3002</li> <li><code>excludeIps</code>: \u200b\u4fdd\u7559\u200b\u5730\u5740\u200b\u5217\u8868\u200b\uff0c\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u5c06\u200b\u4e0d\u4f1a\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u5217\u8868\u200b\u5185\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u53ef\u7528\u200b\u505a\u200b\u56fa\u5b9a\u200b IP \u200b\u5730\u5740\u200b\u5206\u914d\u200b\u6bb5\u200b\uff0c\u200b\u4e5f\u200b\u53ef\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u907f\u514d\u200b\u548c\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u4e2d\u200b\u5df2\u6709\u200b\u8bbe\u5907\u200b\u51b2\u7a81\u200b\u3002</li> <li><code>gateway</code>\uff1a\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\uff0cOverlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b Kube-OVN \u200b\u4f1a\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u5bf9\u5e94\u200b\u7684\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\uff0cUnderlay \u200b\u6a21\u5f0f\u200b\u4e0b\u8be5\u200b\u5730\u5740\u200b\u9700\u4e3a\u200b\u5e95\u5c42\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\u3002</li> <li><code>namespaces</code>: \u200b\u7ed1\u5b9a\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7684\u200b Namespace \u200b\u5217\u8868\u200b\uff0c\u200b\u7ed1\u5b9a\u200b\u540e\u200b Namespace \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u5c06\u4f1a\u200b\u4ece\u200b\u5f53\u524d\u200b\u5b50\u7f51\u200b\u5206\u914d\u200b\u5730\u5740\u200b\u3002</li> <li><code>routeTable</code>: \u200b\u5173\u8054\u200b\u7684\u200b\u8def\u7531\u8868\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5173\u8054\u200b\u4e3b\u200b\u8def\u7531\u8868\u200b\uff0c\u200b\u8def\u7531\u8868\u200b\u5b9a\u4e49\u200b\u8bf7\u200b\u53c2\u8003\u200b\u9759\u6001\u200b\u8def\u7531\u200b</li> </ul>"},{"location":"guide/subnet/#_6","title":"\u9a8c\u8bc1\u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b\u751f\u6548","text":"<pre><code># kubectl create ns ns1\nnamespace/ns1 created\n\n# kubectl run nginx --image=docker.io/library/nginx:alpine -n ns1\ndeployment.apps/nginx created\n\n# kubectl get pod -n ns1 -o wide\nNAME                     READY   STATUS    RESTARTS   AGE   IP           NODE    NOMINATED NODE   READINESS GATES\nnginx-74d5899f46-n8wtg   1/1     Running   0          10s   10.66.0.11   node1   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"guide/subnet/#workload","title":"Workload \u200b\u7ed1\u5b9a\u200b\u5b50\u7f51","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Pod \u200b\u4f1a\u200b\u4ece\u200b Namespace \u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u5185\u200b\u5206\u914d\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u5982\u679c\u200b Namespace \u200b\u4e0b\u200b\u67d0\u4e2a\u200b Workload \u200b\u9700\u8981\u200b\u7279\u6b8a\u200b\u6307\u5b9a\u200b\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u8bbe\u7f6e\u200b Pod \u200b\u7684\u200b Annotation <code>ovn.kubernetes.io/logical_switch</code> \u200b\u6765\u200b\u5b9e\u73b0\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  name: another-subnet\n  annotations:\n    ovn.kubernetes.io/logical_switch: subnet1\nspec:\n  containers:\n  - name: another-subnet\n    image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u7ed9\u200b Workload \u200b\u7c7b\u578b\u200b\u8d44\u6e90\u200b\u5982\u200b Deployment\uff0cStatefulSet \u200b\u7ed1\u5b9a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b <code>ovn.kubernetes.io/logical_switch</code> Annotation \u200b\u8bbe\u7f6e\u200b\u5728\u200b <code>spec.template.metadata.annotations</code>\u3002</p>"},{"location":"guide/subnet/#overlay","title":"Overlay \u200b\u5b50\u7f51\u200b\u7f51\u5173\u200b\u914d\u7f6e","text":"<p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u53ea\u200b\u5bf9\u200b Overlay \u200b\u6a21\u5f0f\u200b\u5b50\u7f51\u200b\u751f\u6548\u200b\uff0cUnderlay \u200b\u7c7b\u578b\u200b\u5b50\u7f51\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u501f\u52a9\u200b\u5e95\u5c42\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u3002</p> <p>Overlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u9700\u8981\u200b\u901a\u8fc7\u200b\u7f51\u5173\u200b\u6765\u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0cKube-OVN \u200b\u76ee\u524d\u200b\u652f\u6301\u200b\u4e24\u79cd\u200b\u7c7b\u578b\u200b\u7684\u200b\u7f51\u5173\u200b\uff1a \u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\u548c\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u5bf9\u200b\u7f51\u5173\u200b\u7684\u200b\u7c7b\u578b\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\u3002</p> <p>\u200b\u4e24\u79cd\u200b\u7c7b\u578b\u200b\u7f51\u5173\u200b\u5747\u200b\u652f\u6301\u200b <code>natOutgoing</code> \u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b Pod \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u65f6\u200b\u662f\u5426\u200b\u9700\u8981\u200b\u8fdb\u884c\u200b snat\u3002</p>"},{"location":"guide/subnet/#_7","title":"\u5206\u5e03\u5f0f\u200b\u7f51\u5173","text":"<p>\u200b\u5b50\u7f51\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u7c7b\u578b\u200b\u7f51\u5173\u200b\uff0c\u200b\u6bcf\u4e2a\u200b node \u200b\u4f1a\u200b\u4f5c\u4e3a\u200b\u5f53\u524d\u200b node \u200b\u4e0a\u200b pod \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u7684\u200b\u7f51\u5173\u200b\u3002 \u200b\u6570\u636e\u5305\u200b\u4f1a\u200b\u901a\u8fc7\u200b\u672c\u673a\u200b\u7684\u200b <code>ovn0</code> \u200b\u7f51\u5361\u200b\u6d41\u5165\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u6808\u200b\uff0c\u200b\u518d\u200b\u6839\u636e\u200b\u4e3b\u673a\u200b\u7684\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u8fdb\u884c\u200b\u51fa\u7f51\u200b\u3002 \u200b\u5f53\u200b <code>natOutgoing</code> \u200b\u4e3a\u200b <code>true</code> \u200b\u65f6\u200b\uff0cPod \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u5f53\u524d\u200b\u6240\u5728\u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b IP\u3002</p> <p></p> <p>\u200b\u5b50\u7f51\u200b\u793a\u4f8b\u200b\uff0c\u200b\u5176\u4e2d\u200b <code>gatewayType</code> \u200b\u5b57\u6bb5\u200b\u4e3a\u200b <code>distributed</code>\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: distributed\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: distributed\n  natOutgoing: true\n</code></pre>"},{"location":"guide/subnet/#_8","title":"\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173","text":"<p>\u200b\u5982\u679c\u200b\u5e0c\u671b\u200b\u5b50\u7f51\u200b\u5185\u200b\u6d41\u91cf\u200b\u8bbf\u95ee\u200b\u5916\u200b\u7f51\u200b\u4f7f\u7528\u200b\u56fa\u5b9a\u200b\u7684\u200b IP\uff0c\u200b\u4ee5\u4fbf\u200b\u5ba1\u8ba1\u200b\u548c\u200b\u767d\u540d\u5355\u200b\u7b49\u200b\u5b89\u5168\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u8bbe\u7f6e\u200b\u7f51\u5173\u200b\u7c7b\u578b\u200b\u4e3a\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u3002 \u200b\u5728\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0cPod \u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u4f1a\u200b\u9996\u5148\u200b\u88ab\u200b\u8def\u7531\u200b\u5230\u200b\u7279\u5b9a\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovn0</code> \u200b\u7f51\u5361\u200b\uff0c\u200b\u518d\u200b\u901a\u8fc7\u200b\u4e3b\u673a\u200b\u7684\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u8fdb\u884c\u200b\u51fa\u7f51\u200b\u3002 \u200b\u5f53\u200b <code>natOutgoing</code> \u200b\u4e3a\u200b <code>true</code> \u200b\u65f6\u200b\uff0cPod \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u7279\u5b9a\u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b IP\u3002</p> <p>\u200b\u5b50\u7f51\u200b\u793a\u4f8b\u200b\uff0c\u200b\u5176\u4e2d\u200b <code>gatewayType</code> \u200b\u5b57\u6bb5\u200b\u4e3a\u200b <code>centralized</code>\uff0c<code>gatewayNode</code> \u200b\u4e3a\u200b\u7279\u5b9a\u200b\u673a\u5668\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b NodeName\u3002 \u200b\u5176\u4e2d\u200b <code>gatewayNode</code> \u200b\u5b57\u200b\u6bb5\u200b\u53ef\u4ee5\u200b\u4e3a\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u7684\u200b\u591a\u53f0\u200b\u4e3b\u673a\u200b\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: centralized\nspec:\n  protocol: IPv4\n  cidrBlock: 10.166.0.0/16\n  default: false\n  excludeIps:\n  - 10.166.0.1\n  gateway: 10.166.0.1\n  gatewayType: centralized\n  gatewayNode: \"node1,node2\"\n  natOutgoing: true\n</code></pre> <ul> <li>\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u5982\u679c\u200b\u5e0c\u671b\u200b\u6307\u5b9a\u200b\u673a\u5668\u200b\u7684\u200b\u7279\u5b9a\u200b\u7f51\u5361\u200b\u8fdb\u884c\u200b\u51fa\u7f51\u200b\uff0c<code>gatewayNode</code> \u200b\u53ef\u66f4\u6539\u200b\u4e3a\u200b <code>kube-ovn-worker:172.18.0.2, kube-ovn-control-plane:172.18.0.3</code> \u200b\u683c\u5f0f\u200b\u3002</li> <li>\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u9ed8\u8ba4\u200b\u4e3a\u4e3b\u200b\u5907\u200b\u6a21\u5f0f\u200b\uff0c\u200b\u53ea\u6709\u200b\u4e3b\u200b\u8282\u70b9\u200b\u8fdb\u884c\u200b\u6d41\u91cf\u200b\u8f6c\u53d1\u200b\uff0c \u200b\u5982\u679c\u200b\u9700\u8981\u200b\u5207\u6362\u200b\u4e3a\u200b ECMP \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b ECMP \u200b\u5f00\u542f\u200b\u8bbe\u7f6e\u200b\u3002</li> <li>\u200b\u4ece\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c\u200b\u5728\u200b subnet crd \u200b\u5b9a\u4e49\u200b\u4e2d\u200b\u589e\u52a0\u200b\u4e86\u200b spec \u200b\u5b57\u200b\u6bb5\u200b <code>enableEcmp</code>\uff0c\u200b\u5c06\u200b\u96c6\u4e2d\u5f0f\u200b\u5b50\u7f51\u200b ECMP \u200b\u5f00\u5173\u200b\u63a7\u5236\u200b\u8fc1\u79fb\u200b\u5230\u200b\u5b50\u7f51\u200b\u5c42\u7ea7\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u57fa\u4e8e\u200b\u4e0d\u540c\u200b\u7684\u200b\u5b50\u7f51\u200b\u5206\u522b\u200b\u8bbe\u7f6e\u200b\u662f\u5426\u200b\u5f00\u542f\u200b ECMP \u200b\u6a21\u5f0f\u200b\u3002\u200b\u539f\u6709\u200b\u7684\u200b <code>kube-ovn-controller</code> Deployment \u200b\u4e2d\u200b\u7684\u200b <code>enable-ecmp</code> \u200b\u53c2\u6570\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\u3002\u200b\u4e4b\u524d\u200b\u7248\u672c\u5347\u7ea7\u200b\u5230\u200b v1.12.0 \u200b\u4e4b\u540e\u200b\uff0c\u200b\u5b50\u7f51\u200b\u5f00\u5173\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u7ee7\u627f\u200b\u539f\u6709\u200b\u7684\u200b\u5168\u5c40\u200b\u5f00\u5173\u200b\u53c2\u6570\u200b\u53d6\u503c\u200b\u3002</li> </ul>"},{"location":"guide/subnet/#acl","title":"\u5b50\u7f51\u200b ACL \u200b\u8bbe\u7f6e","text":"<p>\u200b\u5bf9\u4e8e\u200b\u6709\u200b\u7ec6\u7c92\u5ea6\u200b ACL \u200b\u63a7\u5236\u200b\u7684\u200b\u573a\u666f\u200b\uff0cKube-OVN \u200b\u7684\u200b Subnet \u200b\u63d0\u4f9b\u200b\u4e86\u200b ACL \u200b\u89c4\u5219\u200b\u7684\u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5b9e\u73b0\u200b\u7f51\u7edc\u200b\u89c4\u5219\u200b\u7684\u200b\u7cbe\u7ec6\u200b\u63a7\u5236\u200b\u3002</p> <p>Subnet \u200b\u4e2d\u200b\u7684\u200b ACL \u200b\u89c4\u5219\u200b\u548c\u200b OVN \u200b\u7684\u200b ACL \u200b\u89c4\u5219\u200b\u4e00\u81f4\u200b\uff0c\u200b\u76f8\u5173\u200b\u5b57\u200b\u6bb5\u200b\u5185\u5bb9\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b ovn-nb ACL Table\uff0c <code>match</code> \u200b\u5b57\u200b\u6bb5\u200b\u652f\u6301\u200b\u7684\u200b\u5b57\u200b\u6bb5\u200b\u53ef\u200b\u53c2\u8003\u200b ovn-sb Logical Flow Table\u3002</p> <p>\u200b\u5141\u8bb8\u200b IP \u200b\u5730\u5740\u200b\u4e3a\u200b <code>10.10.0.2</code> \u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\u6240\u6709\u200b\u5730\u5740\u200b\uff0c\u200b\u4f46\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u5176\u4ed6\u200b\u5730\u5740\u200b\u4e3b\u52a8\u200b\u8bbf\u95ee\u200b\u81ea\u5df1\u200b\u7684\u200b ACL \u200b\u89c4\u5219\u200b\u793a\u4f8b\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: acl\nspec:\n  allowEWTraffic: false\n  acls:\n    - action: drop\n      direction: to-lport\n      match: ip4.dst == 10.10.0.2 &amp;&amp; ip\n      priority: 1002\n    - action: allow-related\n      direction: from-lport\n      match: ip4.src == 10.10.0.2 &amp;&amp; ip\n      priority: 1002\n  cidrBlock: 10.10.0.0/24\n</code></pre> <p>\u200b\u67d0\u4e9b\u200b\u573a\u666f\u200b\u4e0b\u200b\u7528\u6237\u200b\u5e0c\u671b\u200b\u914d\u7f6e\u200b\u4e86\u200b ACL \u200b\u89c4\u5219\u200b\u7684\u200b\u5b50\u7f51\u200b\u5185\u90e8\u200b\u7f51\u7edc\u901a\u4fe1\u200b\u4e0d\u200b\u53d7\u200b\u5f71\u54cd\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u914d\u7f6e\u200b <code>allowEWTraffic: true</code> \u200b\u6765\u200b\u5b9e\u73b0\u200b\u3002</p>"},{"location":"guide/subnet/#_9","title":"\u5b50\u7f51\u200b\u9694\u79bb\u200b\u8bbe\u7f6e","text":"<p>\u200b\u5b50\u7f51\u200b ACL \u200b\u7684\u200b\u529f\u80fd\u200b\u53ef\u4ee5\u200b\u8986\u76d6\u200b\u5b50\u7f51\u200b\u9694\u79bb\u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u5e76\u200b\u6709\u200b\u66f4\u597d\u200b\u7684\u200b\u7075\u6d3b\u6027\u200b\uff0c\u200b\u6211\u4eec\u200b\u63a8\u8350\u200b\u4f7f\u7528\u200b\u5b50\u7f51\u200b ACL \u200b\u6765\u200b\u505a\u200b\u76f8\u5e94\u200b\u7684\u200b\u914d\u7f6e\u200b\u3002</p> <p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Kube-OVN \u200b\u521b\u5efa\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e4b\u95f4\u200b\u53ef\u4ee5\u200b\u76f8\u4e92\u200b\u901a\u4fe1\u200b\uff0cPod \u200b\u4e5f\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u7f51\u5173\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5982\u9700\u200b\u5bf9\u200b\u5b50\u7f51\u200b\u95f4\u200b\u7684\u200b\u8bbf\u95ee\u200b\u8fdb\u884c\u200b\u63a7\u5236\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u5b50\u7f51\u200b CRD \u200b\u4e2d\u5c06\u200b <code>private</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b true\uff0c\u200b\u5219\u200b\u8be5\u200b\u5b50\u7f51\u200b\u5c06\u200b\u548c\u200b\u5176\u4ed6\u200b\u5b50\u7f51\u200b\u4ee5\u53ca\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u9694\u79bb\u200b\uff0c \u200b\u53ea\u80fd\u200b\u8fdb\u884c\u200b\u5b50\u7f51\u200b\u5185\u90e8\u200b\u7684\u200b\u901a\u4fe1\u200b\u3002\u200b\u5982\u200b\u9700\u5f00\u200b\u767d\u540d\u5355\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b <code>allowSubnets</code> \u200b\u8fdb\u884c\u200b\u8bbe\u7f6e\u200b\u3002<code>allowSubnets</code> \u200b\u5185\u200b\u7684\u200b\u7f51\u6bb5\u200b\u548c\u200b\u8be5\u200b\u5b50\u7f51\u200b\u53ef\u4ee5\u200b\u53cc\u5411\u200b\u4e92\u8bbf\u200b\u3002</p>"},{"location":"guide/subnet/#_10","title":"\u5f00\u542f\u200b\u8bbf\u95ee\u63a7\u5236\u200b\u7684\u200b\u5b50\u7f51\u200b\u793a\u4f8b","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: private\nspec:\n  protocol: IPv4\n  default: false\n  namespaces:\n  - ns1\n  - ns2\n  cidrBlock: 10.69.0.0/16\n  private: true\n  allowSubnets:\n  - 10.16.0.0/16\n  - 10.18.0.0/16\n</code></pre>"},{"location":"guide/subnet/#underlay","title":"Underlay \u200b\u76f8\u5173\u200b\u9009\u9879","text":"<p>\u200b\u8be5\u200b\u90e8\u5206\u200b\u529f\u80fd\u200b\u53ea\u200b\u5bf9\u200b Underlay \u200b\u7c7b\u578b\u200b\u5b50\u7f51\u200b\u751f\u6548\u200b\u3002</p> <ul> <li><code>vlan</code>: \u200b\u5982\u679c\u200b\u4f7f\u7528\u200b Underlay \u200b\u7f51\u7edc\u200b\uff0c\u200b\u8be5\u5b57\u6bb5\u200b\u7528\u6765\u200b\u63a7\u5236\u200b\u8be5\u200b Subnet \u200b\u548c\u200b\u54ea\u4e2a\u200b Vlan CR \u200b\u8fdb\u884c\u200b\u7ed1\u5b9a\u200b\u3002\u200b\u8be5\u200b\u9009\u9879\u200b\u9ed8\u8ba4\u200b\u4e3a\u7a7a\u200b\u5b57\u7b26\u4e32\u200b\uff0c\u200b\u5373\u200b\u4e0d\u200b\u4f7f\u7528\u200b Underlay \u200b\u7f51\u7edc\u200b\u3002</li> <li><code>logicalGateway</code>: \u200b\u4e00\u4e9b\u200b Underlay \u200b\u73af\u5883\u200b\u4e3a\u200b\u7eaf\u200b\u4e8c\u5c42\u200b\u7f51\u7edc\u200b\uff0c\u200b\u4e0d\u200b\u5b58\u5728\u200b\u7269\u7406\u200b\u7684\u200b\u4e09\u5c42\u200b\u7f51\u5173\u200b\u3002\u200b\u5728\u200b\u8fd9\u79cd\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u501f\u52a9\u200b OVN \u200b\u672c\u8eab\u200b\u7684\u200b\u80fd\u529b\u200b\u8bbe\u7f6e\u200b\u4e00\u4e2a\u200b\u865a\u62df\u200b\u7f51\u5173\u200b\uff0c\u200b\u5c06\u200b Underlay   \u200b\u548c\u200b Overlay \u200b\u7f51\u7edc\u200b\u6253\u901a\u200b\u3002\u200b\u9ed8\u8ba4\u503c\u200b\u4e3a\u200b\uff1a<code>false</code>\u3002</li> </ul>"},{"location":"guide/subnet/#_11","title":"\u7f51\u5173\u200b\u68c0\u67e5\u200b\u8bbe\u7f6e","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b <code>kube-ovn-cni</code> \u200b\u5728\u200b\u542f\u52a8\u200b Pod \u200b\u540e\u200b\u4f1a\u200b\u4f7f\u7528\u200b ICMP \u200b\u6216\u200b ARP \u200b\u534f\u8bae\u200b\u8bf7\u6c42\u200b\u7f51\u5173\u200b\u5e76\u200b\u7b49\u5f85\u200b\u8fd4\u56de\u200b\uff0c \u200b\u4ee5\u200b\u9a8c\u8bc1\u200b\u7f51\u7edc\u200b\u5de5\u4f5c\u200b\u6b63\u5e38\u200b\uff0c\u200b\u5728\u200b\u90e8\u5206\u200b Underlay \u200b\u73af\u5883\u200b\u7f51\u5173\u200b\u65e0\u6cd5\u200b\u54cd\u5e94\u200b ICMP \u200b\u8bf7\u6c42\u200b\uff0c\u200b\u6216\u200b\u65e0\u9700\u200b\u7f51\u7edc\u200b\u5916\u90e8\u200b\u8054\u901a\u200b\u7684\u200b\u573a\u666f\u200b \u200b\u53ef\u4ee5\u200b\u5173\u95ed\u200b\u7f51\u5173\u200b\u68c0\u67e5\u200b\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: disable-gw-check\nspec:\n  disableGatewayCheck: true\n</code></pre>"},{"location":"guide/subnet/#multicast-snoop","title":"Multicast-Snoop \u200b\u914d\u7f6e","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b subnet \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u5982\u679c\u200b\u53d1\u9001\u200b\u7ec4\u200b\u64ad\u62a5\u200b\u6587\u200b\uff0cOVN \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u884c\u4e3a\u200b\u662f\u200b\u4f1a\u200b\u5e7f\u64ad\u200b\u7ec4\u200b\u64ad\u62a5\u200b\u6587\u5230\u200b\u5b50\u7f51\u200b\u4e0b\u200b\u6240\u6709\u200b\u7684\u200b Pod\u3002\u200b\u5982\u679c\u200b\u5f00\u542f\u200b subnet \u200b\u7684\u200b multicast snoop \u200b\u5f00\u5173\u200b\uff0cOVN \u200b\u4f1a\u200b\u6839\u636e\u200b <code>South Database</code> \u200b\u4e2d\u200b\u7684\u200b\u7ec4\u64ad\u8868\u200b <code>Multicast_Group</code> \u200b\u6765\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u800c\u200b\u4e0d\u200b\u5728\u200b\u8fdb\u884c\u200b\u5e7f\u64ad\u200b\u3002</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sample1\nspec:\n  enableMulticastSnoop: true\n</code></pre>"},{"location":"guide/subnet/#subnet-mtu","title":"Subnet MTU \u200b\u914d\u7f6e","text":"<p>\u200b\u914d\u7f6e\u200b Subnet \u200b\u4e0b\u200b Pod \u200b\u7684\u200b MTU\uff0c\u200b\u914d\u7f6e\u200b\u540e\u200b\u9700\u8981\u200b\u91cd\u542f\u200b Subnet \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u624d\u200b\u751f\u6548\u200b</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: sample1\nspec:\n  mtu: 1300\n</code></pre>"},{"location":"guide/subnet/#_12","title":"\u5176\u4ed6\u200b\u9ad8\u7ea7\u200b\u8bbe\u7f6e","text":"<ul> <li>IP \u200b\u6c60\u200b\u4f7f\u7528\u200b</li> <li>\u200b\u9ed8\u8ba4\u200b VPC NAT \u200b\u7b56\u7565\u200b\u89c4\u5219\u200b</li> <li>QoS \u200b\u8bbe\u7f6e\u200b</li> <li>\u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b</li> <li>DHCP \u200b\u9009\u9879\u200b</li> <li>\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u8bbe\u7f6e\u200b</li> <li>\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b\u8bbe\u7f6e\u200b</li> <li>\u200b\u865a\u62df\u200b IP \u200b\u8bbe\u7f6e\u200b</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/vpc-qos/","title":"VPC QoS","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u4f7f\u7528\u200b QoSPolicy CRD \u200b\u5bf9\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u7684\u200b\u6d41\u91cf\u200b\u901f\u7387\u200b\u8fdb\u884c\u200b\u9650\u5236\u200b\u3002</p>"},{"location":"guide/vpc-qos/#eip-qos","title":"EIP QoS","text":"<p>\u200b\u5bf9\u200b EIP \u200b\u8fdb\u884c\u200b\u9650\u901f\u200b\uff0c\u200b\u9650\u901f\u200b\u503c\u4e3a\u200b 1Mbps\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u4e3a\u200b 1\uff0c\u200b\u8fd9\u91cc\u200b <code>shared=false</code>\uff0c\u200b\u8868\u793a\u200b\u8fd9\u4e2a\u200b QoSPolicy \u200b\u53ea\u80fd\u200b\u7ed9\u200b\u8fd9\u4e2a\u200b EIP \u200b\u4f7f\u7528\u200b\u4e14\u200b\u652f\u6301\u200b\u52a8\u6001\u200b\u4fee\u6539\u200b QoSPolicy \u200b\u53bb\u200b\u53d8\u66f4\u200b QoS \u200b\u89c4\u5219\u200b\u3002</p> <p>QoSPolicy \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-eip-example\nspec:\n  shared: false\n  bindingType: EIP\n  bandwidthLimitRules:\n  - name: eip-ingress\n    rateMax: \"1\" # Mbps\n    burstMax: \"1\" # Mbps\n    priority: 1\n    direction: ingress\n  - name: eip-egress\n    rateMax: \"1\" # Mbps\n    burstMax: \"1\" # Mbps\n    priority: 1\n    direction: egress\n</code></pre> <p>IptablesEIP \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-1\nspec:\n  natGwDp: gw1\n  qosPolicy: qos-eip-example\n</code></pre> <p><code>.spec.qosPolicy</code> \u200b\u7684\u200b\u503c\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u65f6\u200b\u4f20\u5165\u200b\uff0c\u200b\u4e5f\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u540e\u200b\u4fee\u6539\u200b\u3002</p>"},{"location":"guide/vpc-qos/#qos-eip","title":"\u67e5\u770b\u200b\u5df2\u200b\u542f\u7528\u200b QoS \u200b\u7684\u200b EIP","text":"<p>\u200b\u901a\u8fc7\u200b <code>label</code> \u200b\u67e5\u770b\u200b\u5df2\u7ecf\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b qos \u200b\u7684\u200b eip\uff1a</p> <pre><code># kubectl get eip  -l ovn.kubernetes.io/qos=qos-eip-example\nNAME    IP             MAC                 NAT   NATGWDP   READY\neip-1   172.18.11.24   00:00:00:34:41:0B   fip   gw1       true\n</code></pre>"},{"location":"guide/vpc-qos/#vpc-natgw-net1-qos","title":"VPC NATGW net1 \u200b\u7f51\u5361\u200b QoS","text":"<p>\u200b\u5bf9\u200b VPC NATGW \u200b\u7684\u200b net1 \u200b\u7f51\u5361\u200b\u901f\u7387\u200b\u8fdb\u884c\u200b\u9650\u5236\u200b\uff0c\u200b\u9650\u901f\u200b\u503c\u4e3a\u200b 10Mbps\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u4e3a\u200b 3\uff0c\u200b\u8fd9\u91cc\u200b <code>shared=true</code>\uff0c\u200b\u8868\u793a\u200b\u8fd9\u4e2a\u200b QoSPolicy \u200b\u53ef\u4ee5\u200b\u540c\u65f6\u200b\u7ed9\u200b\u591a\u4e2a\u200b\u8d44\u6e90\u200b\u4f7f\u7528\u200b\uff0c\u200b\u8fd9\u79cd\u200b\u573a\u666f\u200b\u4e0b\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u4fee\u6539\u200b QoSPolicy \u200b\u7684\u200b\u5185\u5bb9\u200b\u3002</p> <p>QoSPolicy \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-natgw-example\nspec:\n  shared: true\n  bindingType: NATGW\n  bandwidthLimitRules:\n  - name: net1-ingress\n    interface: net1\n    rateMax: \"10\" # Mbps\n    burstMax: \"10\" # Mbps\n    priority: 3\n    direction: ingress\n  - name: net1-egress\n    interface: net1\n    rateMax: \"10\" # Mbps\n    burstMax: \"10\" # Mbps\n    priority: 3\n    direction: egress\n</code></pre> <p>VpcNatGateway \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  qosPolicy: qos-natgw-example\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n</code></pre> <p><code>.spec.qosPolicy</code> \u200b\u7684\u200b\u503c\u200b\u652f\u6301\u200b\u521b\u5efa\u200b\u4f20\u5165\u200b\uff0c\u200b\u4e5f\u200b\u652f\u6301\u200b\u540e\u7eed\u200b\u4fee\u6539\u200b\u3002</p>"},{"location":"guide/vpc-qos/#net1-qos","title":"net1 \u200b\u7f51\u5361\u200b\u7279\u5b9a\u200b\u6d41\u91cf\u200b QoS","text":"<p>\u200b\u5bf9\u200b net1 \u200b\u7f51\u5361\u200b\u4e0a\u200b\u7279\u5b9a\u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b\u9650\u901f\u200b\uff0c\u200b\u9650\u901f\u200b\u503c\u4e3a\u200b 5Mbps\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u4e3a\u200b 2\uff0c\u200b\u8fd9\u91cc\u200b <code>shared=true</code>\uff0c\u200b\u8868\u793a\u200b\u8fd9\u4e2a\u200b QoSPolicy  \u200b\u53ef\u4ee5\u200b\u540c\u65f6\u200b\u7ed9\u200b\u591a\u4e2a\u200b\u8d44\u6e90\u200b\u4f7f\u7528\u200b\uff0c\u200b\u6b64\u65f6\u200b\u4e0d\u200b\u5141\u8bb8\u200b\u4fee\u6539\u200b QoSPolicy \u200b\u7684\u200b\u5185\u5bb9\u200b\u3002</p> <p>QoSPolicy \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: QoSPolicy\nmetadata:\n  name: qos-natgw-example\nspec:\n  shared: true\n  bindingType: NATGW\n  bandwidthLimitRules:\n  - name: net1-extip-ingress\n    interface: net1\n    rateMax: \"5\" # Mbps\n    burstMax: \"5\" # Mbps\n    priority: 2\n    direction: ingress\n    matchType: ip\n    matchValue: src 172.18.11.22/32\n  - name: net1-extip-egress\n    interface: net1\n    rateMax: \"5\" # Mbps\n    burstMax: \"5\" # Mbps\n    priority: 2\n    direction: egress\n    matchType: ip\n    matchValue: dst 172.18.11.23/32\n</code></pre> <p>VpcNatGateway \u200b\u914d\u7f6e\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  qosPolicy: qos-natgw-example\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n</code></pre>"},{"location":"guide/vpc-qos/#qos-natgw","title":"\u67e5\u770b\u200b\u5df2\u200b\u542f\u7528\u200b QoS \u200b\u7684\u200b NATGW","text":"<p>\u200b\u901a\u8fc7\u200b <code>label</code> \u200b\u67e5\u770b\u200b\u5df2\u7ecf\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b qos \u200b\u7684\u200b eip\uff1a</p> <pre><code># kubectl get vpc-nat-gw  -l ovn.kubernetes.io/qos=qos-natgw-example\nNAME   VPC          SUBNET   LANIP\ngw1    test-vpc-1   net1     10.0.1.254\n</code></pre>"},{"location":"guide/vpc-qos/#qos","title":"\u67e5\u770b\u200b qos \u200b\u89c4\u5219","text":"<pre><code># kubectl get qos -A\nNAME                SHARED   BINDINGTYPE\nqos-eip-example     false    EIP\nqos-natgw-example   true     NATGW\n</code></pre>"},{"location":"guide/vpc-qos/#_1","title":"\u9650\u5236","text":"<ul> <li>\u200b\u53ea\u6709\u200b\u5728\u200b\u672a\u200b\u4f7f\u7528\u200b\u65f6\u200b\u624d\u80fd\u200b\u5220\u9664\u200b QoS \u200b\u7b56\u7565\u200b\u3002\u200b\u56e0\u6b64\u200b\uff0c\u200b\u5728\u200b\u5220\u9664\u200b QoS \u200b\u7b56\u7565\u200b\u4e4b\u524d\u200b\uff0c\u200b\u8bf7\u200b\u5148\u200b\u67e5\u770b\u200b\u5df2\u200b\u542f\u7528\u200b QoS \u200b\u7684\u200b EIP \u200b\u548c\u200b NATGW\uff0c\u200b\u53bb\u6389\u200b\u5b83\u4eec\u200b\u7684\u200b <code>spec.qosPolicy</code> \u200b\u914d\u7f6e\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/vpc/","title":"VPC \u200b\u4f7f\u7528","text":"<p>Kube-OVN \u200b\u652f\u6301\u200b\u591a\u200b\u79df\u6237\u200b\u9694\u79bb\u200b\u7ea7\u522b\u200b\u7684\u200b VPC \u200b\u7f51\u7edc\u200b\u3002\u200b\u4e0d\u540c\u200b VPC \u200b\u7f51\u7edc\u200b\u76f8\u4e92\u200b\u72ec\u7acb\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5206\u522b\u200b\u914d\u7f6e\u200b Subnet \u200b\u7f51\u6bb5\u200b\uff0c \u200b\u8def\u7531\u200b\u7b56\u7565\u200b\uff0c\u200b\u5b89\u5168\u7b56\u7565\u200b\uff0c\u200b\u51fa\u7f51\u200b\u7f51\u5173\u200b\uff0cEIP \u200b\u7b49\u200b\u914d\u7f6e\u200b\u3002</p> <p>VPC \u200b\u4e3b\u8981\u200b\u7528\u4e8e\u200b\u6709\u200b\u591a\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\u5f3a\u200b\u9694\u79bb\u200b\u7684\u200b\u573a\u666f\u200b\uff0c\u200b\u90e8\u5206\u200b Kubernetes \u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\u5728\u200b\u591a\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\u4e0b\u200b\u5b58\u5728\u200b\u51b2\u7a81\u200b\u3002 \u200b\u4f8b\u5982\u200b\u8282\u70b9\u200b\u548c\u200b Pod \u200b\u4e92\u8bbf\u200b\uff0cNodePort \u200b\u529f\u80fd\u200b\uff0c\u200b\u57fa\u4e8e\u200b\u7f51\u7edc\u200b\u8bbf\u95ee\u200b\u7684\u200b\u5065\u5eb7\u68c0\u67e5\u200b\u548c\u200b DNS \u200b\u80fd\u529b\u200b\u5728\u200b\u591a\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\u573a\u666f\u200b\u6682\u200b\u4e0d\u200b\u652f\u6301\u200b\u3002 \u200b\u4e3a\u4e86\u200b\u65b9\u4fbf\u200b\u5e38\u89c1\u200b Kubernetes \u200b\u7684\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\uff0cKube-OVN \u200b\u9ed8\u8ba4\u200b VPC \u200b\u505a\u200b\u4e86\u200b\u7279\u6b8a\u200b\u8bbe\u8ba1\u200b\uff0c\u200b\u8be5\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Subnet \u200b\u53ef\u4ee5\u200b\u6ee1\u8db3\u200b Kubernetes \u200b\u89c4\u8303\u200b\u3002\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u652f\u6301\u200b\u672c\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b\u7684\u200b\u9759\u6001\u200b\u8def\u7531\u200b\uff0cEIP \u200b\u548c\u200b NAT \u200b\u7f51\u5173\u200b\u7b49\u200b\u529f\u80fd\u200b\u3002 \u200b\u5e38\u89c1\u200b\u9694\u79bb\u200b\u9700\u6c42\u200b\u53ef\u200b\u901a\u8fc7\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u7f51\u7edc\u200b\u7b56\u7565\u200b\u548c\u200b\u5b50\u7f51\u200b ACL \u200b\u5b9e\u73b0\u200b\uff0c\u200b\u5728\u200b\u4f7f\u7528\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u524d\u200b\u8bf7\u200b\u660e\u786e\u200b\u662f\u5426\u200b\u9700\u8981\u200b VPC \u200b\u7ea7\u522b\u200b\u7684\u200b\u9694\u79bb\u200b\uff0c\u200b\u5e76\u200b\u4e86\u89e3\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u9650\u5236\u200b\u3002 \u200b\u5728\u200b Underlay \u200b\u7f51\u7edc\u200b\u4e0b\u200b\uff0c\u200b\u7269\u7406\u200b\u4ea4\u6362\u673a\u200b\u8d1f\u8d23\u200b\u6570\u636e\u200b\u9762\u200b\u8f6c\u53d1\u200b\uff0cVPC \u200b\u65e0\u6cd5\u200b\u5bf9\u200b Underlay \u200b\u5b50\u7f51\u200b\u8fdb\u884c\u200b\u9694\u79bb\u200b\u3002</p> <p></p>"},{"location":"guide/vpc/#vpc_1","title":"\u521b\u5efa\u200b\u81ea\u5b9a\u4e49\u200b VPC","text":"<p>\u200b\u521b\u5efa\u200b\u4e24\u4e2a\u200b VPC\uff1a</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  namespaces:\n  - ns1\n---\nkind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-2\nspec:\n  namespaces:\n  - ns2\n</code></pre> <ul> <li><code>namespaces</code> \u200b\u53ef\u4ee5\u200b\u9650\u5b9a\u200b\u53ea\u6709\u200b\u54ea\u4e9b\u200b Namespace \u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u5f53\u524d\u200b VPC\uff0c\u200b\u82e5\u4e3a\u200b\u7a7a\u5219\u200b\u4e0d\u200b\u9650\u5b9a\u200b\u3002</li> </ul> <p>\u200b\u521b\u5efa\u200b\u4e24\u4e2a\u200b\u5b50\u7f51\u200b\uff0c\u200b\u5206\u5c5e\u200b\u4e24\u4e2a\u200b\u4e0d\u540c\u200b\u7684\u200b VPC \u200b\u5e76\u200b\u6709\u200b\u76f8\u540c\u200b\u7684\u200b CIDR:</p> <pre><code>kind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net1\nspec:\n  vpc: test-vpc-1\n  cidrBlock: 10.0.1.0/24\n  protocol: IPv4\n  namespaces:\n    - ns1\n---\nkind: Subnet\napiVersion: kubeovn.io/v1\nmetadata:\n  name: net2\nspec:\n  vpc: test-vpc-2\n  cidrBlock: 10.0.1.0/24\n  protocol: IPv4\n  namespaces:\n    - ns2\n</code></pre> <p>\u200b\u5206\u522b\u200b\u5728\u200b\u4e24\u4e2a\u200b Namespace \u200b\u4e0b\u200b\u521b\u5efa\u200b Pod:</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net1\n  namespace: ns1\n  name: vpc1-pod\nspec:\n  containers:\n    - name: vpc1-pod\n      image: docker.io/library/nginx:alpine\n---\napiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/logical_switch: net2\n  namespace: ns2\n  name: vpc2-pod\nspec:\n  containers:\n    - name: vpc2-pod\n      image: docker.io/library/nginx:alpine\n</code></pre> <p>\u200b\u8fd0\u884c\u200b\u6210\u529f\u200b\u540e\u200b\u53ef\u200b\u89c2\u5bdf\u200b\u4e24\u4e2a\u200b Pod \u200b\u5730\u5740\u200b\u5c5e\u4e8e\u200b\u540c\u4e00\u4e2a\u200b CIDR\uff0c\u200b\u4f46\u200b\u7531\u4e8e\u200b\u8fd0\u884c\u200b\u5728\u200b\u4e0d\u540c\u200b\u7684\u200b\u79df\u6237\u200b VPC\uff0c\u200b\u4e24\u4e2a\u200b Pod \u200b\u65e0\u6cd5\u200b\u76f8\u4e92\u200b\u8bbf\u95ee\u200b\u3002</p>"},{"location":"guide/vpc/#vpc-pod-livenessprobe-readinessprobe","title":"\u81ea\u5b9a\u4e49\u200b VPC Pod \u200b\u652f\u6301\u200b livenessProbe \u200b\u548c\u200b readinessProbe","text":"<p>\u200b\u7531\u4e8e\u200b\u5e38\u89c4\u200b\u914d\u7f6e\u200b\u4e0b\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u548c\u200b\u8282\u70b9\u200b\u7684\u200b\u7f51\u7edc\u200b\u4e4b\u95f4\u200b\u5e76\u200b\u4e0d\u200b\u4e92\u901a\u200b\uff0c\u200b\u6240\u4ee5\u200b kubelet \u200b\u53d1\u9001\u200b\u7684\u200b\u63a2\u6d4b\u200b\u62a5\u6587\u200b\u65e0\u6cd5\u200b\u5230\u8fbe\u200b\u81ea\u200b\u5b9a\u200b VPC \u200b\u5185\u200b\u7684\u200b Pod\u3002Kube-OVN \u200b\u901a\u8fc7\u200b TProxy \u200b\u5c06\u200b kubelet \u200b\u53d1\u9001\u200b\u7684\u200b\u63a2\u6d4b\u200b\u62a5\u6587\u200b\u91cd\u5b9a\u5411\u200b\u5230\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u7684\u200b Pod\uff0c\u200b\u4ece\u800c\u200b\u5b9e\u73b0\u200b\u8fd9\u4e00\u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u914d\u7f6e\u200b\u65b9\u6cd5\u200b\u5982\u4e0b\u200b\uff0c\u200b\u5728\u200b Daemonset <code>kube-ovn-cni</code> \u200b\u4e2d\u200b\u589e\u52a0\u200b\u53c2\u6570\u200b <code>--enable-tproxy=true</code>\uff1a</p> <pre><code>spec:\n  template:\n    spec:\n      containers:\n      - args:\n        - --enable-tproxy=true\n</code></pre> <p>\u200b\u8be5\u200b\u529f\u80fd\u200b\u9650\u5236\u200b\u6761\u4ef6\u200b\uff1a</p> <ol> <li>\u200b\u5f53\u200b\u540c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0b\u200b\u51fa\u73b0\u200b\u4e0d\u540c\u200b VPC \u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u5177\u6709\u200b\u76f8\u540c\u200b\u7684\u200b IP\uff0c\u200b\u63a2\u6d4b\u200b\u529f\u80fd\u200b\u5931\u6548\u200b\u3002</li> <li>\u200b\u76ee\u524d\u200b\u6682\u65f6\u200b\u53ea\u200b\u652f\u6301\u200b <code>tcpSocket</code> \u200b\u548c\u200b <code>httpGet</code> \u200b\u4e24\u79cd\u200b\u63a2\u6d4b\u200b\u65b9\u5f0f\u200b\u3002</li> </ol>"},{"location":"guide/vpc/#vpc_2","title":"\u521b\u5efa\u200b VPC \u200b\u7f51\u5173","text":"<p>\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e0d\u200b\u652f\u6301\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\u548c\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u3002</p> <p>VPC \u200b\u5185\u5bb9\u200b\u5668\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b VPC \u200b\u7f51\u5173\u200b\uff0cVPC \u200b\u7f51\u5173\u200b\u53ef\u4ee5\u200b\u6253\u901a\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u548c\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e76\u200b\u63d0\u4f9b\u200b \u200b\u6d6e\u52a8\u200b IP\uff0cSNAT \u200b\u548c\u200b DNAT \u200b\u529f\u80fd\u200b\u3002</p> <p>VPC \u200b\u7f51\u5173\u200b\u529f\u80fd\u200b\u4f9d\u8d56\u200b Multus-CNI \u200b\u7684\u200b\u591a\u200b\u7f51\u5361\u200b\u529f\u80fd\u200b\uff0c\u200b\u5b89\u88c5\u200b\u8bf7\u200b\u53c2\u8003\u200b multus-cni\u3002</p>"},{"location":"guide/vpc/#_1","title":"\u914d\u7f6e\u200b\u5916\u90e8\u200b\u7f51\u7edc","text":"<pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: ovn-vpc-external-network\nspec:\n  protocol: IPv4\n  provider: ovn-vpc-external-network.kube-system\n  cidrBlock: 192.168.0.0/24\n  gateway: 192.168.0.1  # IP address of the physical gateway\n  excludeIps:\n  - 192.168.0.1..192.168.0.10\n---\napiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-vpc-external-network\n  namespace: kube-system\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"macvlan\",\n      \"master\": \"eth1\",\n      \"mode\": \"bridge\",\n      \"ipam\": {\n        \"type\": \"kube-ovn\",\n        \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n        \"provider\": \"ovn-vpc-external-network.kube-system\"\n      }\n    }'\n</code></pre> <ul> <li>\u200b\u8be5\u200b Subnet \u200b\u7528\u6765\u200b\u7ba1\u7406\u200b\u53ef\u7528\u200b\u7684\u200b\u5916\u90e8\u200b\u5730\u5740\u200b\uff0c\u200b\u7f51\u6bb5\u200b\u5185\u200b\u7684\u200b\u5730\u5740\u200b\u5c06\u4f1a\u200b\u901a\u8fc7\u200b Macvlan \u200b\u5206\u914d\u200b\u7ed9\u200b VPC \u200b\u7f51\u5173\u200b\uff0c\u200b\u8bf7\u200b\u548c\u200b\u7f51\u7edc\u7ba1\u7406\u200b\u6c9f\u901a\u200b\u7ed9\u51fa\u200b\u53ef\u7528\u200b\u7684\u200b\u7269\u7406\u200b\u6bb5\u200b IP\u3002</li> <li>VPC \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b Macvlan \u200b\u505a\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff0c<code>NetworkAttachmentDefinition</code> \u200b\u7684\u200b <code>master</code> \u200b\u9700\u4e3a\u200b\u5bf9\u5e94\u200b\u7269\u7406\u200b\u7f51\u8def\u200b\u7f51\u5361\u200b\u7684\u200b\u7f51\u5361\u200b\u540d\u200b\u3002</li> <li><code>name</code> \u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u540d\u79f0\u200b\u3002</li> </ul> <p>\u200b\u5728\u200b Macvlan \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0c\u200b\u9644\u5c5e\u200b\u7f51\u5361\u200b\u4f1a\u200b\u5c06\u200b\u6570\u636e\u5305\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b\u8be5\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u5bf9\u5916\u200b\u53d1\u9001\u200b\uff0cL2/L3 \u200b\u5c42\u9762\u200b\u7684\u200b\u8f6c\u53d1\u200b\u80fd\u529b\u200b\u9700\u8981\u200b\u4f9d\u8d56\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u3002 \u200b\u9700\u8981\u200b\u9884\u5148\u200b\u5728\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u914d\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b\u7f51\u5173\u200b\u3001Vlan \u200b\u548c\u200b\u5b89\u5168\u7b56\u7565\u200b\u7b49\u200b\u914d\u7f6e\u200b\u3002</p> <ol> <li>\u200b\u5bf9\u4e8e\u200b OpenStack \u200b\u7684\u200b VM \u200b\u73af\u5883\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b\u5bf9\u5e94\u200b\u7f51\u7edc\u200b\u7aef\u53e3\u200b\u7684\u200b <code>PortSecurity</code> \u200b\u5173\u95ed\u200b\u3002</li> <li>\u200b\u5bf9\u4e8e\u200b VMware \u200b\u7684\u200b vSwitch \u200b\u7f51\u7edc\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b <code>MAC Address Changes</code>, <code>Forged Transmits</code> \u200b\u548c\u200b <code>Promiscuous Mode Operation</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>allow</code>\u3002</li> <li>\u200b\u5bf9\u4e8e\u200b Hyper-V \u200b\u865a\u62df\u5316\u200b\uff0c\u200b\u9700\u8981\u200b\u5f00\u542f\u200b\u865a\u62df\u673a\u200b\u7f51\u5361\u200b\u9ad8\u7ea7\u200b\u529f\u80fd\u200b\u4e2d\u200b\u7684\u200b <code>MAC Address Spoofing</code>\u3002</li> <li>\u200b\u516c\u6709\u200b\u4e91\u200b\uff0c\u200b\u4f8b\u5982\u200b AWS\u3001GCE\u3001\u200b\u963f\u91cc\u200b\u4e91\u200b\u7b49\u200b\u7531\u4e8e\u200b\u4e0d\u200b\u652f\u6301\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b Mac \u200b\u65e0\u6cd5\u200b\u652f\u6301\u200b Macvlan \u200b\u6a21\u5f0f\u200b\u7f51\u7edc\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b Macvlan \u200b\u672c\u8eab\u200b\u7684\u200b\u9650\u5236\u200b\uff0cMacvlan \u200b\u5b50\u200b\u63a5\u53e3\u200b\u65e0\u6cd5\u8bbf\u95ee\u200b\u7236\u200b\u63a5\u53e3\u200b\u5730\u5740\u200b\u3002</li> <li>\u200b\u5982\u679c\u200b\u7269\u7406\u200b\u7f51\u5361\u200b\u5bf9\u5e94\u200b\u4ea4\u6362\u673a\u200b\u63a5\u53e3\u200b\u4e3a\u200b Trunk \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u8be5\u200b\u7f51\u5361\u200b\u4e0a\u200b\u521b\u5efa\u200b\u5b50\u200b\u63a5\u53e3\u200b\u518d\u200b\u63d0\u4f9b\u200b\u7ed9\u200b Macvlan \u200b\u4f7f\u7528\u200b\u3002</li> </ol>"},{"location":"guide/vpc/#vpc_3","title":"\u5f00\u542f\u200b VPC \u200b\u7f51\u5173\u200b\u529f\u80fd","text":"<p>VPC \u200b\u7f51\u5173\u200b\u529f\u80fd\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b <code>kube-system</code> \u200b\u4e0b\u200b\u7684\u200b <code>ovn-vpc-nat-gw-config</code> \u200b\u5f00\u542f\u200b\uff1a</p> <pre><code>---\nkind: ConfigMap\napiVersion: v1\nmetadata:\n  name: ovn-vpc-nat-config\n  namespace: kube-system\ndata:\n  image: 'docker.io/kubeovn/vpc-nat-gateway:v1.13.0' \n---\nkind: ConfigMap\napiVersion: v1\nmetadata:\n  name: ovn-vpc-nat-gw-config\n  namespace: kube-system\ndata:\n  enable-vpc-nat-gw: 'true'\n</code></pre> <ul> <li><code>image</code>: \u200b\u7f51\u5173\u200b Pod \u200b\u6240\u200b\u4f7f\u7528\u200b\u7684\u200b\u955c\u50cf\u200b\u3002</li> <li><code>enable-vpc-nat-gw</code>\uff1a \u200b\u63a7\u5236\u200b\u662f\u5426\u200b\u542f\u7528\u200b VPC \u200b\u7f51\u5173\u200b\u529f\u80fd\u200b\u3002</li> </ul>"},{"location":"guide/vpc/#vpc_4","title":"\u521b\u5efa\u200b VPC \u200b\u7f51\u5173\u200b\u5e76\u200b\u914d\u7f6e\u200b\u9ed8\u8ba4\u200b\u8def\u7531","text":"<pre><code>kind: VpcNatGateway\napiVersion: kubeovn.io/v1\nmetadata:\n  name: gw1\nspec:\n  vpc: test-vpc-1\n  subnet: net1\n  lanIp: 10.0.1.254\n  selector:\n    - \"kubernetes.io/hostname: kube-ovn-worker\"\n    - \"kubernetes.io/os: linux\"\n  externalSubnets:\n    - ovn-vpc-external-network\n</code></pre> <ul> <li><code>vpc</code>\uff1a\u200b\u8be5\u200b VpcNatGateway \u200b\u6240\u5c5e\u200b\u7684\u200b VPC\u3002</li> <li><code>subnet</code>\uff1a\u200b\u4e3a\u200b VPC \u200b\u5185\u200b\u67d0\u4e2a\u200b Subnet \u200b\u540d\u200b\uff0cVPC \u200b\u7f51\u5173\u200b Pod \u200b\u4f1a\u200b\u5728\u200b\u8be5\u200b\u5b50\u7f51\u200b\u4e0b\u7528\u200b <code>lanIp</code> \u200b\u6765\u200b\u8fde\u63a5\u200b\u79df\u6237\u200b\u7f51\u7edc\u200b\u3002</li> <li><code>lanIp</code>\uff1a<code>subnet</code> \u200b\u5185\u200b\u67d0\u4e2a\u200b\u672a\u200b\u88ab\u200b\u4f7f\u7528\u200b\u7684\u200b IP\uff0cVPC \u200b\u7f51\u5173\u200b Pod \u200b\u6700\u7ec8\u200b\u4f1a\u200b\u4f7f\u7528\u200b\u8be5\u200b Pod\u3002\u200b\u5f53\u200b VPC \u200b\u914d\u7f6e\u200b\u8def\u7531\u200b\u9700\u8981\u200b\u6307\u5411\u200b\u5f53\u524d\u200b VpcNatGateway \u200b\u65f6\u200b <code>nextHopIP</code> \u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u8fd9\u4e2a\u200b <code>lanIp</code>\u3002</li> <li><code>selector</code>\uff1aVpcNatGateway Pod \u200b\u7684\u200b\u8282\u70b9\u200b\u9009\u62e9\u5668\u200b\uff0c\u200b\u683c\u5f0f\u200b\u548c\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b NodeSelector \u200b\u683c\u5f0f\u200b\u76f8\u540c\u200b\u3002</li> <li><code>externalSubnets</code>\uff1a VPC \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5982\u679c\u200b\u4e0d\u200b\u914d\u7f6e\u200b\u5219\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b <code>ovn-vpc-external-network</code>\uff0c\u200b\u5f53\u524d\u200b\u7248\u672c\u200b\u53ea\u200b\u652f\u6301\u200b\u914d\u7f6e\u200b\u4e00\u4e2a\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u3002</li> </ul> <p>\u200b\u5176\u4ed6\u200b\u53ef\u200b\u914d\u200b\u53c2\u6570\u200b\uff1a</p> <ul> <li><code>tolerations</code> : \u200b\u4e3a\u200b VPC \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b\u5bb9\u5fcd\u5ea6\u200b\uff0c\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u53c2\u8003\u200b \u200b\u6c61\u70b9\u200b\u548c\u200b\u5bb9\u5fcd\u5ea6\u200b\u3002</li> <li><code>affinity</code> :  \u200b\u4e3a\u200b VPC \u200b\u7f51\u5173\u200b Pod \u200b\u6216\u200b\u8282\u70b9\u200b\u914d\u7f6e\u200b\u4eb2\u548c\u6027\u200b\uff0c\u200b\u5177\u4f53\u200b\u8bbe\u7f6e\u200b\u53c2\u8003\u200b \u200b\u4eb2\u548c\u6027\u200b\u4e0e\u200b\u53cd\u200b\u4eb2\u548c\u6027\u200b\u3002</li> </ul> <p>\u200b\u5728\u200b\u4f7f\u7528\u200b VPC-NAT-GW \u200b\u65f6\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b\uff1a</p> <ol> <li>nat gw pod \u200b\u521b\u5efa\u200b\u4e4b\u540e\u200b\uff0cnet1 arp \u200b\u662f\u200b\u5173\u95ed\u200b\u7684\u200b\uff0cping \u200b\u4e0d\u901a\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\uff0c\u200b\u521b\u5efa\u200b eip \u200b\u540e\u200b\u4f1a\u200b\u81ea\u52a8\u200b\u6253\u5f00\u200b arp\uff0c\u200b\u53ef\u4ee5\u200b ping \u200b\u901a\u200b\u3002</li> </ol>"},{"location":"guide/vpc/#eip","title":"\u521b\u5efa\u200b EIP","text":"<p>EIP \u200b\u4e3a\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u6bb5\u200b\u7684\u200b\u67d0\u4e2a\u200b IP \u200b\u5206\u914d\u200b\u7ed9\u200b VPC \u200b\u7f51\u5173\u200b\u540e\u200b\u53ef\u200b\u8fdb\u884c\u200b DNAT\uff0cSNAT \u200b\u548c\u200b\u6d6e\u52a8\u200b IP \u200b\u64cd\u4f5c\u200b\u3002</p> <p>\u200b\u968f\u673a\u200b\u5206\u914d\u200b\u4e00\u4e2a\u200b\u5730\u5740\u200b\u7ed9\u200b EIP\uff1a</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-random\nspec:\n  natGwDp: gw1\n</code></pre> <p>\u200b\u56fa\u5b9a\u200b EIP \u200b\u5730\u5740\u200b\u5206\u914d\u200b\uff1a</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-static\nspec:\n  natGwDp: gw1\n  v4ip: 10.0.1.111\n</code></pre> <p>\u200b\u6307\u5b9a\u200b EIP \u200b\u6240\u5728\u200b\u7684\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff1a</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eip-random\nspec:\n  natGwDp: gw1\n  externalSubnet: ovn-vpc-external-network\n</code></pre> <ul> <li><code>externalSubnet</code>\uff1a EIP \u200b\u6240\u5728\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u540d\u79f0\u200b\uff0c\u200b\u5982\u679c\u200b\u4e0d\u200b\u6307\u5b9a\u200b\u5219\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b <code>ovn-vpc-external-network</code>\uff0c\u200b\u5982\u679c\u200b\u6307\u5b9a\u200b\u5219\u200b\u5fc5\u987b\u200b\u4e3a\u200b\u6240\u5728\u200b VPC \u200b\u7f51\u5173\u200b\u7684\u200b <code>externalSubnets</code> \u200b\u4e2d\u200b\u7684\u200b\u4e00\u4e2a\u200b\u3002</li> </ul>"},{"location":"guide/vpc/#dnat","title":"\u521b\u5efa\u200b DNAT \u200b\u89c4\u5219","text":"<p>\u200b\u901a\u8fc7\u200b DNAT \u200b\u89c4\u5219\u200b\uff0c\u200b\u5916\u90e8\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4e00\u4e2a\u200b EIP \u200b\u52a0\u200b\u7aef\u53e3\u200b\u7684\u200b\u65b9\u5f0f\u200b\u6765\u200b\u8bbf\u95ee\u200b VPC \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b IP \u200b\u548c\u200b\u7aef\u53e3\u200b\u3002</p> <pre><code>kind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eipd01\nspec:\n  natGwDp: gw1\n\n---\nkind: IptablesDnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: dnat01\nspec:\n  eip: eipd01 \n  externalPort: '8888'\n  internalIp: 10.0.1.10\n  internalPort: '80'\n  protocol: tcp\n</code></pre>"},{"location":"guide/vpc/#snat","title":"\u521b\u5efa\u200b SNAT \u200b\u89c4\u5219","text":"<p>\u200b\u901a\u8fc7\u200b SNAT \u200b\u89c4\u5219\u200b\uff0cVPC \u200b\u5185\u200b\u7684\u200b Pod \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7684\u200b\u5730\u5740\u200b\u65f6\u200b\u5c06\u200b\u4f1a\u200b\u901a\u8fc7\u200b\u5bf9\u5e94\u200b EIP \u200b\u8fdb\u884c\u200b SNAT\u3002</p> <pre><code>---\nkind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eips01\nspec:\n  natGwDp: gw1\n---\nkind: IptablesSnatRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: snat01\nspec:\n  eip: eips01\n  internalCIDR: 10.0.1.0/24\n</code></pre>"},{"location":"guide/vpc/#ip","title":"\u521b\u5efa\u200b\u6d6e\u52a8\u200b IP","text":"<p>\u200b\u901a\u8fc7\u200b\u6d6e\u52a8\u200b IP \u200b\u89c4\u5219\u200b\uff0cVPC \u200b\u5185\u200b\u7684\u200b\u4e00\u4e2a\u200b IP \u200b\u4f1a\u200b\u548c\u200b EIP \u200b\u8fdb\u884c\u200b\u5b8c\u5168\u200b\u6620\u5c04\u200b\uff0c\u200b\u5916\u90e8\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u8fd9\u4e2a\u200b EIP \u200b\u8bbf\u95ee\u200b VPC \u200b\u5185\u200b\u7684\u200b IP\uff0cVPC \u200b\u5185\u200b\u7684\u200b\u8fd9\u4e2a\u200b IP \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u5730\u5740\u200b\u65f6\u200b\u4e5f\u200b\u4f1a\u200b SNAT \u200b\u6210\u200b\u8fd9\u4e2a\u200b EIP\u3002</p> <pre><code>---\nkind: IptablesEIP\napiVersion: kubeovn.io/v1\nmetadata:\n  name: eipf01\nspec:\n  natGwDp: gw1\n\n---\nkind: IptablesFIPRule\napiVersion: kubeovn.io/v1\nmetadata:\n  name: fip01\nspec:\n  eip: eipf01\n  internalIp: 10.0.1.5\n</code></pre>"},{"location":"guide/vpc/#_2","title":"\u81ea\u5b9a\u4e49\u200b\u8def\u7531","text":"<p>\u200b\u5728\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u81ea\u5b9a\u4e49\u200b\u7f51\u7edc\u200b\u5185\u90e8\u200b\u7684\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\uff0c\u200b\u7ed3\u5408\u200b\u7f51\u5173\u200b\u5b9e\u73b0\u200b\u66f4\u200b\u7075\u6d3b\u200b\u7684\u200b\u8f6c\u53d1\u200b\u3002 Kube-OVN \u200b\u652f\u6301\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u548c\u200b\u66f4\u4e3a\u200b\u7075\u6d3b\u200b\u7684\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u3002</p>"},{"location":"guide/vpc/#_3","title":"\u9759\u6001\u200b\u8def\u7531","text":"<pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  staticRoutes:\n    - cidr: 0.0.0.0/0\n      nextHopIP: 10.0.1.254\n      policy: policyDst\n    - cidr: 172.31.0.0/24\n      nextHopIP: 10.0.1.253\n      policy: policySrc\n      routeTable: \"rtb1\"\n</code></pre> <ul> <li><code>policy</code>: \u200b\u652f\u6301\u200b\u76ee\u7684\u200b\u5730\u5740\u200b\u8def\u7531\u200b <code>policyDst</code> \u200b\u548c\u200b\u6e90\u5730\u5740\u200b\u8def\u7531\u200b <code>policySrc</code>\u3002</li> <li>\u200b\u5f53\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u5b58\u5728\u200b\u91cd\u53e0\u200b\u65f6\u200b\uff0cCIDR \u200b\u63a9\u7801\u200b\u8f83\u957f\u200b\u7684\u200b\u89c4\u5219\u200b\u4f18\u5148\u7ea7\u200b\u66f4\u9ad8\u200b\uff0c\u200b\u82e5\u200b\u63a9\u7801\u200b\u957f\u5ea6\u200b\u76f8\u540c\u200b\u5219\u200b\u76ee\u7684\u200b\u5730\u5740\u200b\u8def\u7531\u200b\u4f18\u5148\u200b\u4e8e\u200b\u6e90\u5730\u5740\u200b\u8def\u7531\u200b\u3002</li> <li><code>routeTable</code>: \u200b\u53ef\u200b\u6307\u5b9a\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u6240\u5728\u200b\u7684\u200b\u8def\u7531\u8868\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u5728\u200b\u4e3b\u200b\u8def\u7531\u8868\u200b\u3002\u200b\u5b50\u7f51\u200b\u5173\u8054\u200b\u8def\u7531\u8868\u200b\u8bf7\u200b\u53c2\u8003\u200b\u521b\u5efa\u200b\u5b50\u7f51\u200b</li> </ul>"},{"location":"guide/vpc/#_4","title":"\u7b56\u7565\u200b\u8def\u7531","text":"<p>\u200b\u9488\u5bf9\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u5339\u914d\u200b\u7684\u200b\u6d41\u91cf\u200b\uff0c\u200b\u53ef\u200b\u901a\u8fc7\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u8fdb\u884c\u200b\u66f4\u200b\u7ec6\u7c92\u5ea6\u200b\u7684\u200b\u63a7\u5236\u200b\u3002\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u66f4\u200b\u7cbe\u786e\u200b\u7684\u200b\u5339\u914d\u200b\u89c4\u5219\u200b\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u63a7\u5236\u200b \u200b\u548c\u200b\u66f4\u200b\u591a\u200b\u7684\u200b\u8f6c\u53d1\u200b\u52a8\u4f5c\u200b\u3002\u200b\u8be5\u200b\u529f\u80fd\u200b\u4e3a\u200b OVN \u200b\u5185\u90e8\u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\u7b56\u7565\u200b\u529f\u80fd\u200b\u7684\u200b\u4e00\u4e2a\u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u4f7f\u7528\u200b\u4fe1\u606f\u200b\u8bf7\u200b\u53c2\u8003\u200b Logical Router Policy\u3002</p> <p>\u200b\u7b80\u5355\u200b\u793a\u4f8b\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>kind: Vpc\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-vpc-1\nspec:\n  policyRoutes:\n    - action: drop\n      match: ip4.src==10.0.1.0/24 &amp;&amp; ip4.dst==10.0.1.250\n      priority: 11\n    - action: reroute\n      match: ip4.src==10.0.1.0/24\n      nextHopIP: 10.0.1.252\n      priority: 10\n</code></pre>"},{"location":"guide/vpc/#_5","title":"\u81ea\u5b9a\u4e49\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u89c4\u5219","text":"<p>Kubernetes \u200b\u672c\u8eab\u200b\u63d0\u4f9b\u200b\u7684\u200b Service \u200b\u80fd\u529b\u200b\u53ef\u4ee5\u200b\u5b8c\u6210\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b\u529f\u80fd\u200b\uff0c\u200b\u4f46\u662f\u200b\u53d7\u9650\u4e8e\u200b Kubernetes \u200b\u5b9e\u73b0\u200b\uff0c Service \u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u662f\u200b\u5168\u5c40\u200b\u5206\u914d\u200b\u4e14\u200b\u4e0d\u80fd\u200b\u91cd\u590d\u200b\u3002\u200b\u5bf9\u4e8e\u200b VPC \u200b\u7684\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\uff0c\u200b\u7528\u6237\u200b\u5e0c\u671b\u200b\u80fd\u200b\u81ea\u5b9a\u4e49\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b\u5730\u5740\u200b \u200b\u8303\u56f4\u200b\uff0c\u200b\u4e0d\u540c\u200b VPC \u200b\u4e0b\u200b\u7684\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u5730\u5740\u200b\u53ef\u80fd\u200b\u91cd\u53e0\u200b\uff0cKubernetes \u200b\u5185\u7f6e\u200b\u7684\u200b Service \u200b\u529f\u80fd\u200b\u65e0\u6cd5\u200b\u5b8c\u5168\u200b\u6ee1\u8db3\u200b\u3002</p> <p>\u200b\u9488\u5bf9\u200b\u8fd9\u200b\u7c7b\u200b\u573a\u666f\u200b\uff0cKube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b <code>SwitchLBRule</code> \u200b\u8d44\u6e90\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u81ea\u5b9a\u4e49\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b\u3002</p> <p>\u200b\u4e00\u4e2a\u200b `SwitchLBRule`` \u200b\u4f8b\u5b50\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: SwitchLBRule\nmetadata:\n  name:  cjh-slr-nginx\nspec:\n  vip: 1.1.1.1\n  sessionAffinity: ClientIP\n  namespace: default\n  selector:\n    - app:nginx\n  ports:\n  - name: dns\n    port: 8888\n    targetPort: 80\n    protocol: TCP\n</code></pre> <ul> <li><code>vip</code>\uff1a\u200b\u81ea\u5b9a\u4e49\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u7684\u200b\u5730\u5740\u200b\u3002</li> <li><code>namespace</code>\uff1a\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u540e\u200b\u7aef\u200b Pod \u200b\u6240\u5728\u200b\u7684\u200b Namespace\u3002</li> <li><code>sessionAffinity</code>\uff1a\u200b\u548c\u200b Service \u200b\u7684\u200b <code>sessionAffinity</code> \u200b\u529f\u80fd\u200b\u76f8\u540c\u200b\u3002</li> <li><code>selector</code>\uff1a\u200b\u548c\u200b Service \u200b\u7684\u200b <code>selector</code> \u200b\u529f\u80fd\u200b\u76f8\u540c\u200b\u3002</li> <li><code>ports</code>\uff1a\u200b\u548c\u200b Service \u200b\u7684\u200b <code>port</code> \u200b\u529f\u80fd\u200b\u76f8\u540c\u200b\u3002</li> </ul> <p>\u200b\u67e5\u770b\u200b\u90e8\u7f72\u200b\u7684\u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u89c4\u5219\u200b\uff1a</p> <pre><code># kubectl get slr\nNAME                VIP         PORT(S)                  SERVICE                             AGE\nvpc-dns-test-cjh2   10.96.0.3   53/UDP,53/TCP,9153/TCP   kube-system/slr-vpc-dns-test-cjh2   88m\n</code></pre>"},{"location":"guide/vpc/#vpc-dns","title":"\u81ea\u5b9a\u4e49\u200b vpc-dns","text":"<p>\u200b\u7531\u4e8e\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u548c\u200b\u9ed8\u8ba4\u200b VPC \u200b\u7f51\u7edc\u200b\u76f8\u4e92\u200b\u9694\u79bb\u200b\uff0cVPC \u200b\u5185\u200b Pod \u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\u9ed8\u8ba4\u200b\u7684\u200b coredns \u200b\u670d\u52a1\u200b\u8fdb\u884c\u200b\u57df\u540d\u89e3\u6790\u200b\u3002 \u200b\u5982\u679c\u200b\u5e0c\u671b\u200b\u5728\u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u200b\u4f7f\u7528\u200b coredns \u200b\u89e3\u6790\u200b\u96c6\u7fa4\u200b\u5185\u200b Service \u200b\u57df\u540d\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Kube-OVN \u200b\u63d0\u4f9b\u200b\u7684\u200b vpc-dns \u200b\u8d44\u6e90\u200b\u6765\u200b\u5b9e\u73b0\u200b\u3002</p>"},{"location":"guide/vpc/#_6","title":"\u521b\u5efa\u200b\u9644\u52a0\u200b\u7f51\u5361","text":"<pre><code>apiVersion: \"k8s.cni.cncf.io/v1\"\nkind: NetworkAttachmentDefinition\nmetadata:\n  name: ovn-nad\n  namespace: default\nspec:\n  config: '{\n      \"cniVersion\": \"0.3.0\",\n      \"type\": \"kube-ovn\",\n      \"server_socket\": \"/run/openvswitch/kube-ovn-daemon.sock\",\n      \"provider\": \"ovn-nad.default.ovn\"\n    }'\n</code></pre>"},{"location":"guide/vpc/#ovn-default-provider","title":"\u4fee\u6539\u200b ovn-default \u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u7684\u200b provider","text":"<p>\u200b\u4fee\u6539\u200b ovn-default \u200b\u7684\u200b provider\uff0c\u200b\u4e3a\u200b\u4e0a\u9762\u200b nad \u200b\u914d\u7f6e\u200b\u7684\u200b provider <code>ovn-nad.default.ovn</code>\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: ovn-default\nspec:\n  cidrBlock: 10.16.0.0/16\n  default: true\n  disableGatewayCheck: false\n  disableInterConnection: false\n  enableDHCP: false\n  enableIPv6RA: false\n  excludeIps:\n  - 10.16.0.1\n  gateway: 10.16.0.1\n  gatewayType: distributed\n  logicalGateway: false\n  natOutgoing: true\n  private: false\n  protocol: IPv4\n  provider: ovn-nad.default.ovn\n  vpc: ovn-cluster\n</code></pre>"},{"location":"guide/vpc/#vpc-dns-configmap","title":"\u914d\u7f6e\u200b vpc-dns \u200b\u7684\u200b ConfigMap","text":"<p>\u200b\u5728\u200b kube-system \u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u4e0b\u200b\u521b\u5efa\u200b configmap\uff0c\u200b\u914d\u7f6e\u200b vpc-dns \u200b\u4f7f\u7528\u200b\u53c2\u6570\u200b\uff0c\u200b\u7528\u4e8e\u200b\u540e\u9762\u200b\u542f\u52a8\u200b vpc-dns \u200b\u529f\u80fd\u200b\uff1a</p> <pre><code>apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-config\n  namespace: kube-system\ndata:\n  coredns-vip: 10.96.0.3\n  enable-vpc-dns: \"true\"\n  nad-name: ovn-nad\n  nad-provider: ovn-nad.default.ovn\n</code></pre> <ul> <li><code>enable-vpc-dns</code>\uff1a\uff08\u200b\u53ef\u200b\u7f3a\u7701\u200b\uff09<code>true</code> \u200b\u542f\u7528\u200b\u529f\u80fd\u200b\uff0c<code>false</code> \u200b\u5173\u95ed\u200b\u529f\u80fd\u200b\u3002\u200b\u9ed8\u8ba4\u200b <code>true</code>\u3002</li> <li><code>coredns-image</code>\uff1a\uff08\u200b\u53ef\u200b\u7701\u7565\u200b\uff09\uff1adns \u200b\u90e8\u7f72\u200b\u955c\u50cf\u200b\u3002\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u96c6\u7fa4\u200b coredns \u200b\u90e8\u7f72\u200b\u7248\u672c\u200b\u3002</li> <li><code>coredns-template</code>\uff1a\uff08\u200b\u53ef\u200b\u7701\u7565\u200b\uff09\uff1adns \u200b\u90e8\u7f72\u200b\u6a21\u677f\u200b\u6240\u5728\u200b\u7684\u200b URL\u3002\u200b\u9ed8\u8ba4\u200b\uff1a\u200b\u5f53\u524d\u200b\u7248\u672c\u200b\u4ed3\u5e93\u200b\u91cc\u200b\u7684\u200b <code>yamls/coredns-template.yaml</code>\u3002</li> <li><code>coredns-vip</code>\uff1a\u200b\u4e3a\u200b coredns \u200b\u63d0\u4f9b\u200b lb \u200b\u670d\u52a1\u200b\u7684\u200b vip\u3002</li> <li><code>nad-name</code>\uff1a\u200b\u914d\u7f6e\u200b\u7684\u200b <code>network-attachment-definitions</code> \u200b\u8d44\u6e90\u200b\u540d\u79f0\u200b\u3002</li> <li><code>nad-provider</code>\uff1a\u200b\u4f7f\u7528\u200b\u7684\u200b provider \u200b\u540d\u79f0\u200b\u3002</li> <li><code>k8s-service-host</code>\uff1a\uff08\u200b\u53ef\u200b\u7f3a\u7701\u200b\uff09 \u200b\u7528\u4e8e\u200b coredns \u200b\u8bbf\u95ee\u200b k8s apiserver \u200b\u670d\u52a1\u200b\u7684\u200b ip\u3002</li> <li><code>k8s-service-port</code>\uff1a\uff08\u200b\u53ef\u200b\u7f3a\u7701\u200b\uff09\u200b\u7528\u4e8e\u200b coredns \u200b\u8bbf\u95ee\u200b k8s apiserver \u200b\u670d\u52a1\u200b\u7684\u200b port\u3002</li> </ul>"},{"location":"guide/vpc/#vpc-dns_1","title":"\u90e8\u7f72\u200b vpc-dns \u200b\u4f9d\u8d56\u200b\u8d44\u6e90","text":"<pre><code>apiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRole\nmetadata:\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: system:vpc-dns\nrules:\n  - apiGroups:\n    - \"\"\n    resources:\n    - endpoints\n    - services\n    - pods\n    - namespaces\n    verbs:\n    - list\n    - watch\n  - apiGroups:\n    - discovery.k8s.io\n    resources:\n    - endpointslices\n    verbs:\n    - list\n    - watch\n---\napiVersion: rbac.authorization.k8s.io/v1\nkind: ClusterRoleBinding\nmetadata:\n  annotations:\n    rbac.authorization.kubernetes.io/autoupdate: \"true\"\n  labels:\n    kubernetes.io/bootstrapping: rbac-defaults\n  name: vpc-dns\nroleRef:\n  apiGroup: rbac.authorization.k8s.io\n  kind: ClusterRole\n  name: system:vpc-dns\nsubjects:\n- kind: ServiceAccount\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ServiceAccount\nmetadata:\n  name: vpc-dns\n  namespace: kube-system\n---\napiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: vpc-dns-corefile\n  namespace: kube-system\ndata:\n  Corefile: |\n    .:53 {\n        errors\n        health {\n          lameduck 5s\n        }\n        ready\n        kubernetes cluster.local in-addr.arpa ip6.arpa {\n          pods insecure\n          fallthrough in-addr.arpa ip6.arpa\n        }\n        prometheus :9153\n        forward . /etc/resolv.conf {\n          prefer_udp\n        }\n        cache 30\n        loop\n        reload\n        loadbalance\n    }\n</code></pre>"},{"location":"guide/vpc/#vpc-dns_2","title":"\u90e8\u7f72\u200b vpc-dns","text":"<pre><code>kind: VpcDns\napiVersion: kubeovn.io/v1\nmetadata:\n  name: test-cjh1\nspec:\n  vpc: cjh-vpc-1\n  subnet: cjh-subnet-1\n</code></pre> <ul> <li><code>vpc</code>\uff1a \u200b\u7528\u4e8e\u200b\u90e8\u7f72\u200b dns \u200b\u7ec4\u4ef6\u200b\u7684\u200b vpc \u200b\u540d\u79f0\u200b\u3002</li> <li><code>subnet</code>\uff1a\u200b\u7528\u4e8e\u200b\u90e8\u7f72\u200b dns \u200b\u7ec4\u4ef6\u200b\u7684\u200b\u5b50\u200b\u540d\u79f0\u200b\u3002</li> </ul> <p>\u200b\u67e5\u770b\u200b\u8d44\u6e90\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code>[root@hci-dev-mst-1 kubeovn]# kubectl get vpc-dns\nNAME        ACTIVE   VPC         SUBNET   \ntest-cjh1   false    cjh-vpc-1   cjh-subnet-1   \ntest-cjh2   true     cjh-vpc-1   cjh-subnet-2 \n</code></pre> <ul> <li><code>ACTIVE</code>: <code>true</code> \u200b\u6210\u529f\u200b\u90e8\u7f72\u200b\u4e86\u200b\u81ea\u5b9a\u4e49\u200b dns \u200b\u7ec4\u4ef6\u200b\uff0c<code>false</code> \u200b\u65e0\u200b\u90e8\u7f72\u200b</li> </ul>"},{"location":"guide/vpc/#_7","title":"\u9650\u5236","text":"<ul> <li>\u200b\u4e00\u4e2a\u200b vpc \u200b\u4e0b\u200b\u53ea\u4f1a\u200b\u90e8\u7f72\u200b\u4e00\u4e2a\u200b\u81ea\u5b9a\u4e49\u200b dns \u200b\u7ec4\u4ef6\u200b;</li> <li>\u200b\u5f53\u200b\u4e00\u4e2a\u200b vpc \u200b\u4e0b\u200b\u914d\u7f6e\u200b\u591a\u4e2a\u200b vpc-dns \u200b\u8d44\u6e90\u200b\uff08\u200b\u5373\u200b\u540c\u4e00\u4e2a\u200b vpc \u200b\u4e0d\u540c\u200b\u7684\u200b subnet\uff09\uff0c\u200b\u53ea\u6709\u200b\u4e00\u4e2a\u200b vpc-dns \u200b\u8d44\u6e90\u200b\u72b6\u6001\u200b <code>true</code>\uff0c\u200b\u5176\u4ed6\u200b\u4e3a\u200b <code>fasle</code>;</li> <li>\u200b\u5f53\u200b <code>true</code> \u200b\u7684\u200b vpc-dns \u200b\u88ab\u200b\u5220\u9664\u200b\u6389\u200b\uff0c\u200b\u4f1a\u200b\u83b7\u53d6\u200b\u5176\u4ed6\u200b <code>false</code> \u200b\u7684\u200b vpc-dns \u200b\u8fdb\u884c\u200b\u90e8\u7f72\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"guide/webhook/","title":"Webhook \u200b\u4f7f\u7528","text":"<p>\u200b\u4f7f\u7528\u200b Webhook \u200b\u53ef\u4ee5\u200b\u5bf9\u200b Kube-OVN \u200b\u5185\u200b\u7684\u200b CRD \u200b\u8d44\u6e90\u200b\u8fdb\u884c\u200b\u6821\u9a8c\u200b\uff0c\u200b\u76ee\u524d\u200b Webhook \u200b\u4e3b\u8981\u200b\u5b8c\u6210\u200b \u200b\u56fa\u5b9a\u200b IP \u200b\u5730\u5740\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\u548c\u200b Subnet CIDR \u200b\u7684\u200b\u51b2\u7a81\u68c0\u6d4b\u200b\uff0c\u200b\u5e76\u200b\u5728\u200b\u8fd9\u7c7b\u200b\u8d44\u6e90\u200b\u521b\u5efa\u200b\u51b2\u7a81\u200b\u65f6\u200b\u63d0\u793a\u200b\u9519\u8bef\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b Webhook \u200b\u4f1a\u200b\u62e6\u622a\u200b\u6240\u6709\u200b\u7684\u200b Subnet \u200b\u548c\u200b Pod \u200b\u521b\u5efa\u200b\u7684\u200b\u8bf7\u6c42\u200b\uff0c\u200b\u56e0\u6b64\u200b\u9700\u8981\u200b\u5148\u200b\u90e8\u7f72\u200b Kube-OVN \u200b\u540e\u200b\u90e8\u7f72\u200b Webhook \u200b\u907f\u514d\u200b\u65e0\u6cd5\u200b\u521b\u5efa\u200b Pod\u3002</p>"},{"location":"guide/webhook/#cert-manager","title":"Cert-Manager \u200b\u5b89\u88c5","text":"<p>Webhook \u200b\u90e8\u7f72\u200b\u9700\u8981\u200b\u76f8\u5173\u200b\u8bc1\u4e66\u200b\u52a0\u5bc6\u200b\uff0c\u200b\u6211\u4eec\u200b\u4f7f\u7528\u200b cert-manager \u200b\u751f\u6210\u200b\u76f8\u5173\u200b\u8bc1\u4e66\u200b\uff0c\u200b\u6211\u4eec\u200b\u9700\u8981\u200b\u5728\u200b\u90e8\u7f72\u200b Webhook \u200b\u524d\u5148\u200b\u90e8\u7f72\u200b cert-manager\u3002</p> <p>\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u6765\u200b\u90e8\u7f72\u200b cert-manager:</p> <pre><code>kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.8.0/cert-manager.yaml\n</code></pre> <p>\u200b\u66f4\u200b\u591a\u200b cert-manager \u200b\u4f7f\u7528\u200b\u8bf7\u200b\u53c2\u8003\u200b cert-manager \u200b\u6587\u6863\u200b\u3002</p>"},{"location":"guide/webhook/#webhook_1","title":"\u5b89\u88c5\u200b Webhook","text":"<p>\u200b\u4e0b\u8f7d\u200b Webhook \u200b\u5bf9\u5e94\u200b\u7684\u200b yaml \u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b:</p> <pre><code># kubectl apply -f https://raw.githubusercontent.com/kubeovn/kube-ovn/master/yamls/webhook.yaml\ndeployment.apps/kube-ovn-webhook created\nservice/kube-ovn-webhook created\nvalidatingwebhookconfiguration.admissionregistration.k8s.io/kube-ovn-webhook created\ncertificate.cert-manager.io/kube-ovn-webhook-serving-cert created\nissuer.cert-manager.io/kube-ovn-webhook-selfsigned-issuer created\n</code></pre>"},{"location":"guide/webhook/#webhook_2","title":"\u9a8c\u8bc1\u200b Webhook \u200b\u751f\u6548","text":"<p>\u200b\u67e5\u770b\u200b\u5df2\u200b\u8fd0\u884c\u200b Pod\uff0c\u200b\u5f97\u5230\u200b Pod IP <code>10.16.0.15</code>\uff1a</p> <pre><code># kubectl get pod -o wide\nNAME                      READY   STATUS    RESTARTS   AGE     IP           NODE              NOMINATED NODE   READINESS GATES\nstatic-7584848b74-fw9dm   1/1     Running   0          2d13h   10.16.0.15   kube-ovn-worker   &lt;none&gt; \n</code></pre> <p>\u200b\u7f16\u5199\u200b yaml \u200b\u521b\u5efa\u200b\u76f8\u540c\u200b IP \u200b\u7684\u200b Pod\uff1a</p> <pre><code>apiVersion: v1\nkind: Pod\nmetadata:\n  annotations:\n    ovn.kubernetes.io/ip_address: 10.16.0.15\n    ovn.kubernetes.io/mac_address: 00:00:00:53:6B:B6\n  labels:\n    app: static\n  managedFields:\n  name: staticip-pod\n  namespace: default\nspec:\n  containers:\n  - image: docker.io/library/nginx:alpine\n    imagePullPolicy: IfNotPresent\n    name: qatest\n</code></pre> <p>\u200b\u4f7f\u7528\u200b\u4ee5\u4e0a\u200b yaml \u200b\u521b\u5efa\u200b\u9759\u6001\u200b\u5730\u5740\u200b Pod \u200b\u7684\u200b\u65f6\u5019\u200b\uff0c\u200b\u63d0\u793a\u200b IP \u200b\u5730\u5740\u200b\u51b2\u7a81\u200b\uff1a</p> <pre><code># kubectl apply -f pod-static.yaml\nError from server (annotation ip address 10.16.0.15 is conflict with ip crd static-7584848b74-fw9dm.default 10.16.0.15): error when creating \"pod-static.yaml\": admission webhook \"pod-ip-validaing.kube-ovn.io\" denied the request: annotation ip address 10.16.0.15 is conflict with ip crd static-7584848b74-fw9dm.default 10.16.0.15\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/change-default-subnet/","title":"\u4fee\u6539\u200b\u5b50\u7f51\u200b CIDR","text":"<p>\u200b\u5982\u679c\u200b\u521b\u5efa\u200b\u7684\u200b\u5b50\u7f51\u200b CIDR \u200b\u51b2\u7a81\u200b\u6216\u200b\u4e0d\u200b\u7b26\u5408\u200b\u9884\u671f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u672c\u200b\u6587\u6863\u200b\u7684\u200b\u6b65\u9aa4\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002</p> <p>\u200b\u4fee\u6539\u200b\u5b50\u7f51\u200b CIDR \u200b\u540e\u200b\u4e4b\u524d\u200b\u521b\u5efa\u200b\u7684\u200b Pod \u200b\u5c06\u200b\u65e0\u6cd5\u200b\u6b63\u5e38\u200b\u8bbf\u95ee\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u8fdb\u884c\u200b\u91cd\u5efa\u200b\u3002 \u200b\u5efa\u8bae\u200b\u64cd\u4f5c\u524d\u200b\u614e\u91cd\u8003\u8651\u200b\u3002\u200b\u672c\u6587\u200b\u53ea\u200b\u9488\u5bf9\u200b\u4e1a\u52a1\u200b\u5b50\u7f51\u200b CIDR \u200b\u66f4\u6539\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5982\u9700\u200b \u200b\u66f4\u6539\u200b Join \u200b\u5b50\u7f51\u200b CIDR \u200b\u8bf7\u200b\u53c2\u8003\u200b\u66f4\u6539\u200b Join \u200b\u5b50\u7f51\u200b CIDR\u3002</p>"},{"location":"ops/change-default-subnet/#_1","title":"\u7f16\u8f91\u200b\u5b50\u7f51","text":"<p>\u200b\u4f7f\u7528\u200b <code>kubectl edit</code> \u200b\u4fee\u6539\u200b\u5b50\u7f51\u200b <code>cidrBlock</code>\uff0c<code>gateway</code> \u200b\u548c\u200b <code>excludeIps</code>\u3002</p> <pre><code>kubectl edit subnet test-subnet\n</code></pre>"},{"location":"ops/change-default-subnet/#namespace-pod","title":"\u91cd\u5efa\u200b\u8be5\u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b\u7684\u200b Namespace \u200b\u4e0b\u200b\u6240\u6709\u200b Pod","text":"<p>\u200b\u4ee5\u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b <code>test</code> Namespace \u200b\u4e3a\u4f8b\u200b\uff1a</p> <pre><code>for pod in $(kubectl get pod --no-headers -n \"$ns\" --field-selector spec.restartPolicy=Always -o custom-columns=NAME:.metadata.name,HOST:spec.hostNetwork | awk '{if ($2!=\"true\") print $1}'); do\n  kubectl delete pod \"$pod\" -n test --ignore-not-found\ndone\n</code></pre> <p>\u200b\u82e5\u200b\u53ea\u200b\u4f7f\u7528\u200b\u4e86\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\u5220\u9664\u200b\u6240\u6709\u200b\u975e\u200b host \u200b\u7f51\u7edc\u200b\u6a21\u5f0f\u200b\u7684\u200b Pod\uff1a</p> <pre><code>for ns in $(kubectl get ns --no-headers -o custom-columns=NAME:.metadata.name); do\n  for pod in $(kubectl get pod --no-headers -n \"$ns\" --field-selector spec.restartPolicy=Always -o custom-columns=NAME:.metadata.name,HOST:spec.hostNetwork | awk '{if ($2!=\"true\") print $1}'); do\n    kubectl delete pod \"$pod\" -n \"$ns\" --ignore-not-found\n  done\ndone\n</code></pre>"},{"location":"ops/change-default-subnet/#_2","title":"\u66f4\u6539\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u914d\u7f6e","text":"<p>\u200b\u82e5\u200b\u4fee\u6539\u200b\u7684\u200b\u4e3a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u7684\u200b CIDR \u200b\u8fd8\u200b\u9700\u8981\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> Deployment \u200b\u7684\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --default-cidr=10.17.0.0/16\n- --default-gateway=10.17.0.1\n- --default-exclude-ips=10.17.0.1\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/change-join-subnet/","title":"\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b CIDR","text":"<p>\u200b\u82e5\u200b\u53d1\u73b0\u200b\u521b\u5efa\u200b\u7684\u200b Join \u200b\u5b50\u7f51\u200b CIDR \u200b\u51b2\u7a81\u200b\u6216\u200b\u4e0d\u200b\u7b26\u5408\u200b\u9884\u671f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u672c\u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u4fee\u6539\u200b\u3002</p> <p>\u200b\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b CIDR \u200b\u540e\u200b\u4e4b\u524d\u200b\u521b\u5efa\u200b\u7684\u200b Pod \u200b\u5c06\u200b\u65e0\u6cd5\u200b\u6b63\u5e38\u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u9700\u8981\u200b\u7b49\u200b\u91cd\u5efa\u200b\u5b8c\u6210\u200b, \u200b\u5efa\u8bae\u200b\u524d\u200b\u64cd\u4f5c\u200b\u65f6\u200b\u614e\u91cd\u8003\u8651\u200b\u3002</p>"},{"location":"ops/change-join-subnet/#join","title":"\u5220\u9664\u200b Join \u200b\u5b50\u7f51","text":"<pre><code>kubectl patch subnet join --type='json' -p '[{\"op\": \"replace\", \"path\": \"/metadata/finalizers\", \"value\": []}]'\nkubectl delete subnet join\n</code></pre>"},{"location":"ops/change-join-subnet/#_1","title":"\u6e05\u7406\u200b\u76f8\u5173\u200b\u5206\u914d\u200b\u4fe1\u606f","text":"<pre><code>kubectl annotate node ovn.kubernetes.io/allocated=false --all --overwrite\n</code></pre>"},{"location":"ops/change-join-subnet/#join_1","title":"\u4fee\u6539\u200b Join \u200b\u5b50\u7f51\u200b\u76f8\u5173\u200b\u4fe1\u606f","text":"<p>\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> \u200b\u5185\u200b Join \u200b\u5b50\u7f51\u200b\u76f8\u5173\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code>kubectl edit deployment -n kube-system kube-ovn-controller\n</code></pre> <p>\u200b\u4fee\u6539\u200b\u4e0b\u5217\u200b\u53c2\u6570\u200b\uff1a</p> <pre><code>args:\n- --node-switch-cidr=100.51.0.0/16\n</code></pre> <p>\u200b\u91cd\u542f\u200b <code>kube-ovn-controller</code> \u200b\u91cd\u5efa\u200b <code>join</code> \u200b\u5b50\u7f51\u200b\uff1a</p> <pre><code>kubectl delete pod -n kube-system -lapp=kube-ovn-controller\n</code></pre> <p>\u200b\u67e5\u770b\u200b\u65b0\u200b\u7684\u200b Join \u200b\u5b50\u7f51\u200b\u4fe1\u606f\u200b\uff1a</p> <pre><code># kubectl get subnet\nNAME          PROVIDER   VPC           PROTOCOL   CIDR            PRIVATE   NAT     DEFAULT   GATEWAYTYPE   V4USED   V4AVAILABLE   V6USED   V6AVAILABLE   EXCLUDEIPS\njoin          ovn        ovn-cluster   IPv4       100.51.0.0/16   false     false   false     distributed   2        65531         0        0             [\"100.51.0.1\"]\novn-default   ovn        ovn-cluster   IPv4       10.17.0.0/16    false     true    true      distributed   5        65528         0        0             [\"10.17.0.1\"]\n</code></pre>"},{"location":"ops/change-join-subnet/#ovn0","title":"\u91cd\u65b0\u914d\u7f6e\u200b ovn0 \u200b\u7f51\u5361\u200b\u5730\u5740","text":"<p>\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovn0</code> \u200b\u7f51\u5361\u200b\u4fe1\u606f\u200b\u9700\u8981\u200b\u91cd\u65b0\u200b\u66f4\u65b0\u200b\uff0c\u200b\u53ef\u200b\u901a\u8fc7\u200b\u91cd\u542f\u200b <code>kube-ovn-cni</code> \u200b\u6765\u200b\u5b8c\u6210\u200b\uff1a</p> <pre><code>kubectl delete pod -n kube-system -l app=kube-ovn-cni\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/change-log-level/","title":"\u8c03\u6574\u200b\u65e5\u5fd7\u200b\u7b49\u7ea7","text":"<p>\u200b\u6253\u5f00\u200b <code>kube-ovn.yaml</code>\uff0c\u200b\u5728\u200b\u670d\u52a1\u200b\u542f\u52a8\u200b\u811a\u672c\u200b\u7684\u200b\u53c2\u6570\u200b\u5217\u8868\u200b\u4e2d\u200b\u8bbe\u7f6e\u200b log \u200b\u7b49\u7ea7\u200b\uff0c\u200b\u6bd4\u5982\u200b\uff1a</p> <pre><code>vi kube-ovn.yaml\n# ...\n        - name: kube-ovn-controller\n          image: \"docker.io/kubeovn/kube-ovn:v1.13.0\"\n          imagePullPolicy: IfNotPresent\n          args:\n          - /kube-ovn/start-controller.sh\n          - --v=3\n# ...\n# log \u200b\u7b49\u7ea7\u200b\u8d8a\u9ad8\u200b\uff0clog \u200b\u5c31\u200b\u8d8a\u200b\u8be6\u7ec6\u200b\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/change-ovn-central-node/","title":"\u66f4\u6362\u200b ovn-central \u200b\u8282\u70b9","text":"<p>\u200b\u7531\u4e8e\u200b <code>ovn-central</code> \u200b\u5185\u200b\u7684\u200b <code>ovn-nb</code> \u200b\u548c\u200b <code>ovn-sb</code> \u200b\u5206\u522b\u200b\u5efa\u7acb\u200b\u4e86\u200b\u7c7b\u4f3c\u200b etcd \u200b\u7684\u200b raft \u200b\u96c6\u7fa4\u200b\uff0c\u200b\u56e0\u6b64\u200b\u66f4\u6362\u200b <code>ovn-central</code> \u200b\u8282\u70b9\u200b\u9700\u8981\u200b\u989d\u5916\u200b\u7684\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u4fdd\u8bc1\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u7684\u200b\u6b63\u786e\u200b\u548c\u200b\u6570\u636e\u200b\u7684\u200b\u4e00\u81f4\u200b\u3002\u200b\u5efa\u8bae\u200b\u6bcf\u6b21\u200b\u53ea\u200b\u5bf9\u200b\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u8fdb\u884c\u200b\u4e0a\u4e0b\u200b\u7ebf\u200b\u5904\u7406\u200b\uff0c\u200b\u4ee5\u200b\u907f\u514d\u200b\u96c6\u7fa4\u200b\u8fdb\u5165\u200b\u4e0d\u53ef\u200b\u7528\u200b \u200b\u72b6\u6001\u200b\uff0c\u200b\u5f71\u54cd\u200b\u96c6\u7fa4\u200b\u6574\u4f53\u200b\u7f51\u7edc\u200b\u3002</p>"},{"location":"ops/change-ovn-central-node/#ovn-central_1","title":"ovn-central \u200b\u8282\u70b9\u200b\u4e0b\u7ebf","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u9488\u5bf9\u200b\u5982\u4e0b\u200b\u7684\u200b\u96c6\u7fa4\u200b\u60c5\u51b5\u200b\uff0c\u200b\u4ee5\u4e0b\u200b\u7ebf\u200b <code>kube-ovn-control-plane2</code> \u200b\u8282\u70b9\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u4ecb\u7ecd\u200b\u5982\u4f55\u200b\u5c06\u200b\u5176\u200b\u4ece\u200b <code>ovn-central</code> \u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u79fb\u9664\u200b\u3002</p> <pre><code># kubectl -n kube-system get pod -o wide | grep central\novn-central-6bf58cbc97-2cdhg                      1/1     Running   0             21m   172.18.0.3   kube-ovn-control-plane    &lt;none&gt;           &lt;none&gt;\novn-central-6bf58cbc97-crmfp                      1/1     Running   0             21m   172.18.0.5   kube-ovn-control-plane2   &lt;none&gt;           &lt;none&gt;\novn-central-6bf58cbc97-lxmpl                      1/1     Running   0             21m   172.18.0.4   kube-ovn-control-plane3   &lt;none&gt;           &lt;none&gt;\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-nb","title":"\u4e0b\u7ebf\u200b ovn-nb \u200b\u96c6\u7fa4\u200b\u5185\u200b\u5bf9\u5e94\u200b\u8282\u70b9","text":"<p>\u200b\u9996\u5148\u200b\u67e5\u770b\u200b\u8282\u70b9\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b ID\uff0c\u200b\u4ee5\u4fbf\u200b\u540e\u7eed\u200b\u64cd\u4f5c\u200b\u3002</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2135194 ms ago, reason: timeout\nLast Election won: 2135188 ms ago\nElection timer: 5000\nLog: [135, 135]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-d64b -&gt;d64b &lt;-4984 -&gt;4984\nDisconnections: 0\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=135 match_index=134 last msg 1084 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=2 match_index=134\n    d64b (d64b at tcp:[172.18.0.5]:6643) next_index=135 match_index=134 last msg 1084 ms ago\nstatus: ok\n</code></pre> <p><code>kube-ovn-control-plane2</code> \u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b IP \u200b\u4e3a\u200b <code>172.18.0.5</code>\uff0c\u200b\u96c6\u7fa4\u200b\u5185\u200b\u5bf9\u5e94\u200b\u7684\u200b ID \u200b\u4e3a\u200b <code>d64b</code>\u3002\u200b\u63a5\u4e0b\u6765\u200b\u4ece\u200b ovn-nb \u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u8e22\u200b\u51fa\u8be5\u200b\u8282\u70b9\u200b\uff1a</p> <pre><code># kubectl ko nb kick d64b\nstarted removal\n</code></pre> <p>\u200b\u786e\u8ba4\u200b\u8282\u70b9\u200b\u8e22\u200b\u51fa\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2297649 ms ago, reason: timeout\nLast Election won: 2297643 ms ago\nElection timer: 5000\nLog: [136, 136]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-4984 -&gt;4984\nDisconnections: 2\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=136 match_index=135 last msg 1270 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=2 match_index=135\nstatus: ok\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-sb","title":"\u4e0b\u7ebf\u200b ovn-sb \u200b\u96c6\u7fa4\u200b\u5185\u200b\u5bf9\u5e94\u200b\u8282\u70b9","text":"<p>\u200b\u63a5\u4e0b\u6765\u200b\u9700\u8981\u200b\u64cd\u4f5c\u200b ovn-sb \u200b\u96c6\u7fa4\u200b\uff0c\u200b\u9996\u5148\u200b\u67e5\u770b\u200b\u8282\u70b9\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\u7684\u200b ID\uff0c\u200b\u4ee5\u4fbf\u200b\u540e\u7eed\u200b\u64cd\u4f5c\u200b\uff1a</p> <pre><code>kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2395317 ms ago, reason: timeout\nLast Election won: 2395316 ms ago\nElection timer: 5000\nLog: [130, 130]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-e9f7 -&gt;e9f7 &lt;-6e84 -&gt;6e84\nDisconnections: 0\nServers:\n    e9f7 (e9f7 at tcp:[172.18.0.5]:6644) next_index=130 match_index=129 last msg 1006 ms ago\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=130 match_index=129 last msg 1004 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=2 match_index=129\nstatus: ok\n</code></pre> <p><code>kube-ovn-control-plane2</code> \u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b IP \u200b\u4e3a\u200b <code>172.18.0.5</code>\uff0c\u200b\u96c6\u7fa4\u200b\u5185\u200b\u5bf9\u5e94\u200b\u7684\u200b ID \u200b\u4e3a\u200b <code>e9f7</code>\u3002\u200b\u63a5\u4e0b\u6765\u200b\u4ece\u200b ovn-sb \u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u8e22\u200b\u51fa\u8be5\u200b\u8282\u70b9\u200b\uff1a</p> <pre><code># kubectl ko sb kick e9f7\nstarted removal\n</code></pre> <p>\u200b\u786e\u8ba4\u200b\u8282\u70b9\u200b\u8e22\u200b\u51fa\u200b\u6210\u529f\u200b\uff1a</p> <pre><code># kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 2481636 ms ago, reason: timeout\nLast Election won: 2481635 ms ago\nElection timer: 5000\nLog: [131, 131]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-6e84 -&gt;6e84\nDisconnections: 2\nServers:\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=131 match_index=130 last msg 642 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=2 match_index=130\nstatus: ok\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-central_2","title":"\u5220\u9664\u200b\u8282\u70b9\u200b\u6807\u7b7e\u200b\uff0c\u200b\u5e76\u200b\u7f29\u5bb9\u200b ovn-central","text":"<p>\u200b\u6ce8\u610f\u200b\u9700\u5728\u200b ovn-central \u200b\u73af\u5883\u53d8\u91cf\u200b <code>NODE_IPS</code> \u200b\u7684\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u4e2d\u200b\u5220\u9664\u200b\u4e0b\u7ebf\u200b\u8282\u70b9\u200b\u3002</p> <pre><code>kubectl label node kube-ovn-control-plane2 kube-ovn/role-\nkubectl scale deployment -n kube-system ovn-central --replicas=2\nkubectl set env deployment/ovn-central -n kube-system NODE_IPS=\"172.18.0.3,172.18.0.4\"\nkubectl rollout status deployment/ovn-central -n kube-system \n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-central_3","title":"\u4fee\u6539\u200b\u5176\u4ed6\u200b\u7ec4\u4ef6\u200b\u8fde\u63a5\u200b ovn-central \u200b\u5730\u5740","text":"<p>\u200b\u4fee\u6539\u200b <code>ovs-ovn</code> \u200b\u5185\u200b\u8fde\u63a5\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5220\u9664\u200b\u4e0b\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</p> <pre><code># kubectl set env daemonset/ovs-ovn -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4\"\ndaemonset.apps/ovs-ovn env updated\n# kubectl delete pod -n kube-system -lapp=ovs\npod \"ovs-ovn-4f6jc\" deleted\npod \"ovs-ovn-csn2w\" deleted\npod \"ovs-ovn-mpbmb\" deleted\n</code></pre> <p>\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> \u200b\u5185\u200b\u8fde\u63a5\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5220\u9664\u200b\u4e0b\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</p> <pre><code># kubectl set env deployment/kube-ovn-controller -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4\"\ndeployment.apps/kube-ovn-controller env updated\n\n# kubectl rollout status deployment/kube-ovn-controller -n kube-system\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\n</code></pre>"},{"location":"ops/change-ovn-central-node/#_1","title":"\u6e05\u7406\u200b\u8282\u70b9","text":"<p>\u200b\u5220\u9664\u200b <code>kube-ovn-control-plane2</code> \u200b\u8282\u70b9\u200b\u5185\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\uff0c\u200b\u907f\u514d\u200b\u91cd\u590d\u200b\u6dfb\u52a0\u200b\u8282\u70b9\u200b\u65f6\u200b\u53d1\u751f\u200b\u5f02\u5e38\u200b\uff1a</p> <pre><code>rm -rf /etc/origin/ovn\n</code></pre> <p>\u200b\u5982\u9700\u200b\u5c06\u200b\u8282\u70b9\u200b\u4ece\u200b\u6574\u4e2a\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u4e0b\u7ebf\u200b\uff0c\u200b\u8fd8\u200b\u9700\u200b\u7ee7\u7eed\u200b\u53c2\u8003\u200b\u5220\u9664\u200b\u5de5\u4f5c\u200b\u8282\u70b9\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\u3002</p>"},{"location":"ops/change-ovn-central-node/#ovn-central_4","title":"ovn-central \u200b\u8282\u70b9\u200b\u4e0a\u7ebf","text":"<p>\u200b\u4e0b\u5217\u200b\u6b65\u9aa4\u200b\u4f1a\u200b\u5c06\u200b\u4e00\u4e2a\u200b\u65b0\u200b\u7684\u200b Kubernetes \u200b\u8282\u70b9\u200b\u52a0\u5165\u200b <code>ovn-central</code> \u200b\u96c6\u7fa4\u200b\u3002</p>"},{"location":"ops/change-ovn-central-node/#_2","title":"\u76ee\u5f55\u200b\u68c0\u67e5","text":"<p>\u200b\u68c0\u67e5\u200b\u65b0\u589e\u200b\u8282\u70b9\u200b\u7684\u200b <code>/etc/origin/ovn</code> \u200b\u76ee\u5f55\u200b\u4e2d\u200b\u662f\u5426\u200b\u5b58\u5728\u200b <code>ovnnb_db.db</code> \u200b\u6216\u200b <code>ovnsb_db.db</code> \u200b\u6587\u4ef6\u200b\uff0c\u200b\u82e5\u200b\u5b58\u5728\u200b\u9700\u200b\u63d0\u524d\u200b\u5220\u9664\u200b\uff1a</p> <pre><code>rm -rf /etc/origin/ovn\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-central_5","title":"\u786e\u8ba4\u200b\u5f53\u524d\u200b ovn-central \u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u6b63\u5e38","text":"<p>\u200b\u82e5\u200b\u5f53\u524d\u200b <code>ovn-central</code> \u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u5df2\u7ecf\u200b\u5f02\u5e38\u200b\uff0c\u200b\u65b0\u589e\u200b\u8282\u70b9\u200b\u53ef\u80fd\u200b\u5bfc\u81f4\u200b\u6295\u7968\u9009\u4e3e\u200b\u65e0\u6cd5\u200b\u8fc7\u534a\u6570\u200b\uff0c\u200b\u5f71\u54cd\u200b\u540e\u7eed\u200b\u64cd\u4f5c\u200b\u3002</p> <pre><code># kubectl ko nb status\n1b9a\nName: OVN_Northbound\nCluster ID: 32ca (32ca07fb-739b-4257-b510-12fa18e7cce8)\nServer ID: 1b9a (1b9a5d76-e69b-410c-8085-39943d0cd38c)\nAddress: tcp:[172.18.0.3]:6643\nStatus: cluster member\nRole: leader\nTerm: 44\nLeader: self\nVote: self\n\nLast Election started 1855739 ms ago, reason: timeout\nLast Election won: 1855729 ms ago\nElection timer: 5000\nLog: [147, 147]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: -&gt;4984 &lt;-4984\nDisconnections: 0\nServers:\n    4984 (4984 at tcp:[172.18.0.4]:6643) next_index=147 match_index=146 last msg 367 ms ago\n    1b9a (1b9a at tcp:[172.18.0.3]:6643) (self) next_index=140 match_index=146\nstatus: ok\n\n# kubectl ko sb status\n3722\nName: OVN_Southbound\nCluster ID: d4bd (d4bd37a4-0400-499f-b4df-b4fd389780f0)\nServer ID: 3722 (3722d5ae-2ced-4820-a6b2-8b744d11fb3e)\nAddress: tcp:[172.18.0.3]:6644\nStatus: cluster member\nRole: leader\nTerm: 33\nLeader: self\nVote: self\n\nLast Election started 1868589 ms ago, reason: timeout\nLast Election won: 1868579 ms ago\nElection timer: 5000\nLog: [142, 142]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: -&gt;6e84 &lt;-6e84\nDisconnections: 0\nServers:\n    6e84 (6e84 at tcp:[172.18.0.4]:6644) next_index=142 match_index=141 last msg 728 ms ago\n    3722 (3722 at tcp:[172.18.0.3]:6644) (self) next_index=134 match_index=141\nstatus: ok\n</code></pre>"},{"location":"ops/change-ovn-central-node/#_3","title":"\u7ed9\u200b\u8282\u70b9\u200b\u589e\u52a0\u200b\u6807\u7b7e\u200b\u5e76\u200b\u6269\u5bb9","text":"<p>\u200b\u6ce8\u610f\u200b\u9700\u5728\u200b ovn-central \u200b\u73af\u5883\u53d8\u91cf\u200b <code>NODE_IPS</code> \u200b\u7684\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u4e2d\u200b\u589e\u52a0\u200b\u4e0a\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\u3002</p> <pre><code>kubectl label node kube-ovn-control-plane2 kube-ovn/role=master\nkubectl scale deployment -n kube-system ovn-central --replicas=3\nkubectl set env deployment/ovn-central -n kube-system NODE_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\nkubectl rollout status deployment/ovn-central -n kube-system\n</code></pre>"},{"location":"ops/change-ovn-central-node/#ovn-central_6","title":"\u4fee\u6539\u200b\u5176\u4ed6\u200b\u7ec4\u4ef6\u200b\u8fde\u63a5\u200b ovn-central \u200b\u5730\u5740","text":"<p>\u200b\u4fee\u6539\u200b <code>ovs-ovn</code> \u200b\u5185\u200b\u8fde\u63a5\u200b\u4fe1\u606f\u200b\uff0c\u200b\u589e\u52a0\u200b\u4e0a\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\uff1a</p> <pre><code># kubectl set env daemonset/ovs-ovn -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\ndaemonset.apps/ovs-ovn env updated\n# kubectl delete pod -n kube-system -lapp=ovs\npod \"ovs-ovn-4f6jc\" deleted\npod \"ovs-ovn-csn2w\" deleted\npod \"ovs-ovn-mpbmb\" deleted\n</code></pre> <p>\u200b\u4fee\u6539\u200b <code>kube-ovn-controller</code> \u200b\u5185\u200b\u8fde\u63a5\u200b\u4fe1\u606f\u200b\uff0c\u200b\u589e\u52a0\u200b\u4e0a\u7ebf\u200b\u8282\u70b9\u200b\u5730\u5740\u200b\uff1a</p> <pre><code># kubectl set env deployment/kube-ovn-controller -n kube-system OVN_DB_IPS=\"172.18.0.3,172.18.0.4,172.18.0.5\"\ndeployment.apps/kube-ovn-controller env updated\n\n# kubectl rollout status deployment/kube-ovn-controller -n kube-system\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 1 of 3 updated replicas are available...\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 2 of 3 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/delete-worker-node/","title":"\u5220\u9664\u200b\u5de5\u4f5c\u200b\u8282\u70b9","text":"<p>\u200b\u5982\u679c\u200b\u53ea\u662f\u200b\u7b80\u5355\u200b\u4ece\u200b Kubernetes \u200b\u4e2d\u200b\u5220\u9664\u200b\u8282\u70b9\u200b\uff0c\u200b\u7531\u4e8e\u200b\u8282\u70b9\u200b\u4e0a\u200b <code>ovs-ovn</code> \u200b\u4e2d\u200b\u8fd0\u884c\u200b\u7684\u200b <code>ovn-controller</code> \u200b\u8fdb\u7a0b\u200b\u4ecd\u200b\u5728\u200b\u8fd0\u884c\u200b\u4f1a\u200b\u5b9a\u671f\u200b\u8fde\u63a5\u200b <code>ovn-central</code> \u200b\u6ce8\u518c\u200b\u76f8\u5173\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\uff0c \u200b\u4f1a\u200b\u5bfc\u81f4\u200b\u989d\u5916\u200b\u8d44\u6e90\u200b\u6d6a\u8d39\u200b\u5e76\u200b\u6709\u200b\u6f5c\u5728\u200b\u7684\u200b\u89c4\u5219\u200b\u51b2\u7a81\u200b\u98ce\u9669\u200b\u3002 \u200b\u56e0\u6b64\u200b\u5728\u200b\u4ece\u200b Kubernetes \u200b\u5185\u200b\u5220\u9664\u200b\u8282\u70b9\u200b\u65f6\u200b\uff0c\u200b\u8bf7\u200b\u6309\u7167\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u6765\u200b\u4fdd\u8bc1\u200b\u7f51\u7edc\u200b\u4fe1\u606f\u200b\u53ef\u4ee5\u200b\u6b63\u5e38\u200b\u88ab\u200b\u6e05\u7406\u200b\u3002</p> <p>\u200b\u8be5\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b\u5220\u9664\u200b\u5de5\u4f5c\u200b\u8282\u70b9\u200b\u7684\u200b\u6b65\u9aa4\u200b\uff0c\u200b\u5982\u9700\u200b\u66f4\u6362\u200b <code>ovn-central</code> \u200b\u6240\u5728\u200b\u8282\u70b9\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b\u66f4\u6362\u200b ovn-central \u200b\u8282\u70b9\u200b\u3002</p>"},{"location":"ops/delete-worker-node/#_2","title":"\u9a71\u9010\u200b\u8282\u70b9\u200b\u4e0a\u200b\u6240\u6709\u200b\u5bb9\u5668","text":"<pre><code> # kubectl drain kube-ovn-worker --ignore-daemonsets --force\n node/kube-ovn-worker cordoned\n WARNING: ignoring DaemonSet-managed Pods: kube-system/kube-ovn-cni-zt74b, kube-system/kube-ovn-pinger-5rxfs, kube-system/kube-proxy-jpmnm, kube-system/ovs-ovn-v2kll\n evicting pod kube-system/coredns-64897985d-qsgpt\n evicting pod local-path-storage/local-path-provisioner-5ddd94ff66-llss6\n evicting pod kube-system/kube-ovn-controller-8459db5ff4-94lxb\n pod/kube-ovn-controller-8459db5ff4-94lxb evicted\n pod/coredns-64897985d-qsgpt evicted\n pod/local-path-provisioner-5ddd94ff66-llss6 evicted\n node/kube-ovn-worker drained\n</code></pre>"},{"location":"ops/delete-worker-node/#kubelet-docker","title":"\u505c\u6b62\u200b kubelet \u200b\u548c\u200b docker","text":"<p>\u200b\u8be5\u200b\u6b65\u9aa4\u200b\u4f1a\u200b\u505c\u6b62\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u4ee5\u200b\u907f\u514d\u200b\u5411\u200b <code>ovn-central</code> \u200b\u8fdb\u884c\u200b\u4fe1\u606f\u200b\u6ce8\u518c\u200b\uff0c\u200b\u767b\u5f55\u200b\u5230\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>systemctl stop kubelet\nsystemctl stop docker\n</code></pre> <p>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b\u7684\u200b CRI \u200b\u4e3a\u200b containerd\uff0c\u200b\u9700\u8981\u200b\u6267\u884c\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u6765\u200b\u505c\u6b62\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff1a</p> <pre><code>crictl rm -f $(crictl ps | grep openvswitch | awk '{print $1}')\n</code></pre>"},{"location":"ops/delete-worker-node/#node","title":"\u6e05\u7406\u200b Node \u200b\u4e0a\u200b\u7684\u200b\u6b8b\u7559\u200b\u6570\u636e","text":"<pre><code>rm -rf /var/run/openvswitch\nrm -rf /var/run/ovn\nrm -rf /etc/origin/openvswitch/\nrm -rf /etc/origin/ovn/\nrm -rf /etc/cni/net.d/00-kube-ovn.conflist\nrm -rf /etc/cni/net.d/01-kube-ovn.conflist\nrm -rf /var/log/openvswitch\nrm -rf /var/log/ovn\n</code></pre>"},{"location":"ops/delete-worker-node/#kubectl","title":"\u4f7f\u7528\u200b kubectl \u200b\u5220\u9664\u200b\u8282\u70b9","text":"<pre><code>kubectl delete no kube-ovn-01\n</code></pre>"},{"location":"ops/delete-worker-node/#ovn-sb","title":"\u68c0\u67e5\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b\u662f\u5426\u200b\u4ece\u200b ovn-sb \u200b\u4e2d\u200b\u5220\u9664","text":"<p>\u200b\u4e0b\u9762\u200b\u7684\u200b\u793a\u4f8b\u200b\u4e3a\u200b <code>kube-ovn-worker</code> \u200b\u4f9d\u7136\u200b\u672a\u200b\u88ab\u200b\u5220\u9664\u200b\uff1a</p> <pre><code># kubectl ko sbctl show\nChassis \"b0564934-5a0d-4804-a4c0-476c93596a17\"\n  hostname: kube-ovn-worker\n  Encap geneve\n      ip: \"172.18.0.2\"\n      options: {csum=\"true\"}\n  Port_Binding kube-ovn-pinger-5rxfs.kube-system\nChassis \"6a29de7e-d731-4eaf-bacd-2f239ee52b28\"\n  hostname: kube-ovn-control-plane\n  Encap geneve\n      ip: \"172.18.0.3\"\n      options: {csum=\"true\"}\n  Port_Binding coredns-64897985d-nbfln.kube-system\n  Port_Binding node-kube-ovn-control-plane\n  Port_Binding local-path-provisioner-5ddd94ff66-h4tn9.local-path-storage\n  Port_Binding kube-ovn-pinger-hf2p6.kube-system\n  Port_Binding coredns-64897985d-fhwlw.kube-system\n</code></pre>"},{"location":"ops/delete-worker-node/#chassis","title":"\u82e5\u200b\u8282\u70b9\u200b\u5bf9\u5e94\u200b\u7684\u200b chassis \u200b\u4f9d\u7136\u200b\u5b58\u5728\u200b\uff0c\u200b\u624b\u52a8\u200b\u8fdb\u884c\u200b\u5220\u9664","text":"<p>uuid \u200b\u4e3a\u200b\u4e4b\u524d\u200b\u547d\u4ee4\u200b\u6240\u200b\u67e5\u51fa\u200b\u7684\u200b Chassis \u200b\u5bf9\u5e94\u200b id\uff1a</p> <pre><code># kubectl ko sbctl chassis-del b0564934-5a0d-4804-a4c0-476c93596a17\n# kubectl ko sbctl show\nChassis \"6a29de7e-d731-4eaf-bacd-2f239ee52b28\"\n  hostname: kube-ovn-control-plane\n  Encap geneve\n      ip: \"172.18.0.3\"\n      options: {csum=\"true\"}\n  Port_Binding coredns-64897985d-nbfln.kube-system\n  Port_Binding node-kube-ovn-control-plane\n  Port_Binding local-path-provisioner-5ddd94ff66-h4tn9.local-path-storage\n  Port_Binding kube-ovn-pinger-hf2p6.kube-system\n  Port_Binding coredns-64897985d-fhwlw.kube-system\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/faq/","title":"\u5176\u4ed6\u200b\u5e38\u89c1\u95ee\u9898","text":""},{"location":"ops/faq/#arm","title":"\u9e92\u9e9f\u200b ARM \u200b\u7cfb\u7edf\u200b\u8de8\u200b\u4e3b\u673a\u200b\u5bb9\u5668\u200b\u8bbf\u95ee\u200b\u95f4\u6b47\u200b\u5931\u8d25","text":""},{"location":"ops/faq/#_2","title":"\u73b0\u8c61","text":"<p>\u200b\u9e92\u9e9f\u200b ARM \u200b\u7cfb\u7edf\u200b\u548c\u200b\u90e8\u5206\u200b\u56fd\u4ea7\u5316\u200b\u7f51\u5361\u200b offload \u200b\u914d\u5408\u200b\u5b58\u5728\u200b\u95ee\u9898\u200b\uff0c\u200b\u4f1a\u200b\u5bfc\u81f4\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u95f4\u6b47\u200b\u6545\u969c\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b <code>netstat</code> \u200b\u786e\u8ba4\u200b\u95ee\u9898\u200b\uff1a</p> <pre><code># netstat -us\nIcmpMsg:\n    InType0: 22\n    InType3: 24\n    InType8: 117852\n    OutType0: 117852\n    OutType3: 29\n    OutType8: 22\nUdp:\n    3040636 packets received\n    0 packets to unknown port received.\n    4 packet receive errors\n    602 packets sent\n    0 receive buffer errors\n    0 send buffer errors\n    InCsumErrors: 4\nUdpLite:\nIpExt:\n    InBcastPkts: 10244\n    InOctets: 4446320361\n    OutOctets: 1496815600\n    InBcastOctets: 3095950\n    InNoECTPkts: 7683903\n</code></pre> <p>\u200b\u82e5\u200b\u5b58\u5728\u200b <code>InCsumErrors</code>\uff0c\u200b\u4e14\u200b\u968f\u7740\u200b\u8bbf\u95ee\u200b\u5931\u8d25\u200b\u589e\u52a0\u200b\uff0c\u200b\u53ef\u200b\u786e\u8ba4\u200b\u662f\u200b\u8be5\u200b\u95ee\u9898\u200b\u3002</p>"},{"location":"ops/faq/#_3","title":"\u89e3\u51b3\u200b\u65b9\u6cd5","text":"<p>\u200b\u6839\u672c\u200b\u89e3\u51b3\u200b\u9700\u8981\u200b\u548c\u200b\u9e92\u9e9f\u200b\u4ee5\u53ca\u200b\u5bf9\u5e94\u200b\u7f51\u5361\u200b\u5382\u5546\u200b\u6c9f\u901a\u200b\uff0c\u200b\u66f4\u65b0\u200b\u7cfb\u7edf\u200b\u548c\u200b\u9a71\u52a8\u200b\u3002\u200b\u4e34\u65f6\u200b\u89e3\u51b3\u200b\u53ef\u200b\u5148\u200b\u5173\u95ed\u200b\u7269\u7406\u200b \u200b\u7f51\u5361\u200b\u7684\u200b <code>tx offload</code> \u200b\u4f46\u662f\u200b\u4f1a\u200b\u5bfc\u81f4\u200b tcp \u200b\u6027\u80fd\u200b\u6709\u200b\u8f83\u200b\u660e\u663e\u200b\u4e0b\u964d\u200b\u3002</p> <pre><code>ethtool -K eth0 tx off\n</code></pre> <p>\u200b\u7ecf\u200b\u793e\u533a\u200b\u53cd\u9988\u200b\u4f7f\u7528\u200b <code>4.19.90-25.16.v2101</code> \u200b\u5185\u6838\u200b\u540e\u200b\u53ef\u4ee5\u200b\u89e3\u51b3\u200b\u8be5\u200b\u95ee\u9898\u200b\u3002</p>"},{"location":"ops/faq/#pod-service","title":"Pod \u200b\u8bbf\u95ee\u200b Service \u200b\u4e0d\u901a","text":""},{"location":"ops/faq/#_4","title":"\u73b0\u8c61","text":"<p>Pod \u200b\u5185\u200b\u65e0\u6cd5\u8bbf\u95ee\u200b Service \u200b\u5bf9\u5e94\u200b\u7684\u200b\u670d\u52a1\u200b\uff0c<code>dmesg</code> \u200b\u663e\u793a\u200b\u5f02\u5e38\u200b\uff1a</p> <pre><code>netlink: Unknown conntrack attr (type=6, max=5)\nopenvswitch: netlink: Flow actions may not be safe on all matching packets.\n</code></pre> <p>\u200b\u8be5\u200b\u65e5\u5fd7\u200b\u8bf4\u660e\u200b\u5185\u6838\u200b\u5185\u200b OVS \u200b\u7248\u672c\u200b\u8fc7\u4f4e\u200b\u4e0d\u200b\u652f\u6301\u200b\u5bf9\u5e94\u200b NAT \u200b\u64cd\u4f5c\u200b\u3002</p>"},{"location":"ops/faq/#_5","title":"\u89e3\u51b3\u200b\u65b9\u6cd5","text":"<ol> <li>\u200b\u5347\u7ea7\u200b\u5185\u6838\u6a21\u5757\u200b\u6216\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\u3002</li> <li>\u200b\u82e5\u200b\u53ea\u200b\u4f7f\u7528\u200b Overlay \u200b\u7f51\u7edc\u200b\u53ef\u4ee5\u200b\u66f4\u6539\u200b <code>kube-ovn-controller</code> \u200b\u542f\u52a8\u200b\u53c2\u6570\u8bbe\u7f6e\u200b <code>--enable-lb=false</code> \u200b\u5173\u95ed\u200b OVN LB \u200b\u4f7f\u7528\u200b kube-proxy \u200b\u8fdb\u884c\u200b Service \u200b\u8f6c\u53d1\u200b\u3002</li> </ol>"},{"location":"ops/faq/#ovn-central","title":"ovn-central \u200b\u51fa\u73b0\u200b\u9891\u7e41\u200b\u9009\u4e3b","text":""},{"location":"ops/faq/#_6","title":"\u73b0\u8c61","text":"<p>\u200b\u4ece\u200b v1.11.x \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c1w Pod \u200b\u4ee5\u4e0a\u200b\u7684\u200b\u96c6\u7fa4\u200b\uff0c\u200b\u5982\u679c\u200b OVN NB \u200b\u6216\u8005\u200b SB \u200b\u51fa\u73b0\u200b\u9891\u7e41\u200b\u9009\u4e3b\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u80fd\u200b\u539f\u56e0\u200b\u662f\u200b Kube-OVN \u200b\u5468\u671f\u200b\u8fdb\u884c\u200b\u4e86\u200b ovsdb-server/compact \u200b\u52a8\u4f5c\u200b\uff0c\u200b\u5f71\u54cd\u200b\u5230\u200b\u9009\u4e3b\u200b\u903b\u8f91\u200b\u3002</p>"},{"location":"ops/faq/#_7","title":"\u89e3\u51b3\u200b\u65b9\u6cd5","text":"<p>\u200b\u53ef\u4ee5\u200b\u7ed9\u200b ovn-central \u200b\u914d\u7f6e\u200b\u73af\u5883\u53d8\u91cf\u200b\u5982\u4e0b\u200b\uff0c\u200b\u5173\u95ed\u200b compact\uff1a</p> <pre><code>- name: ENABLE_COMPACT\n  value: \"false\"\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/from-calico/","title":"\u5378\u8f7d\u200b Calico \u200b\u5b89\u88c5\u200b Kube-OVN","text":"<p>\u200b\u82e5\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u5df2\u200b\u5b89\u88c5\u200b Calico \u200b\u9700\u8981\u200b\u53d8\u66f4\u200b\u4e3a\u200b Kube-OVN \u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b\u672c\u200b\u6587\u6863\u200b\u3002</p> <p>\u200b\u672c\u6587\u200b\u4ee5\u200b Calico v3.24.1 \u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u5176\u5b83\u200b Calico \u200b\u7248\u672c\u200b\u9700\u8981\u200b\u6839\u636e\u200b\u5b9e\u9645\u200b\u60c5\u51b5\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\u3002</p>"},{"location":"ops/from-calico/#_1","title":"\u51c6\u5907\u200b\u5de5\u4f5c","text":"<p>\u200b\u4e3a\u4e86\u200b\u4fdd\u8bc1\u200b\u5207\u6362\u200b CNI \u200b\u8fc7\u7a0b\u200b\u4e2d\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u4fdd\u6301\u200b\u7545\u901a\u200b\uff0cCalico ippool \u200b\u9700\u8981\u200b\u5f00\u542f\u200b nat outgoing\uff0c\u200b\u6216\u200b\u5728\u200b\u6240\u6709\u200b\u8282\u70b9\u200b\u4e0a\u200b\u5173\u95ed\u200b rp_filter\uff1a</p> <pre><code>sysctl net.ipv4.conf.all.rp_filter=0\nsysctl net.ipv4.conf.default.rp_filter=0\n# IPIP \u200b\u6a21\u5f0f\u200b\nsysctl net.ipv4.conf.tunl0.rp_filter=0\n# VXLAN \u200b\u6a21\u5f0f\u200b\nsysctl net.ipv4.conf.vxlan/calico.rp_filter=0\n# \u200b\u8def\u7531\u200b\u6a21\u5f0f\u200b\uff0ceth0 \u200b\u9700\u8981\u200b\u4fee\u6539\u200b\u4e3a\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\nsysctl net.ipv4.conf.eth0.rp_filter=0\n</code></pre>"},{"location":"ops/from-calico/#kube-ovn","title":"\u90e8\u7f72\u200b Kube-OVN","text":""},{"location":"ops/from-calico/#_2","title":"\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c","text":"<pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre>"},{"location":"ops/from-calico/#_3","title":"\u4fee\u6539\u200b\u5b89\u88c5\u200b\u811a\u672c","text":"<p>\u200b\u5c06\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u4e2d\u200b\u91cd\u5efa\u200b Pod \u200b\u7684\u200b\u90e8\u5206\u200b\u5220\u9664\u200b\uff1a</p> <pre><code>echo \"[Step 4/6] Delete pod that not in host network mode\"\nfor ns in $(kubectl get ns --no-headers -o custom-columns=NAME:.metadata.name); do\n  for pod in $(kubectl get pod --no-headers -n \"$ns\" --field-selector spec.restartPolicy=Always -o custom-columns=NAME:.metadata.name,HOST:spec.hostNetwork | awk '{if ($2!=\"true\") print $1}'); do\n    kubectl delete pod \"$pod\" -n \"$ns\" --ignore-not-found\n  done\ndone\n</code></pre> <p>\u200b\u6309\u200b\u9700\u200b\u4fee\u6539\u200b\u4ee5\u4e0b\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>REGISTRY=\"kubeovn\"                     # \u200b\u955c\u50cf\u200b\u4ed3\u5e93\u200b\u5730\u5740\u200b\nVERSION=\"v1.13.0\"                      # \u200b\u955c\u50cf\u200b\u7248\u672c\u200b/Tag\nPOD_CIDR=\"10.16.0.0/16\"                # \u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u8981\u200b\u548c\u200b SVC/NODE/JOIN CIDR \u200b\u91cd\u53e0\u200b\nSVC_CIDR=\"10.96.0.0/12\"                # \u200b\u9700\u8981\u200b\u548c\u200b apiserver \u200b\u7684\u200b service-cluster-ip-range \u200b\u4fdd\u6301\u4e00\u81f4\u200b\nJOIN_CIDR=\"100.64.0.0/16\"              # Pod \u200b\u548c\u200b\u4e3b\u673a\u200b\u901a\u4fe1\u200b\u7f51\u7edc\u200b CIDR\uff0c\u200b\u4e0d\u8981\u200b\u548c\u200b SVC/NODE/POD CIDR \u200b\u91cd\u53e0\u200b \nLABEL=\"node-role.kubernetes.io/master\" # \u200b\u90e8\u7f72\u200b OVN DB \u200b\u8282\u70b9\u200b\u7684\u200b\u6807\u7b7e\u200b\nIFACE=\"\"                               # \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u6240\u200b\u4f7f\u7528\u200b\u7684\u200b\u7684\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u5982\u679c\u200b\u4e3a\u200b\u7a7a\u5219\u200b\u4f7f\u7528\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b Node IP \u200b\u6240\u5728\u200b\u7f51\u5361\u200b\nTUNNEL_TYPE=\"geneve\"                   # \u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\uff0c\u200b\u53ef\u200b\u9009\u200b geneve, vxlan \u200b\u6216\u200b stt\uff0cstt \u200b\u9700\u8981\u200b\u5355\u72ec\u200b\u7f16\u8bd1\u200b ovs \u200b\u5185\u6838\u6a21\u5757\u200b\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1aPOD_CIDR \u200b\u53ca\u200b JOIN_CIDR \u200b\u4e0d\u53ef\u200b\u4e0e\u200b Calico ippool \u200b\u7684\u200b CIDR \u200b\u51b2\u7a81\u200b\uff0c\u200b\u4e14\u200b POD_CIDR \u200b\u9700\u8981\u200b\u5305\u542b\u200b\u8db3\u591f\u200b\u591a\u200b\u7684\u200b IP \u200b\u6765\u200b\u5bb9\u7eb3\u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u5df2\u6709\u200b\u7684\u200b Pod\u3002</p>"},{"location":"ops/from-calico/#_4","title":"\u6267\u884c\u200b\u5b89\u88c5\u200b\u811a\u672c","text":"<pre><code>bash install.sh\n</code></pre>"},{"location":"ops/from-calico/#_5","title":"\u9010\u4e2a\u200b\u8282\u70b9\u200b\u8fc1\u79fb","text":"<p>\u200b\u6309\u7167\u200b\u4ee5\u4e0b\u200b\u65b9\u6cd5\u200b\u4e3a\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u9010\u4e2a\u200b\u8fdb\u884c\u200b\u8fc1\u79fb\u200b\u3002 \u200b\u6ce8\u610f\u200b\uff1a\u200b\u547d\u4ee4\u200b\u4e2d\u200b\u7684\u200b \\&lt;NODE&gt; \u200b\u9700\u8981\u200b\u66ff\u6362\u200b\u4e3a\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b\u3002</p>"},{"location":"ops/from-calico/#_6","title":"\u9a71\u9010\u200b\u8282\u70b9","text":"<pre><code>kubectl drain --ignore-daemonsets &lt;NODE&gt;\n</code></pre> <p>\u200b\u82e5\u6b64\u200b\u547d\u4ee4\u200b\u4e00\u76f4\u200b\u7b49\u5f85\u200b Pod \u200b\u88ab\u200b\u9a71\u9010\u200b\uff0c\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\u5f3a\u5236\u200b\u5220\u9664\u200b\u88ab\u200b\u9a71\u9010\u200b\u7684\u200b Pod\uff1a</p> <pre><code>kubectl get pod -A --field-selector=spec.nodeName=&lt;NODE&gt; --no-headers | \\\n    awk '$4==\"Terminating\" {print $1\" \"$2}' | \\\n    while read s; do kubectl delete pod --force -n $s; done\n</code></pre>"},{"location":"ops/from-calico/#_7","title":"\u91cd\u542f\u200b\u8282\u70b9","text":"<p>\u200b\u5728\u200b\u8282\u70b9\u200b\u4e2d\u200b\u6267\u884c\u200b\uff1a</p> <pre><code>shutdown -r 0\n</code></pre>"},{"location":"ops/from-calico/#_8","title":"\u6062\u590d\u200b\u8282\u70b9","text":"<pre><code>kubectl uncordon &lt;NODE&gt;\n</code></pre>"},{"location":"ops/from-calico/#calico","title":"\u5378\u8f7d\u200b Calico","text":""},{"location":"ops/from-calico/#k8s","title":"\u5220\u9664\u200b k8s \u200b\u8d44\u6e90","text":"<pre><code>kubectl -n kube-system delete deploy calico-kube-controllers\nkubectl -n kube-system delete ds calico-node\nkubectl -n kube-system delete cm calico-config\n# \u200b\u5220\u9664\u200b CRD \u200b\u53ca\u200b\u76f8\u5173\u200b\u8d44\u6e90\u200b\nkubectl get crd -o jsonpath='{range .items[*]}{.metadata.name}{\"\\n\"}{end}' | while read crd; do\n  if ! echo $crd | grep '.crd.projectcalico.org$' &gt;/dev/null; then\n    continue\n  fi\n\n  for name in $(kubectl get $crd -o jsonpath='{.items[*].metadata.name}'); do\n    kubectl delete $crd $name\n  done\n  kubectl delete crd $crd\ndone\n# \u200b\u5176\u5b83\u200b\u8d44\u6e90\u200b\nkubectl delete --ignore-not-found clusterrolebinding calico-node calico-kube-controllers\nkubectl delete --ignore-not-found clusterrole calico-node calico-kube-controllers\nkubectl delete --ignore-not-found sa -n kube-system calico-kube-controllers calico-node\nkubectl delete --ignore-not-found pdb -n kube-system calico-kube-controllers\n</code></pre>"},{"location":"ops/from-calico/#_9","title":"\u6e05\u7406\u200b\u8282\u70b9\u200b\u6587\u4ef6","text":"<p>\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e2d\u200b\u6267\u884c\u200b\uff1a</p> <pre><code>rm -f /etc/cni/net.d/10-calico.conflist /etc/cni/net.d/calico-kubeconfig\nrm -f /opt/cni/bin/calico /opt/cni/bin/calico-ipam\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/kubectl-ko/","title":"kubectl \u200b\u63d2\u4ef6\u200b\u4f7f\u7528","text":"<p>\u200b\u4e3a\u4e86\u200b\u65b9\u4fbf\u200b\u65e5\u5e38\u200b\u7684\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\uff0cKube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b kubectl \u200b\u63d2\u4ef6\u200b\u5de5\u5177\u200b\uff0c\u200b\u7f51\u7edc\u7ba1\u7406\u5458\u200b \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u8be5\u200b\u547d\u4ee4\u200b\u8fdb\u884c\u200b\u65e5\u5e38\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u4f8b\u5982\u200b\uff1a\u200b\u67e5\u770b\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u4fe1\u606f\u200b\u548c\u200b\u72b6\u6001\u200b\uff0cOVN \u200b\u6570\u636e\u5e93\u200b \u200b\u5907\u4efd\u200b\u548c\u200b\u6062\u590d\u200b\uff0cOVS \u200b\u76f8\u5173\u200b\u4fe1\u606f\u200b\u67e5\u770b\u200b\uff0ctcpdump \u200b\u7279\u5b9a\u200b\u5bb9\u5668\u200b\uff0c\u200b\u7279\u5b9a\u200b\u94fe\u8def\u200b\u903b\u8f91\u200b\u62d3\u6251\u200b\u5c55\u793a\u200b\uff0c \u200b\u7f51\u7edc\u200b\u95ee\u9898\u200b\u8bca\u65ad\u200b\u548c\u200b\u6027\u80fd\u200b\u4f18\u5316\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#_1","title":"\u63d2\u4ef6\u200b\u5b89\u88c5","text":"<p>Kube-OVN \u200b\u5b89\u88c5\u200b\u65f6\u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u90e8\u7f72\u200b\u63d2\u4ef6\u200b\u5230\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\uff0c\u200b\u82e5\u200b\u6267\u884c\u200b kubectl \u200b\u7684\u200b\u673a\u5668\u200b\u4e0d\u200b\u5728\u200b\u96c6\u7fa4\u200b\u5185\u200b\uff0c \u200b\u6216\u200b\u9700\u8981\u200b\u91cd\u88c5\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u53ef\u200b\u53c2\u8003\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\uff1a</p> <p>\u200b\u4e0b\u8f7d\u200b <code>kubectl-ko</code> \u200b\u6587\u4ef6\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/kubectl-ko\n</code></pre> <p>\u200b\u5c06\u200b\u8be5\u200b\u6587\u4ef6\u200b\u79fb\u52a8\u200b\u81f3\u200b <code>$PATH</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\uff1a</p> <pre><code>mv kubectl-ko /usr/local/bin/kubectl-ko\n</code></pre> <p>\u200b\u589e\u52a0\u200b\u53ef\u200b\u6267\u884c\u200b\u6743\u9650\u200b\uff1a</p> <pre><code>chmod +x /usr/local/bin/kubectl-ko\n</code></pre> <p>\u200b\u68c0\u67e5\u200b\u63d2\u4ef6\u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u6b63\u5e38\u200b\u4f7f\u7528\u200b\uff1a</p> <pre><code># kubectl plugin list\nThe following compatible plugins are available:\n\n/usr/local/bin/kubectl-ko\n</code></pre>"},{"location":"ops/kubectl-ko/#_2","title":"\u63d2\u4ef6\u200b\u4f7f\u7528","text":"<p>\u200b\u8fd0\u884c\u200b <code>kubectl ko</code> \u200b\u4f1a\u200b\u5c55\u793a\u200b\u8be5\u200b\u63d2\u4ef6\u200b\u6240\u6709\u200b\u53ef\u7528\u200b\u7684\u200b\u547d\u4ee4\u200b\u548c\u200b\u7528\u6cd5\u200b\u63cf\u8ff0\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code># kubectl ko\nkubectl ko {subcommand} [option...]\nAvailable Subcommands:\n  [nb|sb] [status|kick|backup|dbstatus|restore]     ovn-db operations show cluster status, kick stale server, backup database, get db consistency status or restore ovn nb db when met 'inconsistent data' error\n  nbctl [ovn-nbctl options ...]    invoke ovn-nbctl\n  sbctl [ovn-sbctl options ...]    invoke ovn-sbctl\n  vsctl {nodeName} [ovs-vsctl options ...]   invoke ovs-vsctl on the specified node\n  ofctl {nodeName} [ovs-ofctl options ...]   invoke ovs-ofctl on the specified node\n  dpctl {nodeName} [ovs-dpctl options ...]   invoke ovs-dpctl on the specified node\n  appctl {nodeName} [ovs-appctl options ...]   invoke ovs-appctl on the specified node\n  tcpdump {namespace/podname} [tcpdump options ...]     capture pod traffic\n  {trace|ovn-trace} ...    trace ovn microflow of specific packet\"\n    {trace|ovn-trace} {namespace/podname} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]    trace ICMP/TCP/UDP\n    {trace|ovn-trace} {namespace/podname} {target ip address} [target mac address] arp {request|reply}                     trace ARP request/reply\n    {trace|ovn-trace} {node//nodename} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]       trace ICMP/TCP/UDP\n    {trace|ovn-trace} {node//nodename} {target ip address} [target mac address] arp {request|reply}                        trace ARP request/reply\n  echo \"  diagnose {all|node|subnet|IPPorts} [nodename|subnetName|{proto1}-{IP1}-{Port1},{proto2}-{IP2}-{Port2}]    diagnose connectivity of all nodes or a specific node or specify subnet's ds pod or IPPorts like 'tcp-172.18.0.2-53,udp-172.18.0.3-53'\"\n  tuning {install-fastpath|local-install-fastpath|remove-fastpath|install-stt|local-install-stt|remove-stt} {centos7|centos8}} [kernel-devel-version]  deploy  kernel optimisation components to the system\n  reload    restart all kube-ovn components\n  log {kube-ovn|ovn|ovs|linux|all}    save log to ./kubectl-ko-log/\n  perf [image] performance test default image is kubeovn/test:v1.12.0  \n</code></pre> <p>\u200b\u4e0b\u9762\u200b\u5c06\u200b\u4ecb\u7ecd\u200b\u6bcf\u4e2a\u200b\u547d\u4ee4\u200b\u7684\u200b\u5177\u4f53\u200b\u529f\u80fd\u200b\u548c\u200b\u4f7f\u7528\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#nb-sb-status-kick-backup-dbstatus-restore","title":"[nb | sb] [status | kick | backup | dbstatus | restore]","text":"<p>\u200b\u8be5\u5b50\u200b\u547d\u4ee4\u200b\u4e3b\u8981\u200b\u5bf9\u200b OVN \u200b\u5317\u5411\u200b\u6216\u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5305\u62ec\u200b\u6570\u636e\u5e93\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u67e5\u770b\u200b\uff0c\u200b\u6570\u636e\u5e93\u200b\u8282\u70b9\u200b\u4e0b\u7ebf\u200b\uff0c \u200b\u6570\u636e\u5e93\u200b\u5907\u4efd\u200b\uff0c\u200b\u6570\u636e\u5e93\u200b\u5b58\u50a8\u72b6\u6001\u200b\u67e5\u770b\u200b\u548c\u200b\u6570\u636e\u5e93\u200b\u4fee\u590d\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#_3","title":"\u6570\u636e\u5e93\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u67e5\u770b","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u5728\u200b\u5bf9\u5e94\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u7684\u200b leader \u200b\u8282\u70b9\u200b\u6267\u884c\u200b <code>ovs-appctl cluster/status</code> \u200b\u5c55\u793a\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b:</p> <pre><code># kubectl ko nb status\n306b\nName: OVN_Northbound\nCluster ID: 9a87 (9a872522-3e7d-47ca-83a3-d74333e1a7ca)\nServer ID: 306b (306b256b-b5e1-4eb0-be91-4ca96adf6bad)\nAddress: tcp:[172.18.0.2]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 280309 ms ago, reason: timeout\nLast Election won: 280309 ms ago\nElection timer: 5000\nLog: [139, 139]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-8723 -&gt;8723 &lt;-85d6 -&gt;85d6\nDisconnections: 0\nServers:\n    85d6 (85d6 at tcp:[172.18.0.4]:6643) next_index=139 match_index=138 last msg 763 ms ago\n    8723 (8723 at tcp:[172.18.0.3]:6643) next_index=139 match_index=138 last msg 763 ms ago\n    306b (306b at tcp:[172.18.0.2]:6643) (self) next_index=2 match_index=138\nstatus: ok\n</code></pre> <p>\u200b\u82e5\u200b <code>Server</code> \u200b\u4e0b\u200b\u7684\u200b <code>match_index</code> \u200b\u51fa\u73b0\u200b\u8f83\u5927\u200b\u5dee\u522b\u200b\uff0c\u200b\u4e14\u200b <code>last msg</code> \u200b\u65f6\u95f4\u200b\u8f83\u957f\u200b\u5219\u200b\u5bf9\u5e94\u200b Server \u200b\u53ef\u80fd\u200b\u957f\u65f6\u95f4\u200b\u6ca1\u6709\u54cd\u5e94\u200b\uff0c \u200b\u9700\u8981\u200b\u8fdb\u4e00\u6b65\u200b\u67e5\u770b\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#_4","title":"\u6570\u636e\u5e93\u200b\u8282\u70b9\u200b\u4e0b\u7ebf","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u5c06\u200b\u67d0\u4e2a\u200b\u8282\u70b9\u200b\u4ece\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u4e2d\u200b\u79fb\u9664\u200b\uff0c\u200b\u5728\u200b\u8282\u70b9\u200b\u4e0b\u7ebf\u200b\u6216\u200b\u66f4\u6362\u200b\u8282\u70b9\u200b\u65f6\u200b\u9700\u8981\u200b\u7528\u5230\u200b\u3002 \u200b\u4e0b\u9762\u200b\u5c06\u200b\u4ee5\u4e0a\u200b\u4e00\u6761\u200b\u547d\u4ee4\u200b\u6240\u200b\u67e5\u770b\u200b\u5230\u200b\u7684\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u4e0b\u7ebf\u200b <code>172.18.0.3</code> \u200b\u8282\u70b9\u200b:</p> <pre><code># kubectl ko nb kick 8723\nstarted removal\n</code></pre> <p>\u200b\u518d\u6b21\u200b\u67e5\u770b\u200b\u6570\u636e\u5e93\u200b\u96c6\u7fa4\u200b\u72b6\u6001\u200b\u786e\u8ba4\u200b\u8282\u70b9\u200b\u5df2\u200b\u79fb\u9664\u200b\uff1a</p> <pre><code># kubectl ko nb status\n306b\nName: OVN_Northbound\nCluster ID: 9a87 (9a872522-3e7d-47ca-83a3-d74333e1a7ca)\nServer ID: 306b (306b256b-b5e1-4eb0-be91-4ca96adf6bad)\nAddress: tcp:[172.18.0.2]:6643\nStatus: cluster member\nRole: leader\nTerm: 1\nLeader: self\nVote: self\n\nLast Election started 324356 ms ago, reason: timeout\nLast Election won: 324356 ms ago\nElection timer: 5000\nLog: [140, 140]\nEntries not yet committed: 0\nEntries not yet applied: 0\nConnections: &lt;-85d6 -&gt;85d6\nDisconnections: 2\nServers:\n    85d6 (85d6 at tcp:[172.18.0.4]:6643) next_index=140 match_index=139 last msg 848 ms ago\n    306b (306b at tcp:[172.18.0.2]:6643) (self) next_index=2 match_index=139\nstatus: ok\n</code></pre>"},{"location":"ops/kubectl-ko/#_5","title":"\u6570\u636e\u5e93\u200b\u5907\u4efd","text":"<p>\u200b\u8be5\u5b50\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u5907\u4efd\u200b\u5f53\u524d\u200b OVN \u200b\u6570\u636e\u5e93\u200b\u81f3\u200b\u672c\u5730\u200b\uff0c\u200b\u53ef\u200b\u7528\u4e8e\u200b\u707e\u5907\u200b\u548c\u200b\u6062\u590d\u200b\uff1a</p> <pre><code># kubectl ko nb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnnb_db.060223191654183154.backup\n</code></pre>"},{"location":"ops/kubectl-ko/#_6","title":"\u6570\u636e\u5e93\u200b\u5b58\u50a8\u72b6\u6001\u200b\u67e5\u770b","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u7528\u6765\u200b\u67e5\u770b\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u662f\u5426\u200b\u5b58\u5728\u200b\u635f\u574f\u200b\uff1a</p> <pre><code># kubectl ko nb dbstatus\nstatus: ok\n</code></pre> <p>\u200b\u82e5\u200b\u5f02\u5e38\u200b\u5219\u200b\u663e\u793a\u200b <code>inconsistent data</code> \u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u8fdb\u884c\u200b\u4fee\u590d\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#_7","title":"\u6570\u636e\u5e93\u200b\u4fee\u590d","text":"<p>\u200b\u82e5\u200b\u6570\u636e\u5e93\u200b\u72b6\u6001\u200b\u8fdb\u5165\u200b <code>inconsistent data</code> \u200b\u53ef\u200b\u4f7f\u7528\u200b\u8be5\u200b\u547d\u4ee4\u200b\u8fdb\u884c\u200b\u4fee\u590d\u200b\uff1a</p> <pre><code># kubectl ko nb restore\ndeployment.apps/ovn-central scaled\novn-central original replicas is 3\nfirst nodeIP is 172.18.0.5\novs-ovn pod on node 172.18.0.5 is ovs-ovn-8jxv9\novs-ovn pod on node 172.18.0.3 is ovs-ovn-sjzb6\novs-ovn pod on node 172.18.0.4 is ovs-ovn-t87zk\nbackup nb db file\nrestore nb db file, operate in pod ovs-ovn-8jxv9\ndeployment.apps/ovn-central scaled\nfinish restore nb db file and ovn-central replicas\nrecreate ovs-ovn pods\npod \"ovs-ovn-8jxv9\" deleted\npod \"ovs-ovn-sjzb6\" deleted\npod \"ovs-ovn-t87zk\" deleted\n</code></pre>"},{"location":"ops/kubectl-ko/#nbctl-sbctl-options","title":"[nbctl | sbctl] [options ...]","text":"<p>\u200b\u8be5\u5b50\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u76f4\u63a5\u200b\u8fdb\u5165\u200b OVN \u200b\u5317\u5411\u200b\u6570\u636e\u5e93\u200b\u6216\u200b\u5357\u5411\u200b\u6570\u636e\u5e93\u200b \u200b\u7684\u200b leader \u200b\u8282\u70b9\u200b\u5206\u522b\u200b\u6267\u884c\u200b <code>ovn-nbctl</code> \u200b\u548c\u200b <code>ovn-sbctl</code> \u200b\u547d\u4ee4\u200b\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVN \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovn-nbctl(8) \u200b\u548c\u200b ovn-sbctl(8)\u3002</p> <pre><code># kubectl ko nbctl show\nswitch c7cd17e8-ceee-4a91-9bb3-e5a313fe1ece (snat)\n    port snat-ovn-cluster\n        type: router\n        router-port: ovn-cluster-snat\nswitch 20e0c6d0-023a-4756-aec5-200e0c60f95d (join)\n    port node-liumengxin-ovn3-192.168.137.178\n        addresses: [\"00:00:00:64:FF:A8 100.64.0.4\"]\n    port node-liumengxin-ovn1-192.168.137.176\n        addresses: [\"00:00:00:AF:98:62 100.64.0.2\"]\n    port node-liumengxin-ovn2-192.168.137.177\n        addresses: [\"00:00:00:D9:58:B8 100.64.0.3\"]\n    port join-ovn-cluster\n        type: router\n        router-port: ovn-cluster-join\nswitch 0191705c-f827-427b-9de3-3c3b7d971ba5 (central)\n    port central-ovn-cluster\n        type: router\n        router-port: ovn-cluster-central\nswitch 2a45ff05-388d-4f85-9daf-e6fccd5833dc (ovn-default)\n    port alertmanager-main-0.monitoring\n        addresses: [\"00:00:00:6C:DF:A3 10.16.0.19\"]\n    port kube-state-metrics-5d6885d89-4nf8h.monitoring\n        addresses: [\"00:00:00:6F:02:1C 10.16.0.15\"]\n    port fake-kubelet-67c55dfd89-pv86k.kube-system\n        addresses: [\"00:00:00:5C:12:E8 10.16.19.177\"]\n    port ovn-default-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-default\nrouter 212f73dd-d63d-4d72-864b-a537e9afbee1 (ovn-cluster)\n    port ovn-cluster-snat\n        mac: \"00:00:00:7A:82:8F\"\n        networks: [\"172.22.0.1/16\"]\n    port ovn-cluster-join\n        mac: \"00:00:00:F8:18:5A\"\n        networks: [\"100.64.0.1/16\"]\n    port ovn-cluster-central\n        mac: \"00:00:00:4D:8C:F5\"\n        networks: [\"192.101.0.1/16\"]\n    port ovn-cluster-ovn-default\n        mac: \"00:00:00:A3:F8:18\"\n        networks: [\"10.16.0.1/16\"]\n</code></pre>"},{"location":"ops/kubectl-ko/#vsctl-nodename-options","title":"vsctl {nodeName} [options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b\u5bf9\u5e94\u200b <code>nodeName</code> \u200b\u4e0a\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b <code>ovs-vsctl</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u8be2\u200b\u5e76\u200b\u914d\u7f6e\u200b <code>vswitchd</code>\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVS \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovs-vsctl(8)\u3002</p> <pre><code># kubectl ko vsctl kube-ovn-01 show\n0d4c4675-c9cc-440a-8c1a-878e17f81b88\n    Bridge br-int\n        fail_mode: secure\n        datapath_type: system\n        Port a2c1a8a8b83a_h\n            Interface a2c1a8a8b83a_h\n        Port \"4fa5c4cbb1a5_h\"\n            Interface \"4fa5c4cbb1a5_h\"\n        Port ovn-eef07d-0\n            Interface ovn-eef07d-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.178\"}\n        Port ovn0\n            Interface ovn0\n                type: internal\n        Port mirror0\n            Interface mirror0\n                type: internal\n        Port ovn-efa253-0\n            Interface ovn-efa253-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.177\"}\n        Port br-int\n            Interface br-int\n                type: internal\n    ovs_version: \"2.17.2\"\n</code></pre>"},{"location":"ops/kubectl-ko/#ofctl-nodename-options","title":"ofctl {nodeName} [options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b\u5bf9\u5e94\u200b <code>nodeName</code> \u200b\u4e0a\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b <code>ovs-ofctl</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u8be2\u200b\u6216\u200b\u7ba1\u7406\u200b OpenFlow\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVS \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovs-ofctl(8)\u3002</p> <pre><code># kubectl ko ofctl kube-ovn-01 dump-flows br-int\nNXST_FLOW reply (xid=0x4): flags=[more]\n cookie=0xcf3429e6, duration=671791.432s, table=0, n_packets=0, n_bytes=0, idle_age=65534, hard_age=65534, priority=100,in_port=2 actions=load:0x4-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x1-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0xc91413c6, duration=671791.431s, table=0, n_packets=907489, n_bytes=99978275, idle_age=0, hard_age=65534, priority=100,in_port=7 actions=load:0x1-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x4-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0xf180459, duration=671791.431s, table=0, n_packets=17348582, n_bytes=2667811214, idle_age=0, hard_age=65534, priority=100,in_port=6317 actions=load:0xa-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x9-&gt;NXM_NX_REG14[],resubmit(,8)\n cookie=0x7806dd90, duration=671791.431s, table=0, n_packets=3235428, n_bytes=833821312, idle_age=0, hard_age=65534, priority=100,in_port=1 actions=load:0xd-&gt;NXM_NX_REG13[],load:0x9-&gt;NXM_NX_REG11[],load:0xb-&gt;NXM_NX_REG12[],load:0x4-&gt;OXM_OF_METADATA[],load:0x3-&gt;NXM_NX_REG14[],resubmit(,8)\n...\n</code></pre>"},{"location":"ops/kubectl-ko/#dpctl-nodename-options","title":"dpctl {nodeName} [options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b\u5bf9\u5e94\u200b <code>nodeName</code> \u200b\u4e0a\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b <code>ovs-dpctl</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u67e5\u8be2\u200b\u6216\u200b\u7ba1\u7406\u200b OVS datapath\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVS \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovs-dpctl(8)\u3002</p> <pre><code># kubectl ko dpctl kube-ovn-01 show\nsystem@ovs-system:\n  lookups: hit:350805055 missed:21983648 lost:73\n  flows: 105\n  masks: hit:1970748791 total:22 hit/pkt:5.29\n  port 0: ovs-system (internal)\n  port 1: ovn0 (internal)\n  port 2: mirror0 (internal)\n  port 3: br-int (internal)\n  port 4: stt_sys_7471 (stt: packet_type=ptap)\n  port 5: eeb4d9e51b5d_h\n  port 6: a2c1a8a8b83a_h\n  port 7: 4fa5c4cbb1a5_h\n</code></pre>"},{"location":"ops/kubectl-ko/#appctl-nodename-options","title":"appctl {nodeName} [options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b\u5bf9\u5e94\u200b <code>nodeName</code> \u200b\u4e0a\u200b\u7684\u200b <code>ovs-ovn</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u7684\u200b <code>ovs-appctl</code> \u200b\u547d\u4ee4\u200b\uff0c\u200b\u6765\u200b\u64cd\u4f5c\u200b\u76f8\u5173\u200b daemon \u200b\u8fdb\u7a0b\u200b\u3002 \u200b\u66f4\u591a\u8be5\u200b\u547d\u4ee4\u200b\u7684\u200b\u8be6\u7ec6\u200b\u7528\u6cd5\u200b\u8bf7\u200b\u67e5\u8be2\u200b\u4e0a\u6e38\u200b OVS \u200b\u7684\u200b\u5b98\u65b9\u200b\u6587\u6863\u200b ovs-appctl(8)\u3002</p> <pre><code># kubectl ko appctl kube-ovn-01 vlog/list\n                 console    syslog    file\n                 -------    ------    ------\nbacktrace          OFF        ERR       INFO\nbfd                OFF        ERR       INFO\nbond               OFF        ERR       INFO\nbridge             OFF        ERR       INFO\nbundle             OFF        ERR       INFO\nbundles            OFF        ERR       INFO\n...\n</code></pre>"},{"location":"ops/kubectl-ko/#tcpdump-namespacepodname-tcpdump-options","title":"tcpdump {namespace/podname} [tcpdump options ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u8fdb\u5165\u200b <code>namespace/podname</code> \u200b\u6240\u5728\u200b\u673a\u5668\u200b\u7684\u200b <code>kube-ovn-cni</code> \u200b\u5bb9\u5668\u200b\uff0c\u200b\u5e76\u200b\u6267\u884c\u200b <code>tcpdump</code> \u200b\u6293\u53d6\u200b\u5bf9\u5e94\u200b\u5bb9\u5668\u200b veth \u200b\u7f51\u5361\u200b \u200b\u7aef\u7684\u200b\u6d41\u91cf\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u65b9\u4fbf\u200b\u6392\u67e5\u200b\u7f51\u7edc\u200b\u76f8\u5173\u200b\u95ee\u9898\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code># kubectl ko tcpdump default/ds1-l6n7p icmp\n+ kubectl exec -it kube-ovn-cni-wlg4s -n kube-ovn -- tcpdump -nn -i d7176fe7b4e0_h icmp\ntcpdump: verbose output suppressed, use -v or -vv for full protocol decode\nlistening on d7176fe7b4e0_h, link-type EN10MB (Ethernet), capture size 262144 bytes\n06:52:36.619688 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 1, length 64\n06:52:36.619746 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 1, length 64\n06:52:37.619588 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 2, length 64\n06:52:37.619630 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 2, length 64\n06:52:38.619933 IP 100.64.0.3 &gt; 10.16.0.4: ICMP echo request, id 2, seq 3, length 64\n06:52:38.619973 IP 10.16.0.4 &gt; 100.64.0.3: ICMP echo reply, id 2, seq 3, length 64\n</code></pre>"},{"location":"ops/kubectl-ko/#trace-arguments","title":"trace [arguments ...]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u5c06\u4f1a\u200b\u6253\u5370\u200b Pod \u200b\u6216\u200b\u8282\u70b9\u200b\u901a\u8fc7\u200b\u7279\u5b9a\u200b\u534f\u8bae\u200b\u8bbf\u95ee\u200b\u67d0\u200b\u5730\u5740\u200b\u65f6\u200b\u5bf9\u5e94\u200b\u7684\u200b OVN \u200b\u903b\u8f91\u200b\u6d41\u8868\u200b\u548c\u200b\u6700\u7ec8\u200b\u7684\u200b Openflow \u200b\u6d41\u8868\u200b\uff0c \u200b\u65b9\u4fbf\u200b\u5f00\u53d1\u200b\u6216\u200b\u8fd0\u7ef4\u65f6\u200b\u5b9a\u4f4d\u200b\u6d41\u8868\u200b\u76f8\u5173\u200b\u95ee\u9898\u200b\u3002</p> <p>\u200b\u652f\u6301\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>kubectl ko trace {namespace/podname} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]\nkubectl ko trace {namespace/podname} {target ip address} [target mac address] arp {request|reply}\nkubectl ko trace {node//nodename} {target ip address} [target mac address] {icmp|tcp|udp} [target tcp/udp port]\nkubectl ko trace {node//nodename} {target ip address} [target mac address] arp {request|reply}\n</code></pre> <p>\u200b\u793a\u4f8b\u200b\uff1a</p> <pre><code># kubectl ko trace default/ds1-l6n7p 8.8.8.8 icmp\n+ kubectl exec ovn-central-5bc494cb5-np9hm -n kube-ovn -- ovn-trace --ct=new ovn-default 'inport == \"ds1-l6n7p.default\" &amp;&amp; ip.ttl == 64 &amp;&amp; icmp &amp;&amp; eth.src == 0a:00:00:10:00:05 &amp;&amp; ip4.src == 10.16.0.4 &amp;&amp; eth.dst == 00:00:00:B8:CA:43 &amp;&amp; ip4.dst == 8.8.8.8'\n# icmp,reg14=0xf,vlan_tci=0x0000,dl_src=0a:00:00:10:00:05,dl_dst=00:00:00:b8:ca:43,nw_src=10.16.0.4,nw_dst=8.8.8.8,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=0,icmp_code=0\n\ningress(dp=\"ovn-default\", inport=\"ds1-l6n7p.default\")\n-----------------------------------------------------\n 0. ls_in_port_sec_l2 (ovn-northd.c:4143): inport == \"ds1-l6n7p.default\" &amp;&amp; eth.src == {0a:00:00:10:00:05}, priority 50, uuid 39453393\n    next;\n 1. ls_in_port_sec_ip (ovn-northd.c:2898): inport == \"ds1-l6n7p.default\" &amp;&amp; eth.src == 0a:00:00:10:00:05 &amp;&amp; ip4.src == {10.16.0.4}, priority 90, uuid 81bcd485\n    next;\n 3. ls_in_pre_acl (ovn-northd.c:3269): ip, priority 100, uuid 7b4f4971\n    reg0[0] = 1;\n    next;\n 5. ls_in_pre_stateful (ovn-northd.c:3396): reg0[0] == 1, priority 100, uuid 36cdd577\n    ct_next;\n\nct_next(ct_state=new|trk)\n-------------------------\n 6. ls_in_acl (ovn-northd.c:3759): ip &amp;&amp; (!ct.est || (ct.est &amp;&amp; ct_label.blocked == 1)), priority 1, uuid 7608af5b\n    reg0[1] = 1;\n    next;\n10. ls_in_stateful (ovn-northd.c:3995): reg0[1] == 1, priority 100, uuid 2aba1b90\n    ct_commit(ct_label=0/0x1);\n    next;\n16. ls_in_l2_lkup (ovn-northd.c:4470): eth.dst == 00:00:00:b8:ca:43, priority 50, uuid 5c9c3c9f\n    outport = \"ovn-default-ovn-cluster\";\n    output;\n\n...\n</code></pre> <p>\u200b\u82e5\u200b trace \u200b\u5bf9\u8c61\u200b\u4e3a\u200b\u8fd0\u884c\u200b\u4e8e\u200b Underlay \u200b\u7f51\u7edc\u200b\u4e0b\u200b\u7684\u200b\u865a\u62df\u673a\u200b\uff0c\u200b\u9700\u8981\u200b\u6dfb\u52a0\u200b\u989d\u5916\u200b\u53c2\u6570\u200b\u6765\u200b\u6307\u5b9a\u200b\u76ee\u7684\u200b Mac \u200b\u5730\u5740\u200b\uff1a</p> <pre><code>kubectl ko trace default/virt-handler-7lvml 8.8.8.8 82:7c:9f:83:8c:01 icmp\n</code></pre>"},{"location":"ops/kubectl-ko/#diagnose-allnodesubnetipports-nodenamesubnetnameproto1-ip1-port1proto2-ip2-port2","title":"diagnose {all|node|subnet|IPPorts} [nodename|subnetName|{proto1}-{IP1}-{Port1},{proto2}-{IP2}-{Port2}]","text":"<p>\u200b\u8bca\u65ad\u200b\u96c6\u7fa4\u200b\u7f51\u7edc\u200b\u7ec4\u4ef6\u200b\u72b6\u6001\u200b\uff0c\u200b\u5e76\u200b\u53bb\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b\u7684\u200b <code>kube-ovn-pinger</code> \u200b\u68c0\u6d4b\u200b\u5f53\u524d\u200b\u8282\u70b9\u200b\u5230\u200b\u5176\u4ed6\u200b\u8282\u70b9\u200b\u548c\u200b\u5173\u952e\u200b\u670d\u52a1\u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u548c\u200b\u7f51\u7edc\u200b\u5ef6\u8fdf\u200b\uff1a</p> <pre><code># kubectl ko diagnose all\nswitch c7cd17e8-ceee-4a91-9bb3-e5a313fe1ece (snat)\n    port snat-ovn-cluster\n        type: router\n        router-port: ovn-cluster-snat\nswitch 20e0c6d0-023a-4756-aec5-200e0c60f95d (join)\n    port node-liumengxin-ovn3-192.168.137.178\n        addresses: [\"00:00:00:64:FF:A8 100.64.0.4\"]\n    port node-liumengxin-ovn1-192.168.137.176\n        addresses: [\"00:00:00:AF:98:62 100.64.0.2\"]\n    port join-ovn-cluster\n        type: router\n        router-port: ovn-cluster-join\nswitch 0191705c-f827-427b-9de3-3c3b7d971ba5 (central)\n    port central-ovn-cluster\n        type: router\n        router-port: ovn-cluster-central\nswitch 2a45ff05-388d-4f85-9daf-e6fccd5833dc (ovn-default)\n    port ovn-default-ovn-cluster\n        type: router\n        router-port: ovn-cluster-ovn-default\n    port prometheus-k8s-1.monitoring\n        addresses: [\"00:00:00:AA:37:DF 10.16.0.23\"]\nrouter 212f73dd-d63d-4d72-864b-a537e9afbee1 (ovn-cluster)\n    port ovn-cluster-snat\n        mac: \"00:00:00:7A:82:8F\"\n        networks: [\"172.22.0.1/16\"]\n    port ovn-cluster-join\n        mac: \"00:00:00:F8:18:5A\"\n        networks: [\"100.64.0.1/16\"]\n    port ovn-cluster-central\n        mac: \"00:00:00:4D:8C:F5\"\n        networks: [\"192.101.0.1/16\"]\n    port ovn-cluster-ovn-default\n        mac: \"00:00:00:A3:F8:18\"\n        networks: [\"10.16.0.1/16\"]\nRouting Policies\n     31000                            ip4.dst == 10.16.0.0/16           allow\n     31000                           ip4.dst == 100.64.0.0/16           allow\n     30000                         ip4.dst == 192.168.137.177         reroute                100.64.0.3\n     30000                         ip4.dst == 192.168.137.178         reroute                100.64.0.4\n     29000                 ip4.src == $ovn.default.fake.6_ip4         reroute               100.64.0.22\n     29000                 ip4.src == $ovn.default.fake.7_ip4         reroute               100.64.0.21\n     29000                 ip4.src == $ovn.default.fake.8_ip4         reroute               100.64.0.23\n     29000 ip4.src == $ovn.default.liumengxin.ovn3.192.168.137.178_ip4         reroute                100.64.0.4\n     20000 ip4.src == $ovn.default.liumengxin.ovn1.192.168.137.176_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.2\n     20000 ip4.src == $ovn.default.liumengxin.ovn2.192.168.137.177_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.3\n     20000 ip4.src == $ovn.default.liumengxin.ovn3.192.168.137.178_ip4 &amp;&amp; ip4.dst != $ovn.cluster.overlay.subnets.IPv4         reroute                100.64.0.4\nIPv4 Routes\nRoute Table &lt;main&gt;:\n                0.0.0.0/0                100.64.0.1 dst-ip\nUUID                                    LB                  PROTO      VIP                     IPs\ne9bcfd9d-793e-4431-9073-6dec96b75d71    cluster-tcp-load    tcp        10.100.209.132:10660    192.168.137.176:10660\n                                                            tcp        10.101.239.192:6641     192.168.137.177:6641\n                                                            tcp        10.101.240.101:3000     10.16.0.7:3000\n                                                            tcp        10.103.184.186:6642     192.168.137.177:6642\n35d2b7a5-e3a7-485a-a4b7-b4970eb0e63b    cluster-tcp-sess    tcp        10.100.158.128:8080     10.16.0.10:8080,10.16.0.5:8080,10.16.63.30:8080\n                                                            tcp        10.107.26.215:8080      10.16.0.19:8080,10.16.0.20:8080,10.16.0.21:8080\n                                                            tcp        10.107.26.215:9093      10.16.0.19:9093,10.16.0.20:9093,10.16.0.21:9093\n                                                            tcp        10.98.187.99:8080       10.16.0.22:8080,10.16.0.23:8080\n                                                            tcp        10.98.187.99:9090       10.16.0.22:9090,10.16.0.23:9090\nf43303e4-89aa-4d3e-a3dc-278a552fe27b    cluster-udp-load    udp        10.96.0.10:53           10.16.0.4:53,10.16.0.9:53\n_uuid               : 06776304-5a96-43ed-90c4-c4854c251699\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn2_192.168.137.177_underlay_v6\n\n_uuid               : 62690625-87d5-491c-8675-9fd83b1f433c\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn1_192.168.137.176_underlay_v6\n\n_uuid               : b03a9bae-94d5-4562-b34c-b5f6198e180b\naddresses           : [\"10.16.0.0/16\", \"100.64.0.0/16\", \"172.22.0.0/16\", \"192.101.0.0/16\"]\nexternal_ids        : {vendor=kube-ovn}\nname                : ovn.cluster.overlay.subnets.IPv4\n\n_uuid               : e1056f3a-24cc-4666-8a91-75ee6c3c2426\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : ovn.cluster.overlay.subnets.IPv6\n\n_uuid               : 3e5d5fff-e670-47b2-a2f5-a39f4698a8c5\naddresses           : []\nexternal_ids        : {vendor=kube-ovn}\nname                : node_liumengxin_ovn3_192.168.137.178_underlay_v6\n_uuid               : 2d85dbdc-d0db-4abe-b19e-cc806d32b492\naction              : drop\ndirection           : from-lport\nexternal_ids        : {}\nlabel               : 0\nlog                 : false\nmatch               : \"inport==@ovn.sg.kubeovn_deny_all &amp;&amp; ip\"\nmeter               : []\nname                : []\noptions             : {}\npriority            : 2003\nseverity            : []\n\n_uuid               : de790cc8-f155-405f-bb32-5a51f30c545f\naction              : drop\ndirection           : to-lport\nexternal_ids        : {}\nlabel               : 0\nlog                 : false\nmatch               : \"outport==@ovn.sg.kubeovn_deny_all &amp;&amp; ip\"\nmeter               : []\nname                : []\noptions             : {}\npriority            : 2003\nseverity            : []\nChassis \"e15ed4d4-1780-4d50-b09e-ea8372ed48b8\"\n    hostname: liumengxin-ovn1-192.168.137.176\n    Encap stt\n        ip: \"192.168.137.176\"\n        options: {csum=\"true\"}\n    Port_Binding node-liumengxin-ovn1-192.168.137.176\n    Port_Binding perf-6vxkn.default\n    Port_Binding kube-state-metrics-5d6885d89-4nf8h.monitoring\n    Port_Binding alertmanager-main-0.monitoring\n    Port_Binding kube-ovn-pinger-6ftdf.kube-system\n    Port_Binding fake-kubelet-67c55dfd89-pv86k.kube-system\n    Port_Binding prometheus-k8s-0.monitoring\nChassis \"eef07da1-f8ad-4775-b14d-bd6a3b4eb0d5\"\n    hostname: liumengxin-ovn3-192.168.137.178\n    Encap stt\n        ip: \"192.168.137.178\"\n        options: {csum=\"true\"}\n    Port_Binding kube-ovn-pinger-7twb4.kube-system\n    Port_Binding prometheus-adapter-86df476d87-rl88g.monitoring\n    Port_Binding prometheus-k8s-1.monitoring\n    Port_Binding node-liumengxin-ovn3-192.168.137.178\n    Port_Binding perf-ff475.default\n    Port_Binding alertmanager-main-1.monitoring\n    Port_Binding blackbox-exporter-676d976865-tvsjd.monitoring\nChassis \"efa253c9-494d-4719-83ae-b48ab0f11c03\"\n    hostname: liumengxin-ovn2-192.168.137.177\n    Encap stt\n        ip: \"192.168.137.177\"\n        options: {csum=\"true\"}\n    Port_Binding grafana-6c4c6b8fb7-pzd2c.monitoring\n    Port_Binding node-liumengxin-ovn2-192.168.137.177\n    Port_Binding alertmanager-main-2.monitoring\n    Port_Binding coredns-6789c94dd8-9jqsz.kube-system\n    Port_Binding coredns-6789c94dd8-25d4r.kube-system\n    Port_Binding prometheus-operator-7bbc99fc8b-wgjm4.monitoring\n    Port_Binding prometheus-adapter-86df476d87-gdxmc.monitoring\n    Port_Binding perf-fjnws.default\n    Port_Binding kube-ovn-pinger-vh2xg.kube-system\nds kube-proxy ready\nkube-proxy ready\ndeployment ovn-central ready\ndeployment kube-ovn-controller ready\nds kube-ovn-cni ready\nds ovs-ovn ready\ndeployment coredns ready\novn-nb leader check ok\novn-sb leader check ok\novn-northd leader check ok\n### kube-ovn-controller recent log\n\n### start to diagnose node liumengxin-ovn1-192.168.137.176\n#### ovn-controller log:\n2022-06-03T00:56:44.897Z|16722|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:06:44.912Z|16723|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:16:44.925Z|16724|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:26:44.936Z|16725|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:36:44.959Z|16726|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:46:44.974Z|16727|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T01:56:44.988Z|16728|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:06:45.001Z|16729|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:16:45.025Z|16730|inc_proc_eng|INFO|User triggered force recompute.\n2022-06-03T02:26:45.040Z|16731|inc_proc_eng|INFO|User triggered force recompute.\n\n#### ovs-vswitchd log:\n2022-06-02T23:03:00.137Z|00079|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:f9d1\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-02T23:23:31.840Z|00080|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:15b2\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T00:09:15.659Z|00081|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:dc:e3:63,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.63.30,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:e5a5\n with metadata skb_priority(0),tunnel(tun_id=0x150017000004,src=192.168.137.178,dst=192.168.137.176,ttl=64,tp_src=9239,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.63.30,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T00:30:13.409Z|00064|dpif(handler2)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:6b4a\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n2022-06-03T02:02:33.832Z|00082|dpif(handler1)|WARN|system@ovs-system: execute ct(commit,zone=14,label=0/0x1,nat(src)),8 failed (Invalid argument) on packet icmp,vlan_tci=0x0000,dl_src=00:00:00:f8:07:c8,dl_dst=00:00:00:fa:1e:50,nw_src=10.16.0.5,nw_dst=10.16.0.10,nw_tos=0,nw_ecn=0,nw_ttl=64,icmp_type=8,icmp_code=0 icmp_csum:a819\n with metadata skb_priority(0),tunnel(tun_id=0x160017000004,src=192.168.137.177,dst=192.168.137.176,ttl=64,tp_src=38881,tp_dst=7471,flags(csum|key)),skb_mark(0),ct_state(0x21),ct_zone(0xe),ct_tuple4(src=10.16.0.5,dst=10.16.0.10,proto=1,tp_src=8,tp_dst=0),in_port(4) mtu 0\n\n#### ovs-vsctl show results:\n0d4c4675-c9cc-440a-8c1a-878e17f81b88\n    Bridge br-int\n        fail_mode: secure\n        datapath_type: system\n        Port a2c1a8a8b83a_h\n            Interface a2c1a8a8b83a_h\n        Port \"4fa5c4cbb1a5_h\"\n            Interface \"4fa5c4cbb1a5_h\"\n        Port ovn-eef07d-0\n            Interface ovn-eef07d-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.178\"}\n        Port ovn0\n            Interface ovn0\n                type: internal\n        Port \"04d03360e9a0_h\"\n            Interface \"04d03360e9a0_h\"\n        Port eeb4d9e51b5d_h\n            Interface eeb4d9e51b5d_h\n        Port mirror0\n            Interface mirror0\n                type: internal\n        Port \"8e5d887ccd80_h\"\n            Interface \"8e5d887ccd80_h\"\n        Port ovn-efa253-0\n            Interface ovn-efa253-0\n                type: stt\n                options: {csum=\"true\", key=flow, remote_ip=\"192.168.137.177\"}\n        Port \"17512d5be1f1_h\"\n            Interface \"17512d5be1f1_h\"\n        Port br-int\n            Interface br-int\n                type: internal\n    ovs_version: \"2.17.2\"\n\n#### pinger diagnose results:\nI0603 10:35:04.349404   17619 pinger.go:19]\n-------------------------------------------------------------------------------\nKube-OVN:\n  Version:       v1.13.0\n  Build:         2022-04-24_08:02:50\n  Commit:        git-73f9d15\n  Go Version:    go1.17.8\n  Arch:          amd64\n-------------------------------------------------------------------------------\nI0603 10:35:04.376797   17619 config.go:166] pinger config is &amp;{KubeConfigFile: KubeClient:0xc000493380 Port:8080 DaemonSetNamespace:kube-system DaemonSetName:kube-ovn-pinger Interval:5 Mode:job ExitCode:0 InternalDNS:kubernetes.default ExternalDNS: NodeName:liumengxin-ovn1-192.168.137.176 HostIP:192.168.137.176 PodName:kube-ovn-pinger-6ftdf PodIP:10.16.0.10 PodProtocols:[IPv4] ExternalAddress: NetworkMode:kube-ovn PollTimeout:2 PollInterval:15 SystemRunDir:/var/run/openvswitch DatabaseVswitchName:Open_vSwitch DatabaseVswitchSocketRemote:unix:/var/run/openvswitch/db.sock DatabaseVswitchFileDataPath:/etc/openvswitch/conf.db DatabaseVswitchFileLogPath:/var/log/openvswitch/ovsdb-server.log DatabaseVswitchFilePidPath:/var/run/openvswitch/ovsdb-server.pid DatabaseVswitchFileSystemIDPath:/etc/openvswitch/system-id.conf ServiceVswitchdFileLogPath:/var/log/openvswitch/ovs-vswitchd.log ServiceVswitchdFilePidPath:/var/run/openvswitch/ovs-vswitchd.pid ServiceOvnControllerFileLogPath:/var/log/ovn/ovn-controller.log ServiceOvnControllerFilePidPath:/var/run/ovn/ovn-controller.pid}\nI0603 10:35:04.449166   17619 exporter.go:75] liumengxin-ovn1-192.168.137.176: exporter connect successfully\nI0603 10:35:04.554011   17619 ovn.go:21] ovs-vswitchd and ovsdb are up\nI0603 10:35:04.651293   17619 ovn.go:33] ovn_controller is up\nI0603 10:35:04.651342   17619 ovn.go:39] start to check port binding\nI0603 10:35:04.749613   17619 ovn.go:135] chassis id is 1d7f3d6c-eec5-4b3c-adca-2969d9cdfd80\nI0603 10:35:04.763487   17619 ovn.go:49] port in sb is [node-liumengxin-ovn1-192.168.137.176 perf-6vxkn.default kube-state-metrics-5d6885d89-4nf8h.monitoring alertmanager-main-0.monitoring kube-ovn-pinger-6ftdf.kube-system fake-kubelet-67c55dfd89-pv86k.kube-system prometheus-k8s-0.monitoring]\nI0603 10:35:04.763583   17619 ovn.go:61] ovs and ovn-sb binding check passed\nI0603 10:35:05.049309   17619 ping.go:259] start to check apiserver connectivity\nI0603 10:35:05.053666   17619 ping.go:268] connect to apiserver success in 4.27ms\nI0603 10:35:05.053786   17619 ping.go:129] start to check pod connectivity\nI0603 10:35:05.249590   17619 ping.go:159] ping pod: kube-ovn-pinger-6ftdf 10.16.0.10, count: 3, loss count 0, average rtt 16.30ms\nI0603 10:35:05.354135   17619 ping.go:159] ping pod: kube-ovn-pinger-7twb4 10.16.63.30, count: 3, loss count 0, average rtt 1.81ms\nI0603 10:35:05.458460   17619 ping.go:159] ping pod: kube-ovn-pinger-vh2xg 10.16.0.5, count: 3, loss count 0, average rtt 1.92ms\nI0603 10:35:05.458523   17619 ping.go:83] start to check node connectivity\n</code></pre> <p>\u200b\u5982\u679c\u200b diagnose \u200b\u7684\u200b\u76ee\u6807\u200b\u6307\u5b9a\u200b\u4e3a\u200b subnet \u200b\u8be5\u200b\u811a\u672c\u200b\u4f1a\u200b\u5728\u200b subnet \u200b\u4e0a\u200b\u5efa\u7acb\u200b daemonset\uff0c\u200b\u7531\u200b <code>kube-ovn-pinger</code> \u200b\u53bb\u200b\u63a2\u6d4b\u200b\u8fd9\u4e2a\u200b daemonset \u200b\u7684\u200b\u6240\u6709\u200b pod \u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u548c\u200b\u7f51\u7edc\u5ef6\u65f6\u200b\uff0c\u200b\u6d4b\u8bd5\u200b\u5b8c\u540e\u200b\u81ea\u52a8\u200b\u9500\u6bc1\u200b\u8be5\u200b daemonset\u3002</p> <p>\u200b\u5982\u679c\u200b diagnose \u200b\u7684\u200b\u76ee\u6807\u200b\u6307\u5b9a\u200b\u4e3a\u200b IPPorts \u200b\u8be5\u200b\u811a\u672c\u200b\u4f1a\u200b\u8ba9\u200b\u6bcf\u4e2a\u200b <code>kube-ovn-pinger</code> pod \u200b\u53bb\u200b\u63a2\u6d4b\u200b\u76ee\u6807\u200b\u534f\u8bae\u200b\uff0cIP\uff0cPort \u200b\u662f\u5426\u200b\u53ef\u200b\u8fbe\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#tuning-install-fastpathlocal-install-fastpathremove-fastpathinstall-sttlocal-install-sttremove-stt-centos7centos8-kernel-devel-version","title":"tuning {install-fastpath|local-install-fastpath|remove-fastpath|install-stt|local-install-stt|remove-stt} {centos7|centos8}} [kernel-devel-version]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u6267\u884c\u200b\u6027\u80fd\u200b\u8c03\u4f18\u200b\u76f8\u5173\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u5177\u4f53\u200b\u4f7f\u7528\u200b\u8bf7\u200b\u53c2\u8003\u200b\u6027\u80fd\u200b\u8c03\u4f18\u200b\u3002</p>"},{"location":"ops/kubectl-ko/#reload","title":"reload","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u91cd\u542f\u200b\u6240\u6709\u200b Kube-OVN \u200b\u76f8\u5173\u200b\u7ec4\u4ef6\u200b\uff1a</p> <pre><code># kubectl ko reload\npod \"ovn-central-8684dd94bd-vzgcr\" deleted\nWaiting for deployment \"ovn-central\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"ovn-central\" successfully rolled out\npod \"ovs-ovn-bsnvz\" deleted\npod \"ovs-ovn-m9b98\" deleted\npod \"kube-ovn-controller-8459db5ff4-64c62\" deleted\nWaiting for deployment \"kube-ovn-controller\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"kube-ovn-controller\" successfully rolled out\npod \"kube-ovn-cni-2klnh\" deleted\npod \"kube-ovn-cni-t2jz4\" deleted\nWaiting for daemon set \"kube-ovn-cni\" rollout to finish: 0 of 2 updated pods are available...\nWaiting for daemon set \"kube-ovn-cni\" rollout to finish: 1 of 2 updated pods are available...\ndaemon set \"kube-ovn-cni\" successfully rolled out\npod \"kube-ovn-pinger-ln72z\" deleted\npod \"kube-ovn-pinger-w8lrk\" deleted\nWaiting for daemon set \"kube-ovn-pinger\" rollout to finish: 0 of 2 updated pods are available...\nWaiting for daemon set \"kube-ovn-pinger\" rollout to finish: 1 of 2 updated pods are available...\ndaemon set \"kube-ovn-pinger\" successfully rolled out\npod \"kube-ovn-monitor-7fb67d5488-7q6zb\" deleted\nWaiting for deployment \"kube-ovn-monitor\" rollout to finish: 0 of 1 updated replicas are available...\ndeployment \"kube-ovn-monitor\" successfully rolled out\n</code></pre>"},{"location":"ops/kubectl-ko/#log","title":"log","text":"<p>\u200b\u4f7f\u7528\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u6293\u53d6\u200b kube-ovn \u200b\u6240\u6709\u200b\u8282\u70b9\u200b\u4e0a\u200b\u7684\u200b Kube-OVN\uff0cOVN\uff0cOpenvswitch \u200b\u7684\u200b log \u200b\u4ee5\u53ca\u200b linux \u200b\u5e38\u7528\u200b\u7684\u200b\u4e00\u4e9b\u200b debug \u200b\u4fe1\u606f\u200b\u3002</p> <pre><code># kubectl ko log all\nCollecting kube-ovn logging files\nCollecting ovn logging files\nCollecting openvswitch logging files\nCollecting linux dmesg files\nCollecting linux iptables-legacy files\nCollecting linux iptables-nft files\nCollecting linux route files\nCollecting linux link files\nCollecting linux neigh files\nCollecting linux memory files\nCollecting linux top files\nCollecting linux sysctl files\nCollecting linux netstat files\nCollecting linux addr files\nCollecting linux ipset files\nCollecting linux tcp files\nCollected files have been saved in the directory /root/kubectl-ko-log\n</code></pre> <p>\u200b\u76ee\u5f55\u200b\u5982\u4e0b\u200b\uff1a</p> <pre><code># tree kubectl-ko-log/\nkubectl-ko-log/\n|-- kube-ovn-control-plane\n|   |-- kube-ovn\n|   |   |-- kube-ovn-cni.log\n|   |   |-- kube-ovn-monitor.log\n|   |   `-- kube-ovn-pinger.log\n|   |-- linux\n|   |   |-- addr.log\n|   |   |-- dmesg.log\n|   |   |-- ipset.log\n|   |   |-- iptables-legacy.log\n|   |   |-- iptables-nft.log\n|   |   |-- link.log\n|   |   |-- memory.log\n|   |   |-- neigh.log\n|   |   |-- netstat.log\n|   |   |-- route.log\n|   |   |-- sysctl.log\n|   |   |-- tcp.log\n|   |   `-- top.log\n|   |-- openvswitch\n|   |   |-- ovs-vswitchd.log\n|   |   `-- ovsdb-server.log\n|   `-- ovn\n|       |-- ovn-controller.log\n|       |-- ovn-northd.log\n|       |-- ovsdb-server-nb.log\n|       `-- ovsdb-server-sb.log\n</code></pre>"},{"location":"ops/kubectl-ko/#perf-image","title":"perf [image]","text":"<p>\u200b\u8be5\u200b\u547d\u4ee4\u200b\u4f1a\u200b\u53bb\u200b\u6d4b\u8bd5\u200b Kube-OVN \u200b\u7684\u200b\u4e00\u4e9b\u200b\u6027\u80fd\u6307\u6807\u200b\u5982\u4e0b\u200b\uff1a</p> <ol> <li>\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u6027\u80fd\u6307\u6807\u200b\uff1b</li> <li>Hostnetwork \u200b\u7f51\u7edc\u200b\u6027\u80fd\u6307\u6807\u200b\uff1b</li> <li>\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7ec4\u200b\u64ad\u62a5\u200b\u6587\u200b\u6027\u80fd\u6307\u6807\u200b\uff1b</li> <li>OVN-NB, OVN-SB, OVN-Northd leader \u200b\u5220\u9664\u200b\u6062\u590d\u200b\u6240\u200b\u9700\u200b\u65f6\u95f4\u200b\u3002</li> </ol> <p>\u200b\u53c2\u6570\u200b image \u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b\u6027\u80fd\u200b\u6d4b\u8bd5\u200b pod \u200b\u6240\u7528\u200b\u7684\u200b\u955c\u50cf\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u662f\u200b <code>kubeovn/test:v1.12.0</code>, \u200b\u8bbe\u7f6e\u200b\u8be5\u200b\u53c2\u6570\u200b\u4e3b\u8981\u200b\u662f\u200b\u4e3a\u4e86\u200b\u79bb\u7ebf\u200b\u573a\u666f\u200b\uff0c\u200b\u5c06\u200b\u955c\u50cf\u200b\u62c9\u5230\u200b\u5185\u7f51\u200b\u73af\u5883\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u6709\u200b\u955c\u50cf\u200b\u540d\u200b\u53d8\u5316\u200b\u3002</p> <pre><code># kubectl ko perf\n============================== Prepareing Performance Test Resources ===============================\npod/test-client created\npod/test-host-client created\npod/test-server created\npod/test-host-server created\nservice/test-server created\npod/test-client condition met\npod/test-host-client condition met\npod/test-host-server condition met\npod/test-server condition met\n====================================================================================================\n============================ Start Pod Network Unicast Performance Test ============================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              82.8 us         97.7 Mbits/sec  67.6 us         (0%)            8.42 Mbits/sec\n128             85.4 us         167 Mbits/sec   67.2 us         (0%)            17.2 Mbits/sec\n512             85.8 us         440 Mbits/sec   68.7 us         (0%)            68.4 Mbits/sec\n1k              85.1 us         567 Mbits/sec   68.7 us         (0%)            134 Mbits/sec\n4k              138 us          826 Mbits/sec   78.1 us         (1.4%)          503 Mbits/sec\n====================================================================================================\n=============================== Start Host Network Performance Test ================================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              49.7 us         120 Mbits/sec   37.9 us         (0%)            18.6 Mbits/sec\n128             49.7 us         200 Mbits/sec   38.1 us         (0%)            35.5 Mbits/sec\n512             51.9 us         588 Mbits/sec   38.9 us         (0%)            142 Mbits/sec\n1k              51.7 us         944 Mbits/sec   37.2 us         (0%)            279 Mbits/sec\n4k              74.9 us         1.66 Gbits/sec  39.9 us         (0%)            1.20 Gbits/sec\n====================================================================================================\n============================== Start Service Network Performance Test ==============================\nSize            TCP Latency     TCP Bandwidth   UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              111 us          96.3 Mbits/sec  88.4 us         (0%)            7.59 Mbits/sec\n128             83.7 us         150 Mbits/sec   69.2 us         (0%)            16.9 Mbits/sec\n512             87.4 us         374 Mbits/sec   75.8 us         (0%)            60.9 Mbits/sec\n1k              88.2 us         521 Mbits/sec   73.1 us         (0%)            123 Mbits/sec\n4k              148 us          813 Mbits/sec   77.6 us         (0.0044%)       451 Mbits/sec\n====================================================================================================\n=========================== Start Pod Multicast Network Performance Test ===========================\nSize            UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              0.014 ms        (0.17%)         5.80 Mbits/sec\n128             0.012 ms        (0%)            11.4 Mbits/sec\n512             0.016 ms        (0%)            46.1 Mbits/sec\n1k              0.023 ms        (0.073%)        89.8 Mbits/sec\n4k              0.035 ms        (1.3%)          126 Mbits/sec\n====================================================================================================\n============================= Start Host Multicast Network Performance =============================\nSize            UDP Latency     UDP Lost Rate   UDP Bandwidth\n64              0.007 ms        (0%)            9.95 Mbits/sec\n128             0.005 ms        (0%)            21.8 Mbits/sec\n512             0.008 ms        (0%)            86.8 Mbits/sec\n1k              0.013 ms        (0.045%)        168 Mbits/sec\n4k              0.010 ms        (0.31%)         242 Mbits/sec\n====================================================================================================\n================================== Start Leader Recover Time Test ==================================\nDelete ovn central nb pod\npod \"ovn-central-5cb9c67d75-tlz9w\" deleted\nWaiting for ovn central nb pod running\n=============================== OVN nb Recovery takes 3.305236803 s ================================\nDelete ovn central sb pod\npod \"ovn-central-5cb9c67d75-szx4c\" deleted\nWaiting for ovn central sb pod running\n=============================== OVN sb Recovery takes 3.462698535 s ================================\nDelete ovn central northd pod\npod \"ovn-central-5cb9c67d75-zqmqv\" deleted\nWaiting for ovn central northd pod running\n============================= OVN northd Recovery takes 2.691291403 s ==============================\n====================================================================================================\n================================= Remove Performance Test Resource =================================\nrm -f unicast-test-client.log\nrm -f unicast-test-host-client.log\nrm -f unicast-test-client.log\nkubectl ko nbctl lb-del test-server\nrm -f multicast-test-server.log\nkubectl exec ovs-ovn-gxdrf -n kube-system -- ip maddr del 01:00:5e:00:00:64 dev eth0\nkubectl exec ovs-ovn-h57bf -n kube-system -- ip maddr del 01:00:5e:00:00:64 dev eth0\nrm -f multicast-test-host-server.log\npod \"test-client\" deleted\npod \"test-host-client\" deleted\npod \"test-host-server\" deleted\npod \"test-server\" deleted\nservice \"test-server\" deleted\n====================================================================================================\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"ops/recover-db/","title":"OVN \u200b\u6570\u636e\u5e93\u200b\u5907\u4efd\u200b\u548c\u200b\u6062\u590d","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b\u5982\u4f55\u200b\u8fdb\u884c\u200b\u6570\u636e\u5e93\u200b\u5907\u4efd\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5728\u200b\u4e0d\u540c\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u5982\u4f55\u200b\u901a\u8fc7\u200b\u5df2\u6709\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u96c6\u7fa4\u200b\u6062\u590d\u200b\u3002</p>"},{"location":"ops/recover-db/#_1","title":"\u6570\u636e\u5e93\u200b\u5907\u4efd","text":"<p>\u200b\u5229\u7528\u200b kubectl \u200b\u63d2\u4ef6\u200b\u7684\u200b backup \u200b\u547d\u4ee4\u200b\u53ef\u4ee5\u200b\u5bf9\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u5907\u4efd\u200b\uff0c\u200b\u4ee5\u200b\u7528\u4e8e\u200b\u6545\u969c\u200b\u65f6\u200b\u6062\u590d\u200b\uff1a</p> <pre><code># kubectl ko nb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnnb_db.060223191654183154.backup\n\n# kubectl ko sb backup\ntar: Removing leading `/' from member names\nbackup ovn-nb db to /root/ovnsb_db.060223191654183154.backup\n</code></pre>"},{"location":"ops/recover-db/#_2","title":"\u96c6\u7fa4\u200b\u90e8\u5206\u200b\u6545\u969c\u200b\u6062\u590d","text":"<p>\u200b\u82e5\u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u5b58\u5728\u200b\u90e8\u5206\u200b\u8282\u70b9\u200b\u56e0\u4e3a\u200b\u65ad\u7535\u200b\uff0c\u200b\u6587\u4ef6\u7cfb\u7edf\u200b\u6545\u969c\u200b\u6216\u200b\u78c1\u76d8\u7a7a\u95f4\u200b\u4e0d\u8db3\u200b\u5bfc\u81f4\u200b\u5de5\u4f5c\u200b\u5f02\u5e38\u200b\uff0c \u200b\u4f46\u662f\u200b\u96c6\u7fa4\u200b\u4ecd\u200b\u53ef\u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u5982\u4e0b\u200b\u6b65\u9aa4\u200b\u8fdb\u884c\u200b\u6062\u590d\u200b\u3002</p>"},{"location":"ops/recover-db/#_3","title":"\u67e5\u770b\u200b\u65e5\u5fd7\u200b\u786e\u8ba4\u200b\u72b6\u6001\u200b\u5f02\u5e38","text":"<p>\u200b\u67e5\u770b\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b <code>/var/log/ovn/ovn-northd.log</code>\uff0c\u200b\u82e5\u200b\u63d0\u793a\u200b\u7c7b\u4f3c\u200b\u9519\u8bef\u200b\u5219\u200b\u53ef\u200b\u5224\u65ad\u200b\u6570\u636e\u5e93\u200b\u5b58\u5728\u200b\u5f02\u5e38\u200b</p> <pre><code> * ovn-northd is not running\novsdb-server: ovsdb error: error reading record 2739 from OVN_Northbound log: record 2739 advances commit index to 6308 but last log index is 6307\n * Starting ovsdb-nb\n</code></pre>"},{"location":"ops/recover-db/#_4","title":"\u4ece\u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u8e22\u200b\u51fa\u200b\u5bf9\u5e94\u200b\u8282\u70b9","text":"<p>\u200b\u6839\u636e\u200b\u65e5\u5fd7\u200b\u63d0\u793a\u200b\u662f\u200b <code>OVN_Northbound</code> \u200b\u8fd8\u662f\u200b <code>OVN_Southbound</code> \u200b\u9009\u62e9\u200b\u5bf9\u5e94\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\u3002 \u200b\u4e0a\u8ff0\u200b\u65e5\u5fd7\u200b\u63d0\u793a\u200b\u4e3a\u200b <code>OVN_Northbound</code> \u200b\u5219\u200b\u5bf9\u200b ovn-nb \u200b\u8fdb\u884c\u200b\u64cd\u4f5c\u200b\uff1a</p> <pre><code># kubectl ko nb status\n9182\nName: OVN_Northbound\nCluster ID: e75f (e75fa340-49ed-45ab-990e-26cb865ebc85)\nServer ID: 9182 (9182e8dd-b5b0-4dd8-8518-598cc1e374f3)\nAddress: tcp:[10.0.128.61]:6643\nStatus: cluster member\nRole: leader\nTerm: 1454\nLeader: self\nVote: self\n\nLast Election started 1732603 ms ago, reason: timeout\nLast Election won: 1732587 ms ago\nElection timer: 1000\nLog: [7332, 12512]\nEntries not yet committed: 1\nEntries not yet applied: 1\nConnections: -&gt;f080 &lt;-f080 &lt;-e631 -&gt;e631\nDisconnections: 1\nServers:\n    f080 (f080 at tcp:[10.0.129.139]:6643) next_index=12512 match_index=12510 last msg 63 ms ago\n    9182 (9182 at tcp:[10.0.128.61]:6643) (self) next_index=10394 match_index=12510\n    e631 (e631 at tcp:[10.0.131.173]:6643) next_index=12512 match_index=0\n</code></pre> <p>\u200b\u4ece\u200b\u96c6\u7fa4\u200b\u4e2d\u200b\u8e22\u200b\u51fa\u200b\u72b6\u6001\u200b\u5f02\u5e38\u200b\u8282\u70b9\u200b\uff1a</p> <pre><code>kubectl ko nb kick e631\n</code></pre> <p>\u200b\u767b\u5f55\u200b\u5f02\u5e38\u200b\u8282\u70b9\u200b\uff0c\u200b\u5220\u9664\u200b\u5bf9\u5e94\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\uff1a</p> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\n</code></pre> <p>\u200b\u5220\u9664\u200b\u5bf9\u5e94\u200b\u8282\u70b9\u200b\u7684\u200b <code>ovn-central</code> Pod\uff0c\u200b\u7b49\u5f85\u200b\u96c6\u7fa4\u200b\u81ea\u52a8\u200b\u6062\u590d\u200b\uff1a</p> <pre><code>kubectl delete pod -n kube-system ovn-central-xxxx\n</code></pre>"},{"location":"ops/recover-db/#_5","title":"\u96c6\u7fa4\u200b\u4e0d\u80fd\u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\u4e0b\u200b\u7684\u200b\u6062\u590d","text":"<p>\u200b\u82e5\u200b\u96c6\u7fa4\u200b\u591a\u6570\u200b\u8282\u70b9\u200b\u53d7\u635f\u200b\u65e0\u6cd5\u200b\u9009\u4e3e\u200b\u51fa\u200b leader\uff0c\u200b\u8bf7\u200b\u53c2\u7167\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u8fdb\u884c\u200b\u6062\u590d\u200b\u3002</p>"},{"location":"ops/recover-db/#ovn-central","title":"\u505c\u6b62\u200b ovn-central","text":"<p>\u200b\u8bb0\u5f55\u200b\u5f53\u524d\u200b <code>ovn-central</code> \u200b\u526f\u672c\u200b\u6570\u91cf\u200b\uff0c\u200b\u5e76\u200b\u505c\u6b62\u200b <code>ovn-central</code> \u200b\u907f\u514d\u200b\u65b0\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u53d8\u66f4\u200b\u5f71\u54cd\u200b\u6062\u590d\u200b\uff1a</p> <pre><code>kubectl scale deployment -n kube-system ovn-central --replicas=0\n</code></pre>"},{"location":"ops/recover-db/#_6","title":"\u9009\u62e9\u200b\u5907\u4efd","text":"<p>\u200b\u7531\u4e8e\u200b\u591a\u6570\u200b\u8282\u70b9\u200b\u53d7\u635f\u200b\uff0c\u200b\u9700\u8981\u200b\u4ece\u200b\u67d0\u4e2a\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u6062\u590d\u200b\u91cd\u5efa\u200b\u96c6\u7fa4\u200b\u3002\u200b\u5982\u679c\u200b\u4e4b\u524d\u200b\u5907\u4efd\u200b\u8fc7\u200b\u6570\u636e\u5e93\u200b \u200b\u53ef\u200b\u4f7f\u7528\u200b\u4e4b\u524d\u200b\u7684\u200b\u5907\u4efd\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u6062\u590d\u200b\u3002\u200b\u5982\u679c\u200b\u6ca1\u6709\u200b\u8fdb\u884c\u200b\u8fc7\u200b\u5907\u4efd\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u6b65\u9aa4\u200b\u4ece\u200b\u5df2\u6709\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b \u200b\u4e2d\u200b\u751f\u6210\u200b\u4e00\u4e2a\u200b\u5907\u4efd\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u9ed8\u8ba4\u200b\u6587\u4ef6\u5939\u200b\u4e0b\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u683c\u5f0f\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\uff0c\u200b\u5305\u542b\u200b\u5f53\u524d\u200b\u96c6\u7fa4\u200b\u7684\u200b\u4fe1\u606f\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u76f4\u63a5\u200b \u200b\u7528\u8be5\u200b\u6587\u4ef6\u200b\u91cd\u5efa\u200b\u6570\u636e\u5e93\u200b\uff0c\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b <code>ovsdb-tool cluster-to-standalone</code> \u200b\u8fdb\u884c\u200b\u683c\u5f0f\u200b\u8f6c\u6362\u200b\u3002</p> <p>\u200b\u9009\u62e9\u200b <code>ovn-central</code> \u200b\u73af\u5883\u53d8\u91cf\u200b <code>NODE_IPS</code> \u200b\u4e2d\u6392\u200b\u7b2c\u4e00\u200b\u7684\u200b\u8282\u70b9\u200b\u6062\u590d\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\uff0c \u200b\u5982\u679c\u200b\u7b2c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u5df2\u635f\u574f\u200b\uff0c\u200b\u4ece\u200b\u5176\u4ed6\u200b\u673a\u5668\u200b <code>/etc/origin/ovn</code> \u200b\u4e0b\u200b\u590d\u5236\u200b\u6587\u4ef6\u200b\u5230\u200b\u7b2c\u4e00\u53f0\u200b\u673a\u5668\u200b \uff0c \u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\u751f\u6210\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u5907\u4efd\u200b\u3002</p> <pre><code>docker run -it -v /etc/origin/ovn:/etc/ovn kubeovn/kube-ovn:v1.13.0 bash\ncd /etc/ovn/\novsdb-tool cluster-to-standalone ovnnb_db_standalone.db ovnnb_db.db\novsdb-tool cluster-to-standalone ovnsb_db_standalone.db ovnsb_db.db\n</code></pre>"},{"location":"ops/recover-db/#ovn-central_1","title":"\u5220\u9664\u200b\u6bcf\u4e2a\u200b ovn-central \u200b\u8282\u70b9\u200b\u4e0a\u200b\u7684\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6","text":"<p>\u200b\u4e3a\u4e86\u200b\u907f\u514d\u200b\u91cd\u5efa\u200b\u96c6\u7fa4\u200b\u65f6\u200b\u4f7f\u7528\u200b\u5230\u200b\u9519\u8bef\u200b\u7684\u200b\u6570\u636e\u200b\uff0c\u200b\u9700\u8981\u200b\u5bf9\u200b\u5df2\u6709\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u8fdb\u884c\u200b\u6e05\u7406\u200b\uff1a</p> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\nmv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre>"},{"location":"ops/recover-db/#_7","title":"\u6062\u590d\u200b\u6570\u636e\u5e93\u200b\u96c6\u7fa4","text":"<p>\u200b\u5c06\u200b\u5907\u4efd\u200b\u6570\u636e\u5e93\u200b\u5206\u522b\u200b\u91cd\u547d\u540d\u200b\u4e3a\u200b <code>ovnnb_db.db</code> \u200b\u548c\u200b <code>ovnsb_db.db</code>\uff0c\u200b\u5e76\u200b\u590d\u5236\u5230\u200b <code>ovn-central</code>  \u200b\u73af\u5883\u53d8\u91cf\u200b <code>NODE_IPS</code> \u200b\u4e2d\u6392\u200b\u7b2c\u4e00\u200b\u673a\u5668\u200b\u7684\u200b <code>/etc/origin/ovn/</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\uff1a</p> <pre><code>mv /etc/origin/ovn/ovnnb_db_standalone.db /etc/origin/ovn/ovnnb_db.db\nmv /etc/origin/ovn/ovnsb_db_standalone.db /etc/origin/ovn/ovnsb_db.db\n</code></pre> <p>\u200b\u6062\u590d\u200b <code>ovn-central</code> \u200b\u7684\u200b\u526f\u672c\u200b\u6570\u200b\uff1a</p> <pre><code>kubectl scale deployment -n kube-system ovn-central --replicas=3\nkubectl rollout status deployment/ovn-central -n kube-system\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/architecture/","title":"\u603b\u4f53\u200b\u67b6\u6784","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u200b\u4ecb\u7ecd\u200b Kube-OVN \u200b\u7684\u200b\u603b\u4f53\u200b\u67b6\u6784\u200b\uff0c\u200b\u548c\u200b\u5404\u4e2a\u200b\u7ec4\u4ef6\u200b\u7684\u200b\u529f\u80fd\u200b\u4ee5\u53ca\u200b\u5176\u200b\u4e4b\u95f4\u200b\u7684\u200b\u4ea4\u4e92\u200b\u3002</p> <p>\u200b\u603b\u4f53\u200b\u6765\u770b\u200b\uff0cKube-OVN \u200b\u4f5c\u4e3a\u200b Kubernetes \u200b\u548c\u200b OVN \u200b\u4e4b\u95f4\u200b\u7684\u200b\u4e00\u4e2a\u200b\u6865\u6881\u200b\uff0c\u200b\u5c06\u200b\u6210\u719f\u200b\u7684\u200b SDN \u200b\u548c\u200b\u4e91\u200b\u539f\u751f\u200b\u76f8\u7ed3\u5408\u200b\u3002 \u200b\u8fd9\u200b\u610f\u5473\u7740\u200b Kube-OVN \u200b\u4e0d\u4ec5\u200b\u901a\u8fc7\u200b OVN \u200b\u5b9e\u73b0\u200b\u4e86\u200b Kubernetes \u200b\u4e0b\u200b\u7684\u200b\u7f51\u7edc\u200b\u89c4\u8303\u200b\uff0c\u200b\u4f8b\u5982\u200b CNI\uff0cService \u200b\u548c\u200b Networkpolicy\uff0c\u200b\u8fd8\u200b\u5c06\u200b\u5927\u91cf\u200b\u7684\u200b SDN \u200b\u9886\u57df\u200b\u80fd\u529b\u200b\u5e26\u5165\u200b\u4e91\u200b\u539f\u751f\u200b\uff0c\u200b\u4f8b\u5982\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\uff0c\u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\uff0cVPC\uff0c\u200b\u7f51\u5173\u200b\uff0cQoS\uff0cACL \u200b\u548c\u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b\u3002</p> <p>\u200b\u540c\u65f6\u200b Kube-OVN \u200b\u8fd8\u200b\u4fdd\u6301\u200b\u4e86\u200b\u826f\u597d\u200b\u7684\u200b\u5f00\u653e\u6027\u200b\u53ef\u4ee5\u200b\u548c\u200b\u8bf8\u591a\u200b\u6280\u672f\u200b\u65b9\u6848\u200b\u96c6\u6210\u200b\uff0c\u200b\u4f8b\u5982\u200b Cilium\uff0cSubmariner\uff0cPrometheus\uff0cKubeVirt \u200b\u7b49\u7b49\u200b\u3002</p>"},{"location":"reference/architecture/#_2","title":"\u7ec4\u4ef6\u200b\u4ecb\u7ecd","text":"<p>Kube-OVN \u200b\u7684\u200b\u7ec4\u4ef6\u200b\u53ef\u4ee5\u200b\u5927\u81f4\u200b\u5206\u4e3a\u200b\u4e09\u7c7b\u200b\uff1a</p> <ul> <li>\u200b\u4e0a\u6e38\u200b OVN/OVS \u200b\u7ec4\u4ef6\u200b\u3002</li> <li>\u200b\u6838\u5fc3\u200b\u63a7\u5236\u5668\u200b\u548c\u200b Agent\u3002</li> <li>\u200b\u76d1\u63a7\u200b\uff0c\u200b\u8fd0\u7ef4\u200b\u5de5\u5177\u200b\u548c\u200b\u6269\u5c55\u200b\u7ec4\u4ef6\u200b\u3002</li> </ul> <p></p>"},{"location":"reference/architecture/#ovnovs","title":"\u4e0a\u6e38\u200b OVN/OVS \u200b\u7ec4\u4ef6","text":"<p>\u200b\u8be5\u200b\u7c7b\u578b\u200b\u7ec4\u4ef6\u200b\u6765\u81ea\u200b OVN/OVS \u200b\u793e\u533a\u200b\uff0c\u200b\u5e76\u200b\u9488\u5bf9\u200b Kube-OVN \u200b\u7684\u200b\u4f7f\u7528\u200b\u573a\u666f\u200b\u505a\u200b\u4e86\u200b\u7279\u5b9a\u200b\u4fee\u6539\u200b\u3002 OVN/OVS \u200b\u672c\u8eab\u200b\u662f\u200b\u4e00\u5957\u200b\u6210\u719f\u200b\u7684\u200b\u7ba1\u7406\u200b\u865a\u673a\u200b\u548c\u200b\u5bb9\u5668\u200b\u7684\u200b SDN \u200b\u7cfb\u7edf\u200b\uff0c\u200b\u6211\u4eec\u200b\u5f3a\u70c8\u5efa\u8bae\u200b \u200b\u5bf9\u200b Kube-OVN \u200b\u5b9e\u73b0\u200b\u611f\u5174\u8da3\u200b\u7684\u200b\u7528\u6237\u200b\u5148\u53bb\u200b\u8bfb\u200b\u4e00\u4e0b\u200b ovn-architecture(7) \u200b\u6765\u200b\u4e86\u89e3\u200b\u4ec0\u4e48\u200b\u662f\u200b OVN \u200b\u4ee5\u53ca\u200b \u200b\u5982\u4f55\u200b\u548c\u200b\u5b83\u200b\u8fdb\u884c\u200b\u96c6\u6210\u200b\u3002Kube-OVN \u200b\u4f7f\u7528\u200b OVN \u200b\u7684\u200b\u5317\u5411\u200b\u63a5\u53e3\u200b\u521b\u5efa\u200b\u548c\u200b\u8c03\u6574\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u5176\u4e2d\u200b\u7684\u200b\u7f51\u7edc\u200b\u6982\u5ff5\u200b\u6620\u5c04\u200b\u5230\u200b Kubernetes \u200b\u4e4b\u5185\u200b\u3002</p> <p>\u200b\u6240\u6709\u200b OVN/OVS \u200b\u76f8\u5173\u200b\u7ec4\u4ef6\u200b\u90fd\u200b\u5df2\u200b\u6253\u5305\u200b\u6210\u200b\u5bf9\u5e94\u200b\u955c\u50cf\u200b\uff0c\u200b\u5e76\u200b\u53ef\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u8fd0\u884c\u200b\u3002</p>"},{"location":"reference/architecture/#ovn-central","title":"ovn-central","text":"<p><code>ovn-central</code> Deployment \u200b\u8fd0\u884c\u200b OVN \u200b\u7684\u200b\u7ba1\u7406\u200b\u5e73\u9762\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u5305\u62ec\u200b <code>ovn-nb</code>, <code>ovn-sb</code>, \u200b\u548c\u200b <code>ovn-northd</code>\u3002</p> <ul> <li><code>ovn-nb</code>\uff1a \u200b\u4fdd\u5b58\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\uff0c\u200b\u5e76\u200b\u63d0\u4f9b\u200b API \u200b\u8fdb\u884c\u200b\u865a\u62df\u200b\u7f51\u7edc\u7ba1\u7406\u200b\u3002<code>kube-ovn-controller</code> \u200b\u5c06\u4f1a\u200b\u4e3b\u8981\u200b\u548c\u200b <code>ovn-nb</code> \u200b\u8fdb\u884c\u200b\u4ea4\u4e92\u200b\u914d\u7f6e\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u3002</li> <li><code>ovn-sb</code>\uff1a \u200b\u4fdd\u5b58\u200b\u4ece\u200b <code>ovn-nb</code> \u200b\u7684\u200b\u903b\u8f91\u200b\u7f51\u7edc\u200b\u751f\u6210\u200b\u7684\u200b\u903b\u8f91\u200b\u6d41\u8868\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5404\u4e2a\u200b\u8282\u70b9\u200b\u7684\u200b\u5b9e\u9645\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u72b6\u6001\u200b\u3002</li> <li><code>ovn-northd</code>\uff1a\u200b\u5c06\u200b <code>ovn-nb</code> \u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u7ffb\u8bd1\u6210\u200b <code>ovn-sb</code> \u200b\u4e2d\u200b\u7684\u200b\u903b\u8f91\u200b\u6d41\u8868\u200b\u3002</li> </ul> <p>\u200b\u591a\u4e2a\u200b <code>ovn-central</code> \u200b\u5b9e\u4f8b\u200b\u4f1a\u200b\u901a\u8fc7\u200b Raft \u200b\u534f\u8bae\u200b\u540c\u6b65\u200b\u6570\u636e\u200b\u4fdd\u8bc1\u200b\u9ad8\u200b\u53ef\u7528\u200b\u3002</p>"},{"location":"reference/architecture/#ovs-ovn","title":"ovs-ovn","text":"<p><code>ovs-ovn</code> \u200b\u4ee5\u200b DaemonSet \u200b\u5f62\u5f0f\u200b\u8fd0\u884c\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\uff0c\u200b\u5728\u200b Pod \u200b\u5185\u200b\u8fd0\u884c\u200b\u4e86\u200b <code>openvswitch</code>, <code>ovsdb</code>, \u200b\u548c\u200b <code>ovn-controller</code>\u3002\u200b\u8fd9\u4e9b\u200b\u7ec4\u4ef6\u200b\u4f5c\u4e3a\u200b <code>ovn-central</code> \u200b\u7684\u200b Agent \u200b\u5c06\u200b\u903b\u8f91\u200b\u6d41\u8868\u200b\u7ffb\u8bd1\u6210\u200b\u771f\u5b9e\u200b\u7684\u200b\u7f51\u7edc\u200b\u914d\u7f6e\u200b\u3002</p>"},{"location":"reference/architecture/#agent","title":"\u6838\u5fc3\u200b\u63a7\u5236\u5668\u200b\u548c\u200b Agent","text":"<p>\u200b\u8be5\u200b\u90e8\u5206\u200b\u4e3a\u200b Kube-OVN \u200b\u7684\u200b\u6838\u5fc3\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u4f5c\u4e3a\u200b OVN \u200b\u548c\u200b Kubernetes \u200b\u4e4b\u95f4\u200b\u7684\u200b\u4e00\u4e2a\u200b\u6865\u6881\u200b\uff0c\u200b\u5c06\u200b\u4e24\u4e2a\u200b\u7cfb\u7edf\u200b\u6253\u901a\u200b\u5e76\u200b\u5c06\u200b\u7f51\u7edc\u200b\u6982\u5ff5\u200b\u8fdb\u884c\u200b\u76f8\u4e92\u200b\u8f6c\u6362\u200b\u3002 \u200b\u5927\u90e8\u5206\u200b\u7684\u200b\u6838\u5fc3\u200b\u529f\u80fd\u200b\u90fd\u200b\u5728\u200b\u8be5\u200b\u90e8\u5206\u200b\u7ec4\u4ef6\u200b\u4e2d\u200b\u5b9e\u73b0\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-controller","title":"kube-ovn-controller","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b Deployment \u200b\u6267\u884c\u200b\u6240\u6709\u200b Kubernetes \u200b\u5185\u200b\u8d44\u6e90\u200b\u5230\u200b OVN \u200b\u8d44\u6e90\u200b\u7684\u200b\u7ffb\u8bd1\u200b\u5de5\u4f5c\u200b\uff0c\u200b\u5176\u200b\u4f5c\u7528\u200b\u76f8\u5f53\u4e8e\u200b\u6574\u4e2a\u200b Kube-OVN \u200b\u7cfb\u7edf\u200b\u7684\u200b\u63a7\u5236\u200b\u5e73\u9762\u200b\u3002 <code>kube-ovn-controller</code> \u200b\u76d1\u542c\u200b\u4e86\u200b\u6240\u6709\u200b\u548c\u200b\u7f51\u7edc\u200b\u529f\u80fd\u200b\u76f8\u5173\u200b\u8d44\u6e90\u200b\u7684\u200b\u4e8b\u4ef6\u200b\uff0c\u200b\u5e76\u200b\u6839\u636e\u200b\u8d44\u6e90\u200b\u53d8\u5316\u200b\u60c5\u51b5\u200b\u66f4\u65b0\u200b OVN \u200b\u5185\u200b\u7684\u200b\u903b\u8f91\u200b\u7f51\u7edc\u200b\u3002\u200b\u4e3b\u8981\u200b\u76d1\u542c\u200b\u7684\u200b\u8d44\u6e90\u200b\u5305\u62ec\u200b\uff1a Pod\uff0cService\uff0cEndpoint\uff0cNode\uff0cNetworkPolicy\uff0cVPC\uff0cSubnet\uff0cVlan\uff0cProviderNetwork\u3002</p> <p>\u200b\u4ee5\u200b Pod \u200b\u4e8b\u4ef6\u200b\u4e3a\u4f8b\u200b\uff0c <code>kube-ovn-controller</code> \u200b\u76d1\u542c\u200b\u5230\u200b Pod \u200b\u521b\u5efa\u200b\u4e8b\u4ef6\u200b\u540e\u200b\uff0c\u200b\u901a\u8fc7\u200b\u5185\u7f6e\u200b\u7684\u200b\u5185\u5b58\u200b IPAM \u200b\u529f\u80fd\u200b\u5206\u914d\u200b\u5730\u5740\u200b\uff0c\u200b\u5e76\u200b\u8c03\u7528\u200b <code>ovn-central</code> \u200b\u521b\u5efa\u200b \u200b\u903b\u8f91\u200b\u7aef\u53e3\u200b\uff0c\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u548c\u200b\u53ef\u80fd\u200b\u7684\u200b ACL \u200b\u89c4\u5219\u200b\u3002\u200b\u63a5\u4e0b\u6765\u200b <code>kube-ovn-controller</code> \u200b\u5c06\u200b\u5206\u914d\u200b\u5230\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u548c\u200b\u5b50\u7f51\u200b\u4fe1\u606f\u200b\u4f8b\u5982\u200b CIDR\uff0c\u200b\u7f51\u5173\u200b\uff0c\u200b\u8def\u7531\u200b\u7b49\u200b\u4fe1\u606f\u200b\u5199\u4f1a\u200b\u5230\u200b Pod \u200b\u7684\u200b annotation \u200b\u4e2d\u200b\u3002\u200b\u8be5\u200b annotation \u200b\u540e\u7eed\u200b\u4f1a\u200b\u88ab\u200b <code>kube-ovn-cni</code> \u200b\u8bfb\u53d6\u200b\u7528\u6765\u200b\u914d\u7f6e\u200b\u672c\u5730\u7f51\u7edc\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-cni","title":"kube-ovn-cni","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b DaemonSet \u200b\u8fd0\u884c\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\uff0c\u200b\u5b9e\u73b0\u200b CNI \u200b\u63a5\u53e3\u200b\uff0c\u200b\u5e76\u200b\u64cd\u4f5c\u200b\u672c\u5730\u200b\u7684\u200b OVS \u200b\u914d\u7f6e\u200b\u5355\u673a\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u8be5\u200b DaemonSet \u200b\u4f1a\u200b\u590d\u5236\u200b <code>kube-ovn</code> \u200b\u4e8c\u8fdb\u5236\u200b\u6587\u4ef6\u200b\u5230\u200b\u6bcf\u53f0\u200b\u673a\u5668\u200b\uff0c\u200b\u4f5c\u4e3a\u200b <code>kubelet</code> \u200b\u548c\u200b <code>kube-ovn-cni</code> \u200b\u4e4b\u95f4\u200b\u7684\u200b\u4ea4\u4e92\u200b\u5de5\u5177\u200b\uff0c\u200b\u5c06\u200b\u76f8\u5e94\u200b CNI \u200b\u8bf7\u6c42\u200b \u200b\u53d1\u9001\u7ed9\u200b <code>kube-ovn-cni</code> \u200b\u6267\u884c\u200b\u3002\u200b\u8be5\u200b\u4e8c\u8fdb\u5236\u200b\u6587\u4ef6\u200b\u9ed8\u8ba4\u200b\u4f1a\u200b\u88ab\u200b\u590d\u5236\u5230\u200b <code>/opt/cni/bin</code> \u200b\u76ee\u5f55\u200b\u4e0b\u200b\u3002</p> <p><code>kube-ovn-cni</code> \u200b\u4f1a\u200b\u914d\u7f6e\u200b\u5177\u4f53\u200b\u7684\u200b\u7f51\u7edc\u200b\u6765\u200b\u6267\u884c\u200b\u76f8\u5e94\u200b\u6d41\u91cf\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u4e3b\u8981\u200b\u5de5\u4f5c\u200b\u5305\u62ec\u200b\uff1a</p> <ol> <li>\u200b\u914d\u7f6e\u200b <code>ovn-controller</code> \u200b\u548c\u200b <code>vswitchd</code>\u3002</li> <li>\u200b\u5904\u7406\u200b CNI add/del \u200b\u8bf7\u6c42\u200b\uff1a<ol> <li>\u200b\u521b\u5efa\u200b\u5220\u9664\u200b veth \u200b\u5e76\u200b\u548c\u200b OVS \u200b\u7aef\u53e3\u200b\u7ed1\u5b9a\u200b\u3002</li> <li>\u200b\u914d\u7f6e\u200b OVS \u200b\u7aef\u53e3\u200b\u4fe1\u606f\u200b\u3002</li> <li>\u200b\u66f4\u65b0\u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b iptables/ipset/route \u200b\u7b49\u200b\u89c4\u5219\u200b\u3002</li> </ol> </li> <li>\u200b\u52a8\u6001\u200b\u66f4\u65b0\u200b\u5bb9\u5668\u200b QoS.</li> <li>\u200b\u521b\u5efa\u200b\u5e76\u200b\u914d\u7f6e\u200b <code>ovn0</code> \u200b\u7f51\u5361\u200b\u8054\u901a\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u548c\u200b\u4e3b\u673a\u200b\u7f51\u7edc\u200b\u3002</li> <li>\u200b\u914d\u7f6e\u200b\u4e3b\u673a\u200b\u7f51\u5361\u200b\u6765\u200b\u5b9e\u73b0\u200b Vlan/Underlay/EIP \u200b\u7b49\u200b\u529f\u80fd\u200b\u3002</li> <li>\u200b\u52a8\u6001\u200b\u914d\u7f6e\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u7f51\u200b\u5173\u200b\u3002</li> </ol>"},{"location":"reference/architecture/#_3","title":"\u76d1\u63a7\u200b\uff0c\u200b\u8fd0\u7ef4\u200b\u5de5\u5177\u200b\u548c\u200b\u6269\u5c55\u200b\u7ec4\u4ef6","text":"<p>\u200b\u8be5\u200b\u90e8\u5206\u200b\u7ec4\u4ef6\u200b\u4e3b\u8981\u200b\u63d0\u4f9b\u200b\u76d1\u63a7\u200b\uff0c\u200b\u8bca\u65ad\u200b\uff0c\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\u4ee5\u53ca\u200b\u548c\u200b\u5916\u90e8\u200b\u8fdb\u884c\u200b\u5bf9\u63a5\u200b\uff0c\u200b\u5bf9\u200b Kube-OVN \u200b\u7684\u200b\u6838\u5fc3\u200b\u7f51\u7edc\u200b\u80fd\u529b\u200b\u8fdb\u884c\u200b\u6269\u5c55\u200b\uff0c\u200b\u5e76\u200b\u7b80\u5316\u200b\u65e5\u5e38\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-speaker","title":"kube-ovn-speaker","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b DaemonSet \u200b\u8fd0\u884c\u200b\u5728\u200b\u7279\u5b9a\u200b\u6807\u7b7e\u200b\u7684\u200b\u8282\u70b9\u200b\u4e0a\u200b\uff0c\u200b\u5bf9\u5916\u200b\u53d1\u5e03\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u7684\u200b\u8def\u7531\u200b\uff0c\u200b\u4f7f\u5f97\u200b\u5916\u90e8\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b Pod IP \u200b\u8bbf\u95ee\u200b\u5bb9\u5668\u200b\u3002</p> <p>\u200b\u66f4\u200b\u591a\u200b\u76f8\u5173\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u8bf7\u200b\u53c2\u8003\u200b BGP \u200b\u652f\u6301\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-pinger","title":"kube-ovn-pinger","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b DaemonSet \u200b\u8fd0\u884c\u200b\u5728\u200b\u6bcf\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u6536\u96c6\u200b OVS \u200b\u8fd0\u884c\u200b\u4fe1\u606f\u200b\uff0c\u200b\u8282\u70b9\u200b\u7f51\u7edc\u200b\u8d28\u91cf\u200b\uff0c\u200b\u7f51\u7edc\u200b\u5ef6\u8fdf\u200b\u7b49\u200b\u4fe1\u606f\u200b\uff0c\u200b\u6536\u96c6\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u53ef\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p>"},{"location":"reference/architecture/#kube-ovn-monitor","title":"kube-ovn-monitor","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b\u4e00\u4e2a\u200b Deployment \u200b\u6536\u96c6\u200b OVN \u200b\u7684\u200b\u8fd0\u884c\u200b\u4fe1\u606f\u200b\uff0c\u200b\u6536\u96c6\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u53ef\u200b\u53c2\u8003\u200b Kube-OVN \u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p>"},{"location":"reference/architecture/#kubectl-ko","title":"kubectl-ko","text":"<p>\u200b\u8be5\u200b\u7ec4\u4ef6\u200b\u4e3a\u200b kubectl \u200b\u63d2\u4ef6\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5feb\u901f\u200b\u8fd0\u884c\u200b\u5e38\u89c1\u200b\u8fd0\u7ef4\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u66f4\u200b\u591a\u200b\u4f7f\u7528\u200b\u8bf7\u200b\u53c2\u8003\u200b kubectl \u200b\u63d2\u4ef6\u200b\u4f7f\u7528\u200b\u3002</p> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/dev-env/","title":"\u5f00\u53d1\u200b\u73af\u5883\u200b\u6784\u5efa","text":""},{"location":"reference/dev-env/#_2","title":"\u73af\u5883\u200b\u51c6\u5907","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b Go 1.20 \u200b\u5f00\u53d1\u200b\u5e76\u200b\u4f7f\u7528\u200b Go Modules \u200b\u7ba1\u7406\u200b\u4f9d\u8d56\u200b\uff0c \u200b\u8bf7\u200b\u786e\u8ba4\u200b\u73af\u5883\u53d8\u91cf\u200b <code>GO111MODULE=\"on\"</code>\u3002</p> <p>gosec \u200b\u88ab\u200b\u7528\u6765\u200b\u626b\u63cf\u200b\u4ee3\u7801\u200b\u5b89\u5168\u200b\u76f8\u5173\u200b\u95ee\u9898\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u5f00\u53d1\u200b\u73af\u5883\u200b\u5b89\u88c5\u200b\uff1a</p> <pre><code>go install github.com/securego/gosec/v2/cmd/gosec@latest\n</code></pre> <p>\u200b\u4e3a\u4e86\u200b\u964d\u4f4e\u200b\u6700\u7ec8\u200b\u751f\u6210\u200b\u955c\u50cf\u200b\u5927\u5c0f\u200b\uff0cKube-OVN \u200b\u4f7f\u7528\u200b\u4e86\u200b\u90e8\u5206\u200b Docker buildx \u200b\u8bd5\u9a8c\u200b\u7279\u6027\u200b\uff0c\u200b\u8bf7\u200b\u66f4\u65b0\u200b Docker \u200b\u81f3\u200b\u6700\u65b0\u200b\u7248\u672c\u200b \u200b\u5e76\u200b\u5f00\u542f\u200b buildx:</p> <pre><code>docker buildx create --use\n</code></pre>"},{"location":"reference/dev-env/#_3","title":"\u6784\u5efa\u200b\u955c\u50cf","text":"<p>\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u200b\u4ee3\u7801\u200b\uff0c\u200b\u5e76\u200b\u751f\u6210\u200b\u8fd0\u884c\u200b Kube-OVN \u200b\u6240\u200b\u9700\u200b\u955c\u50cf\u200b\uff1a</p> <pre><code>git clone https://github.com/kubeovn/kube-ovn.git\ncd kube-ovn\nmake release\n</code></pre> <p>\u200b\u5982\u9700\u200b\u6784\u5efa\u200b\u5728\u200b ARM \u200b\u73af\u5883\u200b\u4e0b\u200b\u8fd0\u884c\u200b\u7684\u200b\u955c\u50cf\u200b\uff0c\u200b\u8bf7\u200b\u6267\u884c\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make release-arm\n</code></pre>"},{"location":"reference/dev-env/#base","title":"\u6784\u5efa\u200b base \u200b\u955c\u50cf","text":"<p>\u200b\u5982\u200b\u9700\u8981\u200b\u66f4\u6539\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u7248\u672c\u200b\uff0c\u200b\u4f9d\u8d56\u200b\u5e93\u200b\uff0cOVS/OVN \u200b\u4ee3\u7801\u200b\u7b49\u200b\uff0c\u200b\u9700\u8981\u200b\u5bf9\u200b base \u200b\u955c\u50cf\u200b\u8fdb\u884c\u200b\u91cd\u65b0\u200b\u6784\u5efa\u200b\u3002</p> <p>base \u200b\u955c\u50cf\u200b\u4f7f\u7528\u200b\u7684\u200b Dockerfile \u200b\u4e3a\u200b <code>dist/images/Dockerfile.base</code>\u3002</p> <p>\u200b\u6784\u5efa\u200b\u65b9\u6cd5\u200b\uff1a</p> <pre><code># build x86 base image\nmake base-amd64\n\n# build arm base image\nmake base-arm64\n</code></pre>"},{"location":"reference/dev-env/#e2e","title":"\u8fd0\u884c\u200b E2E","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b KIND \u200b\u6784\u5efa\u200b\u672c\u5730\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\uff0cj2cli \u200b\u6e32\u67d3\u200b\u6a21\u677f\u200b\uff0c Ginkgo \u200b\u6765\u200b\u8fd0\u884c\u200b\u6d4b\u8bd5\u4ee3\u7801\u200b\u3002\u200b\u8bf7\u200b\u53c2\u8003\u200b\u76f8\u5173\u200b\u6587\u6863\u200b\u8fdb\u884c\u200b\u4f9d\u8d56\u200b\u5b89\u88c5\u200b\u3002</p> <p>\u200b\u672c\u5730\u200b\u6267\u884c\u200b E2E \u200b\u6d4b\u8bd5\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install\nmake e2e\n</code></pre> <p>\u200b\u5982\u9700\u200b\u8fd0\u884c\u200b Underlay E2E \u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install-underlay\nmake e2e-underlay-single-nic\n</code></pre> <p>\u200b\u5982\u9700\u200b\u8fd0\u884c\u200b ovn vpc nat gw eip, fip, snat, dnat \u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install\nmake ovn-vpc-nat-gw-conformance-e2e\n</code></pre> <p>\u200b\u5982\u9700\u200b\u8fd0\u884c\u200b iptables vpc nat gw eip, fip, snat, dnat \u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install\nmake kind-install-vpc-nat-gw\nmake iptables-vpc-nat-gw-conformance-e2e\n</code></pre> <p>\u200b\u5982\u9700\u200b\u8fd0\u884c\u200b loadbalancer service \u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-init\nmake kind-install\nmake kind-install-lb-svc\nmake kube-ovn-lb-svc-conformance-e2e\n</code></pre> <p>\u200b\u5982\u9700\u200b\u6e05\u7406\u200b\uff0c\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>make kind-clean\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/document-convention/","title":"\u6587\u6863\u200b\u89c4\u8303","text":"<p>\u200b\u4e3a\u4e86\u200b\u4fdd\u8bc1\u200b\u6587\u6863\u200b\u98ce\u683c\u200b\u4e00\u81f4\u200b\uff0c\u200b\u8bf7\u200b\u5728\u200b\u63d0\u4ea4\u200b\u6587\u6863\u200b\u65f6\u200b\u9075\u5faa\u200b\u4e0b\u5217\u200b\u7684\u200b\u98ce\u683c\u200b\u89c4\u8303\u200b\u3002</p>"},{"location":"reference/document-convention/#_2","title":"\u6807\u70b9","text":"<p>\u200b\u4e2d\u6587\u200b\u6587\u6863\u200b\u4e2d\u200b\u6587\u672c\u200b\u5185\u5bb9\u200b\u6240\u6709\u200b\u6807\u70b9\u200b\u5e94\u200b\u4f7f\u7528\u200b\u4e2d\u6587\u200b\u683c\u5f0f\u200b\u6807\u70b9\u200b\uff0c\u200b\u82f1\u6587\u200b\u6587\u6863\u200b\u4e2d\u200b\u6240\u6709\u200b\u6587\u672c\u200b\u5185\u5bb9\u200b\u4e2d\u5e94\u200b\u4f7f\u7528\u200b\u82f1\u6587\u200b\u6807\u70b9\u200b\u3002</p> BadGood   \u200b\u8fd9\u91cc\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b,\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u4f60\u200b\u5feb\u901f\u200b\u5b89\u88c5\u200b\u4e00\u4e2a\u200b\u9ad8\u200b\u53ef\u7528\u200b,\u200b\u751f\u4ea7\u200b\u5c31\u7eea\u200b\u7684\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b.    \u200b\u8fd9\u91cc\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u4f60\u200b\u5feb\u901f\u200b\u5b89\u88c5\u200b\u4e00\u4e2a\u200b\u9ad8\u200b\u53ef\u7528\u200b\uff0c\u200b\u751f\u4ea7\u200b\u5c31\u7eea\u200b\u7684\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u3002   <p>\u200b\u82f1\u6587\u200b\u6570\u5b57\u200b\u548c\u200b\u4e2d\u6587\u200b\u5e94\u8be5\u200b\u7528\u200b\u7a7a\u683c\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b\u3002</p> BadGood   Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u6765\u200b\u5b89\u88c5\u200b 1.10 \u200b\u7248\u672c\u200b Kube-OVN\u3002    Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\u6765\u200b\u5b89\u88c5\u200b 1.10 \u200b\u7248\u672c\u200b Kube-OVN\u3002   <p>\u200b\u793a\u4f8b\u200b\u5185\u5bb9\u200b\u5e94\u8be5\u200b\u4ee5\u200b <code>\uff1a</code> \u200b\u5f00\u542f\u200b\uff0c\u200b\u5176\u4ed6\u200b\u53e5\u200b\u5c3e\u200b\u9700\u8981\u200b\u7528\u200b <code>\u3002</code> \u200b\u7ed3\u675f\u200b\u3002</p> BadGood   \u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u786e\u8ba4\u200b\u73af\u5883\u200b\u914d\u7f6e\u200b\u6b63\u786e\u200b  \u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\u3002  <pre><code>wget 127.0.0.1\n</code></pre>   \u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u786e\u8ba4\u200b\u73af\u5883\u200b\u914d\u7f6e\u200b\u6b63\u786e\u200b\u3002  \u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a  <pre><code>wget 127.0.0.1\n</code></pre>"},{"location":"reference/document-convention/#_3","title":"\u4ee3\u7801\u200b\u5757","text":"<p>yaml \u200b\u4ee3\u7801\u200b\u5757\u200b\u9700\u8981\u200b\u6807\u8bc6\u200b\u4e3a\u200b yaml\u3002</p> BadGood <pre><code>````\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n    name: attach-subnet\n````\n</code></pre> <pre><code>````yaml\napiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n    name: attach-subnet\n````\n</code></pre> <p>\u200b\u547d\u4ee4\u884c\u200b\u64cd\u4f5c\u200b\u793a\u4f8b\u200b\u4ee3\u7801\u200b\u5757\u200b\u9700\u8981\u200b\u6807\u8bc6\u200b\u4e3a\u200b bash\u3002</p> BadGood <pre><code>````\nwget 127.0.0.1\n````\n</code></pre> <pre><code>````bash\nwget 127.0.0.1\n````\n</code></pre> <p>\u200b\u5982\u679c\u200b\u547d\u4ee4\u884c\u200b\u64cd\u4f5c\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u5305\u542b\u200b\u8f93\u51fa\u200b\u5185\u5bb9\u200b\uff0c\u200b\u5219\u200b\u6240\u200b\u6267\u884c\u547d\u4ee4\u200b\u9700\u8981\u200b\u4ee5\u200b <code>#</code> \u200b\u5f00\u59cb\u200b\uff0c\u200b\u4ee5\u200b\u533a\u5206\u200b\u8f93\u5165\u200b\u4e0e\u200b\u8f93\u51fa\u200b\u3002</p> BadGood <pre><code>oilbeater@macdeMac-3 ~ ping 114.114.114.114 -c 3\nPING 114.114.114.114 (114.114.114.114): 56 data bytes\n64 bytes from 114.114.114.114: icmp_seq=0 ttl=83 time=10.429 ms\n64 bytes from 114.114.114.114: icmp_seq=1 ttl=79 time=11.360 ms\n64 bytes from 114.114.114.114: icmp_seq=2 ttl=76 time=10.794 ms\n\n--- 114.114.114.114 ping statistics ---\n3 packets transmitted, 3 packets received, 0.0% packet loss\nround-trip min/avg/max/stddev = 10.429/10.861/11.360/0.383 ms\n</code></pre> <pre><code># ping 114.114.114.114 -c 3\nPING 114.114.114.114 (114.114.114.114): 56 data bytes\n64 bytes from 114.114.114.114: icmp_seq=0 ttl=83 time=10.429 ms\n64 bytes from 114.114.114.114: icmp_seq=1 ttl=79 time=11.360 ms\n64 bytes from 114.114.114.114: icmp_seq=2 ttl=76 time=10.794 ms\n\n--- 114.114.114.114 ping statistics ---\n3 packets transmitted, 3 packets received, 0.0% packet loss\nround-trip min/avg/max/stddev = 10.429/10.861/11.360/0.383 ms\n</code></pre> <p>\u200b\u5982\u679c\u200b\u547d\u4ee4\u884c\u200b\u64cd\u4f5c\u200b\u793a\u4f8b\u200b\u4e2d\u200b\u53ea\u200b\u5305\u542b\u200b\u6267\u884c\u547d\u4ee4\u200b\uff0c\u200b\u6ca1\u6709\u200b\u8f93\u51fa\u200b\u7ed3\u679c\u200b\uff0c\u200b\u5219\u200b\u591a\u6761\u200b\u547d\u4ee4\u200b\u65e0\u9700\u200b <code>#</code> \u200b\u5f00\u59cb\u200b\u3002</p> BadGood <pre><code># mv /etc/origin/ovn/ovnnb_db.db /tmp\n# mv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre> <pre><code>mv /etc/origin/ovn/ovnnb_db.db /tmp\nmv /etc/origin/ovn/ovnsb_db.db /tmp\n</code></pre>"},{"location":"reference/document-convention/#_4","title":"\u94fe\u63a5","text":"<p>\u200b\u7ad9\u200b\u5185\u200b\u94fe\u63a5\u200b\u4f7f\u7528\u200b\u5bf9\u5e94\u200b <code>md</code> \u200b\u6587\u4ef6\u200b\u8def\u5f84\u200b\u3002</p> BadGood <pre><code>\u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u53c2\u8003\u200b[\u200b\u51c6\u5907\u200b\u5de5\u4f5c\u200b](http://kubeovn.github.io/prepare)\u3002\n</code></pre> <pre><code>\u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u53c2\u8003\u200b[\u200b\u51c6\u5907\u200b\u5de5\u4f5c\u200b](./prepare.md)\u3002\n</code></pre> BadGood <pre><code>\u200b\u5982\u200b\u6709\u200b\u95ee\u9898\u200b\u8bf7\u200b\u53c2\u8003\u200b [Kubernetes \u200b\u6587\u6863\u200b](http://kubernetes.io)\u3002\n</code></pre> <pre><code>\u200b\u5982\u200b\u6709\u200b\u95ee\u9898\u200b\u8bf7\u200b\u53c2\u8003\u200b [Kubernetes \u200b\u6587\u6863\u200b](http://kubernetes.io){: target=\"_blank\" }\u3002\n</code></pre>"},{"location":"reference/document-convention/#_5","title":"\u7a7a\u884c","text":"<p>\u200b\u4e0d\u540c\u200b\u903b\u8f91\u200b\u5757\u200b\uff0c\u200b\u4f8b\u5982\u200b\u6807\u9898\u200b\u548c\u200b\u6587\u672c\u200b\uff0c\u200b\u6587\u672c\u200b\u548c\u200b\u4ee3\u7801\u200b\uff0c\u200b\u6587\u672c\u200b\u548c\u200b\u7f16\u53f7\u200b\u4e4b\u95f4\u200b\u9700\u8981\u200b\u7528\u200b\u7a7a\u884c\u200b\u5206\u9694\u200b\u3002</p> BadGood <pre><code>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a\n```bash\nwget 127.0.0.1\n```\n</code></pre> <pre><code>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <p>\u200b\u4e0d\u540c\u200b\u903b\u8f91\u200b\u5757\u200b\u4e4b\u95f4\u200b\u53ea\u200b\u4f7f\u7528\u200b\u4e00\u4e2a\u200b\u7a7a\u884c\u200b\u8fdb\u884c\u200b\u5206\u9694\u200b\u3002</p> BadGood <pre><code>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a\n\n\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <pre><code>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u8fdb\u884c\u200b\u5b89\u88c5\u200b\uff1a\n\n```bash\nwget 127.0.0.1\n```\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/feature-stage/","title":"\u529f\u80fd\u200b\u6210\u719f\u5ea6","text":"<p>\u200b\u5728\u200b Kube-OVN \u200b\u4e2d\u200b\u6839\u636e\u200b\u529f\u80fd\u200b\u4f7f\u7528\u200b\u5ea6\u200b\uff0c\u200b\u6587\u6863\u200b\u5b8c\u5584\u200b\u7a0b\u5ea6\u200b\u548c\u200b\u6d4b\u8bd5\u200b\u8986\u76d6\u200b\u7a0b\u5ea6\u200b\u5c06\u200b\u529f\u80fd\u200b\u6210\u719f\u5ea6\u200b\u5206\u4e3a\u200b Alpha\uff0cBeta \u200b\u548c\u200b GA \u200b\u4e09\u4e2a\u200b\u9636\u6bb5\u200b\u3002</p>"},{"location":"reference/feature-stage/#_2","title":"\u6210\u719f\u5ea6\u200b\u5b9a\u4e49","text":"<p>\u200b\u5bf9\u4e8e\u200b Alpha \u200b\u529f\u80fd\u200b\uff1a</p> <ul> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u6ca1\u6709\u200b\u5b8c\u6574\u200b\u7684\u200b\u6587\u6863\u200b\u548c\u200b\u5b8c\u5584\u200b\u7684\u200b\u6d4b\u8bd5\u200b\u8986\u76d6\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u672a\u6765\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u53d1\u751f\u53d8\u5316\u200b\u751a\u81f3\u200b\u6574\u4f53\u200b\u79fb\u9664\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b API \u200b\u4e0d\u200b\u4fdd\u8bc1\u200b\u7a33\u5b9a\u200b\uff0c\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u88ab\u200b\u79fb\u9664\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u793e\u533a\u200b\u652f\u6301\u200b\u4f18\u5148\u7ea7\u200b\u8f83\u200b\u4f4e\u200b\uff0c\u200b\u4e14\u200b\u65e0\u6cd5\u200b\u4fdd\u8bc1\u200b\u957f\u671f\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u529f\u80fd\u200b\u7a33\u5b9a\u6027\u200b\u548c\u200b\u957f\u671f\u200b\u652f\u6301\u200b\u65e0\u6cd5\u200b\u4fdd\u8bc1\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u8fdb\u884c\u200b\u6d4b\u8bd5\u200b\u9a8c\u8bc1\u200b\uff0c\u200b\u4f46\u200b\u4e0d\u200b\u63a8\u8350\u200b\u751f\u4ea7\u200b\u4f7f\u7528\u200b\u3002</li> </ul> <p>\u200b\u5bf9\u4e8e\u200b Beta \u200b\u529f\u80fd\u200b\uff1a</p> <ul> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u6709\u200b\u90e8\u5206\u200b\u6587\u6863\u200b\u548c\u200b\u6d4b\u8bd5\u200b\uff0c\u200b\u4f46\u662f\u200b\u4e0d\u200b\u4fdd\u8bc1\u200b\u5b8c\u6574\u200b\u7684\u200b\u8986\u76d6\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u672a\u6765\u200b\u53ef\u80fd\u200b\u53d1\u751f\u53d8\u5316\u200b\uff0c\u200b\u5347\u7ea7\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u5f71\u54cd\u200b\u7f51\u7edc\u200b\uff0c\u200b\u4f46\u200b\u4e0d\u4f1a\u200b\u88ab\u200b\u6574\u4f53\u200b\u79fb\u9664\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b API \u200b\u672a\u6765\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u53d1\u751f\u53d8\u5316\u200b\uff0c\u200b\u5b57\u200b\u6bb5\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u8fdb\u884c\u200b\u8c03\u6574\u200b\uff0c\u200b\u4f46\u200b\u4e0d\u4f1a\u200b\u6574\u4f53\u200b\u79fb\u9664\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5f97\u5230\u200b\u793e\u533a\u200b\u7684\u200b\u957f\u671f\u200b\u652f\u6301\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5f97\u5230\u200b\u957f\u671f\u200b\u652f\u6301\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5728\u200b\u975e\u5173\u952e\u200b\u4e1a\u52a1\u200b\u4e0a\u200b\u8fdb\u884c\u200b\u4f7f\u7528\u200b\uff0c\u200b\u4f46\u662f\u200b\u7531\u4e8e\u200b\u529f\u80fd\u200b\u548c\u200b API \u200b\u5b58\u5728\u200b\u53d8\u5316\u200b\u7684\u200b\u53ef\u80fd\u200b\uff0c\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u5728\u200b\u5347\u7ea7\u200b\u4e2d\u200b\u51fa\u73b0\u200b\u4e2d\u65ad\u200b\uff0c\u200b\u4e0d\u200b\u63a8\u8350\u200b\u5728\u200b\u5173\u952e\u200b\u751f\u4ea7\u200b\u4e1a\u52a1\u200b\u4e0a\u200b\u4f7f\u7528\u200b\u3002</li> </ul> <p>\u200b\u5bf9\u4e8e\u200b GA \u200b\u529f\u80fd\u200b\uff1a</p> <ul> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u6709\u200b\u5b8c\u6574\u200b\u7684\u200b\u6587\u6863\u200b\u548c\u200b\u6d4b\u8bd5\u200b\u8986\u76d6\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4f1a\u200b\u4fdd\u6301\u7a33\u5b9a\u200b\uff0c\u200b\u5347\u7ea7\u200b\u4f1a\u200b\u4fdd\u8bc1\u200b\u5e73\u6ed1\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b API \u200b\u4e0d\u4f1a\u200b\u53d1\u751f\u200b\u7834\u574f\u6027\u200b\u53d8\u5316\u200b\u3002</li> <li>\u200b\u8be5\u200b\u529f\u80fd\u200b\u4f1a\u200b\u5f97\u5230\u200b\u793e\u533a\u200b\u9ad8\u200b\u4f18\u5148\u7ea7\u200b\u652f\u6301\u200b\uff0c\u200b\u5e76\u4f1a\u200b\u4fdd\u8bc1\u200b\u957f\u671f\u200b\u652f\u6301\u200b\u3002</li> </ul>"},{"location":"reference/feature-stage/#_3","title":"\u6210\u719f\u5ea6\u200b\u5217\u8868","text":"<p>\u200b\u672c\u200b\u5217\u8868\u200b\u7edf\u8ba1\u200b\u4ece\u200b v1.8 \u200b\u7248\u672c\u200b\u4e2d\u200b\u5305\u542b\u200b\u7684\u200b\u529f\u80fd\u200b\u5bf9\u5e94\u200b\u6210\u719f\u5ea6\u200b\u3002</p> \u200b\u529f\u80fd\u200b \u200b\u9ed8\u8ba4\u200b\u5f00\u542f\u200b \u200b\u72b6\u6001\u200b \u200b\u5f00\u59cb\u200b\uff08Since\uff09 \u200b\u7ed3\u675f\u200b\uff08Until\uff09 Namespaced Subnet true GA 1.8 \u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b true GA 1.8 \u200b\u4e3b\u4ece\u200b\u6a21\u5f0f\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b true GA 1.8 ECMP \u200b\u6a21\u5f0f\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b false Beta 1.8 \u200b\u5b50\u7f51\u200b ACL true Alpha 1.9 \u200b\u5b50\u7f51\u200b\u9694\u79bb\u200b (\u200b\u672a\u6765\u200b\u4f1a\u200b\u548c\u200b\u5b50\u7f51\u200b ACL \u200b\u5408\u5e76\u200b) true Beta 1.8 Underlay \u200b\u5b50\u7f51\u200b true GA 1.8 \u200b\u591a\u200b\u7f51\u5361\u200b\u7ba1\u7406\u200b true Beta 1.8 \u200b\u5b50\u7f51\u200b DHCP false Alpha 1.10 \u200b\u5b50\u7f51\u200b\u8bbe\u7f6e\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b false Alpha 1.8 \u200b\u4f7f\u7528\u200b OVN-IC \u200b\u8fdb\u884c\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b false Beta 1.8 \u200b\u4f7f\u7528\u200b Submariner \u200b\u8fdb\u884c\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b false Alpha 1.9 \u200b\u5b50\u7f51\u200b VIP \u200b\u9884\u7559\u200b true Alpha 1.10 \u200b\u521b\u5efa\u200b\u81ea\u5b9a\u4e49\u200b VPC true Beta 1.8 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u6d6e\u52a8\u200b IP/SNAT/DNAT true Alpha 1.10 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u9759\u6001\u200b\u8def\u7531\u200b true Alpha 1.10 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u7b56\u7565\u200b\u8def\u7531\u200b true Alpha 1.10 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5b89\u5168\u200b\u7ec4\u200b true Alpha 1.10 \u200b\u5bb9\u5668\u200b\u6700\u5927\u200b\u5e26\u5bbd\u200b QoS true GA 1.8 linux-netem QoS true Alpha 1.9 Prometheus \u200b\u96c6\u6210\u200b false GA 1.8 Grafana \u200b\u96c6\u6210\u200b false GA 1.8 \u200b\u53cc\u6808\u200b\u7f51\u7edc\u200b false GA 1.8 \u200b\u9ed8\u8ba4\u200b VPC EIP/SNAT false Beta 1.8 \u200b\u6d41\u91cf\u200b\u955c\u50cf\u200b false GA 1.8 NetworkPolicy true Beta 1.8 Webhook false Alpha 1.10 \u200b\u6027\u80fd\u200b\u8c03\u4f18\u200b false Beta 1.8 Overlay \u200b\u5b50\u7f51\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b false Alpha 1.8 Overlay \u200b\u5b50\u7f51\u200b BGP \u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b false Alpha 1.9 Cilium \u200b\u96c6\u6210\u200b false Alpha 1.10 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u4e92\u8054\u200b false Alpha 1.10 Mellanox Offload false Alpha 1.8 \u200b\u82af\u542f\u6e90\u200b Offload false Alpha 1.10 Windows \u200b\u652f\u6301\u200b false Alpha 1.10 DPDK \u200b\u652f\u6301\u200b false Alpha 1.10 OpenStack \u200b\u96c6\u6210\u200b false Alpha 1.9 \u200b\u5355\u4e2a\u200b Pod \u200b\u56fa\u5b9a\u200b IP/Mac true GA 1.8 Workload \u200b\u56fa\u5b9a\u200b IP true GA 1.8 StatefulSet \u200b\u56fa\u5b9a\u200b IP true GA 1.8 VM \u200b\u56fa\u5b9a\u200b IP false Beta 1.9 \u200b\u9ed8\u8ba4\u200b VPC Load Balancer \u200b\u7c7b\u578b\u200b Service false Alpha 1.11 \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b DNS false Alpha 1.11 Underlay \u200b\u548c\u200b Overlay \u200b\u4e92\u901a\u200b false Beta 1.12 <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/iptables-rules/","title":"Iptables \u200b\u89c4\u5219","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b ipset \u200b\u53ca\u200b iptables \u200b\u8f85\u52a9\u200b\u5b9e\u73b0\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\uff08Overlay\uff09\u200b\u7f51\u5173\u200b NAT \u200b\u7684\u200b\u529f\u80fd\u200b\u3002</p> <p>\u200b\u4f7f\u7528\u200b\u7684\u200b ipset \u200b\u5982\u4e0b\u200b\u8868\u200b\u6240\u793a\u200b\uff1a</p> \u200b\u540d\u79f0\u200b\uff08IPv4/IPv6\uff09 \u200b\u7c7b\u578b\u200b \u200b\u5b58\u50a8\u200b\u5bf9\u8c61\u200b ovn40services/ovn60services hash:net Service \u200b\u7f51\u6bb5\u200b ovn40subnets/ovn60subnets hash:net Overlay \u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b\u4ee5\u53ca\u200b NodeLocal DNS IP \u200b\u5730\u5740\u200b ovn40subnets-nat/ovn60subnets-nat hash:net \u200b\u5f00\u542f\u200b NatOutgoing \u200b\u7684\u200b Overlay \u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b ovn40subnets-distributed-gw/ovn60subnets-distributed-gw hash:net \u200b\u5f00\u542f\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\u7684\u200b Overlay \u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b ovn40other-node/ovn60other-node hash:net \u200b\u5176\u5b83\u200b\u8282\u70b9\u200b\u7684\u200b\u5185\u90e8\u200b IP \u200b\u5730\u5740\u200b ovn40local-pod-ip-nat/ovn60local-pod-ip-nat hash:ip \u200b\u5df2\u5f03\u200b\u7528\u200b ovn40subnets-nat-policy hash:net \u200b\u914d\u7f6e\u200b\u4e86\u200b natOutgoingPolicyRules \u200b\u7684\u200b\u6240\u6709\u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b ovn40natpr-418e79269dc5-dst hash:net natOutgoingPolicyRules \u200b\u4e2d\u200b rule \u200b\u5bf9\u5e94\u200b\u7684\u200b dstIPs ovn40natpr-418e79269dc5-src hash:net natOutgoingPolicyRules \u200b\u4e2d\u200b rule \u200b\u5bf9\u5e94\u200b\u7684\u200b srcIPs <p>\u200b\u4f7f\u7528\u200b\u7684\u200b iptables \u200b\u89c4\u5219\u200b\uff08IPv4\uff09\u200b\u5982\u4e0b\u200b\u8868\u200b\u6240\u793a\u200b\uff1a</p> \u200b\u8868\u200b \u200b\u94fe\u200b \u200b\u89c4\u5219\u200b \u200b\u7528\u9014\u200b \u200b\u5907\u6ce8\u200b filter INPUT -m set --match-set ovn40services src -j ACCEPT \u200b\u5141\u8bb8\u200b k8s Service \u200b\u548c\u200b Pod \u200b\u76f8\u5173\u200b\u6d41\u91cf\u200b\u901a\u8fc7\u200b -- filter INPUT -m set --match-set ovn40services dst -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter INPUT -m set --match-set ovn40subnets src -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter INPUT -m set --match-set ovn40subnets dst -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -m set --match-set ovn40services src -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -m set --match-set ovn40services dst -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -m set --match-set ovn40subnets src -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -m set --match-set ovn40subnets dst -j ACCEPT \u200b\u540c\u200b\u4e0a\u200b -- filter FORWARD -s 10.16.0.0/16 -m comment --comment \"ovn-subnet-gateway,ovn-default\" \u200b\u7528\u4e8e\u200b\u8ba1\u6570\u200b\u4ece\u200b subnet \u200b\u8bbf\u95ee\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u7684\u200b\u62a5\u6587\u200b 10.16.0.0/16 \u200b\u4e3a\u200b subnet \u200b\u7684\u200b cidr \uff0ccomment \u200b\u4e2d\u200b\u9017\u53f7\u200b\u524d\u9762\u200b\u7684\u200b ovn-subnet-gateway \u200b\u7528\u4e8e\u200b\u6807\u8bc6\u200b\u8be5\u200b iptables \u200b\u89c4\u5219\u200b\u7528\u4e8e\u200b subnet \u200b\u51fa\u5165\u200b\u7f51\u5173\u200b\u62a5\u6587\u200b\u8ba1\u6570\u200b\uff0c\u200b\u9017\u53f7\u200b\u540e\u9762\u200b ovn-default \u200b\u662f\u200b\u8be5\u200b subnet \u200b\u7684\u200b\u540d\u5b57\u200b filter FORWARD -d 10.16.0.0/16 -m comment --comment \"ovn-subnet-gateway,ovn-default\" \u200b\u7528\u4e8e\u200b\u8ba1\u6570\u200b\u4ece\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u8bbf\u95ee\u200b subnet \u200b\u7684\u200b\u62a5\u6587\u200b \u200b\u540c\u200b\u4e0a\u200b filter OUTPUT -p udp -m udp --dport 6081 -j MARK --set-xmark 0x0 \u200b\u6e05\u9664\u200b\u6d41\u91cf\u200b\u6807\u8bb0\u200b\uff0c\u200b\u907f\u514d\u200b\u6267\u884c\u200b SNAT UDP: bad checksum on VXLAN interface nat PREROUTING -m comment --comment \"kube-ovn prerouting rules\" -j OVN-PREROUTING \u200b\u8fdb\u5165\u200b OVN-PREROUTING \u200b\u94fe\u200b\u5904\u7406\u200b -- nat POSTROUTING -m comment --comment \"kube-ovn postrouting rules\" -j OVN-POSTROUTING \u200b\u8fdb\u5165\u200b OVN-POSTROUTING \u200b\u94fe\u200b\u5904\u7406\u200b -- nat OVN-PREROUTING -i ovn0 -m set --match-set ovn40subnets src -m set --match-set ovn40services dst -j MARK --set-xmark 0x4000/0x4000 \u200b\u4e3a\u200b Pod \u200b\u8bbf\u95ee\u200b Service \u200b\u6d41\u91cf\u200b\u6dfb\u52a0\u200b masquerade \u200b\u6807\u8bb0\u200b \u200b\u4f5c\u7528\u200b\u4e8e\u200b\u5173\u95ed\u200b\u5185\u7f6e\u200b LB \u200b\u7684\u200b\u573a\u666f\u200b nat OVN-PREROUTING -p tcp -m addrtype --dst-type LOCAL -m set --match-set KUBE-NODE-PORT-LOCAL-TCP dst -j MARK --set-xmark 0x80000/0x80000 \u200b\u4e3a\u200b ExternalTrafficPolicy \u200b\u4e3a\u200b Local \u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\uff08TCP\uff09\u200b\u6dfb\u52a0\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b \u200b\u4ec5\u200b kube-proxy \u200b\u4f7f\u7528\u200b ipvs \u200b\u6a21\u5f0f\u200b\u65f6\u200b\u5b58\u5728\u200b nat OVN-PREROUTING -p udp -m addrtype --dst-type LOCAL -m set --match-set KUBE-NODE-PORT-LOCAL-UDP dst -j MARK --set-xmark 0x80000/0x80000 \u200b\u4e3a\u200b ExternalTrafficPolicy \u200b\u4e3a\u200b Local \u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\uff08UDP\uff09\u200b\u6dfb\u52a0\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b \u200b\u540c\u200b\u4e0a\u200b nat OVN-POSTROUTING -m set --match-set ovn40services src -m set --match-set ovn40subnets dst -m mark --mark 0x4000/0x4000 -j SNAT --to-source  \u200b\u5f53\u200b\u8282\u70b9\u200b\u901a\u8fc7\u200b Service IP \u200b\u8bbf\u95ee\u200b Overlay Pod \u200b\u65f6\u200b\uff0c\u200b\u4fdd\u6301\u200b\u6e90\u200b IP \u200b\u4e3a\u200b\u8282\u70b9\u200b IP\u3002 \u200b\u4ec5\u200b kube-proxy \u200b\u4f7f\u7528\u200b ipvs \u200b\u6a21\u5f0f\u200b\u65f6\u200b\u751f\u6548\u200b nat OVN-POSTROUTING -m mark --mark 0x4000/0x4000 -j MASQUERADE \u200b\u4e3a\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b\u7684\u200b\u6d41\u91cf\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -m set --match-set ovn40subnets src -m set --match-set ovn40subnets dst -j MASQUERADE \u200b\u4e3a\u200b\u901a\u8fc7\u200b\u8282\u70b9\u200b\u7684\u200b Pod \u200b\u4e4b\u95f4\u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -m mark --mark 0x80000/0x80000 -m set --match-set ovn40subnets-distributed-gw dst -j RETURN \u200b\u5bf9\u4e8e\u200b ExternalTrafficPolicy \u200b\u4e3a\u200b Local \u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\uff0c\u200b\u82e5\u200b Endpoint \u200b\u4f7f\u7528\u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u65e0\u9700\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -m mark --mark 0x80000/0x80000 -j MASQUERADE \u200b\u5bf9\u4e8e\u200b ExternalTrafficPolicy \u200b\u4e3a\u200b Local \u200b\u7684\u200b Service \u200b\u6d41\u91cf\u200b\uff0c\u200b\u82e5\u200b Endpoint \u200b\u4f7f\u7528\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -p tcp -m tcp --tcp-flags SYN NONE -m conntrack --ctstate NEW -j RETURN Pod IP \u200b\u5bf9\u5916\u200b\u66b4\u9732\u200b\u65f6\u200b\uff0c\u200b\u4e0d\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -s 10.16.0.0/16 -m set ! --match-set ovn40subnets dst -j SNAT --to-source 192.168.0.101 Pod \u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5916\u200b\u7f51\u7edc\u200b\u65f6\u200b\uff0c\u200b\u82e5\u200b\u5b50\u7f51\u200b\u5f00\u542f\u200b NatOutgoing \u200b\u4e14\u200b\u4f7f\u7528\u200b\u6307\u5b9a\u200b IP \u200b\u7684\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u6267\u884c\u200b SNAT 10.16.0.0/16 \u200b\u4e3a\u200b\u5b50\u7f51\u200b\u7f51\u6bb5\u200b\uff0c192.168.0.101 \u200b\u4e3a\u200b\u6307\u5b9a\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b IP nat OVN-POSTROUTING -m set --match-set ovn40subnets-nat src -m set ! --match-set ovn40subnets dst -j MASQUERADE Pod \u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5916\u200b\u7f51\u7edc\u200b\u65f6\u200b\uff0c\u200b\u82e5\u200b\u5b50\u7f51\u200b\u5f00\u542f\u200b NatOutgoing\uff0c\u200b\u6267\u884c\u200b SNAT -- nat OVN-POSTROUTING -m set --match-set ovn40subnets-nat-policy src -m set ! --match-set ovn40subnets dst -j OVN-NAT-POLICY Pod \u200b\u8bbf\u95ee\u200b\u96c6\u7fa4\u200b\u5916\u200b\u7f51\u7edc\u200b\u65f6\u200b\uff0c\u200b\u82e5\u200b\u5b50\u7f51\u200b\u5f00\u542f\u200b natOutgoingPolicyRules\uff0c\u200b\u6307\u5b9a\u200b\u7b56\u7565\u200b\u7684\u200b\u62a5\u6587\u200b\u6267\u884c\u200b SNAT \u200b\u914d\u7f6e\u200b\u4e86\u200b natOutgoingPolicyRules \u200b\u5b50\u7f51\u200b\u7684\u200b\u51fa\u5916\u200b\u7f51\u200b\u62a5\u6587\u200b\u7684\u200b\u8fdb\u5165\u200b\u94fe\u200b OVN-NAT-POLICY nat OVN-POSTROUTING -m mark --mark 0x90001/0x90001 -j MASQUERADE --random-fully \u200b\u540c\u200b\u4e0a\u200b \u200b\u4ece\u200b OVN-NAT-POLICY \u200b\u51fa\u6765\u200b\u540e\u200b\uff0c\u200b\u5982\u679c\u200b\u88ab\u200b\u6253\u200b\u4e0a\u200b tag 0x90001/0x90001 \u200b\u5c31\u200b\u4f1a\u200b\u505a\u200b SNAT nat OVN-POSTROUTING -m mark --mark 0x90002/0x90002 -j RETURN \u200b\u540c\u200b\u4e0a\u200b \u200b\u4ece\u200b OVN-NAT-POLICY \u200b\u51fa\u6765\u200b\u540e\u200b, \u200b\u5982\u679c\u200b\u88ab\u200b\u6253\u200b\u4e0a\u200b tag 0x90002/0x90002 \u200b\u4e0d\u4f1a\u200b\u505a\u200b SNAT nat OVN-NAT-POLICY -s 10.0.11.0/24 -m comment --comment natPolicySubnet-net1 -j OVN-NAT-PSUBNET-aa98851157c5 \u200b\u540c\u200b\u4e0a\u200b 10.0.11.0/24 \u200b\u8868\u793a\u200b\u5b50\u7f51\u200b net1 \u200b\u7684\u200b CIDR\uff0c  OVN-NAT-PSUBNET-aa98851157c5 \u200b\u8fd9\u6761\u200b\u94fe\u4e0b\u200b\u7684\u200b\u89c4\u5219\u200b\u5c31\u200b\u5bf9\u5e94\u200b\u8fd9\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b natOutgoingPolicyRules \u200b\u914d\u7f6e\u200b nat OVN-NAT-PSUBNET-xxxxxxxxxxxx -m set --match-set ovn40natpr-418e79269dc5-src src -m set --match-set ovn40natpr-418e79269dc5-dst dst -j MARK --set-xmark 0x90002/0x90002 \u200b\u540c\u200b\u4e0a\u200b 418e79269dc5 \u200b\u8868\u793a\u200b natOutgoingPolicyRules \u200b\u4e2d\u200b\u7684\u200b\u4e00\u6761\u200b\u89c4\u5219\u200b\u7684\u200b ID\uff0c\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b status.natOutgoingPolicyRules[index].RuleID \u200b\u67e5\u770b\u200b\u5230\u200b\uff0c \u200b\u8868\u793a\u200b srcIPs \u200b\u6ee1\u8db3\u200b ovn40natpr-418e79269dc5-src\uff0c dstIPS \u200b\u6ee1\u8db3\u200b ovn40natpr-418e79269dc5-dst \u200b\u4f1a\u200b\u6253\u200b\u4e0a\u200b tag 0x90002 mangle OVN-OUTPUT -d 10.241.39.2/32 -p tcp -m tcp --dport 80 -j MARK --set-xmark 0x90003/0x90003 \u200b\u5c06\u200b kubelet \u200b\u7684\u200b\u63a2\u6d4b\u200b\u6d41\u91cf\u200b\u52a0\u4e0a\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b\u4ece\u800c\u200b\u5f15\u5165\u200b\u5230\u200b tproxy mangle OVN-PREROUTING -d 10.241.39.2/32 -p tcp -m tcp --dport 80 -j TPROXY --on-port 8102 --on-ip 172.18.0.3 --tproxy-mark 0x90004/0x90004 \u200b\u5c06\u200b kubelet \u200b\u7684\u200b\u63a2\u6d4b\u200b\u6d41\u91cf\u200b\u52a0\u4e0a\u200b\u7279\u5b9a\u200b\u6807\u8bb0\u200b\u4ece\u800c\u200b\u5f15\u5165\u200b\u5230\u200b tproxy <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/kube-ovn-api/","title":"Kube-OVN \u200b\u63a5\u53e3\u200b\u89c4\u8303","text":"<p>\u200b\u57fa\u4e8e\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\uff0c\u200b\u6574\u7406\u200b\u4e86\u200b Kube-OVN \u200b\u652f\u6301\u200b\u7684\u200b CRD \u200b\u8d44\u6e90\u200b\u5217\u8868\u200b\uff0c\u200b\u5217\u51fa\u200b CRD \u200b\u5b9a\u4e49\u200b\u5404\u5b57\u200b\u6bb5\u200b\u7684\u200b\u53d6\u503c\u200b\u7c7b\u578b\u200b\u548c\u200b\u542b\u4e49\u200b\uff0c\u200b\u4ee5\u200b\u4f9b\u53c2\u8003\u200b\u3002</p>"},{"location":"reference/kube-ovn-api/#condition","title":"\u901a\u7528\u200b\u7684\u200b Condition \u200b\u5b9a\u4e49","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b type String \u200b\u72b6\u6001\u200b\u7c7b\u578b\u200b status String \u200b\u72b6\u6001\u503c\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>True</code>\uff0c<code>False</code> \u200b\u6216\u200b <code>Unknown</code> reason String \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u7684\u200b\u539f\u56e0\u200b message String \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u7684\u200b\u5177\u4f53\u200b\u4fe1\u606f\u200b lastUpdateTime Time \u200b\u4e0a\u6b21\u200b\u72b6\u6001\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b lastTransitionTime Time \u200b\u4e0a\u6b21\u200b\u72b6\u6001\u200b\u7c7b\u578b\u200b\u53d1\u751f\u53d8\u5316\u200b\u7684\u200b\u65f6\u95f4\u200b <p>\u200b\u5728\u200b\u5404\u200b CRD \u200b\u7684\u200b\u5b9a\u4e49\u200b\u4e2d\u200b\uff0cStatus \u200b\u4e2d\u200b\u7684\u200b Condition \u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u90fd\u200b\u9075\u5faa\u200b\u4e0a\u8ff0\u200b\u683c\u5f0f\u200b\uff0c\u200b\u56e0\u6b64\u200b\u63d0\u524d\u200b\u8fdb\u884c\u200b\u8bf4\u660e\u200b\u3002</p>"},{"location":"reference/kube-ovn-api/#subnet","title":"Subnet \u200b\u5b9a\u4e49","text":""},{"location":"reference/kube-ovn-api/#subnet_1","title":"Subnet","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>Subnet</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec SubnetSpec Subnet \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status SubnetStatus Subnet \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#subnetspec","title":"SubnetSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b default Bool \u200b\u8be5\u200b\u5b50\u7f51\u200b\u662f\u5426\u200b\u4e3a\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b vpc String \u200b\u5b50\u7f51\u200b\u6240\u5c5e\u200b Vpc\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b ovn-cluster protocol String IP \u200b\u534f\u8bae\u200b\uff0c\u200b\u53d6\u503c\u200b\u53ef\u4ee5\u200b\u4e3a\u200b <code>IPv4</code>\uff0c<code>IPv6</code> \u200b\u6216\u200b <code>Dual</code> namespaces []String \u200b\u8be5\u200b\u5b50\u7f51\u200b\u6240\u200b\u7ed1\u5b9a\u200b\u7684\u200b namespace \u200b\u5217\u8868\u200b cidrBlock String \u200b\u5b50\u7f51\u200b\u7684\u200b\u7f51\u6bb5\u200b\u8303\u56f4\u200b\uff0c\u200b\u5982\u200b 10.16.0.0/16 gateway String \u200b\u5b50\u7f51\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b\u8be5\u200b\u5b50\u7f51\u200b CIDRBlock \u200b\u4e0b\u200b\u7684\u200b\u7b2c\u4e00\u4e2a\u200b\u53ef\u7528\u200b\u5730\u5740\u200b excludeIps []String \u200b\u8be5\u200b\u5b50\u7f51\u200b\u4e0b\u200b\u4e0d\u4f1a\u200b\u88ab\u200b\u81ea\u52a8\u200b\u5206\u914d\u200b\u7684\u200b\u5730\u5740\u200b\u8303\u56f4\u200b provider String \u200b\u9ed8\u8ba4\u200b\u4e3a\u200b ovn\u3002\u200b\u591a\u200b\u7f51\u5361\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u53ef\u4ee5\u200b\u914d\u7f6e\u200b\u53d6\u503c\u200b\u4e3a\u200b NetworkAttachmentDefinition \u200b\u7684\u200b .\uff0cKube-OVN \u200b\u5c06\u4f1a\u200b\u4f7f\u7528\u200b\u8fd9\u4e9b\u200b\u4fe1\u606f\u200b\u627e\u5230\u200b\u5bf9\u5e94\u200b\u7684\u200b Subnet \u200b\u8d44\u6e90\u200b gatewayType String Overlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u7684\u200b\u7f51\u5173\u200b\u7c7b\u578b\u200b\uff0c\u200b\u53d6\u503c\u200b\u53ef\u4ee5\u200b\u4e3a\u200b <code>distributed</code> \u200b\u6216\u200b <code>centralized</code> gatewayNode String \u200b\u5f53\u200b\u7f51\u5173\u200b\u6a21\u5f0f\u200b\u4e3a\u200b centralized \u200b\u65f6\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4e3a\u200b\u9017\u53f7\u200b\u5206\u9694\u200b\u7684\u200b\u591a\u4e2a\u200b\u8282\u70b9\u200b natOutgoing Bool \u200b\u51fa\u7f51\u200b\u6d41\u91cf\u200b\u662f\u5426\u200b\u8fdb\u884c\u200b NAT\u3002\u200b\u8be5\u200b\u53c2\u6570\u200b\u548c\u200b <code>externalEgressGateway</code> \u200b\u53c2\u6570\u200b\u4e0d\u80fd\u200b\u540c\u65f6\u200b\u8bbe\u7f6e\u200b\u3002 externalEgressGateway String \u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u5730\u5740\u200b\u3002\u200b\u9700\u8981\u200b\u548c\u5b50\u200b\u7f51\u7f51\u200b\u5173\u8282\u70b9\u200b\u5728\u200b\u540c\u4e00\u4e2a\u200b\u4e8c\u5c42\u200b\u53ef\u8fbe\u57df\u200b\uff0c\u200b\u8be5\u200b\u53c2\u6570\u200b\u548c\u200b <code>natOutgoing</code> \u200b\u53c2\u6570\u200b\u4e0d\u80fd\u200b\u540c\u65f6\u200b\u8bbe\u7f6e\u200b policyRoutingPriority Uint32 \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4f18\u5148\u7ea7\u200b\u3002\u200b\u6dfb\u52a0\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4f7f\u7528\u200b\u53c2\u6570\u200b\uff0c\u200b\u63a7\u5236\u200b\u6d41\u91cf\u200b\u7ecf\u200b\u5b50\u7f51\u200b\u7f51\u5173\u200b\u4e4b\u540e\u200b\uff0c\u200b\u8f6c\u53d1\u200b\u5230\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u5730\u5740\u200b policyRoutingTableID Uint32 \u200b\u4f7f\u7528\u200b\u7684\u200b\u672c\u5730\u200b\u7b56\u7565\u200b\u8def\u7531\u8868\u200b\u7684\u200b TableID\uff0c\u200b\u6bcf\u4e2a\u200b\u5b50\u7f51\u200b\u5747\u200b\u9700\u200b\u4e0d\u540c\u200b\u4ee5\u200b\u907f\u514d\u200b\u51b2\u7a81\u200b private Bool \u200b\u6807\u8bc6\u200b\u8be5\u200b\u5b50\u7f51\u200b\u662f\u5426\u200b\u4e3a\u200b\u79c1\u6709\u200b\u5b50\u7f51\u200b\uff0c\u200b\u79c1\u6709\u200b\u5b50\u7f51\u200b\u9ed8\u8ba4\u200b\u62d2\u7edd\u200b\u5b50\u7f51\u200b\u5916\u200b\u7684\u200b\u5730\u5740\u200b\u8bbf\u95ee\u200b allowSubnets []String \u200b\u5b50\u7f51\u200b\u4e3a\u200b\u79c1\u6709\u200b\u5b50\u7f51\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0c\u200b\u5141\u8bb8\u200b\u8bbf\u95ee\u200b\u8be5\u200b\u5b50\u7f51\u200b\u5730\u5740\u200b\u7684\u200b\u96c6\u5408\u200b vlan String \u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b\u7684\u200b Vlan \u200b\u540d\u79f0\u200b vips []String \u200b\u5b50\u7f51\u200b\u4e0b\u200b virtual \u200b\u7c7b\u578b\u200b lsp \u200b\u7684\u200b virtual-ip \u200b\u53c2\u6570\u4fe1\u606f\u200b logicalGateway Bool \u200b\u662f\u5426\u200b\u542f\u7528\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b disableGatewayCheck Bool \u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\u662f\u5426\u200b\u8df3\u8fc7\u200b\u7f51\u5173\u200b\u8054\u901a\u200b\u6027\u200b\u68c0\u67e5\u200b disableInterConnection Bool \u200b\u63a7\u5236\u200b\u662f\u5426\u200b\u5f00\u542f\u200b\u5b50\u7f51\u200b\u8de8\u200b\u96c6\u7fa4\u200b\u4e92\u8054\u200b enableDHCP Bool \u200b\u63a7\u5236\u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp \u200b\u7684\u200b dhcp \u200b\u914d\u7f6e\u200b\u9009\u9879\u200b dhcpV4Options String \u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp dhcpv4_options \u200b\u5173\u8054\u200b\u7684\u200b DHCP_Options \u200b\u8bb0\u5f55\u200b dhcpV6Options String \u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp dhcpv6_options \u200b\u5173\u8054\u200b\u7684\u200b DHCP_Options \u200b\u8bb0\u5f55\u200b enableIPv6RA Bool \u200b\u63a7\u5236\u200b\u5b50\u7f51\u200b\u8fde\u63a5\u200b\u8def\u7531\u5668\u200b\u7684\u200b lrp \u200b\u7aef\u53e3\u200b\uff0c\u200b\u662f\u5426\u200b\u914d\u7f6e\u200b ipv6_ra_configs \u200b\u53c2\u6570\u200b ipv6RAConfigs String \u200b\u5b50\u7f51\u200b\u8fde\u63a5\u200b\u8def\u7531\u5668\u200b\u7684\u200b lrp \u200b\u7aef\u53e3\u200b\uff0cipv6_ra_configs \u200b\u53c2\u6570\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b acls []Acl \u200b\u5b50\u7f51\u200b\u5bf9\u5e94\u200b logical-switch \u200b\u5173\u8054\u200b\u7684\u200b acls \u200b\u8bb0\u5f55\u200b u2oInterconnection Bool \u200b\u662f\u5426\u200b\u5f00\u542f\u200b Overlay/Underlay \u200b\u7684\u200b\u4e92\u8054\u200b\u6a21\u5f0f\u200b enableLb *Bool \u200b\u63a7\u5236\u200b\u5b50\u7f51\u200b\u5bf9\u5e94\u200b\u7684\u200b logical-switch \u200b\u662f\u5426\u200b\u5173\u8054\u200b load-balancer \u200b\u8bb0\u5f55\u200b enableEcmp Bool \u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\uff0c\u200b\u662f\u5426\u200b\u5f00\u542f\u200b ECMP \u200b\u8def\u7531"},{"location":"reference/kube-ovn-api/#acl","title":"Acl","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b direction String Acl \u200b\u9650\u5236\u200b\u65b9\u5411\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>from-lport</code> \u200b\u6216\u8005\u200b <code>to-lport</code> priority Int Acl \u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u53d6\u503c\u200b\u8303\u56f4\u200b 0 \u200b\u5230\u200b 32767 match String Acl \u200b\u89c4\u5219\u200b\u5339\u914d\u200b\u8868\u8fbe\u5f0f\u200b action String Acl \u200b\u89c4\u5219\u200b\u52a8\u4f5c\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>allow-related</code>, <code>allow-stateless</code>, <code>allow</code>, <code>drop</code>, <code>reject</code> \u200b\u5176\u4e2d\u200b\u4e00\u4e2a"},{"location":"reference/kube-ovn-api/#subnetstatus","title":"SubnetStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []SubnetCondition \u200b\u5b50\u7f51\u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b v4AvailableIPs Float64 \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u53ef\u7528\u200b\u7684\u200b IPv4 IP \u200b\u5730\u5740\u200b\u6570\u91cf\u200b v4availableIPrange String \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u53ef\u7528\u200b\u7684\u200b IPv4 \u200b\u5730\u5740\u200b\u8303\u56f4\u200b v4UsingIPs Float64 \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u5df2\u7528\u200b\u7684\u200b IPv4 IP \u200b\u5730\u5740\u200b\u6570\u91cf\u200b v4usingIPrange String \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u5df2\u7528\u200b\u7684\u200b IPv4 \u200b\u5730\u5740\u200b\u8303\u56f4\u200b v6AvailableIPs Float64 \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u53ef\u7528\u200b\u7684\u200b IPv6 IP \u200b\u5730\u5740\u200b\u6570\u91cf\u200b v6availableIPrange String \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u53ef\u7528\u200b\u7684\u200b IPv6 \u200b\u5730\u5740\u200b\u8303\u56f4\u200b v6UsingIPs Float64 \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u5df2\u7528\u200b\u7684\u200b IPv6 IP \u200b\u5730\u5740\u200b\u6570\u91cf\u200b v6usingIPrange String \u200b\u5b50\u7f51\u200b\u73b0\u5728\u200b\u5df2\u7528\u200b\u7684\u200b IPv6 \u200b\u5730\u5740\u200b\u8303\u56f4\u200b sctivateGateway String \u200b\u96c6\u4e2d\u5f0f\u200b\u5b50\u7f51\u200b\uff0c\u200b\u4e3b\u5907\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u5f53\u524d\u200b\u6b63\u5728\u200b\u5de5\u4f5c\u200b\u7684\u200b\u7f51\u200b\u5173\u8282\u70b9\u200b dhcpV4OptionsUUID String \u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp dhcpv4_options \u200b\u5173\u8054\u200b\u7684\u200b DHCP_Options \u200b\u8bb0\u5f55\u200b\u6807\u8bc6\u200b dhcpV6OptionsUUID String \u200b\u5b50\u7f51\u200b\u4e0b\u200b lsp dhcpv6_options \u200b\u5173\u8054\u200b\u7684\u200b DHCP_Options \u200b\u8bb0\u5f55\u200b\u6807\u8bc6\u200b u2oInterconnectionIP String \u200b\u5f00\u542f\u200b Overlay/Underlay \u200b\u4e92\u8054\u200b\u6a21\u5f0f\u200b\u540e\u200b\uff0c\u200b\u6240\u200b\u5360\u7528\u200b\u7684\u200b\u7528\u4e8e\u200b\u4e92\u8054\u200b\u7684\u200b IP \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#ip","title":"IP \u200b\u5b9a\u4e49","text":""},{"location":"reference/kube-ovn-api/#ip_1","title":"IP","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IP</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IPSpec IP \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#ipsepc","title":"IPSepc","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b podName String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u540d\u79f0\u200b namespace String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u6240\u5728\u200b Namespace \u200b\u540d\u79f0\u200b subnet String IP \u200b\u6240\u5c5e\u200b Subnet attachSubnets []String \u200b\u8be5\u4e3b\u200b IP \u200b\u4e0b\u200b\u5176\u4ed6\u200b\u9644\u5c5e\u200b\u5b50\u7f51\u200b\u540d\u79f0\u200b\uff08\u200b\u5b57\u200b\u6bb5\u200b\u5e9f\u5f03\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\uff09 nodeName String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u6240\u5728\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b ipAddress String IP \u200b\u5730\u5740\u200b\uff0c\u200b\u53cc\u6808\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u4e3a\u200b <code>v4IP,v6IP</code> \u200b\u683c\u5f0f\u200b v4IPAddress String IPv4 IP \u200b\u5730\u5740\u200b v6IPAddress String IPv6 IP \u200b\u5730\u5740\u200b attachIPs []String \u200b\u8be5\u4e3b\u200b IP \u200b\u4e0b\u200b\u5176\u4ed6\u200b\u9644\u5c5e\u200b IP \u200b\u5730\u5740\u200b\uff08\u200b\u5b57\u200b\u6bb5\u200b\u5e9f\u5f03\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\uff09 macAddress String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u7684\u200b Mac \u200b\u5730\u5740\u200b attachMacs []String \u200b\u8be5\u4e3b\u200b IP \u200b\u4e0b\u200b\u5176\u4ed6\u200b\u9644\u5c5e\u200b Mac \u200b\u5730\u5740\u200b\uff08\u200b\u5b57\u200b\u6bb5\u200b\u5e9f\u5f03\u200b\u4e0d\u518d\u200b\u4f7f\u7528\u200b\uff09 containerID String \u200b\u7ed1\u5b9a\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b Container ID podType String \u200b\u7279\u6b8a\u200b\u5de5\u4f5c\u200b\u8d1f\u8f7d\u200b Pod\uff0c\u200b\u53ef\u200b\u4e3a\u200b <code>StatefulSet</code>\uff0c<code>VirtualMachine</code> \u200b\u6216\u7a7a"},{"location":"reference/kube-ovn-api/#underlay","title":"Underlay \u200b\u914d\u7f6e","text":""},{"location":"reference/kube-ovn-api/#vlan","title":"Vlan","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>Vlan</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VlanSpec Vlan \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status VlanStatus Vlan \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#vlanspec","title":"VlanSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b id Int Vlan tag \u200b\u53f7\u200b\uff0c\u200b\u53d6\u503c\u200b\u8303\u56f4\u200b\u4e3a\u200b 0~4096 provider String Vlan \u200b\u7ed1\u5b9a\u200b\u7684\u200b ProviderNetwork \u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#vlanstatus","title":"VlanStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b subnets []String Vlan \u200b\u7ed1\u5b9a\u200b\u7684\u200b\u5b50\u7f51\u200b\u5217\u8868\u200b conditions []VlanCondition Vlan \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#providernetwork","title":"ProviderNetwork","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>ProviderNetwork</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec ProviderNetworkSpec ProviderNetwork \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status ProviderNetworkStatus ProviderNetwork \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#providernetworkspec","title":"ProviderNetworkSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b defaultInterface String \u200b\u8be5\u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\u63a5\u53e3\u200b\u540d\u79f0\u200b customInterfaces []CustomInterface \u200b\u8be5\u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u7279\u6b8a\u200b\u4f7f\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b excludeNodes []String \u200b\u8be5\u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u4e0d\u4f1a\u200b\u7ed1\u5b9a\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b exchangeLinkName Bool \u200b\u662f\u5426\u200b\u4ea4\u6362\u200b\u6865\u63a5\u200b\u7f51\u5361\u200b\u548c\u200b\u5bf9\u5e94\u200b OVS \u200b\u7f51\u6865\u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#custominterface","title":"CustomInterface","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b interface String Underlay \u200b\u4f7f\u7528\u200b\u7f51\u5361\u200b\u63a5\u53e3\u200b\u540d\u79f0\u200b nodes []String \u200b\u4f7f\u7528\u200b\u81ea\u5b9a\u4e49\u200b\u7f51\u5361\u200b\u63a5\u53e3\u200b\u7684\u200b\u8282\u70b9\u200b\u5217\u8868"},{"location":"reference/kube-ovn-api/#providernetworkstatus","title":"ProviderNetworkStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool \u200b\u5f53\u524d\u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u662f\u5426\u200b\u8fdb\u5165\u200b\u5c31\u7eea\u200b\u72b6\u6001\u200b readyNodes []String \u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u8fdb\u5165\u200b\u5c31\u7eea\u200b\u72b6\u6001\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b notReadyNodes []String \u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u672a\u200b\u8fdb\u5165\u200b\u5c31\u7eea\u200b\u72b6\u6001\u200b\u7684\u200b\u8282\u70b9\u200b\u540d\u79f0\u200b vlans []String \u200b\u6865\u63a5\u200b\u7f51\u7edc\u200b\u7ed1\u5b9a\u200b\u7684\u200b Vlan \u200b\u540d\u79f0\u200b conditions []ProviderNetworkCondition ProviderNetwork \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#vpc","title":"Vpc \u200b\u5b9a\u4e49","text":""},{"location":"reference/kube-ovn-api/#vpc_1","title":"Vpc","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>Vpc</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VpcSpec Vpc \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status VpcStatus Vpc \u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#vpcspec","title":"VpcSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b namespaces []String Vpc \u200b\u7ed1\u5b9a\u200b\u7684\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b\u5217\u8868\u200b staticRoutes []*StaticRoute Vpc \u200b\u4e0b\u200b\u914d\u7f6e\u200b\u7684\u200b\u9759\u6001\u200b\u8def\u7531\u200b\u4fe1\u606f\u200b policyRoutes []*PolicyRoute Vpc \u200b\u4e0b\u200b\u914d\u7f6e\u200b\u7684\u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4fe1\u606f\u200b vpcPeerings []*VpcPeering Vpc \u200b\u4e92\u8054\u200b\u4fe1\u606f\u200b enableExternal Bool Vpc \u200b\u662f\u5426\u200b\u8fde\u63a5\u200b\u5230\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a"},{"location":"reference/kube-ovn-api/#staticroute","title":"StaticRoute","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b policy String \u200b\u8def\u7531\u200b\u7b56\u7565\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>policySrc</code> \u200b\u6216\u8005\u200b <code>policyDst</code> cidr String \u200b\u8def\u7531\u200b Cidr \u200b\u7f51\u6bb5\u200b nextHopIP String \u200b\u8def\u7531\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#policyroute","title":"PolicyRoute","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b priority Int32 \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4f18\u5148\u7ea7\u200b match String \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u5339\u914d\u200b\u6761\u4ef6\u200b action String \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u52a8\u4f5c\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>allow</code>\u3001<code>drop</code> \u200b\u6216\u8005\u200b <code>reroute</code> nextHopIP String \u200b\u7b56\u7565\u200b\u8def\u7531\u200b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u4fe1\u606f\u200b\uff0cECMP \u200b\u8def\u7531\u200b\u60c5\u51b5\u200b\u4e0b\u4e0b\u200b\u4e00\u200b\u8df3\u200b\u5730\u5740\u200b\u4f7f\u7528\u200b\u9017\u53f7\u200b\u9694\u5f00"},{"location":"reference/kube-ovn-api/#vpcpeering","title":"VpcPeering","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b remoteVpc String Vpc \u200b\u4e92\u8054\u200b\u5bf9\u7aef\u200b Vpc \u200b\u540d\u79f0\u200b localConnectIP String Vpc \u200b\u4e92\u8054\u200b\u672c\u7aef\u200b IP \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#vpcstatus","title":"VpcStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []VpcCondition Vpc \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b standby Bool \u200b\u6807\u8bc6\u200b Vpc \u200b\u662f\u5426\u200b\u521b\u5efa\u200b\u5b8c\u6210\u200b\uff0cVpc \u200b\u4e0b\u200b\u7684\u200b Subnet \u200b\u9700\u8981\u200b\u7b49\u200b Vpc \u200b\u521b\u5efa\u200b\u5b8c\u6210\u200b\u8f6c\u6362\u200b\u518d\u200b\u7ee7\u7eed\u200b\u5904\u7406\u200b default Bool \u200b\u662f\u5426\u662f\u200b\u9ed8\u8ba4\u200b Vpc defaultLogicalSwitch String Vpc \u200b\u4e0b\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b router String Vpc \u200b\u5bf9\u5e94\u200b\u7684\u200b logical-router \u200b\u540d\u79f0\u200b tcpLoadBalancer String Vpc \u200b\u4e0b\u200b\u7684\u200b TCP LB \u200b\u4fe1\u606f\u200b udpLoadBalancer String Vpc \u200b\u4e0b\u200b\u7684\u200b UDP LB \u200b\u4fe1\u606f\u200b tcpSessionLoadBalancer String Vpc \u200b\u4e0b\u200b\u7684\u200b TCP \u200b\u4f1a\u8bdd\u200b\u4fdd\u6301\u200b LB \u200b\u4fe1\u606f\u200b udpSessionLoadBalancer String Vpc \u200b\u4e0b\u200b\u7684\u200b UDP \u200b\u4f1a\u8bdd\u200b\u4fdd\u6301\u200b LB \u200b\u4fe1\u606f\u200b subnets []String Vpc \u200b\u4e0b\u200b\u7684\u200b\u5b50\u7f51\u200b\u5217\u8868\u200b vpcPeerings []String Vpc \u200b\u4e92\u8054\u200b\u7684\u200b\u5bf9\u200b\u7aef\u200b Vpc \u200b\u5217\u8868\u200b enableExternal Bool Vpc \u200b\u662f\u5426\u200b\u8fde\u63a5\u200b\u5230\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a"},{"location":"reference/kube-ovn-api/#vpcnatgateway","title":"VpcNatGateway","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>VpcNatGateway</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VpcNatSpec Vpc \u200b\u7f51\u5173\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5"},{"location":"reference/kube-ovn-api/#vpcnatspec","title":"VpcNatSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b vpc String Vpc \u200b\u7f51\u5173\u200b Pod \u200b\u6240\u5728\u200b\u7684\u200b Vpc \u200b\u540d\u79f0\u200b subnet String Vpc \u200b\u7f51\u5173\u200b Pod \u200b\u6240\u5c5e\u200b\u7684\u200b\u5b50\u7f51\u200b\u540d\u79f0\u200b lanIp String Vpc \u200b\u7f51\u5173\u200b Pod \u200b\u6307\u5b9a\u200b\u5206\u914d\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b selector []String \u200b\u6807\u51c6\u200b Kubernetes Selector \u200b\u5339\u914d\u200b\u4fe1\u606f\u200b tolerations []VpcNatToleration \u200b\u6807\u51c6\u200b Kubernetes \u200b\u5bb9\u5fcd\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#vpcnattoleration","title":"VpcNatToleration","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b key String \u200b\u5bb9\u5fcd\u200b\u6c61\u70b9\u200b\u7684\u200b key \u200b\u4fe1\u606f\u200b operator String \u200b\u53d6\u503c\u200b\u4e3a\u200b <code>Exists</code> \u200b\u6216\u8005\u200b <code>Equal</code> value String \u200b\u5bb9\u5fcd\u200b\u6c61\u70b9\u200b\u7684\u200b value \u200b\u4fe1\u606f\u200b effect String \u200b\u5bb9\u5fcd\u200b\u6c61\u70b9\u200b\u7684\u200b\u4f5c\u7528\u200b\u6548\u679c\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>NoExecute</code> \u3001<code>NoSchedule</code> \u200b\u6216\u8005\u200b <code>PreferNoSchedule</code> tolerationSeconds Int64 \u200b\u6dfb\u52a0\u200b\u6c61\u70b9\u200b\u540e\u200b\uff0cPod \u200b\u8fd8\u200b\u80fd\u200b\u7ee7\u7eed\u200b\u5728\u200b\u8282\u70b9\u200b\u4e0a\u200b\u8fd0\u884c\u200b\u7684\u200b\u65f6\u95f4\u200b <p>\u200b\u4ee5\u4e0a\u200b\u5bb9\u5fcd\u200b\u5b57\u6bb5\u200b\u7684\u200b\u542b\u4e49\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b Kubernetes \u200b\u5b98\u65b9\u200b\u6587\u6863\u200b \u200b\u6c61\u70b9\u200b\u548c\u200b\u5bb9\u5fcd\u5ea6\u200b\u3002</p>"},{"location":"reference/kube-ovn-api/#iptableseip","title":"IptablesEIP","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IptablesEIP</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IptablesEipSpec Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status IptablesEipStatus Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#iptableseipspec","title":"IptablesEipSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b v4ip String IptablesEIP v4 \u200b\u5730\u5740\u200b v6ip String IptablesEIP v6 \u200b\u5730\u5740\u200b macAddress String IptablesEIP crd \u200b\u8bb0\u5f55\u200b\u5206\u914d\u200b\u7684\u200b mac \u200b\u5730\u5740\u200b\uff0c\u200b\u6ca1\u6709\u200b\u5b9e\u9645\u200b\u4f7f\u7528\u200b natGwDp String Vpc \u200b\u7f51\u5173\u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#iptableseipstatus","title":"IptablesEipStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool IptablesEIP \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b ip String IptablesEIP \u200b\u4f7f\u7528\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u76ee\u524d\u200b\u53ea\u200b\u652f\u6301\u200b\u4e86\u200b IPv4 \u200b\u5730\u5740\u200b redo String IptablesEIP crd \u200b\u521b\u5efa\u200b\u6216\u8005\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b nat String IptablesEIP \u200b\u7684\u200b\u4f7f\u7528\u200b\u7c7b\u578b\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>fip</code>\u3001<code>snat</code> \u200b\u6216\u8005\u200b <code>dnat</code> conditions []IptablesEIPCondition IptablesEIP \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#iptablesfiprule","title":"IptablesFIPRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IptablesFIPRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IptablesFIPRuleSpec Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesFIPRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status IptablesFIPRuleStatus Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesFIPRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#iptablesfiprulespec","title":"IptablesFIPRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b eip String IptablesFIPRule \u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u540d\u79f0\u200b internalIp String IptablesFIPRule \u200b\u5bf9\u5e94\u200b\u7684\u200b\u5185\u90e8\u200b\u7684\u200b IP \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#iptablesfiprulestatus","title":"IptablesFIPRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool IptablesFIPRule \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4ip String IptablesEIP \u200b\u4f7f\u7528\u200b\u7684\u200b v4 IP \u200b\u5730\u5740\u200b v6ip String IptablesEIP \u200b\u4f7f\u7528\u200b\u7684\u200b v6 IP \u200b\u5730\u5740\u200b natGwDp String Vpc \u200b\u7f51\u5173\u200b\u540d\u79f0\u200b redo String IptablesFIPRule crd \u200b\u521b\u5efa\u200b\u6216\u8005\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b conditions []IptablesFIPRuleCondition IptablesFIPRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#iptablessnatrule","title":"IptablesSnatRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IptablesSnatRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IptablesSnatRuleSpec Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesSnatRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status IptablesSnatRuleStatus Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesSnatRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#iptablessnatrulespec","title":"IptablesSnatRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b eip String IptablesSnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u540d\u79f0\u200b internalIp String IptablesSnatRule \u200b\u5bf9\u5e94\u200b\u7684\u200b\u5185\u90e8\u200b\u7684\u200b IP \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#iptablessnatrulestatus","title":"IptablesSnatRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool IptablesSnatRule \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4ip String IptablesSnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b v4 IP \u200b\u5730\u5740\u200b v6ip String IptablesSnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b v6 IP \u200b\u5730\u5740\u200b natGwDp String Vpc \u200b\u7f51\u5173\u200b\u540d\u79f0\u200b redo String IptablesSnatRule crd \u200b\u521b\u5efa\u200b\u6216\u8005\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b conditions []IptablesSnatRuleCondition IptablesSnatRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#iptablesdnatrule","title":"IptablesDnatRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>IptablesDnatRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec IptablesDnatRuleSpec Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesDnatRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status IptablesDnatRuleStatus Vpc \u200b\u7f51\u5173\u200b\u4f7f\u7528\u200b\u7684\u200b IptablesDnatRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#iptablesdnatrulespec","title":"IptablesDnatRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b eip Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b IptablesEIP \u200b\u540d\u79f0\u200b externalPort Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b\u5916\u90e8\u200b\u7aef\u53e3\u200b protocol Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u7684\u200b\u534f\u8bae\u200b\u7c7b\u578b\u200b internalIp Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b\u5185\u90e8\u200b IP \u200b\u5730\u5740\u200b internalPort Sting Vpc \u200b\u7f51\u5173\u200b\u914d\u7f6e\u200b IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b\u5185\u90e8\u200b\u7aef\u53e3"},{"location":"reference/kube-ovn-api/#iptablesdnatrulestatus","title":"IptablesDnatRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool IptablesDnatRule \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4ip String IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b v4 IP \u200b\u5730\u5740\u200b v6ip String IptablesDnatRule \u200b\u4f7f\u7528\u200b\u7684\u200b v6 IP \u200b\u5730\u5740\u200b natGwDp String Vpc \u200b\u7f51\u5173\u200b\u540d\u79f0\u200b redo String IptablesDnatRule crd \u200b\u521b\u5efa\u200b\u6216\u8005\u200b\u66f4\u65b0\u200b\u65f6\u95f4\u200b conditions []IptablesDnatRuleCondition IptablesDnatRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#vpcdns","title":"VpcDns","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>VpcDns</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VpcDnsSpec VpcDns \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status VpcDnsStatus VpcDns \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#vpcdnsspec","title":"VpcDnsSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b vpc String VpcDns \u200b\u6240\u5728\u200b\u7684\u200b Vpc \u200b\u540d\u79f0\u200b subnet String VpcDns Pod \u200b\u5206\u914d\u200b\u5730\u5740\u200b\u7684\u200b Subnet \u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#vpcdnsstatus","title":"VpcDnsStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []VpcDnsCondition VpcDns \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b active Bool VpcDns \u200b\u662f\u5426\u200b\u6b63\u5728\u200b\u4f7f\u7528\u200b <p>VpcDns \u200b\u7684\u200b\u8be6\u7ec6\u200b\u4f7f\u7528\u200b\u6587\u6863\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b DNS\u3002</p>"},{"location":"reference/kube-ovn-api/#switchlbrule","title":"SwitchLBRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>SwitchLBRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec SwitchLBRuleSpec SwitchLBRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status SwitchLBRuleStatus SwitchLBRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#switchlbrulespec","title":"SwitchLBRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b vip String SwitchLBRule \u200b\u914d\u7f6e\u200b\u7684\u200b vip \u200b\u5730\u5740\u200b namespace String SwitchLBRule \u200b\u7684\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b selector []String \u200b\u6807\u51c6\u200b Kubernetes Selector \u200b\u5339\u914d\u200b\u4fe1\u606f\u200b sessionAffinity String \u200b\u6807\u51c6\u200b Kubernetes Service \u200b\u4e2d\u200b sessionAffinity \u200b\u53d6\u503c\u200b ports []SlrPort SwitchLBRule \u200b\u7aef\u53e3\u200b\u5217\u8868\u200b <p>SwitchLBRule \u200b\u7684\u200b\u8be6\u7ec6\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b \u200b\u81ea\u5b9a\u4e49\u200b VPC \u200b\u5185\u90e8\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u3002</p>"},{"location":"reference/kube-ovn-api/#slrport","title":"SlrPort","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b name String \u200b\u7aef\u53e3\u200b\u540d\u79f0\u200b port Int32 \u200b\u7aef\u53e3\u53f7\u200b targetPort Int32 \u200b\u76ee\u6807\u200b\u7aef\u53e3\u53f7\u200b protocol String \u200b\u534f\u8bae\u200b\u7c7b\u578b"},{"location":"reference/kube-ovn-api/#switchlbrulestatus","title":"SwitchLBRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []SwitchLBRuleCondition SwitchLBRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b ports String SwitchLBRule \u200b\u7aef\u53e3\u200b\u4fe1\u606f\u200b service String SwitchLBRule \u200b\u63d0\u4f9b\u200b\u670d\u52a1\u200b\u7684\u200b service \u200b\u540d\u79f0"},{"location":"reference/kube-ovn-api/#vip","title":"\u5b89\u5168\u200b\u7ec4\u4e0e\u200b Vip","text":""},{"location":"reference/kube-ovn-api/#securitygroup","title":"SecurityGroup","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>SecurityGroup</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec SecurityGroupSpec \u200b\u5b89\u5168\u200b\u7ec4\u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status SecurityGroupStatus \u200b\u5b89\u5168\u200b\u7ec4\u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#securitygroupspec","title":"SecurityGroupSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ingressRules []*SgRule \u200b\u5165\u200b\u65b9\u5411\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b egressRules []*SgRule \u200b\u51fa\u200b\u65b9\u5411\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b allowSameGroupTraffic Bool \u200b\u540c\u4e00\u200b\u5b89\u5168\u200b\u7ec4\u5185\u200b\u7684\u200b lsp \u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u4e92\u901a\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u6d41\u91cf\u200b\u89c4\u5219\u200b\u662f\u5426\u200b\u9700\u8981\u200b\u66f4\u65b0"},{"location":"reference/kube-ovn-api/#sgrule","title":"SgRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ipVersion String IP \u200b\u7248\u672c\u53f7\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>ipv4</code> \u200b\u6216\u8005\u200b <code>ipv6</code> protocol String \u200b\u53d6\u503c\u200b\u4e3a\u200b <code>all</code>\u3001<code>icmp</code>\u3001<code>tcp</code> \u200b\u6216\u8005\u200b <code>udp</code> priority Int Acl \u200b\u4f18\u5148\u7ea7\u200b\uff0c\u200b\u53d6\u503c\u200b\u8303\u56f4\u200b\u4e3a\u200b 1-200\uff0c\u200b\u6570\u503c\u200b\u8d8a\u5c0f\u200b\uff0c\u200b\u4f18\u5148\u7ea7\u200b\u8d8a\u9ad8\u200b remoteType String \u200b\u53d6\u503c\u200b\u4e3a\u200b <code>address</code> \u200b\u6216\u8005\u200b <code>securityGroup</code> remoteAddress String \u200b\u5bf9\u7aef\u200b\u5730\u5740\u200b remoteSecurityGroup String \u200b\u5bf9\u7aef\u200b\u5b89\u5168\u200b\u7ec4\u200b portRangeMin Int \u200b\u7aef\u53e3\u200b\u8303\u56f4\u200b\u8d77\u59cb\u503c\u200b\uff0c\u200b\u6700\u5c0f\u200b\u53d6\u503c\u200b\u4e3a\u200b 1 portRangeMax Int \u200b\u7aef\u53e3\u200b\u8303\u56f4\u200b\u6700\u5927\u503c\u200b\uff0c\u200b\u6700\u5927\u200b\u53d6\u503c\u200b\u4e3a\u200b 65535 policy String \u200b\u53d6\u503c\u200b\u4e3a\u200b <code>allow</code> \u200b\u6216\u8005\u200b <code>drop</code>"},{"location":"reference/kube-ovn-api/#securitygroupstatus","title":"SecurityGroupStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b portGroup String \u200b\u5b89\u5168\u200b\u7ec4\u200b\u5bf9\u5e94\u200b\u7684\u200b port-group \u200b\u540d\u79f0\u200b allowSameGroupTraffic Bool \u200b\u540c\u4e00\u200b\u5b89\u5168\u200b\u7ec4\u5185\u200b\u7684\u200b lsp \u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u4e92\u901a\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5b89\u5168\u200b\u7ec4\u200b\u7684\u200b\u6d41\u91cf\u200b\u89c4\u5219\u200b\u662f\u5426\u200b\u9700\u8981\u200b\u66f4\u65b0\u200b ingressMd5 String \u200b\u5165\u200b\u65b9\u5411\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b MD5 \u200b\u53d6\u503c\u200b egressMd5 String \u200b\u51fa\u200b\u65b9\u5411\u200b\u5b89\u5168\u200b\u7ec4\u200b\u89c4\u5219\u200b MD5 \u200b\u53d6\u503c\u200b ingressLastSyncSuccess Bool \u200b\u5165\u200b\u65b9\u5411\u200b\u89c4\u5219\u200b\u4e0a\u200b\u4e00\u6b21\u200b\u540c\u6b65\u200b\u662f\u5426\u200b\u6210\u529f\u200b egressLastSyncSuccess Bool \u200b\u51fa\u200b\u65b9\u5411\u200b\u89c4\u5219\u200b\u4e0a\u200b\u4e00\u6b21\u200b\u540c\u6b65\u200b\u662f\u5426\u200b\u6210\u529f"},{"location":"reference/kube-ovn-api/#vip_1","title":"Vip","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>Vip</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec VipSpec Vip \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status VipStatus Vip \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#vipspec","title":"VipSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b namespace String Vip \u200b\u6240\u5728\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b subnet String Vip \u200b\u6240\u5c5e\u200b\u5b50\u7f51\u200b type String Vip \u200b\u4f7f\u7528\u200b\u7c7b\u578b\u200b\uff0c\u200b\u53d6\u503c\u200b\u4e3a\u200b <code>switch_lb_vip</code> \u200b\u6216\u7a7a\u200b v4ip String Vip v4 IP \u200b\u5730\u5740\u200b v6ip String Vip v6 IP \u200b\u5730\u5740\u200b macAddress String Vip mac \u200b\u5730\u5740\u200b parentV4ip String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b parentV6ip String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b parentMac String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b selector []String \u200b\u6807\u51c6\u200b Kubernetes Selector \u200b\u5339\u914d\u200b\u4fe1\u606f\u200b attachSubnets []String \u200b\u8be5\u5b57\u6bb5\u200b\u5e9f\u5f03\u200b\uff0c\u200b\u4e0d\u518d\u200b\u4f7f\u7528"},{"location":"reference/kube-ovn-api/#vipstatus","title":"VipStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []VipCondition Vip \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b ready Bool Vip \u200b\u662f\u5426\u200b\u51c6\u5907\u200b\u597d\u200b v4ip String Vip v4 IP \u200b\u5730\u5740\u200b\uff0c\u200b\u5e94\u8be5\u200b\u548c\u200b spec \u200b\u5b57\u200b\u6bb5\u200b\u53d6\u503c\u200b\u4e00\u81f4\u200b v6ip String Vip v6 IP \u200b\u5730\u5740\u200b\uff0c\u200b\u5e94\u8be5\u200b\u548c\u200b spec \u200b\u5b57\u200b\u6bb5\u200b\u53d6\u503c\u200b\u4e00\u81f4\u200b mac String Vip mac \u200b\u5730\u5740\u200b\uff0c\u200b\u5e94\u8be5\u200b\u548c\u200b spec \u200b\u5b57\u200b\u6bb5\u200b\u53d6\u503c\u200b\u4e00\u81f4\u200b pv4ip String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b pv6ip String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528\u200b pmac String \u200b\u76ee\u524d\u200b\u6ca1\u6709\u200b\u4f7f\u7528"},{"location":"reference/kube-ovn-api/#ovneip","title":"OvnEip","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>OvnEip</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec OvnEipSpec \u200b\u9ed8\u8ba4\u200b Vpc \u200b\u4f7f\u7528\u200b OvnEip \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status OvnEipStatus \u200b\u9ed8\u8ba4\u200b Vpc \u200b\u4f7f\u7528\u200b OvnEip \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#ovneipspec","title":"OvnEipSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b externalSubnet String OvnEip \u200b\u6240\u5728\u200b\u7684\u200b\u5b50\u7f51\u200b\u540d\u79f0\u200b v4Ip String OvnEip IPv4 \u200b\u5730\u5740\u200b v6Ip String OvnEip IPv6 \u200b\u5730\u5740\u200b macAddress String OvnEip Mac \u200b\u5730\u5740\u200b type String OvnEip \u200b\u4f7f\u7528\u200b\u7c7b\u578b\u200b\uff0c\u200b\u53d6\u503c\u200b\u6709\u200b <code>lrp</code>\u3001<code>lsp</code> \u200b\u6216\u8005\u200b <code>nat</code>"},{"location":"reference/kube-ovn-api/#ovneipstatus","title":"OvnEipStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b conditions []OvnEipCondition \u200b\u9ed8\u8ba4\u200b Vpc OvnEip \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b type String OvnEip \u200b\u4f7f\u7528\u200b\u7c7b\u578b\u200b, \u200b\u53ef\u4ee5\u200b\u662f\u200b <code>lrp</code>, <code>lsp</code> or <code>nat</code> nat String dnat snat fip v4Ip String OvnEip \u200b\u4f7f\u7528\u200b\u7684\u200b v4 IP \u200b\u5730\u5740\u200b v6Ip String OvnEip \u200b\u4f7f\u7528\u200b\u7684\u200b v6 IP \u200b\u5730\u5740\u200b macAddress String OvnEip \u200b\u4f7f\u7528\u200b\u7684\u200b Mac \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#ovnfip","title":"OvnFip","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>OvnFip</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec OvnFipSpec \u200b\u9ed8\u8ba4\u200b Vpc \u200b\u4f7f\u7528\u200b OvnFip \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status OvnFipStatus \u200b\u9ed8\u8ba4\u200b Vpc \u200b\u4f7f\u7528\u200b OvnFip \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#ovnfipspec","title":"OvnFipSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ovnEip String OvnFip \u200b\u7ed1\u5b9a\u200b\u7684\u200b OvnEip \u200b\u540d\u79f0\u200b ipType String vip \u200b\u6216\u8005\u200b ip crd (\"\" \u200b\u8868\u793a\u200b ip crd) ipName String OvnFip \u200b\u7ed1\u5b9a\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b IP crd \u200b\u540d\u79f0\u200b vpc String Pod \u200b\u6240\u5728\u200b\u7684\u200b VPC \u200b\u7684\u200b\u540d\u5b57\u200b V4Ip String IP \u200b\u6216\u8005\u200b VIP \u200b\u7684\u200b IPv4 \u200b\u5730\u5740"},{"location":"reference/kube-ovn-api/#ovnfipstatus","title":"OvnFipStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool OvnFip \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4Eip String OvnFip \u200b\u7ed1\u5b9a\u200b\u7684\u200b OvnEip \u200b\u540d\u79f0\u200b v4Ip String OvnFip \u200b\u5f53\u524d\u200b\u4f7f\u7528\u200b\u7684\u200b OvnEip \u200b\u5730\u5740\u200b vpc String OvnFip \u200b\u6240\u5728\u200b\u7684\u200b Vpc \u200b\u540d\u79f0\u200b conditions []OvnFipCondition OvnFip \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49"},{"location":"reference/kube-ovn-api/#ovnsnatrule","title":"OvnSnatRule","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b apiVersion String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u7248\u672c\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u6240\u6709\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b kubeovn.io/v1 kind String \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u7c7b\u578b\u200b\u5b57\u200b\u6bb5\u200b\uff0c\u200b\u672c\u200b\u8d44\u6e90\u200b\u6240\u6709\u200b\u5b9e\u4f8b\u200b\u8be5\u503c\u200b\u5747\u200b\u4e3a\u200b <code>OvnSnatRule</code> metadata ObjectMeta \u200b\u6807\u51c6\u200b Kubernetes \u200b\u8d44\u6e90\u200b\u5143\u200b\u6570\u636e\u200b\u4fe1\u606f\u200b spec OvnSnatRuleSpec \u200b\u9ed8\u8ba4\u200b Vpc OvnSnatRule \u200b\u5177\u4f53\u200b\u914d\u7f6e\u200b\u4fe1\u606f\u200b\u5b57\u200b\u6bb5\u200b status OvnSnatRuleStatus \u200b\u9ed8\u8ba4\u200b Vpc OvnSnatRule \u200b\u72b6\u6001\u200b\u4fe1\u606f"},{"location":"reference/kube-ovn-api/#ovnsnatrulespec","title":"OvnSnatRuleSpec","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ovnEip String OvnSnatRule \u200b\u7ed1\u5b9a\u200b\u7684\u200b OvnEip \u200b\u540d\u79f0\u200b vpcSubnet String OvnSnatRule \u200b\u914d\u7f6e\u200b\u7684\u200b\u5b50\u7f51\u200b\u540d\u79f0\u200b vpc String Pod \u200b\u6240\u5728\u200b\u7684\u200b VPC ipName String OvnSnatRule \u200b\u7ed1\u5b9a\u200b Pod \u200b\u5bf9\u5e94\u200b\u7684\u200b IP crd \u200b\u540d\u79f0\u200b v4IpCidr String vpc subnet \u200b\u7684\u200b IPv4 cidr"},{"location":"reference/kube-ovn-api/#ovnsnatrulestatus","title":"OvnSnatRuleStatus","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b ready Bool OvnSnatRule \u200b\u662f\u5426\u200b\u914d\u7f6e\u200b\u5b8c\u6210\u200b v4Eip String OvnSnatRule \u200b\u7ed1\u5b9a\u200b\u7684\u200b OvnEip \u200b\u5730\u5740\u200b v4IpCidr String \u200b\u5728\u200b logical-router \u200b\u4e2d\u200b\u914d\u7f6e\u200b snat \u200b\u8f6c\u6362\u200b\u4f7f\u7528\u200b\u7684\u200b cidr \u200b\u5730\u5740\u200b vpc String OvnSnatRule \u200b\u6240\u5728\u200b\u7684\u200b Vpc \u200b\u540d\u79f0\u200b conditions []OvnSnatRuleCondition OvnSnatRule \u200b\u72b6\u6001\u200b\u53d8\u5316\u200b\u4fe1\u606f\u200b\uff0c\u200b\u5177\u4f53\u200b\u5b57\u200b\u6bb5\u200b\u53c2\u8003\u200b\u6587\u6863\u200b\u5f00\u5934\u200b Condition \u200b\u5b9a\u4e49\u200b <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/kube-ovn-pinger-args/","title":"Kube-OVN-Pinger \u200b\u53c2\u6570\u200b\u53c2\u8003","text":"<p>\u200b\u57fa\u4e8e\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\uff0c\u200b\u6574\u7406\u200b\u4e86\u200b Kube-ovn-pinger \u200b\u652f\u6301\u200b\u7684\u200b\u53c2\u6570\u200b\uff0c\u200b\u5217\u51fa\u200b\u53c2\u6570\u200b\u5b9a\u4e49\u200b\u5404\u5b57\u200b\u6bb5\u200b\u7684\u200b\u53d6\u503c\u200b\u7c7b\u578b\u200b\uff0c\u200b\u542b\u4e49\u200b\u548c\u200b\u9ed8\u8ba4\u503c\u200b\uff0c\u200b\u4ee5\u200b\u4f9b\u53c2\u8003\u200b</p>"},{"location":"reference/kube-ovn-pinger-args/#_1","title":"\u53c2\u6570\u200b\u63cf\u8ff0","text":"\u5c5e\u6027\u200b\u540d\u79f0\u200b \u200b\u7c7b\u578b\u200b \u200b\u63cf\u8ff0\u200b \u200b\u9ed8\u8ba4\u503c\u200b port Int metrics \u200b\u7aef\u53e3\u200b 8080 kubeconfig String \u200b\u5177\u6709\u200b\u8ba4\u8bc1\u200b\u4fe1\u606f\u200b\u7684\u200b kubeconfig \u200b\u6587\u4ef6\u200b\u8def\u5f84\u200b\uff0c \u200b\u5982\u679c\u200b\u672a\u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u4f7f\u7528\u200b inCluster \u200b\u4ee4\u724c\u200b\u3002 \"\" ds-namespace String kube-ovn-pinger \u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u547d\u540d\u200b\u7a7a\u95f4\u200b \"kube-system\" ds-name String kube-ovn-pinger \u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u540d\u5b57\u200b \"kube-ovn-pinger\" interval Int \u200b\u8fde\u7eed\u200b ping \u200b\u4e4b\u95f4\u200b\u7684\u200b\u95f4\u9694\u200b\u79d2\u6570\u200b 5 mode String \u200b\u670d\u52a1\u5668\u200b\u6216\u200b\u5de5\u4f5c\u200b\u6a21\u5f0f\u200b \"server\" exit-code Int \u200b\u5931\u8d25\u200b\u65f6\u200b\u9000\u51fa\u200b\u4ee3\u7801\u200b 0 internal-dns String \u200b\u4ece\u200b pod \u200b\u5185\u200b\u89e3\u6790\u200b\u5185\u90e8\u200b dns \"kubernetes.default\" external-dns String \u200b\u4ece\u200b pod \u200b\u5185\u200b\u89e3\u6790\u200b\u5916\u90e8\u200b dns \"\" external-address String \u200b\u68c0\u67e5\u200b\u4e0e\u200b\u5916\u90e8\u200b\u5730\u5740\u200b\u7684\u200b ping \u200b\u8fde\u901a\u200b \"114.114.114.114\" network-mode String \u200b\u5f53\u524d\u200b\u96c6\u7fa4\u200b\u4f7f\u7528\u200b\u7684\u200b cni \u200b\u63d2\u4ef6\u200b \"kube-ovn\" enable-metrics Bool \u200b\u662f\u5426\u200b\u652f\u6301\u200b metrics \u200b\u67e5\u8be2\u200b true ovs.timeout Int \u200b\u5bf9\u200b OVS \u200b\u7684\u200b JSON-RPC \u200b\u8bf7\u6c42\u200b\u8d85\u65f6\u200b\u3002 2 system.run.dir String OVS \u200b\u9ed8\u8ba4\u200b\u8fd0\u884c\u200b\u76ee\u5f55\u200b\u3002 \"/var/run/openvswitch\" database.vswitch.name String OVS \u200b\u6570\u636e\u5e93\u200b\u7684\u200b\u540d\u79f0\u200b\u3002 \"Open_vSwitch\" database.vswitch.socket.remote String JSON-RPC unix \u200b\u5957\u200b\u63a5\u5b57\u200b\u5230\u200b OVS \u200b\u6570\u636e\u5e93\u200b\u3002 \"unix:/var/run/openvswitch/db.sock\" database.vswitch.file.data.path String OVS \u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u200b\u3002 \"/etc/openvswitch/conf.db\" database.vswitch.file.log.path String OVS \u200b\u6570\u636e\u5e93\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u200b\u3002 \"/var/log/openvswitch/ovsdb-server.log\" database.vswitch.file.pid.path String OVS \u200b\u6570\u636e\u5e93\u200b\u8fdb\u7a0b\u200b ID \u200b\u6587\u4ef6\u200b\u3002 \"/var/run/openvswitch/ovsdb-server.pid\" database.vswitch.file.system.id.path String OVS \u200b\u7cfb\u7edf\u200b\u6807\u8bc6\u200b\u6587\u4ef6\u200b\u3002 \"/etc/openvswitch/system-id.conf\" service.vswitchd.file.log.path String OVS vswitchd \u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u200b\u3002 \"/var/log/openvswitch/ovs-vswitchd.log\" service.vswitchd.file.pid.path String OVS vswitchd \u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u8fdb\u7a0b\u200b ID \u200b\u6587\u4ef6\u200b\u3002 \"/var/run/openvswitch/ovs-vswitchd.pid\" service.ovncontroller.file.log.path String OVN \u200b\u63a7\u5236\u5668\u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u200b\u3002 \"/var/log/ovn/ovn-controller.log\" service.ovncontroller.file.pid.path String OVN \u200b\u63a7\u5236\u5668\u200b\u5b88\u62a4\u200b\u8fdb\u7a0b\u200b\u8fdb\u7a0b\u200b ID \u200b\u6587\u4ef6\u200b\u3002 \"/var/run/ovn/ovn-controller.pid\" <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/metrics/","title":"Kube-OVN \u200b\u76d1\u63a7\u200b\u6307\u6807","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u5217\u4e3e\u200b Kube-OVN \u200b\u6240\u200b\u63d0\u4f9b\u200b\u7684\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\u3002</p>"},{"location":"reference/metrics/#ovn-monitor","title":"ovn-monitor","text":"<p>OVN \u200b\u81ea\u8eab\u200b\u72b6\u6001\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Gauge kube_ovn_ovn_status OVN \u200b\u89d2\u8272\u200b\u72b6\u6001\u200b\uff0c (2) \u200b\u4e3a\u200b follower\uff1b (1) \u200b\u4e3a\u200b leader, (0) \u200b\u4e3a\u200b\u5f02\u5e38\u200b\u72b6\u6001\u200b\u3002 Gauge kube_ovn_failed_req_count OVN \u200b\u5931\u8d25\u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_log_file_size_bytes OVN \u200b\u7ec4\u4ef6\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u5927\u5c0f\u200b\u3002 Gauge kube_ovn_db_file_size_bytes OVN \u200b\u7ec4\u4ef6\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u5927\u5c0f\u200b\u3002 Gauge kube_ovn_chassis_info OVN chassis \u200b\u72b6\u6001\u200b (1) \u200b\u8fd0\u884c\u200b\u4e2d\u200b\uff0c(0) \u200b\u505c\u6b62\u200b\u3002 Gauge kube_ovn_db_status OVN \u200b\u6570\u636e\u5e93\u200b\u72b6\u6001\u200b, (1) \u200b\u4e3a\u200b\u6b63\u5e38\u200b\uff1b (0) \u200b\u4e3a\u200b\u5f02\u5e38\u200b\u3002 Gauge kube_ovn_logical_switch_info OVN logical switch \u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b logical switch \u200b\u540d\u5b57\u200b\u3002 Gauge kube_ovn_logical_switch_external_id OVN logical switch external_id \u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b external-id \u200b\u5185\u5bb9\u200b\u3002 Gauge kube_ovn_logical_switch_port_binding OVN logical switch \u200b\u548c\u200b logical switch port \u200b\u5173\u8054\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u901a\u8fc7\u200b\u6807\u7b7e\u200b\u8fdb\u884c\u200b\u5173\u8054\u200b\u3002 Gauge kube_ovn_logical_switch_tunnel_key \u200b\u548c\u200b OVN logical switch \u200b\u5173\u8054\u200b\u7684\u200b tunnel key \u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_logical_switch_ports_num OVN logical switch \u200b\u4e0a\u200b logical port \u200b\u7684\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_logical_switch_port_info OVN logical switch port \u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5177\u4f53\u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_logical_switch_port_tunnel_key \u200b\u548c\u200b OVN logical switch port \u200b\u5173\u8054\u200b\u7684\u200b tunnel key \u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_cluster_enabled (1) OVN \u200b\u6570\u636e\u5e93\u200b\u4e3a\u200b\u96c6\u7fa4\u200b\u6a21\u5f0f\u200b\uff1b (0) OVN \u200b\u6570\u636e\u5e93\u200b\u4e3a\u200b\u975e\u200b\u96c6\u7fa4\u200b\u6a21\u5f0f\u200b\u3002 Gauge kube_ovn_cluster_role \u200b\u6bcf\u4e2a\u200b\u6570\u636e\u5e93\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u89d2\u8272\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u89d2\u8272\u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_cluster_status \u200b\u6bcf\u4e2a\u200b\u6570\u636e\u5e93\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u72b6\u6001\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u72b6\u6001\u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_cluster_term RAFT term \u200b\u4fe1\u606f\u200b\u3002 Gauge kube_ovn_cluster_leader_self \u200b\u5f53\u524d\u200b\u6570\u636e\u5e93\u200b\u5b9e\u4f8b\u200b\u662f\u5426\u200b\u4e3a\u200b leader (1) \u200b\u662f\u200b\uff0c (0) \u200b\u4e0d\u662f\u200b\u3002 Gauge kube_ovn_cluster_vote_self \u200b\u5f53\u524d\u200b\u6570\u636e\u5e93\u200b\u5b9e\u4f8b\u200b\u662f\u5426\u200b\u9009\u4e3e\u200b\u81ea\u5df1\u200b\u4e3a\u200b leader (1) \u200b\u662f\u200b\uff0c (0) \u200b\u4e0d\u662f\u200b\u3002 Gauge kube_ovn_cluster_election_timer \u200b\u5f53\u524d\u200b election timer \u200b\u503c\u200b\u3002 Gauge kube_ovn_cluster_log_not_committed \u200b\u672a\u200b commit \u200b\u7684\u200b RAFT \u200b\u65e5\u5fd7\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_log_not_applied \u200b\u672a\u200b apply \u200b\u7684\u200b RAFT \u200b\u65e5\u5fd7\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_log_index_start \u200b\u5f53\u524d\u200b RAFT \u200b\u65e5\u5fd7\u200b\u6761\u200b\u76ee\u7684\u200b\u8d77\u59cb\u503c\u200b\u3002 Gauge kube_ovn_cluster_log_index_next RAFT \u200b\u65e5\u5fd7\u200b\u6761\u200b\u76ee\u7684\u200b\u4e0b\u200b\u4e00\u4e2a\u200b\u503c\u200b\u3002 Gauge kube_ovn_cluster_inbound_connections_total \u200b\u5f53\u524d\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u5165\u200b\u5411\u200b\u8fde\u63a5\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_outbound_connections_total \u200b\u5f53\u524d\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u51fa\u200b\u5411\u200b\u8fde\u63a5\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_inbound_connections_error_total \u200b\u5f53\u524d\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u5165\u200b\u5411\u200b\u9519\u8bef\u200b\u8fde\u63a5\u200b\u6570\u91cf\u200b\u3002 Gauge kube_ovn_cluster_outbound_connections_error_total \u200b\u5f53\u524d\u200b\u5b9e\u4f8b\u200b\u7684\u200b\u51fa\u200b\u5411\u200b\u9519\u8bef\u200b\u8fde\u63a5\u200b\u6570\u91cf\u200b\u3002"},{"location":"reference/metrics/#ovs-monitor","title":"ovs-monitor","text":"<p><code>ovsdb</code> \u200b\u548c\u200b <code>vswitchd</code> \u200b\u81ea\u8eab\u200b\u72b6\u6001\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Gauge ovs_status OVS \u200b\u5065\u5eb7\u200b\u72b6\u6001\u200b\uff0c (1) \u200b\u4e3a\u200b\u6b63\u5e38\u200b\uff0c(0) \u200b\u4e3a\u200b\u5f02\u5e38\u200b\u3002 Gauge ovs_info OVS \u200b\u57fa\u7840\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u4fe1\u606f\u200b\u3002 Gauge failed_req_count OVS \u200b\u5931\u8d25\u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Gauge log_file_size OVS \u200b\u7ec4\u4ef6\u200b\u65e5\u5fd7\u200b\u6587\u4ef6\u5927\u5c0f\u200b\u3002 Gauge db_file_size OVS \u200b\u7ec4\u4ef6\u200b\u6570\u636e\u5e93\u200b\u6587\u4ef6\u5927\u5c0f\u200b\u3002 Gauge datapath Datapath \u200b\u57fa\u7840\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u4fe1\u606f\u200b\u3002 Gauge dp_total \u200b\u5f53\u524d\u200b OVS \u200b\u4e2d\u200b datapath \u200b\u6570\u91cf\u200b\u3002 Gauge dp_if Datapath \u200b\u63a5\u53e3\u200b\u57fa\u7840\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u4fe1\u606f\u200b\u3002 Gauge dp_if_total \u200b\u5f53\u524d\u200b datapath \u200b\u4e2d\u200b port \u200b\u6570\u91cf\u200b\u3002 Gauge dp_flows_total Datapath \u200b\u4e2d\u200b flow \u200b\u6570\u91cf\u200b\u3002 Gauge dp_flows_lookup_hit Datapath \u200b\u4e2d\u200b\u547d\u4e2d\u200b\u5f53\u524d\u200b flow \u200b\u6570\u636e\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge dp_flows_lookup_missed Datapath \u200b\u4e2d\u672a\u200b\u547d\u4e2d\u200b\u5f53\u524d\u200b flow \u200b\u6570\u636e\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge dp_flows_lookup_lost Datapath \u200b\u4e2d\u200b\u9700\u8981\u200b\u53d1\u9001\u7ed9\u200b userspace \u200b\u5904\u7406\u200b\u7684\u200b\u6570\u636e\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge dp_masks_hit Datapath \u200b\u4e2d\u200b\u547d\u4e2d\u200b\u5f53\u524d\u200b mask \u200b\u6570\u636e\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge dp_masks_total Datapath \u200b\u4e2d\u200b mask \u200b\u7684\u200b\u6570\u91cf\u200b\u3002 Gauge dp_masks_hit_ratio Datapath \u200b\u4e2d\u200b \u200b\u6570\u636e\u5305\u200b\u547d\u4e2d\u200b mask \u200b\u7684\u200b\u6bd4\u7387\u200b\u3002 Gauge interface OVS \u200b\u63a5\u53e3\u200b\u57fa\u7840\u200b\u4fe1\u606f\u200b\uff0c\u200b\u503c\u4e3a\u200b (1)\uff0c\u200b\u6807\u7b7e\u200b\u4e2d\u200b\u5305\u542b\u200b\u5bf9\u5e94\u200b\u4fe1\u606f\u200b\u3002 Gauge interface_admin_state \u200b\u63a5\u53e3\u200b\u7ba1\u7406\u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b (0) \u200b\u4e3a\u200b down, (1) \u200b\u4e3a\u200b up, (2) \u200b\u4e3a\u200b\u5176\u4ed6\u200b\u72b6\u6001\u200b\u3002 Gauge interface_link_state \u200b\u63a5\u53e3\u200b\u94fe\u8def\u200b\u72b6\u6001\u200b\u4fe1\u606f\u200b (0) \u200b\u4e3a\u200b down, (1) \u200b\u4e3a\u200b up, (2) \u200b\u4e3a\u200b\u5176\u4ed6\u200b\u72b6\u6001\u200b\u3002 Gauge interface_mac_in_use OVS Interface \u200b\u4f7f\u7528\u200b\u7684\u200b MAC \u200b\u5730\u5740\u200b Gauge interface_mtu OVS Interface \u200b\u4f7f\u7528\u200b\u7684\u200b MTU\u3002 Gauge interface_of_port OVS Interface \u200b\u5173\u8054\u200b\u7684\u200b OpenFlow Port ID\u3002 Gauge interface_if_index OVS Interface \u200b\u5173\u8054\u200b\u7684\u200b Index\u3002 Gauge interface_tx_packets OVS Interface \u200b\u53d1\u9001\u200b\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge interface_tx_bytes OVS Interface \u200b\u53d1\u9001\u200b\u5305\u200b\u5927\u5c0f\u200b\u3002 Gauge interface_rx_packets OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_bytes OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u5927\u5c0f\u200b\u3002 Gauge interface_rx_crc_err OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u6821\u9a8c\u200b\u548c\u200b\u9519\u8bef\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_dropped OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u4e22\u5f03\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_errors OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b\u9519\u8bef\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_frame_err OVS Interface \u200b\u63a5\u6536\u200b\u5e27\u200b\u9519\u8bef\u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_missed_err OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b miss \u200b\u6570\u91cf\u200b\u3002 Gauge interface_rx_over_err OVS Interface \u200b\u63a5\u6536\u200b\u5305\u200b overrun \u200b\u6570\u91cf\u200b\u3002 Gauge interface_tx_dropped OVS Interface \u200b\u53d1\u9001\u200b\u5305\u200b\u4e22\u5f03\u200b\u6570\u91cf\u200b\u3002 Gauge interface_tx_errors OVS Interface \u200b\u53d1\u9001\u200b\u5305\u200b\u9519\u8bef\u200b\u6570\u91cf\u200b\u3002 Gauge interface_collisions OVS interface \u200b\u51b2\u7a81\u200b\u6570\u91cf\u200b\u3002"},{"location":"reference/metrics/#kube-ovn-pinger","title":"kube-ovn-pinger","text":"<p>\u200b\u7f51\u7edc\u200b\u8d28\u91cf\u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Gauge pinger_ovs_up \u200b\u8282\u70b9\u200b OVS \u200b\u8fd0\u884c\u200b\u3002 Gauge pinger_ovs_down \u200b\u8282\u70b9\u200b OVS \u200b\u505c\u6b62\u200b\u3002 Gauge pinger_ovn_controller_up \u200b\u8282\u70b9\u200b ovn-controller \u200b\u8fd0\u884c\u200b\u3002 Gauge pinger_ovn_controller_down \u200b\u8282\u70b9\u200b ovn-controller \u200b\u505c\u6b62\u200b\u3002 Gauge pinger_inconsistent_port_binding OVN-SB \u200b\u91cc\u200b portbinding \u200b\u6570\u91cf\u200b\u548c\u200b\u4e3b\u673a\u200b OVS interface \u200b\u4e0d\u200b\u4e00\u81f4\u200b\u7684\u200b\u6570\u91cf\u200b\u3002 Gauge pinger_apiserver_healthy kube-ovn-pinger \u200b\u53ef\u4ee5\u200b\u8054\u901a\u200b apiserver\u3002 Gauge pinger_apiserver_unhealthy kube-ovn-pinger \u200b\u65e0\u6cd5\u200b\u8054\u901a\u200b apiserver\u3002 Histogram pinger_apiserver_latency_ms kube-ovn-pinger \u200b\u8bbf\u95ee\u200b apiserver \u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_internal_dns_healthy kube-ovn-pinger \u200b\u53ef\u4ee5\u200b\u89e3\u6790\u200b\u5185\u90e8\u200b\u57df\u540d\u200b\u3002 Gauge pinger_internal_dns_unhealthy kube-ovn-pinger \u200b\u65e0\u6cd5\u200b\u89e3\u6790\u200b\u5185\u90e8\u200b\u57df\u540d\u200b\u3002 Histogram pinger_internal_dns_latency_ms kube-ovn-pinger \u200b\u89e3\u6790\u200b\u5185\u90e8\u200b\u57df\u540d\u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_external_dns_health kube-ovn-pinger \u200b\u53ef\u4ee5\u200b\u89e3\u6790\u200b\u5916\u90e8\u200b\u57df\u540d\u200b\u3002 Gauge pinger_external_dns_unhealthy kube-ovn-pinger \u200b\u65e0\u6cd5\u200b\u89e3\u6790\u200b\u5916\u90e8\u200b\u57df\u540d\u200b\u3002 Histogram pinger_external_dns_latency_ms kube-ovn-pinger \u200b\u89e3\u6790\u200b\u5916\u90e8\u200b\u57df\u540d\u200b\u5ef6\u8fdf\u200b\u3002 Histogram pinger_pod_ping_latency_ms kube-ovn-pinger ping Pod \u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_pod_ping_lost_total kube-ovn-pinger ping Pod \u200b\u4e22\u5305\u200b\u6570\u91cf\u200b\u3002 Gauge pinger_pod_ping_count_total kube-ovn-pinger ping Pod \u200b\u6570\u91cf\u200b\u3002 Histogram pinger_node_ping_latency_ms kube-ovn-pinger ping Node \u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_node_ping_lost_total kube-ovn-pinger ping Node \u200b\u4e22\u5305\u200b\u3002 Gauge pinger_node_ping_count_total kube-ovn-pinger ping Node \u200b\u6570\u91cf\u200b\u3002 Histogram pinger_external_ping_latency_ms kube-ovn-pinger ping \u200b\u5916\u90e8\u200b\u5730\u5740\u200b \u200b\u5ef6\u8fdf\u200b\u3002 Gauge pinger_external_lost_total kube-ovn-pinger ping \u200b\u5916\u90e8\u200b\u4e22\u5305\u200b\u6570\u91cf\u200b\u3002"},{"location":"reference/metrics/#kube-ovn-controller","title":"kube-ovn-controller","text":"<p><code>kube-ovn-controller</code> \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Histogram rest_client_request_latency_seconds \u200b\u8bf7\u6c42\u200b apiserver \u200b\u5ef6\u8fdf\u200b\u3002 Counter rest_client_requests_total \u200b\u8bf7\u6c42\u200b apiserver \u200b\u6570\u91cf\u200b\u3002 Counter lists_total API list \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Summary list_duration_seconds API list \u200b\u8bf7\u6c42\u200b\u5ef6\u8fdf\u200b\u3002 Summary items_per_list API list \u200b\u8fd4\u56de\u200b\u7ed3\u679c\u200b\u6570\u91cf\u200b\u3002 Counter watches_total API watch \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Counter short_watches_total \u200b\u77ed\u65f6\u95f4\u200b API watch \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Summary watch_duration_seconds API watch \u200b\u6301\u7eed\u65f6\u95f4\u200b\u3002 Summary items_per_watch API watch \u200b\u8fd4\u56de\u200b\u7ed3\u679c\u200b\u6570\u91cf\u200b\u3002 Gauge last_resource_version \u200b\u6700\u65b0\u200b\u7684\u200b resource version\u3002 Histogram ovs_client_request_latency_milliseconds \u200b\u8bf7\u6c42\u200b OVN \u200b\u7ec4\u4ef6\u200b\u5ef6\u8fdf\u200b\u3002 Gauge subnet_available_ip_count \u200b\u5b50\u7f51\u200b\u53ef\u7528\u200b IP \u200b\u6570\u91cf\u200b\u3002 Gauge subnet_used_ip_count \u200b\u5b50\u7f51\u200b\u5df2\u200b\u7528\u200b IP \u200b\u6570\u91cf\u200b\u3002"},{"location":"reference/metrics/#kube-ovn-cni","title":"kube-ovn-cni","text":"<p><code>kube-ovn-cni</code> \u200b\u76f8\u5173\u200b\u76d1\u63a7\u200b\u6307\u6807\u200b\uff1a</p> \u200b\u7c7b\u578b\u200b \u200b\u6307\u6807\u200b\u9879\u200b \u200b\u63cf\u8ff0\u200b Histogram cni_op_latency_seconds CNI \u200b\u64cd\u4f5c\u200b\u5ef6\u8fdf\u200b\u3002 Counter cni_wait_address_seconds_total CNI \u200b\u7b49\u5f85\u200b\u5730\u5740\u200b\u5c31\u7eea\u200b\u65f6\u95f4\u200b\u3002 Counter cni_wait_connectivity_seconds_total CNI \u200b\u7b49\u5f85\u200b\u8fde\u63a5\u200b\u5c31\u7eea\u200b\u65f6\u95f4\u200b\u3002 Counter cni_wait_route_seconds_total CNI \u200b\u7b49\u5f85\u200b\u8def\u7531\u200b\u5c31\u7eea\u200b\u65f6\u95f4\u200b\u3002 Histogram rest_client_request_latency_seconds \u200b\u8bf7\u6c42\u200b apiserver \u200b\u5ef6\u8fdf\u200b\u3002 Counter rest_client_requests_total \u200b\u8bf7\u6c42\u200b apiserver \u200b\u6570\u91cf\u200b\u3002 Counter lists_total API list \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Summary list_duration_seconds API list \u200b\u8bf7\u6c42\u200b\u5ef6\u8fdf\u200b\u3002 Summary items_per_list API list \u200b\u8fd4\u56de\u200b\u7ed3\u679c\u200b\u6570\u91cf\u200b\u3002 Counter watches_total API watch \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Counter short_watches_total \u200b\u77ed\u65f6\u95f4\u200b API watch \u200b\u8bf7\u6c42\u200b\u6570\u91cf\u200b\u3002 Summary watch_duration_seconds API watch \u200b\u6301\u7eed\u65f6\u95f4\u200b\u3002 Summary items_per_watch API watch \u200b\u8fd4\u56de\u200b\u7ed3\u679c\u200b\u6570\u91cf\u200b\u3002 Gauge last_resource_version \u200b\u6700\u65b0\u200b\u7684\u200b resource version\u3002 Histogram ovs_client_request_latency_milliseconds \u200b\u8bf7\u6c42\u200b OVN \u200b\u7ec4\u4ef6\u200b\u5ef6\u8fdf\u200b\u3002 <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/ovs-ovn-customized/","title":"\u5bf9\u200b\u4e0a\u6e38\u200b OVS/OVN \u200b\u4fee\u6539","text":"<p>\u200b\u4e0a\u6e38\u200b OVN/OVS \u200b\u6700\u521d\u200b\u8bbe\u8ba1\u200b\u76ee\u6807\u200b\u4e3a\u200b\u901a\u7528\u200b SDN \u200b\u63a7\u5236\u5668\u200b\u548c\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u3002\u200b\u7531\u4e8e\u200b Kubernetes \u200b\u7f51\u7edc\u200b\u5b58\u5728\u200b\u4e00\u4e9b\u200b\u7279\u6b8a\u200b\u7684\u200b\u7528\u6cd5\u200b\uff0c \u200b\u5e76\u4e14\u200b Kube-OVN \u200b\u53ea\u200b\u91cd\u70b9\u200b\u4f7f\u7528\u200b\u4e86\u200b\u90e8\u5206\u200b\u529f\u80fd\u200b\uff0c\u200b\u4e3a\u4e86\u200b \u200b\u8fbe\u5230\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u3001\u200b\u7a33\u5b9a\u6027\u200b\u548c\u200b\u7279\u5b9a\u200b\u7684\u200b\u529f\u80fd\u200b\uff0cKube-OVN \u200b\u5bf9\u200b\u4e0a\u6e38\u200b OVN/OVS \u200b\u505a\u200b\u4e86\u200b\u90e8\u5206\u200b\u4fee\u6539\u200b\u3002\u200b\u7528\u6237\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b\u81ea\u5df1\u200b\u7684\u200b OVN/OVS \u200b\u914d\u5408\u200b Kube-OVN \u200b\u7684\u200b\u63a7\u5236\u5668\u200b\u8fdb\u884c\u200b\u5de5\u4f5c\u200b\u65f6\u200b\u9700\u8981\u200b\u6ce8\u610f\u200b \u200b\u4e0b\u8ff0\u200b\u7684\u200b\u6539\u52a8\u200b\u53ef\u80fd\u200b\u9020\u6210\u200b\u7684\u200b\u5f71\u54cd\u200b\u3002</p> <p>\u200b\u672a\u5408\u5165\u200b\u4e0a\u6e38\u200b\u4fee\u6539\u200b\uff1a</p> <ul> <li>38df6fa3f7 \u200b\u8c03\u6574\u200b\u9009\u4e3e\u200b timer\uff0c\u200b\u907f\u514d\u200b\u5927\u89c4\u6a21\u200b\u96c6\u7fa4\u200b\u9009\u4e3e\u200b\u6296\u52a8\u200b\u3002</li> <li>d4888c4e75 \u200b\u6dfb\u52a0\u200b fdb \u200b\u66f4\u65b0\u200b\u65e5\u5fd7\u200b\u3002</li> <li>d4888c4e75 \u200b\u4fee\u590d\u200b hairpin \u200b\u73af\u5883\u200b\u4e0b\u200b fdb \u200b\u5b66\u4e60\u200b\u9519\u8bef\u200b\u7684\u200b\u95ee\u9898\u200b\u3002</li> <li>9a81b91368 \u200b\u4e3a\u200b ovsdb-tool \u200b\u7684\u200b join-cluster \u200b\u5b50\u200b\u547d\u4ee4\u200b\u6dfb\u52a0\u200b Server ID \u200b\u53c2\u6570\u200b\u3002</li> <li>62d4969877 \u200b\u4fee\u590d\u200b\u5f00\u542f\u200b SSL \u200b\u540e\u200b OVSDB \u200b\u76d1\u542c\u200b\u5730\u5740\u200b\u9519\u8bef\u200b\u7684\u200b\u95ee\u9898\u200b\u3002</li> <li>0700cb90f9 \u200b\u76ee\u7684\u200b\u5730\u5740\u200b\u975e\u200b Service \u200b\u6d41\u91cf\u200b\u7ed5\u8fc7\u200b conntrack \u200b\u4ee5\u200b\u63d0\u9ad8\u200b\u7279\u5b9a\u200b\u6570\u636e\u94fe\u200b\u8def\u200b\u6027\u80fd\u200b\u3002</li> <li>c48049a64f ECMP \u200b\u7b97\u6cd5\u200b\u7531\u200b dp_hash \u200b\u8c03\u6574\u200b\u4e3a\u200b hash\uff0c\u200b\u907f\u514d\u200b\u90e8\u5206\u200b\u5185\u6838\u200b\u51fa\u73b0\u200b\u7684\u200b\u54c8\u5e0c\u200b\u9519\u8bef\u200b\u95ee\u9898\u200b\u3002</li> <li>64383c14a9 \u200b\u4fee\u590d\u200b Windows \u200b\u4e0b\u200b\u5185\u6838\u200b Crash \u200b\u95ee\u9898\u200b\u3002</li> <li>08a95db2ca \u200b\u652f\u6301\u200b Windows \u200b\u4e0b\u200b\u7684\u200b github action \u200b\u6784\u5efa\u200b\u3002</li> <li>680e77a190 Windows \u200b\u4e0b\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b tcp \u200b\u76d1\u542c\u200b\u3002</li> <li>05e57b3227 \u200b\u652f\u6301\u200b Windows \u200b\u7f16\u8bd1\u200b\u3002</li> <li>b3801ecb73 \u200b\u4fee\u6539\u200b\u6e90\u200b\u8def\u7531\u200b\u7684\u200b\u4f18\u5148\u7ea7\u200b\u3002</li> <li>977e569539 \u200b\u4fee\u590d\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b Pod \u200b\u6570\u91cf\u200b\u8fc7\u591a\u200b\u5bfc\u81f4\u200b OVS \u200b\u6d41\u8868\u200b resubmit \u200b\u6b21\u6570\u200b\u8d85\u8fc7\u200b\u4e0a\u9650\u200b\u7684\u200b\u95ee\u9898\u200b\u3002</li> <li>45a4a22161 ovn-nbctl\uff1avips \u200b\u4e3a\u200b\u7a7a\u65f6\u200b\u4e0d\u200b\u5220\u9664\u200b Load Balancer\u3002</li> <li>540592b9ff DNAT \u200b\u540e\u200b\u66ff\u6362\u200b Mac \u200b\u5730\u5740\u200b\u4e3a\u200b\u76ee\u6807\u200b\u5730\u5740\u200b\uff0c\u200b\u51cf\u5c11\u200b\u989d\u5916\u200b\u6027\u80fd\u200b\u5f00\u9500\u200b\u3002</li> <li>10972d9632 \u200b\u4fee\u590d\u200b vswitchd ofport_usage \u200b\u5185\u5b58\u200b\u6cc4\u9732\u200b\u3002</li> </ul> <p>\u200b\u5df2\u5408\u5165\u200b\u4e0a\u6e38\u200b\u4fee\u6539\u200b\uff1a</p> <ul> <li>20626ea909 \u200b\u7ec4\u64ad\u200b\u6d41\u91cf\u200b\u7ed5\u8fc7\u200b LB \u200b\u548c\u200b ACL \u200b\u5904\u7406\u200b\u9636\u6bb5\u200b\uff0c\u200b\u4ee5\u200b\u63d0\u9ad8\u200b\u7279\u5b9a\u200b\u6570\u636e\u94fe\u200b\u8def\u200b\u6027\u80fd\u200b\u3002</li> <li>a2d9ff3ccd Deb \u200b\u6784\u5efa\u200b\u589e\u52a0\u200b\u7f16\u8bd1\u200b\u4f18\u5316\u200b\u9009\u9879\u200b\u3002</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/tunnel-protocol/","title":"\u96a7\u9053\u200b\u534f\u8bae\u200b\u8bf4\u660e","text":"<p>Kube-OVN \u200b\u4f7f\u7528\u200b OVN/OVS \u200b\u4f5c\u4e3a\u200b\u6570\u636e\u200b\u5e73\u9762\u200b\u5b9e\u73b0\u200b\uff0c\u200b\u76ee\u524d\u200b\u652f\u6301\u200b <code>Geneve</code>\uff0c<code>Vxlan</code> \u200b\u548c\u200b <code>STT</code> \u200b\u4e09\u79cd\u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\u3002 \u200b\u8fd9\u200b\u4e09\u79cd\u200b\u534f\u8bae\u200b\u5728\u200b\u529f\u80fd\u200b\uff0c\u200b\u6027\u80fd\u200b\u548c\u200b\u6613\u7528\u6027\u200b\u4e0a\u200b\u5b58\u5728\u200b\u7740\u200b\u533a\u522b\u200b\uff0c\u200b\u672c\u200b\u6587\u6863\u200b\u5c06\u200b\u4ecb\u7ecd\u200b\u4e09\u79cd\u200b\u534f\u8bae\u200b\u5728\u200b\u4f7f\u7528\u200b\u4e2d\u200b\u7684\u200b\u5dee\u5f02\u200b\uff0c\u200b\u7528\u6237\u200b\u53ef\u200b\u6839\u636e\u200b\u81ea\u5df1\u200b\u7684\u200b\u60c5\u51b5\u200b\u8fdb\u884c\u200b\u9009\u62e9\u200b\u3002</p>"},{"location":"reference/tunnel-protocol/#geneve","title":"Geneve","text":"<p><code>Geneve</code> \u200b\u534f\u8bae\u200b\u4e3a\u200b Kube-OVN \u200b\u90e8\u7f72\u200b\u65f6\u200b\u9009\u62e9\u200b\u7684\u200b\u9ed8\u8ba4\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\uff0c\u200b\u4e5f\u200b\u662f\u200b OVN \u200b\u9ed8\u8ba4\u200b\u63a8\u8350\u200b\u7684\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\u3002\u200b\u8be5\u200b\u534f\u8bae\u200b\u5728\u200b\u5185\u6838\u200b\u4e2d\u200b\u5f97\u5230\u200b\u4e86\u200b\u5e7f\u6cdb\u200b\u7684\u200b\u652f\u6301\u200b\uff0c \u200b\u5e76\u200b\u53ef\u4ee5\u200b\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u7684\u200b\u901a\u7528\u200b Offload \u200b\u80fd\u529b\u200b\u8fdb\u884c\u200b\u52a0\u901f\u200b\u3002\u200b\u7531\u4e8e\u200b <code>Geneve</code> \u200b\u6709\u7740\u200b\u53ef\u53d8\u200b\u957f\u200b\u7684\u200b\u5934\u90e8\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b 24bit \u200b\u7a7a\u95f4\u200b\u6765\u200b\u6807\u5fd7\u200b\u4e0d\u540c\u200b\u7684\u200b datapath \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u521b\u5efa\u200b\u66f4\u200b\u591a\u200b\u6570\u91cf\u200b\u7684\u200b\u865a\u62df\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b Mellanox \u200b\u6216\u200b\u82af\u542f\u6e90\u200b\u7684\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b OVS \u200b\u5378\u8f7d\u200b\uff0c<code>Geneve</code> \u200b\u9700\u8981\u200b\u8f83\u200b\u9ad8\u200b\u7248\u672c\u200b\u7684\u200b\u5185\u6838\u200b\u652f\u6301\u200b\uff0c\u200b\u9700\u8981\u200b\u9009\u62e9\u200b 5.4 \u200b\u4ee5\u4e0a\u200b\u7684\u200b\u4e0a\u6e38\u200b\u5185\u6838\u200b\uff0c \u200b\u6216\u200b backport \u200b\u4e86\u200b\u8be5\u200b\u529f\u80fd\u200b\u7684\u200b\u5176\u4ed6\u200b\u517c\u5bb9\u200b\u5185\u6838\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u4f7f\u7528\u200b UDP \u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u8be5\u200b\u534f\u8bae\u200b\u5728\u200b\u5904\u7406\u200b TCP over UDP \u200b\u65f6\u200b\u4e0d\u80fd\u200b\u5f88\u200b\u597d\u200b\u7684\u200b\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u7684\u200b TCP \u200b\u76f8\u5173\u200b\u5378\u8f7d\u200b\uff0c\u200b\u5728\u200b\u5904\u7406\u200b\u5927\u5305\u200b\u65f6\u4f1a\u200b\u6d88\u8017\u200b\u8f83\u200b\u591a\u200b CPU \u200b\u8d44\u6e90\u200b\u3002</p>"},{"location":"reference/tunnel-protocol/#vxlan","title":"Vxlan","text":"<p><code>Vxlan</code> \u200b\u4e3a\u200b\u4e0a\u6e38\u200b OVN \u200b\u8fd1\u671f\u200b\u652f\u6301\u200b\u7684\u200b\u534f\u8bae\u200b\uff0c\u200b\u8be5\u200b\u534f\u8bae\u200b\u5728\u200b\u5185\u6838\u200b\u4e2d\u200b\u5f97\u5230\u200b\u4e86\u200b\u5e7f\u6cdb\u200b\u7684\u200b\u652f\u6301\u200b\uff0c \u200b\u5e76\u200b\u53ef\u4ee5\u200b\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u7684\u200b\u901a\u7528\u200b Offload \u200b\u80fd\u529b\u200b\u8fdb\u884c\u200b\u52a0\u901f\u200b\u3002 \u200b\u7531\u4e8e\u200b\u8be5\u200b\u534f\u8bae\u200b\u5934\u90e8\u200b\u957f\u5ea6\u200b\u6709\u9650\u200b\uff0c\u200b\u5e76\u4e14\u200b OVN \u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u989d\u5916\u200b\u7684\u200b\u7a7a\u95f4\u200b\u8fdb\u884c\u200b\u7f16\u6392\u200b\uff0cdatapath \u200b\u7684\u200b\u6570\u91cf\u200b\u5b58\u5728\u200b\u9650\u5236\u200b\uff0c\u200b\u6700\u200b\u591a\u200b\u53ea\u80fd\u200b\u521b\u5efa\u200b 4096 \u200b\u4e2a\u200b datapath\uff0c \u200b\u6bcf\u4e2a\u200b datapath \u200b\u4e0b\u200b\u6700\u200b\u591a\u200b 4096 \u200b\u4e2a\u200b\u7aef\u53e3\u200b\u3002\u200b\u540c\u65f6\u200b\u7531\u4e8e\u200b\u7a7a\u95f4\u200b\u6709\u9650\u200b\uff0c\u200b\u57fa\u4e8e\u200b <code>inport</code> \u200b\u7684\u200b ACL \u200b\u6ca1\u6709\u200b\u8fdb\u884c\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u4f7f\u7528\u200b Mellanox \u200b\u6216\u200b\u82af\u542f\u6e90\u200b\u7684\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b OVS \u200b\u5378\u8f7d\u200b\uff0c<code>Vxlan</code> \u200b\u7684\u200b\u5378\u8f7d\u200b\u5728\u200b\u5e38\u89c1\u200b\u5185\u6838\u200b\u4e2d\u200b\u5df2\u200b\u83b7\u5f97\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u7531\u4e8e\u200b\u4f7f\u7528\u200b UDP \u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u8be5\u200b\u534f\u8bae\u200b\u5728\u200b\u5904\u7406\u200b TCP over UDP \u200b\u65f6\u200b\u4e0d\u80fd\u200b\u5f88\u200b\u597d\u200b\u7684\u200b\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u7684\u200b TCP \u200b\u76f8\u5173\u200b\u5378\u8f7d\u200b\uff0c\u200b\u5728\u200b\u5904\u7406\u200b\u5927\u5305\u200b\u65f6\u4f1a\u200b\u6d88\u8017\u200b\u8f83\u200b\u591a\u200b CPU \u200b\u8d44\u6e90\u200b\u3002</p>"},{"location":"reference/tunnel-protocol/#stt","title":"STT","text":"<p><code>STT</code> \u200b\u534f\u8bae\u200b\u4e3a\u200b OVN \u200b\u8f83\u200b\u65e9\u200b\u652f\u6301\u200b\u7684\u200b\u96a7\u9053\u200b\u534f\u8bae\u200b\uff0c\u200b\u8be5\u200b\u534f\u8bae\u200b\u4f7f\u7528\u200b\u7c7b\u200b TCP \u200b\u7684\u200b\u5934\u90e8\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5145\u5206\u5229\u7528\u200b\u73b0\u4ee3\u200b\u7f51\u5361\u200b\u901a\u7528\u200b\u7684\u200b TCP \u200b\u5378\u8f7d\u200b\u80fd\u529b\u200b\uff0c\u200b\u5927\u5e45\u200b\u63d0\u5347\u200b TCP \u200b\u7684\u200b\u541e\u5410\u91cf\u200b\u3002\u200b\u540c\u65f6\u200b\u8be5\u200b\u534f\u8bae\u200b\u5934\u90e8\u200b\u8f83\u957f\u200b\u53ef\u200b\u652f\u6301\u200b\u5b8c\u6574\u200b\u7684\u200b OVN \u200b\u80fd\u529b\u200b\u548c\u200b\u5927\u89c4\u6a21\u200b\u7684\u200b datapath\u3002</p> <p>\u200b\u8be5\u200b\u534f\u8bae\u200b\u672a\u200b\u5728\u200b\u5185\u6838\u200b\u4e2d\u200b\u652f\u6301\u200b\uff0c\u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u9700\u8981\u200b\u989d\u5916\u200b\u7f16\u8bd1\u200b OVS \u200b\u5185\u6838\u6a21\u5757\u200b\uff0c\u200b\u5e76\u200b\u5728\u200b\u5347\u7ea7\u200b\u5185\u6838\u200b\u65f6\u200b\u5bf9\u5e94\u200b\u518d\u6b21\u200b\u7f16\u8bd1\u200b\u65b0\u200b\u7248\u672c\u200b\u5185\u6838\u6a21\u5757\u200b\u3002</p> <p>\u200b\u8be5\u200b\u534f\u8bae\u200b\u76ee\u524d\u200b\u672a\u200b\u88ab\u200b\u667a\u80fd\u7f51\u200b\u5361\u200b\u652f\u6301\u200b\uff0c\u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b OVS \u200b\u7684\u200b\u5378\u8f7d\u200b\u80fd\u529b\u200b\u3002</p>"},{"location":"reference/tunnel-protocol/#_2","title":"\u53c2\u8003\u8d44\u6599","text":"<ul> <li>https://ipwithease.com/vxlan-vs-geneve-understand-the-difference/</li> <li>OVN FAQ</li> <li>What is Geneve</li> </ul> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"reference/underlay-topology/","title":"Underlay \u200b\u6d41\u91cf\u200b\u62d3\u6251","text":"<p>\u200b\u672c\u200b\u6587\u6863\u200b\u4ecb\u7ecd\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u6d41\u91cf\u200b\u5728\u200b\u4e0d\u540c\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u7684\u200b\u8f6c\u53d1\u200b\u8def\u5f84\u200b\u3002</p>"},{"location":"reference/underlay-topology/#_1","title":"\u540c\u200b\u8282\u70b9\u200b\u540c\u200b\u5b50\u7f51","text":"<p>\u200b\u5185\u90e8\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u76f4\u63a5\u200b\u4ea4\u6362\u200b\u6570\u636e\u5305\u200b\uff0c\u200b\u4e0d\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\u3002</p> <p></p>"},{"location":"reference/underlay-topology/#_2","title":"\u8de8\u200b\u8282\u70b9\u200b\u540c\u200b\u5b50\u7f51","text":"<p>\u200b\u6570\u636e\u5305\u200b\u7ecf\u7531\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\uff0c\u200b\u7531\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u8fdb\u884c\u200b\u4ea4\u6362\u200b\u3002</p> <p></p>"},{"location":"reference/underlay-topology/#_3","title":"\u540c\u200b\u8282\u70b9\u200b\u4e0d\u540c\u200b\u5b50\u7f51","text":"<p>\u200b\u6570\u636e\u5305\u200b\u7ecf\u7531\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7531\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u53ca\u200b\u8def\u7531\u5668\u200b\u8fdb\u884c\u200b\u4ea4\u6362\u200b\u548c\u200b\u8def\u7531\u200b\u8f6c\u53d1\u200b\u3002</p> <p></p> <p>\u200b\u6b64\u5904\u200b br-provider-1 \u200b\u548c\u200b br-provider-2 \u200b\u53ef\u4ee5\u200b\u662f\u200b\u540c\u4e00\u4e2a\u200b OVS \u200b\u7f51\u6865\u200b\uff0c\u200b\u5373\u200b\u591a\u4e2a\u200b\u4e0d\u540c\u200b\u5b50\u7f51\u200b\u53ef\u4ee5\u200b\u4f7f\u7528\u200b\u540c\u4e00\u4e2a\u200b Provider Network\u3002</p>"},{"location":"reference/underlay-topology/#_4","title":"\u8de8\u200b\u8282\u70b9\u200b\u4e0d\u540c\u200b\u5b50\u7f51","text":"<p>\u200b\u6570\u636e\u5305\u200b\u7ecf\u7531\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7531\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u53ca\u200b\u8def\u7531\u5668\u200b\u8fdb\u884c\u200b\u4ea4\u6362\u200b\u548c\u200b\u8def\u7531\u200b\u8f6c\u53d1\u200b\u3002</p> <p></p>"},{"location":"reference/underlay-topology/#_5","title":"\u8bbf\u95ee\u200b\u5916\u90e8","text":"<p>\u200b\u6570\u636e\u5305\u200b\u7ecf\u7531\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u7f51\u7edc\u200b\uff0c\u200b\u7531\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u53ca\u200b\u8def\u7531\u5668\u200b\u8fdb\u884c\u200b\u4ea4\u6362\u200b\u548c\u200b\u8def\u7531\u200b\u8f6c\u53d1\u200b\u3002</p> <p></p> <p>\u200b\u8282\u70b9\u200b\u4e0e\u200b Pod \u200b\u4e4b\u95f4\u200b\u7684\u200b\u901a\u4fe1\u200b\u5927\u4f53\u4e0a\u200b\u4e5f\u200b\u9075\u5faa\u200b\u6b64\u200b\u903b\u8f91\u200b\u3002</p>"},{"location":"reference/underlay-topology/#vlan-tag","title":"\u65e0\u200b Vlan Tag \u200b\u4e0b\u200b\u603b\u89c8","text":""},{"location":"reference/underlay-topology/#vlan","title":"\u591a\u200b VLAN \u200b\u603b\u89c8","text":""},{"location":"reference/underlay-topology/#pod-service-ip","title":"Pod \u200b\u8bbf\u95ee\u200b Service IP","text":"<p>Kube-OVN \u200b\u4e3a\u200b\u6bcf\u4e2a\u200b Kubernetes Service \u200b\u5728\u200b\u6bcf\u4e2a\u200b\u5b50\u7f51\u200b\u7684\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u4e0a\u200b\u914d\u7f6e\u200b\u4e86\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u3002 \u200b\u5f53\u200b Pod \u200b\u901a\u8fc7\u200b\u8bbf\u95ee\u200b Service IP \u200b\u8bbf\u95ee\u200b\u5176\u5b83\u200b Pod \u200b\u65f6\u200b\uff0c\u200b\u4f1a\u200b\u6784\u9020\u200b\u4e00\u4e2a\u200b\u76ee\u7684\u200b\u5730\u5740\u200b\u4e3a\u200b Service IP\u3001\u200b\u76ee\u7684\u200b MAC \u200b\u5730\u5740\u200b\u4e3a\u200b\u7f51\u5173\u200b MAC \u200b\u5730\u5740\u200b\u7684\u200b\u7f51\u7edc\u200b\u5305\u200b\u3002 \u200b\u7f51\u7edc\u200b\u5305\u200b\u8fdb\u5165\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u540e\u200b\uff0c\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u200b\u4f1a\u200b\u5bf9\u200b\u7f51\u7edc\u200b\u5305\u200b\u8fdb\u884c\u200b\u62e6\u622a\u200b\u548c\u200b DNAT \u200b\u5904\u7406\u200b\uff0c\u200b\u5c06\u200b\u76ee\u7684\u200b IP \u200b\u548c\u200b\u7aef\u53e3\u200b\u4fee\u6539\u200b\u4e3a\u200b Service \u200b\u5bf9\u5e94\u200b\u7684\u200b\u67d0\u4e2a\u200b Endpoint \u200b\u7684\u200b IP \u200b\u548c\u200b\u7aef\u53e3\u200b\u3002 \u200b\u7531\u4e8e\u200b\u903b\u8f91\u200b\u4ea4\u6362\u673a\u200b\u5e76\u672a\u200b\u4fee\u6539\u200b\u7f51\u7edc\u200b\u5305\u200b\u7684\u200b\u4e8c\u5c42\u200b\u76ee\u7684\u200b MAC \u200b\u5730\u5740\u200b\uff0c\u200b\u7f51\u7edc\u200b\u5305\u200b\u5728\u200b\u8fdb\u5165\u200b\u5916\u90e8\u200b\u4ea4\u6362\u673a\u200b\u540e\u200b\u4ecd\u7136\u200b\u4f1a\u200b\u9001\u5230\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\uff0c\u200b\u6b64\u65f6\u200b\u9700\u8981\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\u5bf9\u200b\u7f51\u7edc\u200b\u5305\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\u3002</p>"},{"location":"reference/underlay-topology/#service-pod","title":"Service \u200b\u540e\u7aef\u200b\u4e3a\u200b\u540c\u200b\u8282\u70b9\u200b\u540c\u200b\u5b50\u7f51\u200b Pod","text":""},{"location":"reference/underlay-topology/#service-pod_1","title":"Service \u200b\u540e\u7aef\u200b\u4e3a\u200b\u540c\u200b\u8282\u70b9\u200b\u4e0d\u540c\u200b\u5b50\u7f51\u200b Pod","text":"<p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/one-step-install/","title":"\u4e00\u952e\u200b\u5b89\u88c5","text":"<p>Kube-OVN \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e00\u952e\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u4f60\u200b\u5feb\u901f\u200b\u5b89\u88c5\u200b\u4e00\u4e2a\u200b\u9ad8\u200b\u53ef\u7528\u200b\uff0c\u200b\u751f\u4ea7\u200b\u5c31\u7eea\u200b\u7684\u200b Kube-OVN \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u90e8\u7f72\u200b\u4e3a\u200b Overlay \u200b\u7c7b\u578b\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u4ece\u200b Kube-OVN v1.12.0 \u200b\u7248\u672c\u200b\u5f00\u59cb\u200b\uff0c\u200b\u652f\u6301\u200b Helm Chart \u200b\u5b89\u88c5\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u90e8\u7f72\u200b\u4e3a\u200b Overlay \u200b\u7c7b\u578b\u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u9ed8\u8ba4\u200b\u7f51\u7edc\u200b\u9700\u8981\u200b\u642d\u5efa\u200b Underlay/Vlan \u200b\u7f51\u7edc\u200b\uff0c\u200b\u8bf7\u200b\u53c2\u8003\u200b Underlay \u200b\u7f51\u7edc\u200b\u652f\u6301\u200b\u3002</p> <p>\u200b\u5b89\u88c5\u200b\u524d\u200b\u8bf7\u200b\u53c2\u8003\u200b\u51c6\u5907\u200b\u5de5\u4f5c\u200b\u786e\u8ba4\u200b\u73af\u5883\u200b\u914d\u7f6e\u200b\u6b63\u786e\u200b\u3002</p>"},{"location":"start/one-step-install/#_2","title":"\u811a\u672c\u200b\u5b89\u88c5","text":""},{"location":"start/one-step-install/#_3","title":"\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c","text":"<p>\u200b\u6211\u4eec\u200b\u63a8\u8350\u200b\u5728\u200b\u751f\u4ea7\u200b\u73af\u5883\u200b\u4f7f\u7528\u200b\u7a33\u5b9a\u200b\u7684\u200b release \u200b\u7248\u672c\u200b\uff0c\u200b\u8bf7\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u200b\u7a33\u5b9a\u200b\u7248\u672c\u200b\u5b89\u88c5\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre> <p>\u200b\u5982\u679c\u200b\u5bf9\u200b master \u200b\u5206\u652f\u200b\u7684\u200b\u6700\u65b0\u200b\u529f\u80fd\u200b\u611f\u5174\u8da3\u200b\uff0c\u200b\u60f3\u200b\u4f7f\u7528\u200b\u4e0b\u9762\u200b\u7684\u200b\u547d\u4ee4\u200b\u4e0b\u8f7d\u200b\u5f00\u53d1\u200b\u7248\u672c\u200b\u90e8\u7f72\u200b\u811a\u672c\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre>"},{"location":"start/one-step-install/#_4","title":"\u4fee\u6539\u200b\u914d\u7f6e\u200b\u53c2\u6570","text":"<p>\u200b\u4f7f\u7528\u200b\u7f16\u8f91\u5668\u200b\u6253\u5f00\u200b\u811a\u672c\u200b\uff0c\u200b\u5e76\u200b\u4fee\u6539\u200b\u4e0b\u5217\u200b\u53d8\u91cf\u200b\u4e3a\u200b\u9884\u671f\u200b\u503c\u200b\uff1a</p> <pre><code>REGISTRY=\"kubeovn\"                     # \u200b\u955c\u50cf\u200b\u4ed3\u5e93\u200b\u5730\u5740\u200b\nVERSION=\"v1.13.0\"                      # \u200b\u955c\u50cf\u200b\u7248\u672c\u200b/Tag\nPOD_CIDR=\"10.16.0.0/16\"                # \u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b CIDR \u200b\u4e0d\u8981\u200b\u548c\u200b SVC/NODE/JOIN CIDR \u200b\u91cd\u53e0\u200b\nSVC_CIDR=\"10.96.0.0/12\"                # \u200b\u9700\u8981\u200b\u548c\u200b apiserver \u200b\u7684\u200b service-cluster-ip-range \u200b\u4fdd\u6301\u4e00\u81f4\u200b\nJOIN_CIDR=\"100.64.0.0/16\"              # Pod \u200b\u548c\u200b\u4e3b\u673a\u200b\u901a\u4fe1\u200b\u7f51\u7edc\u200b CIDR\uff0c\u200b\u4e0d\u8981\u200b\u548c\u200b SVC/NODE/POD CIDR \u200b\u91cd\u53e0\u200b \nLABEL=\"node-role.kubernetes.io/master\" # \u200b\u90e8\u7f72\u200b OVN DB \u200b\u8282\u70b9\u200b\u7684\u200b\u6807\u7b7e\u200b\nIFACE=\"\"                               # \u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u6240\u200b\u4f7f\u7528\u200b\u7684\u200b\u7684\u200b\u5bbf\u4e3b\u673a\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u5982\u679c\u200b\u4e3a\u200b\u7a7a\u5219\u200b\u4f7f\u7528\u200b Kubernetes \u200b\u4e2d\u200b\u7684\u200b Node IP \u200b\u6240\u5728\u200b\u7f51\u5361\u200b\nTUNNEL_TYPE=\"geneve\"                   # \u200b\u96a7\u9053\u200b\u5c01\u88c5\u200b\u534f\u8bae\u200b\uff0c\u200b\u53ef\u200b\u9009\u200b geneve, vxlan \u200b\u6216\u200b stt\uff0cstt \u200b\u9700\u8981\u200b\u5355\u72ec\u200b\u7f16\u8bd1\u200b ovs \u200b\u5185\u6838\u6a21\u5757\u200b\n</code></pre> <p>\u200b\u53ef\u200b\u4f7f\u7528\u200b\u6b63\u5219\u8868\u8fbe\u5f0f\u200b\u6765\u200b\u5339\u914d\u200b\u7f51\u5361\u200b\u540d\u200b\uff0c\u200b\u4f8b\u5982\u200b <code>IFACE=enp6s0f0,eth.*</code>\u3002</p>"},{"location":"start/one-step-install/#_5","title":"\u6267\u884c\u200b\u5b89\u88c5\u200b\u811a\u672c","text":"<p><code>bash install.sh</code></p> <p>\u200b\u7b49\u5f85\u200b\u5b89\u88c5\u200b\u5b8c\u6210\u200b\u3002</p>"},{"location":"start/one-step-install/#helm-chart","title":"Helm Chart \u200b\u5b89\u88c5","text":"<p>\u200b\u7531\u4e8e\u200b Kube-OVN \u200b\u7684\u200b\u5b89\u88c5\u200b\uff0c\u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e00\u4e9b\u200b\u53c2\u6570\u200b\uff0c\u200b\u56e0\u6b64\u200b\u4f7f\u7528\u200b Helm \u200b\u5b89\u88c5\u200b Kube-OVN\uff0c\u200b\u9700\u8981\u200b\u6309\u7167\u200b\u4ee5\u4e0b\u200b\u6b65\u9aa4\u200b\u6267\u884c\u200b\u3002</p>"},{"location":"start/one-step-install/#ip","title":"\u67e5\u770b\u200b\u8282\u70b9\u200b IP \u200b\u5730\u5740","text":"<pre><code>$ kubectl get node -o wide\nNAME                     STATUS     ROLES           AGE   VERSION   INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION      CONTAINER-RUNTIME\nkube-ovn-control-plane   NotReady   control-plane   20h   v1.26.0   172.18.0.3    &lt;none&gt;        Ubuntu 22.04.1 LTS   5.10.104-linuxkit   containerd://1.6.9\nkube-ovn-worker          NotReady   &lt;none&gt;          20h   v1.26.0   172.18.0.2    &lt;none&gt;        Ubuntu 22.04.1 LTS   5.10.104-linuxkit   containerd://1.6.9\n</code></pre>"},{"location":"start/one-step-install/#master","title":"\u53bb\u6389\u200b\u96c6\u7fa4\u200b master \u200b\u8282\u70b9\u200b\u6c61\u70b9","text":"<pre><code>$ kubectl taint node kube-ovn-control-plane node-role.kubernetes.io/control-plane:NoSchedule-\nnode/kube-ovn-control-plane untainted\n</code></pre> <p>\u200b\u5982\u679c\u200b\u786e\u5b9a\u200b\u4e0d\u200b\u9700\u8981\u200b\u5728\u200b master \u200b\u8282\u70b9\u200b\u8c03\u5ea6\u200b\u4e1a\u52a1\u200b Pod\uff0c\u200b\u8fd9\u200b\u4e00\u6b65\u200b\u53ef\u4ee5\u200b\u8df3\u8fc7\u200b\u3002</p>"},{"location":"start/one-step-install/#label","title":"\u7ed9\u200b\u8282\u70b9\u200b\u6dfb\u52a0\u200b label","text":"<pre><code>$ kubectl label node -lbeta.kubernetes.io/os=linux kubernetes.io/os=linux --overwrite\nnode/kube-ovn-control-plane not labeled\nnode/kube-ovn-worker not labeled\n\n$ kubectl label node -lnode-role.kubernetes.io/control-plane kube-ovn/role=master --overwrite\nnode/kube-ovn-control-plane labeled\n\n# \u200b\u4ee5\u4e0b\u200b label \u200b\u7528\u4e8e\u200b dpdk \u200b\u955c\u50cf\u200b\u7684\u200b\u5b89\u88c5\u200b\uff0c\u200b\u975e\u200b dpdk \u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5ffd\u7565\u200b\n$ kubectl label node -lovn.kubernetes.io/ovs_dp_type!=userspace ovn.kubernetes.io/ovs_dp_type=kernel --overwrite\nnode/kube-ovn-control-plane labeled\nnode/kube-ovn-worker labeled\n</code></pre>"},{"location":"start/one-step-install/#helm-repo","title":"\u6dfb\u52a0\u200b Helm Repo \u200b\u4fe1\u606f","text":"<pre><code>$ helm repo add kubeovn https://kubeovn.github.io/kube-ovn/\n\"kubeovn\" has been added to your repositories\n\n$ helm repo list\nNAME            URL\nkubeovn         https://kubeovn.github.io/kube-ovn/\n\n$ helm search repo kubeovn\nNAME                CHART VERSION   APP VERSION DESCRIPTION\nkubeovn/kube-ovn    0.1.0           1.12.0      Helm chart for Kube-OVN\n</code></pre>"},{"location":"start/one-step-install/#helm-install-kube-ovn","title":"\u6267\u884c\u200b helm install \u200b\u5b89\u88c5\u200b Kube-OVN","text":"<p>Node0IP\u3001Node1IP\u3001Node2IP \u200b\u53c2\u6570\u200b\u5206\u522b\u200b\u4e3a\u200b\u96c6\u7fa4\u200b master \u200b\u8282\u70b9\u200b\u7684\u200b IP \u200b\u5730\u5740\u200b\u3002\u200b\u5176\u4ed6\u200b\u53c2\u6570\u200b\u7684\u200b\u8bbe\u7f6e\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u53c2\u8003\u200b values.yaml \u200b\u6587\u4ef6\u200b\u4e2d\u200b\u53d8\u91cf\u200b\u5b9a\u4e49\u200b\u3002</p> <pre><code># \u200b\u5355\u200b master \u200b\u8282\u70b9\u200b\u73af\u5883\u200b\u5b89\u88c5\u200b\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=${Node0IP}\n\n# \u200b\u4ee5\u4e0a\u200b\u8fb9\u200b\u7684\u200b node \u200b\u4fe1\u606f\u200b\u4e3a\u4f8b\u200b\uff0c\u200b\u6267\u884c\u200b\u5b89\u88c5\u200b\u547d\u4ee4\u200b\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=172.18.0.3\nNAME: kube-ovn\nLAST DEPLOYED: Fri Mar 31 12:43:43 2023\nNAMESPACE: default\nSTATUS: deployed\nREVISION: 1\nTEST SUITE: None\n\n# \u200b\u9ad8\u200b\u53ef\u7528\u200b\u96c6\u7fa4\u200b\u5b89\u88c5\u200b\n$ helm install kube-ovn kubeovn/kube-ovn --set MASTER_NODES=${Node0IP}\\,${Node1IP}\\,${Node2IP}\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/prepare/","title":"\u51c6\u5907\u200b\u5de5\u4f5c","text":"<p>Kube-OVN \u200b\u662f\u200b\u4e00\u4e2a\u200b\u7b26\u5408\u200b CNI \u200b\u89c4\u8303\u200b\u7684\u200b\u7f51\u7edc\u200b\u7ec4\u4ef6\u200b\uff0c\u200b\u5176\u200b\u8fd0\u884c\u200b\u9700\u8981\u200b\u4f9d\u8d56\u200b Kubernetes \u200b\u73af\u5883\u200b\u53ca\u200b\u5bf9\u5e94\u200b\u7684\u200b\u5185\u6838\u200b\u7f51\u7edc\u200b\u6a21\u5757\u200b\u3002 \u200b\u4ee5\u4e0b\u200b\u662f\u200b\u901a\u8fc7\u200b\u6d4b\u8bd5\u200b\u7684\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u548c\u200b\u8f6f\u4ef6\u200b\u7248\u672c\u200b\uff0c\u200b\u73af\u5883\u200b\u914d\u7f6e\u200b\u548c\u200b\u6240\u200b\u9700\u8981\u200b\u5f00\u653e\u200b\u7684\u200b\u7aef\u53e3\u200b\u4fe1\u606f\u200b\u3002</p>"},{"location":"start/prepare/#_2","title":"\u8f6f\u4ef6\u200b\u7248\u672c","text":"<ul> <li>Kubernetes &gt;= 1.23\u3002</li> <li>Docker &gt;= 1.12.6, Containerd &gt;= 1.3.4\u3002</li> <li>\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b: CentOS 7/8, Ubuntu 16.04/18.04/20.04\u3002</li> <li>\u200b\u5176\u4ed6\u200b Linux \u200b\u53d1\u884c\u7248\u200b\uff0c\u200b\u9700\u8981\u200b\u68c0\u67e5\u4e00\u4e0b\u200b\u5185\u6838\u6a21\u5757\u200b\u662f\u5426\u200b\u5b58\u5728\u200b <code>geneve</code>, <code>openvswitch</code>, <code>ip_tables</code> \u200b\u548c\u200b <code>iptable_nat</code>\uff0cKube-OVN \u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\u4f9d\u8d56\u200b\u4e0a\u8ff0\u200b\u6a21\u5757\u200b\u3002</li> </ul> <p>\u200b\u6ce8\u610f\u4e8b\u9879\u200b\uff1a</p> <ol> <li>\u200b\u5982\u679c\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u4e3a\u200b 3.10.0-862 \u200b\u5185\u6838\u200b <code>netfilter</code> \u200b\u6a21\u5757\u200b\u5b58\u5728\u200b bug \u200b\u4f1a\u200b\u5bfc\u81f4\u200b Kube-OVN \u200b\u5185\u7f6e\u200b\u8d1f\u8f7d\u200b\u5747\u8861\u5668\u200b\u65e0\u6cd5\u200b\u5de5\u4f5c\u200b\uff0c\u200b\u9700\u8981\u200b\u5bf9\u200b\u5185\u6838\u200b\u5347\u7ea7\u200b\uff0c\u200b\u5efa\u8bae\u200b\u4f7f\u7528\u200b CentOS \u200b\u5b98\u65b9\u200b\u5bf9\u5e94\u200b\u7248\u672c\u200b\u6700\u65b0\u200b\u5185\u6838\u200b\u4fdd\u8bc1\u7cfb\u7edf\u200b\u7684\u200b\u5b89\u5168\u200b\u3002\u200b\u76f8\u5173\u200b\u5185\u6838\u200b bug \u200b\u53c2\u8003\u200b Floating IPs broken after kernel upgrade to Centos/RHEL 7.5 - DNAT not working\u3002</li> <li>Rocky Linux 8.6 \u200b\u7684\u200b\u5185\u6838\u200b 4.18.0-372.9.1.el8.x86_64 \u200b\u5b58\u5728\u200b TCP \u200b\u901a\u4fe1\u200b\u95ee\u9898\u200b TCP connection failed in Rocky Linux 8.6\uff0c\u200b\u8bf7\u200b\u5347\u7ea7\u200b\u5185\u6838\u200b\u81f3\u200b 4.18.0-372.13.1.el8_6.x86_64 \u200b\u6216\u200b\u66f4\u200b\u9ad8\u200b\u7248\u672c\u200b\u3002</li> <li>\u200b\u5982\u679c\u200b\u5185\u6838\u200b\u7248\u672c\u200b\u4e3a\u200b 4.4 \u200b\u5219\u200b\u5bf9\u5e94\u200b\u7684\u200b\u5185\u6838\u200b <code>openvswitch</code> \u200b\u6a21\u5757\u200b\u5b58\u5728\u200b\u95ee\u9898\u200b\uff0c\u200b\u5efa\u8bae\u200b\u5347\u7ea7\u200b\u6216\u200b\u624b\u52a8\u200b\u7f16\u8bd1\u200b <code>openvswitch</code> \u200b\u65b0\u200b\u7248\u672c\u200b\u6a21\u5757\u200b\u8fdb\u884c\u200b\u66f4\u65b0\u200b</li> <li>Geneve \u200b\u96a7\u9053\u200b\u5efa\u7acb\u200b\u9700\u8981\u200b\u68c0\u67e5\u200b IPv6\uff0c\u200b\u53ef\u200b\u901a\u8fc7\u200b <code>cat /proc/cmdline</code> \u200b\u68c0\u67e5\u200b\u5185\u6838\u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\uff0c \u200b\u76f8\u5173\u200b\u5185\u6838\u200b bug \u200b\u8bf7\u200b\u53c2\u8003\u200b Geneve tunnels don't work when ipv6 is disabled\u3002</li> </ol>"},{"location":"start/prepare/#_3","title":"\u73af\u5883\u200b\u914d\u7f6e","text":"<ul> <li>Kernel \u200b\u542f\u52a8\u200b\u9700\u8981\u200b\u5f00\u542f\u200b IPv6, \u200b\u5982\u679c\u200b kernel \u200b\u542f\u52a8\u200b\u53c2\u6570\u200b\u5305\u542b\u200b <code>ipv6.disable=1</code> \u200b\u9700\u8981\u200b\u5c06\u200b\u5176\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b 0\u3002</li> <li><code>kube-proxy</code> \u200b\u6b63\u5e38\u200b\u5de5\u4f5c\u200b\uff0cKube-OVN \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b Service ClusterIP \u200b\u8bbf\u95ee\u200b\u5230\u200b <code>kube-apiserver</code>\u3002</li> <li>\u200b\u786e\u8ba4\u200b kubelet \u200b\u914d\u7f6e\u200b\u53c2\u6570\u200b\u5f00\u542f\u200b\u4e86\u200b CNI\uff0c\u200b\u5e76\u4e14\u200b\u914d\u7f6e\u200b\u5728\u200b\u6807\u51c6\u200b\u8def\u5f84\u200b\u4e0b\u200b, kubelet \u200b\u542f\u52a8\u200b\u65f6\u5e94\u200b\u5305\u542b\u200b\u5982\u4e0b\u200b\u53c2\u6570\u200b <code>--network-plugin=cni --cni-bin-dir=/opt/cni/bin --cni-conf-dir=/etc/cni/net.d</code>\u3002</li> <li>\u200b\u786e\u8ba4\u200b\u672a\u200b\u5b89\u88c5\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u6216\u8005\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u5df2\u7ecf\u200b\u88ab\u200b\u6e05\u9664\u200b\uff0c\u200b\u68c0\u67e5\u200b <code>/etc/cni/net.d/</code> \u200b\u8def\u5f84\u200b\u4e0b\u200b\u65e0\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u914d\u7f6e\u6587\u4ef6\u200b\u3002\u200b\u5982\u679c\u200b\u4e4b\u524d\u200b\u5b89\u88c5\u200b\u8fc7\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u5efa\u8bae\u200b\u5220\u9664\u200b\u540e\u200b\u91cd\u542f\u200b\u673a\u5668\u200b\u6e05\u7406\u200b\u6b8b\u7559\u200b\u7f51\u7edc\u8d44\u6e90\u200b\u3002</li> </ul>"},{"location":"start/prepare/#_4","title":"\u7aef\u53e3\u200b\u4fe1\u606f","text":"\u7ec4\u4ef6\u200b \u200b\u7aef\u53e3\u200b \u200b\u7528\u9014\u200b ovn-central 6641/tcp, 6642/tcp, 6643/tcp, 6644/tcp ovn-db \u200b\u548c\u200b raft server \u200b\u76d1\u542c\u200b\u7aef\u53e3\u200b ovs-ovn Geneve 6081/udp, STT 7471/tcp, Vxlan 4789/udp \u200b\u96a7\u9053\u200b\u7aef\u53e3\u200b kube-ovn-controller 10660/tcp \u200b\u76d1\u63a7\u200b\u76d1\u542c\u200b\u7aef\u53e3\u200b kube-ovn-daemon 10665/tcp \u200b\u76d1\u63a7\u200b\u76d1\u542c\u200b\u7aef\u53e3\u200b kube-ovn-monitor 10661/tcp \u200b\u76d1\u63a7\u200b\u76d1\u542c\u200b\u7aef\u53e3\u200b <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/sealos-install/","title":"\u4f7f\u7528\u200b sealos \u200b\u4e00\u952e\u200b\u90e8\u7f72\u200b Kubernetes \u200b\u548c\u200b Kube-OVN","text":"<p>sealos \u200b\u4f5c\u4e3a\u200b Kubernetes \u200b\u7684\u200b\u4e00\u4e2a\u200b\u53d1\u884c\u7248\u200b\uff0c\u200b\u901a\u8fc7\u200b\u6781\u7b80\u200b\u7684\u200b\u4f7f\u7528\u200b\u65b9\u5f0f\u200b\u548c\u200b\u56fd\u5185\u200b\u7684\u200b\u955c\u50cf\u200b\u4ed3\u5e93\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5e2e\u52a9\u200b\u7528\u6237\u200b\u5feb\u901f\u200b\u4ece\u200b\u96f6\u200b\u521d\u59cb\u5316\u200b\u4e00\u4e2a\u200b\u5bb9\u5668\u200b\u96c6\u7fa4\u200b\u3002 \u200b\u901a\u8fc7\u200b\u4f7f\u7528\u200b sealos \u200b\u7528\u6237\u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u4e00\u6761\u200b\u547d\u4ee4\u200b\u5728\u200b\u51e0\u5206\u949f\u200b\u5185\u200b\u90e8\u7f72\u200b\u51fa\u200b\u4e00\u4e2a\u200b\u5b89\u88c5\u200b\u597d\u200b Kube-OVN \u200b\u7684\u200b Kubernetes \u200b\u96c6\u7fa4\u200b\u3002</p>"},{"location":"start/sealos-install/#sealos","title":"\u4e0b\u8f7d\u5b89\u88c5\u200b sealos","text":"AMD64 ARM64 <pre><code>wget  https://github.com/labring/sealos/releases/download/v4.1.4/sealos_4.1.4_linux_amd64.tar.gz  &amp;&amp; \\\ntar -zxvf sealos_4.1.4_linux_amd64.tar.gz sealos &amp;&amp;  chmod +x sealos &amp;&amp; mv sealos /usr/bin\n</code></pre> <pre><code>wget  https://github.com/labring/sealos/releases/download/v4.1.4/sealos_4.1.4_linux_arm64.tar.gz  &amp;&amp; \\\ntar -zxvf sealos_4.1.4_linux_arm64.tar.gz sealos &amp;&amp;  chmod +x sealos &amp;&amp; mv sealos /usr/bin\n</code></pre>"},{"location":"start/sealos-install/#kubernetes-kube-ovn","title":"\u90e8\u7f72\u200b Kubernetes \u200b\u548c\u200b Kube-OVN","text":"<pre><code>```bash\nsealos run labring/kubernetes:v1.24.3 labring/kube-ovn:v1.10.5 \\\n  --masters [masters ips seperated by comma] \\\n  --nodes [nodes ips seperated by comma] -p [your-ssh-passwd]\n```\n</code></pre>"},{"location":"start/sealos-install/#_1","title":"\u7b49\u5f85\u200b\u90e8\u7f72\u200b\u5b8c\u6210","text":"<pre><code>```bash\n[Step 6/6] Finish\n\n                    ,,,,\n                    ,::,\n                   ,,::,,,,\n            ,,,,,::::::::::::,,,,,\n         ,,,::::::::::::::::::::::,,,\n       ,,::::::::::::::::::::::::::::,,\n     ,,::::::::::::::::::::::::::::::::,,\n    ,::::::::::::::::::::::::::::::::::::,\n   ,:::::::::::::,,   ,,:::::,,,::::::::::,\n ,,:::::::::::::,       ,::,     ,:::::::::,\n ,:::::::::::::,   :x,  ,::  :,   ,:::::::::,\n,:::::::::::::::,  ,,,  ,::, ,,  ,::::::::::,\n,:::::::::::::::::,,,,,,:::::,,,,::::::::::::,    ,:,   ,:,            ,xx,                            ,:::::,   ,:,     ,:: :::,    ,x\n,::::::::::::::::::::::::::::::::::::::::::::,    :x: ,:xx:        ,   :xx,                          :xxxxxxxxx, :xx,   ,xx:,xxxx,   :x\n,::::::::::::::::::::::::::::::::::::::::::::,    :xxxxx:,  ,xx,  :x:  :xxx:x::,  ::xxxx:           :xx:,  ,:xxx  :xx, ,xx: ,xxxxx:, :x\n,::::::::::::::::::::::::::::::::::::::::::::,    :xxxxx,   :xx,  :x:  :xxx,,:xx,:xx:,:xx, ,,,,,,,,,xxx,    ,xx:   :xx:xx:  ,xxx,:xx::x\n,::::::,,::::::::,,::::::::,,:::::::,,,::::::,    :x:,xxx:  ,xx,  :xx  :xx:  ,xx,xxxxxx:, ,xxxxxxx:,xxx:,  ,xxx,    :xxx:   ,xxx, :xxxx\n,::::,    ,::::,   ,:::::,   ,,::::,    ,::::,    :x:  ,:xx,,:xx::xxxx,,xxx::xx: :xx::::x: ,,,,,,   ,xxxxxxxxx,     ,xx:    ,xxx,  :xxx\n,::::,    ,::::,    ,::::,    ,::::,    ,::::,    ,:,    ,:,  ,,::,,:,  ,::::,,   ,:::::,            ,,:::::,        ,,      :x:    ,::\n,::::,    ,::::,    ,::::,    ,::::,    ,::::,\n ,,,,,    ,::::,    ,::::,    ,::::,    ,:::,             ,,,,,,,,,,,,,\n          ,::::,    ,::::,    ,::::,    ,:::,        ,,,:::::::::::::::,\n          ,::::,    ,::::,    ,::::,    ,::::,  ,,,,:::::::::,,,,,,,:::,\n          ,::::,    ,::::,    ,::::,     ,::::::::::::,,,,,\n           ,,,,     ,::::,     ,,,,       ,,,::::,,,,\n                    ,::::,\n                    ,,::,\n\nThanks for choosing Kube-OVN!\nFor more advanced features, please read https://github.com/kubeovn/kube-ovn#documents\nIf you have any question, please file an issue https://github.com/kubeovn/kube-ovn/issues/new/choose\n2022-08-10T16:31:34 info succeeded in creating a new cluster, enjoy it!\n2022-08-10T16:31:34 info\n      ___           ___           ___           ___       ___           ___\n     /\\  \\         /\\  \\         /\\  \\         /\\__\\     /\\  \\         /\\  \\\n    /::\\  \\       /::\\  \\       /::\\  \\       /:/  /    /::\\  \\       /::\\  \\\n   /:/\\ \\  \\     /:/\\:\\  \\     /:/\\:\\  \\     /:/  /    /:/\\:\\  \\     /:/\\ \\  \\\n  _\\:\\~\\ \\  \\   /::\\~\\:\\  \\   /::\\~\\:\\  \\   /:/  /    /:/  \\:\\  \\   _\\:\\~\\ \\  \\\n /\\ \\:\\ \\ \\__\\ /:/\\:\\ \\:\\__\\ /:/\\:\\ \\:\\__\\ /:/__/    /:/__/ \\:\\__\\ /\\ \\:\\ \\ \\__\\\n \\:\\ \\:\\ \\/__/ \\:\\~\\:\\ \\/__/ \\/__\\:\\/:/  / \\:\\  \\    \\:\\  \\ /:/  / \\:\\ \\:\\ \\/__/\n  \\:\\ \\:\\__\\    \\:\\ \\:\\__\\        \\::/  /   \\:\\  \\    \\:\\  /:/  /   \\:\\ \\:\\__\\\n   \\:\\/:/  /     \\:\\ \\/__/        /:/  /     \\:\\  \\    \\:\\/:/  /     \\:\\/:/  /\n    \\::/  /       \\:\\__\\         /:/  /       \\:\\__\\    \\::/  /       \\::/  /\n     \\/__/         \\/__/         \\/__/         \\/__/     \\/__/         \\/__/\n\n                  Website :https://www.sealos.io/\n                  Address :github.com/labring/sealos\n```\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/underlay/","title":"Underlay \u200b\u7f51\u7edc\u200b\u5b89\u88c5","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Kube-OVN \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u4f7f\u7528\u200b Geneve \u200b\u5bf9\u200b\u8de8\u200b\u4e3b\u673a\u200b\u6d41\u91cf\u200b\u8fdb\u884c\u200b\u5c01\u88c5\u200b\uff0c\u200b\u5728\u200b\u57fa\u7840\u8bbe\u65bd\u200b\u4e4b\u4e0a\u200b\u62bd\u8c61\u200b\u51fa\u200b\u4e00\u5c42\u200b\u865a\u62df\u200b\u7684\u200b Overlay \u200b\u7f51\u7edc\u200b\u3002</p> <p>\u200b\u5bf9\u4e8e\u200b\u5e0c\u671b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\u7269\u7406\u200b\u7f51\u7edc\u5730\u5740\u200b\u6bb5\u200b\u60c5\u51b5\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u5c06\u200b Kube-OVN \u200b\u7684\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u5de5\u4f5c\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u76f4\u63a5\u200b\u7ed9\u200b\u5bb9\u5668\u200b\u5206\u914d\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u4e2d\u200b\u7684\u200b\u5730\u5740\u200b\u8d44\u6e90\u200b\uff0c\u200b\u8fbe\u5230\u200b\u66f4\u597d\u200b\u7684\u200b\u6027\u80fd\u200b\u4ee5\u53ca\u200b\u548c\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u7684\u200b\u8fde\u901a\u6027\u200b\u3002</p> <p></p>"},{"location":"start/underlay/#_1","title":"\u529f\u80fd\u200b\u9650\u5236","text":"<p>\u200b\u7531\u4e8e\u200b\u8be5\u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u5bb9\u5668\u200b\u7f51\u7edc\u200b\u76f4\u63a5\u200b\u4f7f\u7528\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u8fdb\u884c\u200b\u4e8c\u5c42\u200b\u5305\u8f6c\u53d1\u200b\uff0cOverlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\u7684\u200b SNAT/EIP\uff0c \u200b\u5206\u5e03\u5f0f\u200b\u7f51\u5173\u200b/\u200b\u96c6\u4e2d\u5f0f\u200b\u7f51\u5173\u200b\u7b49\u200b L3 \u200b\u529f\u80fd\u200b\u65e0\u6cd5\u200b\u4f7f\u7528\u200b\uff0cVPC \u200b\u7ea7\u522b\u200b\u7684\u200b\u9694\u79bb\u200b\u4e5f\u200b\u65e0\u6cd5\u200b\u5bf9\u200b Underlay \u200b\u5b50\u7f51\u200b\u751f\u6548\u200b\u3002</p>"},{"location":"start/underlay/#macvlan","title":"\u548c\u200b Macvlan \u200b\u6bd4\u8f83","text":"<p>Kube-OVN \u200b\u7684\u200b Underlay \u200b\u6a21\u5f0f\u200b\u548c\u200b Macvlan \u200b\u5de5\u4f5c\u200b\u6a21\u5f0f\u200b\u5341\u5206\u200b\u7c7b\u4f3c\u200b\uff0c\u200b\u5728\u200b\u529f\u80fd\u200b\u548c\u200b\u6027\u80fd\u200b\u4e0a\u200b\u4e3b\u8981\u200b\u6709\u200b\u4ee5\u4e0b\u200b\u51e0\u4e2a\u200b\u533a\u522b\u200b\uff1a</p> <ol> <li>\u200b\u7531\u4e8e\u200b Macvlan \u200b\u7684\u200b\u5185\u6838\u200b\u8def\u5f84\u200b\u66f4\u200b\u77ed\u200b\uff0c\u200b\u5e76\u4e14\u200b\u4e0d\u200b\u9700\u8981\u200b OVS \u200b\u5bf9\u200b\u6570\u636e\u5305\u200b\u8fdb\u884c\u200b\u5904\u7406\u200b\uff0cMacvlan \u200b\u5728\u200b\u541e\u5410\u91cf\u200b\u548c\u200b\u5ef6\u8fdf\u200b\u6027\u80fd\u6307\u6807\u200b\u4e0a\u200b\u8868\u73b0\u200b\u4f1a\u200b\u66f4\u597d\u200b\u3002</li> <li>Kube-OVN \u200b\u901a\u8fc7\u200b\u6d41\u8868\u200b\u63d0\u4f9b\u200b\u4e86\u200b arp-proxy \u200b\u529f\u80fd\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u7f13\u89e3\u200b\u5927\u89c4\u6a21\u200b\u7f51\u7edc\u200b\u4e0b\u200b\u7684\u200b arp \u200b\u5e7f\u64ad\u200b\u98ce\u66b4\u200b\u98ce\u9669\u200b\u3002</li> <li>\u200b\u7531\u4e8e\u200b Macvlan \u200b\u5de5\u4f5c\u200b\u5728\u200b\u5185\u6838\u200b\u5e95\u5c42\u200b\uff0c\u200b\u4f1a\u200b\u7ed5\u8fc7\u200b\u5bbf\u4e3b\u673a\u200b\u7684\u200b netfilter\uff0cService \u200b\u548c\u200b NetworkPolicy \u200b\u529f\u80fd\u200b\u9700\u8981\u200b\u989d\u5916\u200b\u5f00\u53d1\u200b\u3002Kube-OVN \u200b\u901a\u8fc7\u200b OVS \u200b\u6d41\u8868\u200b\u63d0\u4f9b\u200b\u4e86\u200b Service \u200b\u548c\u200b NetworkPolicy \u200b\u7684\u200b\u80fd\u529b\u200b\u3002</li> <li>Kube-OVN \u200b\u7684\u200b Underlay \u200b\u6a21\u5f0f\u200b\u76f8\u6bd4\u200b Macvlan \u200b\u989d\u5916\u200b\u63d0\u4f9b\u200b\u4e86\u200b\u5730\u5740\u200b\u7ba1\u7406\u200b\uff0c\u200b\u56fa\u5b9a\u200b IP \u200b\u548c\u200b QoS \u200b\u7b49\u200b\u529f\u80fd\u200b\u3002</li> </ol>"},{"location":"start/underlay/#_2","title":"\u73af\u5883\u200b\u8981\u6c42","text":"<p>\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\u4e0b\u200b\uff0cOVS \u200b\u5c06\u4f1a\u200b\u6865\u63a5\u200b\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u5230\u200b OVS \u200b\u7f51\u6865\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u6570\u636e\u5305\u200b\u76f4\u63a5\u200b\u901a\u8fc7\u200b\u8be5\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u5bf9\u5916\u200b\u53d1\u9001\u200b\uff0cL2/L3 \u200b\u5c42\u9762\u200b\u7684\u200b\u8f6c\u53d1\u200b\u80fd\u529b\u200b\u9700\u8981\u200b\u4f9d\u8d56\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u3002 \u200b\u9700\u8981\u200b\u9884\u5148\u200b\u5728\u200b\u5e95\u5c42\u200b\u7f51\u7edc\u8bbe\u5907\u200b\u914d\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b\u7f51\u5173\u200b\u3001Vlan \u200b\u548c\u200b\u5b89\u5168\u7b56\u7565\u200b\u7b49\u200b\u914d\u7f6e\u200b\u3002</p> <ol> <li>\u200b\u5bf9\u4e8e\u200b OpenStack \u200b\u7684\u200b VM \u200b\u73af\u5883\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b\u5bf9\u5e94\u200b\u7f51\u7edc\u200b\u7aef\u53e3\u200b\u7684\u200b <code>PortSecurity</code> \u200b\u5173\u95ed\u200b\u3002</li> <li>\u200b\u5bf9\u4e8e\u200b VMware \u200b\u7684\u200b vSwitch \u200b\u7f51\u7edc\u200b\uff0c\u200b\u9700\u8981\u200b\u5c06\u200b <code>MAC Address Changes</code>, <code>Forged Transmits</code> \u200b\u548c\u200b <code>Promiscuous Mode Operation</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>allow</code>\u3002</li> <li>\u200b\u5bf9\u4e8e\u200b Hyper-V \u200b\u865a\u62df\u5316\u200b\uff0c\u200b\u9700\u8981\u200b\u5f00\u542f\u200b\u865a\u62df\u673a\u200b\u7f51\u5361\u200b\u9ad8\u7ea7\u200b\u529f\u80fd\u200b\u4e2d\u200b\u7684\u200b <code>MAC Address Spoofing</code>\u3002</li> <li>\u200b\u516c\u6709\u200b\u4e91\u200b\uff0c\u200b\u4f8b\u5982\u200b AWS\u3001GCE\u3001\u200b\u963f\u91cc\u200b\u4e91\u200b\u7b49\u200b\u7531\u4e8e\u200b\u4e0d\u200b\u652f\u6301\u200b\u7528\u6237\u200b\u81ea\u5b9a\u4e49\u200b Mac \u200b\u65e0\u6cd5\u200b\u652f\u6301\u200b Underlay \u200b\u6a21\u5f0f\u200b\u7f51\u7edc\u200b\uff0c\u200b\u5728\u200b\u8fd9\u79cd\u200b\u573a\u666f\u200b\u4e0b\u200b\u5982\u679c\u200b\u60f3\u200b\u4f7f\u7528\u200b Underlay \u200b\u63a8\u8350\u200b\u4f7f\u7528\u200b\u5bf9\u5e94\u200b\u516c\u6709\u200b\u4e91\u200b\u5382\u5546\u200b\u63d0\u4f9b\u200b\u7684\u200b VPC-CNI\u3002</li> <li>\u200b\u6865\u63a5\u200b\u7f51\u5361\u200b\u4e0d\u80fd\u200b\u4e3a\u200b Linux Bridge\u3002</li> </ol> <p>\u200b\u5bf9\u4e8e\u200b\u7ba1\u7406\u200b\u7f51\u200b\u548c\u200b\u5bb9\u5668\u200b\u7f51\u200b\u4f7f\u7528\u200b\u540c\u4e00\u4e2a\u200b\u7f51\u5361\u200b\u7684\u200b\u60c5\u51b5\u200b\u4e0b\u200b\uff0cKube-OVN \u200b\u4f1a\u200b\u5c06\u200b\u7f51\u5361\u200b\u7684\u200b Mac \u200b\u5730\u5740\u200b\u3001IP \u200b\u5730\u5740\u200b\u3001\u200b\u8def\u7531\u200b\u4ee5\u53ca\u200b MTU \u200b\u5c06\u200b\u8f6c\u79fb\u200b\u6216\u200b\u590d\u5236\u200b\u81f3\u200b\u5bf9\u5e94\u200b\u7684\u200b OVS Bridge\uff0c \u200b\u4ee5\u200b\u652f\u6301\u200b\u5355\u200b\u7f51\u5361\u200b\u90e8\u7f72\u200b Underlay \u200b\u7f51\u7edc\u200b\u3002OVS Bridge \u200b\u540d\u79f0\u200b\u683c\u5f0f\u200b\u4e3a\u200b <code>br-PROVIDER_NAME</code>\uff0c<code>PROVIDER_NAME</code> \u200b\u4e3a\u200b Provider \u200b\u7f51\u7edc\u200b\u540d\u79f0\u200b\uff08\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b provider\uff09\u3002</p>"},{"location":"start/underlay/#_3","title":"\u90e8\u7f72\u200b\u65f6\u200b\u6307\u5b9a\u200b\u7f51\u7edc\u200b\u6a21\u5f0f","text":"<p>\u200b\u8be5\u200b\u90e8\u7f72\u200b\u6a21\u5f0f\u200b\u5c06\u200b\u9ed8\u8ba4\u200b\u5b50\u7f51\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b Underlay \u200b\u6a21\u5f0f\u200b\uff0c\u200b\u6240\u6709\u200b\u672a\u6307\u5b9a\u200b\u5b50\u7f51\u200b\u7684\u200b Pod \u200b\u5747\u4f1a\u200b\u9ed8\u8ba4\u200b\u8fd0\u884c\u200b\u5728\u200b Underlay \u200b\u7f51\u7edc\u200b\u4e2d\u200b\u3002</p>"},{"location":"start/underlay/#_4","title":"\u4e0b\u8f7d\u5b89\u88c5\u200b\u811a\u672c","text":"<pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/install.sh\n</code></pre>"},{"location":"start/underlay/#_5","title":"\u4fee\u6539\u200b\u811a\u672c\u200b\u4e2d\u200b\u76f8\u5e94\u200b\u914d\u7f6e","text":"<pre><code>ENABLE_ARP_DETECT_IP_CONFLICT # \u200b\u5982\u200b\u6709\u200b\u9700\u8981\u200b\uff0c\u200b\u53ef\u4ee5\u200b\u9009\u62e9\u200b\u5173\u95ed\u200b vlan \u200b\u7f51\u7edc\u200b arp \u200b\u51b2\u7a81\u68c0\u6d4b\u200b\nNETWORK_TYPE                  # \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b vlan\nVLAN_INTERFACE_NAME           # \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u5bbf\u4e3b\u673a\u200b\u4e0a\u200b\u627f\u62c5\u200b\u5bb9\u5668\u200b\u6d41\u91cf\u200b\u7684\u200b\u7f51\u5361\u200b\uff0c\u200b\u4f8b\u5982\u200b eth1\nVLAN_ID                       # \u200b\u4ea4\u6362\u673a\u200b\u6240\u200b\u63a5\u53d7\u200b\u7684\u200b VLAN Tag\uff0c\u200b\u82e5\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b 0 \u200b\u5219\u200b\u4e0d\u200b\u505a\u200b VLAN \u200b\u5c01\u88c5\u200b\nPOD_CIDR                      # \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b CIDR\uff0c \u200b\u4f8b\u5982\u200b 192.168.1.0/24\nPOD_GATEWAY                   # \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u7f51\u5173\u200b\uff0c\u200b\u4f8b\u5982\u200b 192.168.1.1\nEXCLUDE_IPS                   # \u200b\u6392\u9664\u200b\u8303\u56f4\u200b\uff0c\u200b\u907f\u514d\u200b\u5bb9\u5668\u200b\u7f51\u6bb5\u200b\u548c\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u5df2\u200b\u7528\u200b IP \u200b\u51b2\u7a81\u200b\uff0c\u200b\u4f8b\u5982\u200b 192.168.1.1..192.168.1.100\nENABLE_LB                     # \u200b\u5982\u679c\u200b Underlay \u200b\u5b50\u7f51\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b Service \u200b\u9700\u8981\u200b\u8bbe\u7f6e\u200b\u4e3a\u200b true \nEXCHANGE_LINK_NAME            # \u200b\u662f\u5426\u200b\u4ea4\u6362\u200b\u9ed8\u8ba4\u200b provider-network \u200b\u4e0b\u200b OVS \u200b\u7f51\u6865\u200b\u548c\u200b\u6865\u63a5\u200b\u7f51\u5361\u200b\u7684\u200b\u540d\u5b57\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b false\nLS_DNAT_MOD_DL_DST            # DNAT \u200b\u65f6\u200b\u662f\u5426\u200b\u5bf9\u200b MAC \u200b\u5730\u5740\u200b\u8fdb\u884c\u200b\u8f6c\u6362\u200b\uff0c\u200b\u53ef\u200b\u52a0\u901f\u200b Service \u200b\u7684\u200b\u8bbf\u95ee\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u4e3a\u200b true\n</code></pre>"},{"location":"start/underlay/#_6","title":"\u8fd0\u884c\u200b\u5b89\u88c5\u200b\u811a\u672c","text":"<pre><code>bash install.sh\n</code></pre>"},{"location":"start/underlay/#crd-underlay","title":"\u901a\u8fc7\u200b CRD \u200b\u52a8\u6001\u521b\u5efa\u200b Underlay \u200b\u7f51\u7edc","text":"<p>\u200b\u8be5\u200b\u65b9\u5f0f\u200b\u53ef\u200b\u5728\u200b\u5b89\u88c5\u200b\u540e\u200b\u52a8\u6001\u200b\u7684\u200b\u521b\u5efa\u200b\u67d0\u4e2a\u200b Underlay \u200b\u5b50\u7f51\u200b\u4f9b\u200b Pod \u200b\u4f7f\u7528\u200b\u3002\u200b\u9700\u8981\u200b\u914d\u7f6e\u200b <code>ProviderNetwork</code>\uff0c<code>Vlan</code> \u200b\u548c\u200b <code>Subnet</code> \u200b\u4e09\u79cd\u200b\u81ea\u5b9a\u4e49\u200b\u8d44\u6e90\u200b\u3002</p>"},{"location":"start/underlay/#providernetwork","title":"\u521b\u5efa\u200b ProviderNetwork","text":"<p>ProviderNetwork \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u4e3b\u673a\u200b\u7f51\u5361\u200b\u5230\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u6620\u5c04\u200b\u7684\u200b\u62bd\u8c61\u200b\uff0c\u200b\u5c06\u200b\u540c\u5c5e\u200b\u4e00\u4e2a\u200b\u7f51\u7edc\u200b\u7684\u200b\u7f51\u5361\u200b\u8fdb\u884c\u200b\u7edf\u4e00\u200b\u7ba1\u7406\u200b\uff0c \u200b\u5e76\u200b\u89e3\u51b3\u200b\u5728\u200b\u590d\u6742\u200b\u73af\u5883\u200b\u4e0b\u540c\u200b\u673a\u5668\u200b\u591a\u200b\u7f51\u5361\u200b\u3001\u200b\u7f51\u5361\u200b\u540d\u200b\u4e0d\u200b\u4e00\u81f4\u200b\u3001\u200b\u5bf9\u5e94\u200b Underlay \u200b\u7f51\u7edc\u200b\u4e0d\u200b\u4e00\u81f4\u200b\u7b49\u200b\u60c5\u51b5\u200b\u4e0b\u200b\u7684\u200b\u914d\u7f6e\u200b\u95ee\u9898\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b\u5982\u4e0b\u200b ProviderNetwork \u200b\u5e76\u200b\u5e94\u7528\u200b:</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: ProviderNetwork\nmetadata:\n  name: net1\nspec:\n  defaultInterface: eth1\n  customInterfaces:\n    - interface: eth2\n      nodes:\n        - node1\n  excludeNodes:\n    - node2\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1aProviderNetwork \u200b\u8d44\u6e90\u200b\u540d\u79f0\u200b\u7684\u200b\u957f\u5ea6\u200b\u4e0d\u5f97\u200b\u8d85\u8fc7\u200b 12\u3002</p> <ul> <li><code>defaultInterface</code>: \u200b\u4e3a\u200b\u9ed8\u8ba4\u200b\u4f7f\u7528\u200b\u7684\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u540d\u79f0\u200b\u3002 ProviderNetwork \u200b\u521b\u5efa\u200b\u6210\u529f\u200b\u540e\u200b\uff0c\u200b\u5404\u200b\u8282\u70b9\u200b\uff08\u200b\u9664\u200b excludeNodes \u200b\u5916\u200b\uff09\u200b\u4e2d\u200b\u4f1a\u200b\u521b\u5efa\u200b\u540d\u4e3a\u200b br-net1\uff08\u200b\u683c\u5f0f\u200b\u4e3a\u200b <code>br-NAME</code>\uff09\u200b\u7684\u200b OVS \u200b\u7f51\u6865\u200b\uff0c\u200b\u5e76\u200b\u5c06\u200b\u6307\u5b9a\u200b\u7684\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u6865\u63a5\u200b\u81f3\u6b64\u200b\u7f51\u6865\u200b\u3002</li> <li><code>customInterfaces</code>: \u200b\u4e3a\u200b\u53ef\u9009\u9879\u200b\uff0c\u200b\u53ef\u200b\u9488\u5bf9\u200b\u7279\u5b9a\u200b\u8282\u70b9\u200b\u6307\u5b9a\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u7684\u200b\u7f51\u5361\u200b\u3002</li> <li><code>excludeNodes</code>: \u200b\u53ef\u9009\u9879\u200b\uff0c\u200b\u7528\u4e8e\u200b\u6307\u5b9a\u200b\u4e0d\u200b\u6865\u63a5\u200b\u7f51\u5361\u200b\u7684\u200b\u8282\u70b9\u200b\u3002\u200b\u8be5\u200b\u5217\u8868\u200b\u4e2d\u200b\u7684\u200b\u8282\u70b9\u200b\u4f1a\u200b\u88ab\u200b\u6dfb\u52a0\u200b <code>net1.provider-network.ovn.kubernetes.io/exclude=true</code> \u200b\u6807\u7b7e\u200b\u3002</li> </ul> <p>\u200b\u5176\u5b83\u200b\u8282\u70b9\u200b\u4f1a\u200b\u88ab\u200b\u6dfb\u52a0\u200b\u5982\u4e0b\u200b\u6807\u7b7e\u200b\uff1a</p> Key Value \u200b\u63cf\u8ff0\u200b net1.provider-network.ovn.kubernetes.io/ready true \u200b\u8282\u70b9\u200b\u4e2d\u200b\u7684\u200b\u6865\u63a5\u200b\u5de5\u4f5c\u200b\u5df2\u200b\u5b8c\u6210\u200b\uff0cProviderNetwork \u200b\u5728\u200b\u8282\u70b9\u200b\u4e2d\u200b\u53ef\u7528\u200b net1.provider-network.ovn.kubernetes.io/interface eth1 \u200b\u8282\u70b9\u200b\u4e2d\u200b\u88ab\u200b\u6865\u63a5\u200b\u7684\u200b\u7f51\u5361\u200b\u7684\u200b\u540d\u79f0\u200b net1.provider-network.ovn.kubernetes.io/mtu 1500 \u200b\u8282\u70b9\u200b\u4e2d\u200b\u88ab\u200b\u6865\u63a5\u200b\u7684\u200b\u7f51\u5361\u200b\u7684\u200b MTU <p>\u200b\u5982\u679c\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u4e0a\u200b\u5df2\u7ecf\u200b\u914d\u7f6e\u200b\u4e86\u200b IP\uff0c\u200b\u5219\u200b IP \u200b\u5730\u5740\u200b\u548c\u200b\u7f51\u5361\u200b\u4e0a\u200b\u7684\u200b\u8def\u7531\u200b\u4f1a\u200b\u88ab\u200b\u8f6c\u79fb\u200b\u81f3\u200b\u5bf9\u5e94\u200b\u7684\u200b OVS \u200b\u7f51\u6865\u200b\u3002</p>"},{"location":"start/underlay/#vlan","title":"\u521b\u5efa\u200b VLAN","text":"<p>Vlan \u200b\u63d0\u4f9b\u200b\u4e86\u200b\u5c06\u200b Vlan Tag \u200b\u548c\u200b ProviderNetwork \u200b\u8fdb\u884c\u200b\u7ed1\u5b9a\u200b\u7684\u200b\u80fd\u529b\u200b\u3002</p> <p>\u200b\u521b\u5efa\u200b\u5982\u4e0b\u200b VLAN \u200b\u5e76\u200b\u5e94\u7528\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Vlan\nmetadata:\n  name: vlan1\nspec:\n  id: 0\n  provider: net1\n</code></pre> <ul> <li><code>id</code>: \u200b\u4e3a\u200b VLAN ID/Tag\uff0cKube-OVN \u200b\u4f1a\u200b\u5bf9\u200b\u5bf9\u200b\u8be5\u200b Vlan \u200b\u4e0b\u200b\u7684\u200b\u6d41\u91cf\u200b\u589e\u52a0\u200b Vlan \u200b\u6807\u7b7e\u200b\uff0c\u200b\u4e3a\u200b 0 \u200b\u65f6\u200b\u4e0d\u200b\u589e\u52a0\u200b\u4efb\u4f55\u200b\u6807\u7b7e\u200b\uff0cvlan \u200b\u6807\u7b7e\u200b\u4f5c\u7528\u200b\u5728\u200b\u4e00\u4e2a\u200b localnet \u200b\u7aef\u53e3\u200b\u3002</li> <li><code>provider</code>: \u200b\u4e3a\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u7684\u200b ProviderNetwork \u200b\u8d44\u6e90\u200b\u7684\u200b\u540d\u79f0\u200b\u3002\u200b\u591a\u4e2a\u200b VLAN \u200b\u53ef\u4ee5\u200b\u5f15\u7528\u200b\u540c\u4e00\u4e2a\u200b ProviderNetwork\u3002</li> </ul>"},{"location":"start/underlay/#subnet","title":"\u521b\u5efa\u200b Subnet","text":"<p>\u200b\u5c06\u200b Vlan \u200b\u548c\u200b\u4e00\u4e2a\u200b\u5b50\u7f51\u200b\u7ed1\u5b9a\u200b\uff0c\u200b\u5982\u4e0b\u200b\u6240\u793a\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  vlan: vlan1\n</code></pre> <p>\u200b\u5c06\u200b <code>vlan</code> \u200b\u7684\u200b\u503c\u200b\u6307\u5b9a\u200b\u4e3a\u200b\u9700\u8981\u200b\u4f7f\u7528\u200b\u7684\u200b VLAN \u200b\u540d\u79f0\u200b\u5373\u53ef\u200b\u3002\u200b\u591a\u4e2a\u200b Subnet \u200b\u53ef\u4ee5\u200b\u5f15\u7528\u200b\u540c\u4e00\u4e2a\u200b VLAN\u3002</p>"},{"location":"start/underlay/#_7","title":"\u5bb9\u5668\u200b\u521b\u5efa","text":"<p>\u200b\u53ef\u200b\u6309\u200b\u6b63\u5e38\u200b\u5bb9\u5668\u200b\u521b\u5efa\u200b\u65b9\u5f0f\u200b\u8fdb\u884c\u200b\u521b\u5efa\u200b\uff0c\u200b\u67e5\u770b\u200b\u5bb9\u5668\u200b IP \u200b\u662f\u5426\u200b\u5728\u200b\u89c4\u5b9a\u200b\u8303\u56f4\u200b\u5185\u200b\uff0c\u200b\u4ee5\u53ca\u200b\u5bb9\u5668\u200b\u662f\u5426\u200b\u53ef\u4ee5\u200b\u548c\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u4e92\u901a\u200b\u3002</p> <p>\u200b\u5982\u200b\u6709\u200b\u56fa\u5b9a\u200b IP \u200b\u9700\u6c42\u200b\uff0c\u200b\u53ef\u200b\u53c2\u8003\u200b Pod \u200b\u56fa\u5b9a\u200b IP \u200b\u548c\u200b Mac</p>"},{"location":"start/underlay/#_8","title":"\u4f7f\u7528\u200b\u903b\u8f91\u200b\u7f51\u5173","text":"<p>\u200b\u5bf9\u4e8e\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u4e0d\u200b\u5b58\u5728\u200b\u7f51\u5173\u200b\u7684\u200b\u60c5\u51b5\u200b\uff0cKube-OVN \u200b\u652f\u6301\u200b\u5728\u200b Underlay \u200b\u6a21\u5f0f\u200b\u7684\u200b\u5b50\u7f51\u200b\u4e2d\u200b\u914d\u7f6e\u200b\u4f7f\u7528\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\u3002 \u200b\u82e5\u200b\u8981\u200b\u4f7f\u7528\u200b\u6b64\u200b\u529f\u80fd\u200b\uff0c\u200b\u8bbe\u7f6e\u200b\u5b50\u7f51\u200b\u7684\u200b <code>spec.logicalGateway</code> \u200b\u4e3a\u200b <code>true</code> \u200b\u5373\u53ef\u200b\uff1a</p> <pre><code>apiVersion: kubeovn.io/v1\nkind: Subnet\nmetadata:\n  name: subnet1\nspec:\n  protocol: IPv4\n  cidrBlock: 172.17.0.0/16\n  gateway: 172.17.0.1\n  vlan: vlan1\n  logicalGateway: true\n</code></pre> <p>\u200b\u5f00\u542f\u200b\u6b64\u200b\u529f\u80fd\u200b\u540e\u200b\uff0cPod \u200b\u4e0d\u200b\u4f7f\u7528\u200b\u5916\u90e8\u200b\u7f51\u5173\u200b\uff0c\u200b\u800c\u662f\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u521b\u5efa\u200b\u7684\u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\uff08Logical Router\uff09\u200b\u5bf9\u4e8e\u200b\u8de8\u200b\u7f51\u6bb5\u200b\u901a\u4fe1\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\u3002</p>"},{"location":"start/underlay/#underlay-overlay","title":"Underlay \u200b\u548c\u200b Overlay \u200b\u7f51\u7edc\u200b\u4e92\u901a","text":"<p>\u200b\u5982\u679c\u200b\u4e00\u4e2a\u200b\u96c6\u7fa4\u200b\u540c\u65f6\u200b\u5b58\u5728\u200b Underlay \u200b\u548c\u200b Overlay \u200b\u5b50\u7f51\u200b\uff0c\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Overlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u53ef\u4ee5\u200b\u901a\u8fc7\u200b\u7f51\u5173\u200b\u4ee5\u200b NAT \u200b\u7684\u200b\u65b9\u5f0f\u200b\u8bbf\u95ee\u200b Underlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod IP\u3002 \u200b\u5728\u200b Underlay \u200b\u5b50\u7f51\u200b\u7684\u200b Pod \u200b\u770b\u6765\u200b Overlay \u200b\u5b50\u7f51\u200b\u7684\u200b\u5730\u5740\u200b\u662f\u200b\u4e00\u4e2a\u200b\u5916\u90e8\u200b\u7684\u200b\u5730\u5740\u200b\uff0c\u200b\u9700\u8981\u200b\u901a\u8fc7\u200b\u5e95\u5c42\u200b\u7269\u7406\u200b\u8bbe\u5907\u200b\u53bb\u200b\u8f6c\u53d1\u200b\uff0c\u200b\u4f46\u200b\u5e95\u5c42\u200b\u7269\u7406\u200b\u8bbe\u5907\u200b\u5e76\u200b\u4e0d\u200b\u6e05\u695a\u200b Overlay \u200b\u5b50\u7f51\u200b\u7684\u200b\u5730\u5740\u200b\u65e0\u6cd5\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\u3002 \u200b\u56e0\u6b64\u200b Underlay \u200b\u5b50\u7f51\u200b\u4e0b\u200b\u7684\u200b Pod \u200b\u65e0\u6cd5\u200b\u901a\u8fc7\u200b Pod IP \u200b\u76f4\u63a5\u200b\u8bbf\u95ee\u200b Overlay \u200b\u5b50\u7f51\u200b\u7684\u200b Pod\u3002</p> <p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b Underlay \u200b\u548c\u200b Overlay \u200b\u4e92\u901a\u200b\u9700\u8981\u200b\u5c06\u200b\u5b50\u7f51\u200b\u7684\u200b <code>u2oInterconnection</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>true</code>\uff0c\u200b\u5728\u200b\u8fd9\u4e2a\u200b\u60c5\u51b5\u200b\u4e0b\u200b Kube-OVN \u200b\u4f1a\u200b\u989d\u5916\u200b\u4f7f\u7528\u200b\u4e00\u4e2a\u200b Underlay IP \u200b\u5c06\u200b Underlay \u200b\u5b50\u7f51\u200b \u200b\u548c\u200b <code>ovn-cluster</code> \u200b\u903b\u8f91\u200b\u8def\u7531\u5668\u200b\u8fde\u63a5\u200b\uff0c\u200b\u5e76\u200b\u8bbe\u7f6e\u200b\u5bf9\u5e94\u200b\u7684\u200b\u8def\u7531\u200b\u89c4\u5219\u200b\u5b9e\u73b0\u200b\u4e92\u901a\u200b\u3002 \u200b\u548c\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\u4e0d\u540c\u200b\uff0c\u200b\u8be5\u200b\u65b9\u6848\u200b\u53ea\u4f1a\u200b\u8fde\u63a5\u200b Kube-OVN \u200b\u5185\u90e8\u200b\u7684\u200b Underlay \u200b\u548c\u200b Overlay \u200b\u5b50\u7f51\u200b\uff0c\u200b\u5176\u4ed6\u200b\u8bbf\u95ee\u200b\u5916\u7f51\u200b\u7684\u200b\u6d41\u91cf\u200b\u8fd8\u662f\u200b\u4f1a\u200b\u901a\u8fc7\u200b\u7269\u7406\u200b\u7f51\u5173\u200b\u8fdb\u884c\u200b\u8f6c\u53d1\u200b\u3002</p>"},{"location":"start/underlay/#ip","title":"\u6307\u5b9a\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b IP","text":"<p>\u200b\u5f00\u542f\u200b\u4e92\u901a\u200b\u529f\u80fd\u200b\u540e\u200b\uff0c\u200b\u4f1a\u200b\u968f\u673a\u200b\u4ece\u200b subnet \u200b\u5185\u200b\u7684\u200b\u53d6\u200b\u4e00\u4e2a\u200b IP \u200b\u4f5c\u4e3a\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\uff0c\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u6307\u5b9a\u200b Underlay Subnet \u200b\u7684\u200b\u903b\u8f91\u200b\u7f51\u5173\u200b\u53ef\u4ee5\u200b\u6307\u5b9a\u200b\u5b57\u200b\u6bb5\u200b <code>u2oInterconnectionIP</code>\u3002</p>"},{"location":"start/underlay/#underlay-subnet-vpc","title":"\u6307\u5b9a\u200b Underlay Subnet \u200b\u8fde\u63a5\u200b\u7684\u200b\u81ea\u5b9a\u4e49\u200b VPC","text":"<p>\u200b\u9ed8\u8ba4\u200b\u60c5\u51b5\u200b\u4e0b\u200b Underlay Subnet \u200b\u4f1a\u200b\u548c\u200b\u9ed8\u8ba4\u200b VPC \u200b\u4e0a\u200b\u7684\u200b Overlay Subnet \u200b\u4e92\u901a\u200b\uff0c\u200b\u5982\u679c\u200b\u8981\u200b\u6307\u5b9a\u200b\u548c\u200b\u67d0\u4e2a\u200b VPC \u200b\u4e92\u901a\u200b\uff0c\u200b\u5728\u200b <code>u2oInterconnection</code> \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b <code>true</code> \u200b\u540e\u200b\uff0c\u200b\u6307\u5b9a\u200b <code>subnet.spec.vpc</code> \u200b\u5b57\u6bb5\u200b\u4e3a\u200b\u8be5\u200b VPC \u200b\u540d\u5b57\u200b\u5373\u53ef\u200b\u3002</p>"},{"location":"start/underlay/#_9","title":"\u6ce8\u610f\u4e8b\u9879","text":"<p>\u200b\u5982\u679c\u200b\u60a8\u200b\u4f7f\u7528\u200b\u7684\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u4e0a\u200b\u914d\u7f6e\u200b\u6709\u200b IP \u200b\u5730\u5740\u200b\uff0c\u200b\u4e14\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u901a\u8fc7\u200b Netplan \u200b\u914d\u7f6e\u200b\u7f51\u7edc\u200b\uff08\u200b\u5982\u200b Ubuntu\uff09\uff0c\u200b\u5efa\u8bae\u60a8\u200b\u5c06\u200b Netplan \u200b\u7684\u200b renderer \u200b\u8bbe\u7f6e\u200b\u4e3a\u200b NetworkManager\uff0c\u200b\u5e76\u200b\u4e3a\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b\u9759\u6001\u200b IP \u200b\u5730\u5740\u200b\uff08\u200b\u5173\u95ed\u200b DHCP\uff09\uff1a</p> <pre><code>network:\n  renderer: NetworkManager\n  ethernets:\n    eth0:\n      dhcp4: no\n      addresses:\n        - 172.16.143.129/24\n  version: 2\n</code></pre> <p>\u200b\u5982\u679c\u200b\u60a8\u200b\u8981\u200b\u4fee\u6539\u200b\u7f51\u5361\u200b\u7684\u200b IP \u200b\u6216\u200b\u8def\u7531\u200b\u914d\u7f6e\u200b\uff0c\u200b\u9700\u8981\u200b\u5728\u200b\u4fee\u6539\u200b netplan \u200b\u914d\u7f6e\u200b\u540e\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>netplan generate\n\nnmcli connection reload netplan-eth0\nnmcli device set eth0 managed yes\n</code></pre> <p>\u200b\u6267\u884c\u200b\u4ee5\u4e0a\u200b\u547d\u4ee4\u200b\u540e\u200b\uff0cKube-OVN \u200b\u4f1a\u200b\u5c06\u200b\u7f51\u5361\u200b\u4e0a\u200b\u7684\u200b IP \u200b\u53ca\u200b\u8def\u7531\u200b\u91cd\u65b0\u200b\u8f6c\u79fb\u200b\u81f3\u200b OVS \u200b\u7f51\u6865\u200b\u3002</p> <p>\u200b\u5982\u679c\u200b\u60a8\u200b\u4f7f\u7528\u200b\u7684\u200b\u64cd\u4f5c\u7cfb\u7edf\u200b\u901a\u8fc7\u200b NetworkManager \u200b\u7ba1\u7406\u7f51\u7edc\u200b\uff08\u200b\u5982\u200b CentOS\uff09\uff0c\u200b\u5728\u200b\u4fee\u6539\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b\u540e\u200b\u9700\u8981\u200b\u6267\u884c\u200b\u4ee5\u4e0b\u200b\u547d\u4ee4\u200b\uff1a</p> <pre><code>nmcli connection reload eth0\nnmcli device set eth0 managed yes\nnmcli -t -f GENERAL.STATE device show eth0 | grep -qw unmanaged || nmcli device reapply eth0\n</code></pre> <p>\u200b\u6ce8\u610f\u200b\uff1a\u200b\u8282\u70b9\u200b\u7f51\u5361\u200b\u914d\u7f6e\u200b\u7684\u200b\u52a8\u6001\u200b\u4fee\u6539\u200b\u4ec5\u200b\u652f\u6301\u200b IP \u200b\u548c\u200b\u8def\u7531\u200b\uff0c\u200b\u4e0d\u200b\u652f\u6301\u200b MAC \u200b\u5730\u5740\u200b\u7684\u200b\u4fee\u6539\u200b\u3002</p>"},{"location":"start/underlay/#_10","title":"\u5df2\u77e5\u200b\u95ee\u9898","text":""},{"location":"start/underlay/#hairpin-pod","title":"\u7269\u7406\u200b\u7f51\u7edc\u200b\u5f00\u542f\u200b hairpin \u200b\u65f6\u200b Pod \u200b\u7f51\u7edc\u200b\u5f02\u5e38","text":"<p>\u200b\u5f53\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u5f00\u542f\u200b hairpin \u200b\u6216\u200b\u7c7b\u4f3c\u200b\u884c\u4e3a\u200b\u65f6\u200b\uff0c\u200b\u53ef\u80fd\u200b\u51fa\u73b0\u200b\u521b\u5efa\u200b Pod \u200b\u65f6\u200b\u7f51\u5173\u200b\u68c0\u67e5\u200b\u5931\u8d25\u200b\u3001Pod \u200b\u7f51\u7edc\u901a\u4fe1\u200b\u5f02\u5e38\u200b\u7b49\u200b\u95ee\u9898\u200b\u3002\u200b\u8fd9\u200b\u662f\u56e0\u4e3a\u200b OVS \u200b\u7f51\u6865\u200b\u9ed8\u8ba4\u200b\u7684\u200b MAC \u200b\u5b66\u4e60\u200b\u529f\u80fd\u200b\u4e0d\u200b\u652f\u6301\u200b\u8fd9\u79cd\u200b\u7f51\u7edc\u200b\u73af\u5883\u200b\u3002</p> <p>\u200b\u8981\u200b\u89e3\u51b3\u200b\u6b64\u200b\u95ee\u9898\u200b\uff0c\u200b\u9700\u8981\u200b\u5173\u95ed\u200b hairpin\uff08\u200b\u6216\u200b\u4fee\u6539\u200b\u7269\u7406\u200b\u7f51\u7edc\u200b\u7684\u200b\u76f8\u5173\u200b\u914d\u7f6e\u200b\uff09\uff0c\u200b\u6216\u200b\u66f4\u65b0\u200b Kube-OVN \u200b\u7248\u672c\u200b\u3002</p>"},{"location":"start/underlay/#pod-pod","title":"Pod \u200b\u6570\u91cf\u200b\u8f83\u591a\u65f6\u200b\u65b0\u5efa\u200b Pod \u200b\u7f51\u5173\u200b\u68c0\u67e5\u200b\u5931\u8d25","text":"<p>\u200b\u82e5\u200b\u540c\u4e00\u4e2a\u200b\u8282\u70b9\u200b\u4e0a\u200b\u8fd0\u884c\u200b\u7684\u200b Pod \u200b\u6570\u91cf\u200b\u8f83\u200b\u591a\u200b\uff08\u200b\u5927\u4e8e\u200b 300\uff09\uff0c\u200b\u53ef\u80fd\u200b\u4f1a\u200b\u51fa\u73b0\u200b ARP \u200b\u5e7f\u64ad\u200b\u5305\u200b\u7684\u200b OVS \u200b\u6d41\u8868\u200b resubmit \u200b\u6b21\u6570\u200b\u8d85\u8fc7\u200b\u4e0a\u9650\u200b\u5bfc\u81f4\u200b\u4e22\u5305\u200b\u7684\u200b\u73b0\u8c61\u200b\uff1a</p> <pre><code>2022-11-13T08:43:46.782Z|00222|ofproto_dpif_upcall(handler5)|WARN|Flow: arp,in_port=331,vlan_tci=0x0000,dl_src=00:00:00:25:eb:39,dl_dst=ff:ff:ff:ff:ff:ff,arp_spa=10.213.131.240,arp_tpa=10.213.159.254,arp_op=1,arp_sha=00:00:00:25:eb:39,arp_tha=ff:ff:ff:ff:ff:ff\n\nbridge(\"br-int\")\n----------------\n 0. No match.\n     &gt;&gt;&gt;&gt; received packet on unknown port 331 &lt;&lt;&lt;&lt;\n    drop\n\nFinal flow: unchanged\nMegaflow: recirc_id=0,eth,arp,in_port=331,dl_src=00:00:00:25:eb:39\nDatapath actions: drop\n2022-11-13T08:44:34.077Z|00224|ofproto_dpif_xlate(handler5)|WARN|over 4096 resubmit actions on bridge br-int while processing arp,in_port=13483,vlan_tci=0x0000,dl_src=00:00:00:59:ef:13,dl_dst=ff:ff:ff:ff:ff:ff,arp_spa=10.213.152.3,arp_tpa=10.213.159.254,arp_op=1,arp_sha=00:00:00:59:ef:13,arp_tha=ff:ff:ff:ff:ff:ff\n</code></pre> <p>\u200b\u8981\u200b\u89e3\u51b3\u200b\u6b64\u200b\u95ee\u9898\u200b\uff0c\u200b\u53ef\u200b\u4fee\u6539\u200b OVN NB \u200b\u9009\u9879\u200b <code>bcast_arp_req_flood</code> \u200b\u4e3a\u200b <code>false</code>\uff1a</p> <pre><code>kubectl ko nbctl set NB_Global . options:bcast_arp_req_flood=false\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"},{"location":"start/uninstall/","title":"\u5378\u8f7d","text":"<p>\u200b\u5982\u679c\u200b\u9700\u8981\u200b\u5220\u9664\u200b Kube-OVN \u200b\u5e76\u200b\u66f4\u6362\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\uff0c\u200b\u8bf7\u200b\u6309\u7167\u200b\u4e0b\u5217\u200b\u7684\u200b\u6b65\u9aa4\u200b\u5220\u9664\u200b\u5bf9\u5e94\u200b\u7684\u200b Kube-OVN \u200b\u7ec4\u4ef6\u200b\u4ee5\u53ca\u200b OVS \u200b\u914d\u7f6e\u200b\uff0c\u200b\u4ee5\u200b\u907f\u514d\u200b\u5bf9\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u4ea7\u751f\u200b\u5e72\u6270\u200b\u3002 \u200b\u4e5f\u200b\u6b22\u8fce\u200b\u63d0\u200b issue \u200b\u8054\u7cfb\u200b\u6211\u4eec\u200b\u53cd\u9988\u200b\u4e0d\u200b\u4f7f\u7528\u200b Kube-OVN \u200b\u7684\u200b\u539f\u56e0\u200b\u5e2e\u52a9\u200b\u6211\u4eec\u200b\u6539\u8fdb\u200b\u3002</p>"},{"location":"start/uninstall/#kubernetes","title":"\u5220\u9664\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u521b\u5efa\u200b\u7684\u200b\u8d44\u6e90","text":"<p>\u200b\u4e0b\u8f7d\u200b\u4e0b\u9762\u200b\u7684\u200b\u811a\u672c\u200b\uff0c\u200b\u6267\u884c\u200b\u811a\u672c\u200b\u5220\u9664\u200b\u5728\u200b Kubernetes \u200b\u4e2d\u200b\u521b\u5efa\u200b\u7684\u200b\u8d44\u6e90\u200b\uff1a</p> <pre><code>wget https://raw.githubusercontent.com/kubeovn/kube-ovn/master/dist/images/cleanup.sh\nbash cleanup.sh\n</code></pre>"},{"location":"start/uninstall/#_2","title":"\u6e05\u7406\u200b\u4e3b\u673a\u200b\u4e0a\u200b\u7684\u200b\u65e5\u5fd7\u200b\u548c\u200b\u914d\u7f6e\u6587\u4ef6","text":"<p>\u200b\u5728\u200b\u6bcf\u53f0\u200b\u673a\u5668\u200b\u4e0a\u200b\u6267\u884c\u200b\u4e0b\u5217\u200b\u64cd\u4f5c\u200b\uff0c\u200b\u6e05\u7406\u200b ovsdb \u200b\u4ee5\u53ca\u200b openvswitch \u200b\u4fdd\u5b58\u200b\u7684\u200b\u914d\u7f6e\u200b\uff1a</p> <pre><code>rm -rf /var/run/openvswitch\nrm -rf /var/run/ovn\nrm -rf /etc/origin/openvswitch/\nrm -rf /etc/origin/ovn/\nrm -rf /etc/cni/net.d/00-kube-ovn.conflist\nrm -rf /etc/cni/net.d/01-kube-ovn.conflist\nrm -rf /var/log/openvswitch\nrm -rf /var/log/ovn\nrm -fr /var/log/kube-ovn\n</code></pre>"},{"location":"start/uninstall/#_3","title":"\u91cd\u542f\u200b\u8282\u70b9","text":"<p>\u200b\u91cd\u542f\u200b\u673a\u5668\u200b\u786e\u4fdd\u200b\u5bf9\u5e94\u200b\u7684\u200b\u7f51\u5361\u200b\u4fe1\u606f\u200b\uff0ciptable/ipset \u200b\u89c4\u5219\u200b\u5f97\u4ee5\u200b\u6e05\u9664\u200b\uff0c\u200b\u907f\u514d\u200b\u5bf9\u200b\u5176\u4ed6\u200b\u7f51\u7edc\u200b\u63d2\u4ef6\u200b\u7684\u200b\u5f71\u54cd\u200b\uff1a</p> <pre><code>reboot\n</code></pre> <p> \u200b\u5fae\u4fe1\u7fa4\u200b  Slack  Twitter  Support</p>"}]}
\ No newline at end of file
diff --git a/v1.13.x/sitemap.xml b/v1.13.x/sitemap.xml
index 7951f417f..6aad62b80 100644
--- a/v1.13.x/sitemap.xml
+++ b/v1.13.x/sitemap.xml
@@ -2,1022 +2,1022 @@
 <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xhtml="http://www.w3.org/1999/xhtml">
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/contact/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/contact/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/contact/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/accelerate-intra-node-tcp-with-ebpf/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/accelerate-intra-node-tcp-with-ebpf/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/accelerate-intra-node-tcp-with-ebpf/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/cilium-hubble-observe/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/cilium-hubble-observe/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/cilium-hubble-observe/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/cilium-networkpolicy/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/cilium-networkpolicy/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/cilium-networkpolicy/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/dhcp/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/dhcp/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/dhcp/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/dpdk/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/dpdk/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/dpdk/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/external-gateway/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/external-gateway/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/external-gateway/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/fastpath/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/fastpath/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/fastpath/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/multi-nic/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/multi-nic/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/multi-nic/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/nat-policy-rule/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/nat-policy-rule/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/nat-policy-rule/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/node-local-dns/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/node-local-dns/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/node-local-dns/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/offload-corigine/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/offload-corigine/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/offload-corigine/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/offload-mellanox/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/offload-mellanox/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/offload-mellanox/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/overlay-with-route/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/overlay-with-route/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/overlay-with-route/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/ovn-eip-fip-snat/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/ovn-eip-fip-snat/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/ovn-eip-fip-snat/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/ovn-ipsec/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/ovn-ipsec/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/ovn-ipsec/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/ovn-l3-ha-based-ecmp-with-bfd/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/ovn-l3-ha-based-ecmp-with-bfd/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/ovn-l3-ha-based-ecmp-with-bfd/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/ovn-remote-port-mirroring/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/ovn-remote-port-mirroring/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/ovn-remote-port-mirroring/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/performance-tuning/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/performance-tuning/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/performance-tuning/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/security-group/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/security-group/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/security-group/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/vip/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/vip/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/vip/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/vpc-internal-dns/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/vpc-internal-dns/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/vpc-internal-dns/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/vpc-internal-lb/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/vpc-internal-lb/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/vpc-internal-lb/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/vpc-peering/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/vpc-peering/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/vpc-peering/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/windows/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/windows/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/windows/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/with-bgp/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/with-bgp/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/with-bgp/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/with-cilium/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/with-cilium/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/with-cilium/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/with-openstack/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/with-openstack/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/with-openstack/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/with-ovn-ic/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/with-ovn-ic/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/with-ovn-ic/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/advance/with-submariner/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/advance/with-submariner/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/advance/with-submariner/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/custom-routes/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/custom-routes/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/custom-routes/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/dual-stack/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/dual-stack/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/dual-stack/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/eip-snat/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/eip-snat/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/eip-snat/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/ip/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/ip/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/ip/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/ippool/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/ippool/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/ippool/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/loadbalancer-service/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/loadbalancer-service/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/loadbalancer-service/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/mirror/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/mirror/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/mirror/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/networkpolicy-log/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/networkpolicy-log/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/networkpolicy-log/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/prometheus-grafana/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/prometheus-grafana/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/prometheus-grafana/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/prometheus/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/prometheus/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/prometheus/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/qos/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/qos/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/qos/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/setup-options/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/setup-options/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/setup-options/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/static-ip-mac/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/static-ip-mac/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/static-ip-mac/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/subnet/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/subnet/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/subnet/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/vpc-qos/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/vpc-qos/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/vpc-qos/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/vpc/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/vpc/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/vpc/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/guide/webhook/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/guide/webhook/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/guide/webhook/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/ops/change-default-subnet/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/ops/change-default-subnet/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/ops/change-default-subnet/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/ops/change-join-subnet/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/ops/change-join-subnet/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/ops/change-join-subnet/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/ops/change-log-level/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/ops/change-log-level/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/ops/change-log-level/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/ops/change-ovn-central-node/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/ops/change-ovn-central-node/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/ops/change-ovn-central-node/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/ops/delete-worker-node/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/ops/delete-worker-node/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/ops/delete-worker-node/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/ops/faq/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/ops/faq/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/ops/faq/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/ops/from-calico/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/ops/from-calico/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/ops/from-calico/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/ops/kubectl-ko/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/ops/kubectl-ko/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/ops/kubectl-ko/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/ops/recover-db/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/ops/recover-db/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/ops/recover-db/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/reference/architecture/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/reference/architecture/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/reference/architecture/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/reference/dev-env/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/reference/dev-env/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/reference/dev-env/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/reference/document-convention/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/reference/document-convention/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/reference/document-convention/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/reference/feature-stage/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/reference/feature-stage/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/reference/feature-stage/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/reference/iptables-rules/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/reference/iptables-rules/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/reference/iptables-rules/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/reference/kube-ovn-api/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/reference/kube-ovn-api/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/reference/kube-ovn-api/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/reference/kube-ovn-pinger-args/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/reference/kube-ovn-pinger-args/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/reference/kube-ovn-pinger-args/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/reference/metrics/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/reference/metrics/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/reference/metrics/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/reference/ovs-ovn-customized/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/reference/ovs-ovn-customized/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/reference/ovs-ovn-customized/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/reference/tunnel-protocol/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/reference/tunnel-protocol/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/reference/tunnel-protocol/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/reference/underlay-topology/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/reference/underlay-topology/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/reference/underlay-topology/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/start/one-step-install/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/start/one-step-install/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/start/one-step-install/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/start/prepare/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/start/prepare/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/start/prepare/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/start/sealos-install/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/start/sealos-install/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/start/sealos-install/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/start/underlay/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/start/underlay/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/start/underlay/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/start/uninstall/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x/start/uninstall/"/>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.xen/start/uninstall/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.x"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/contact/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/contact/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xcontact/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/accelerate-intra-node-tcp-with-ebpf/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/accelerate-intra-node-tcp-with-ebpf/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/accelerate-intra-node-tcp-with-ebpf/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/cilium-hubble-observe/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/cilium-hubble-observe/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/cilium-hubble-observe/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/cilium-networkpolicy/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/cilium-networkpolicy/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/cilium-networkpolicy/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/dhcp/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/dhcp/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/dhcp/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/dpdk/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/dpdk/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/dpdk/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/external-gateway/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/external-gateway/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/external-gateway/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/fastpath/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/fastpath/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/fastpath/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/multi-nic/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/multi-nic/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/multi-nic/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/nat-policy-rule/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/nat-policy-rule/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/nat-policy-rule/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/node-local-dns/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/node-local-dns/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/node-local-dns/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/offload-corigine/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/offload-corigine/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/offload-corigine/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/offload-mellanox/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/offload-mellanox/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/offload-mellanox/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/overlay-with-route/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/overlay-with-route/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/overlay-with-route/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/ovn-eip-fip-snat/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/ovn-eip-fip-snat/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/ovn-eip-fip-snat/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/ovn-ipsec/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/ovn-ipsec/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/ovn-ipsec/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/ovn-l3-ha-based-ecmp-with-bfd/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/ovn-l3-ha-based-ecmp-with-bfd/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/ovn-l3-ha-based-ecmp-with-bfd/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/ovn-remote-port-mirroring/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/ovn-remote-port-mirroring/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/ovn-remote-port-mirroring/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/performance-tuning/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/performance-tuning/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/performance-tuning/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/security-group/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/security-group/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/security-group/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/vip/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/vip/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/vip/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/vpc-internal-dns/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/vpc-internal-dns/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/vpc-internal-dns/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/vpc-internal-lb/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/vpc-internal-lb/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/vpc-internal-lb/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/vpc-peering/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/vpc-peering/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/vpc-peering/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/windows/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/windows/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/windows/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/with-bgp/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/with-bgp/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/with-bgp/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/with-cilium/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/with-cilium/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/with-cilium/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/with-openstack/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/with-openstack/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/with-openstack/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/with-ovn-ic/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/with-ovn-ic/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/with-ovn-ic/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/advance/with-submariner/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/advance/with-submariner/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xadvance/with-submariner/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/custom-routes/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/custom-routes/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/custom-routes/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/dual-stack/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/dual-stack/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/dual-stack/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/eip-snat/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/eip-snat/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/eip-snat/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/ip/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/ip/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/ip/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/ippool/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/ippool/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/ippool/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/loadbalancer-service/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/loadbalancer-service/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/loadbalancer-service/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/mirror/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/mirror/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/mirror/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/networkpolicy-log/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/networkpolicy-log/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/networkpolicy-log/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/prometheus-grafana/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/prometheus-grafana/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/prometheus-grafana/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/prometheus/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/prometheus/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/prometheus/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/qos/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/qos/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/qos/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/setup-options/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/setup-options/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/setup-options/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/static-ip-mac/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/static-ip-mac/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/static-ip-mac/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/subnet/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/subnet/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/subnet/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/vpc-qos/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/vpc-qos/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/vpc-qos/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/vpc/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/vpc/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/vpc/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/guide/webhook/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/guide/webhook/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xguide/webhook/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/ops/change-default-subnet/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/ops/change-default-subnet/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xops/change-default-subnet/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/ops/change-join-subnet/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/ops/change-join-subnet/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xops/change-join-subnet/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/ops/change-log-level/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/ops/change-log-level/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xops/change-log-level/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/ops/change-ovn-central-node/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/ops/change-ovn-central-node/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xops/change-ovn-central-node/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/ops/delete-worker-node/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/ops/delete-worker-node/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xops/delete-worker-node/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/ops/faq/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/ops/faq/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xops/faq/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/ops/from-calico/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/ops/from-calico/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xops/from-calico/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/ops/kubectl-ko/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/ops/kubectl-ko/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xops/kubectl-ko/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/ops/recover-db/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/ops/recover-db/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xops/recover-db/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/reference/architecture/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/reference/architecture/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xreference/architecture/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/reference/dev-env/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/reference/dev-env/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xreference/dev-env/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/reference/document-convention/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/reference/document-convention/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xreference/document-convention/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/reference/feature-stage/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/reference/feature-stage/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xreference/feature-stage/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/reference/iptables-rules/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/reference/iptables-rules/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xreference/iptables-rules/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/reference/kube-ovn-api/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/reference/kube-ovn-api/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xreference/kube-ovn-api/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/reference/kube-ovn-pinger-args/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/reference/kube-ovn-pinger-args/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xreference/kube-ovn-pinger-args/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/reference/metrics/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/reference/metrics/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xreference/metrics/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/reference/ovs-ovn-customized/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/reference/ovs-ovn-customized/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xreference/ovs-ovn-customized/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/reference/tunnel-protocol/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/reference/tunnel-protocol/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xreference/tunnel-protocol/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/reference/underlay-topology/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/reference/underlay-topology/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xreference/underlay-topology/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/start/one-step-install/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/start/one-step-install/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xstart/one-step-install/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/start/prepare/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/start/prepare/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xstart/prepare/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/start/sealos-install/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/start/sealos-install/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xstart/sealos-install/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/start/underlay/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/start/underlay/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xstart/underlay/"/>
     </url>
     <url>
         <loc>https://kubeovn.github.io/docs/v1.13.x/en/start/uninstall/</loc>
-        <lastmod>2024-04-16</lastmod>
+        <lastmod>2024-04-17</lastmod>
         <changefreq>daily</changefreq>
         <xhtml:link rel="alternate" hreflang="en" href="https://kubeovn.github.io/docs/v1.13.x/en/start/uninstall/"/>
         <xhtml:link rel="alternate" hreflang="zh" href="https://kubeovn.github.io/docs/v1.13.xstart/uninstall/"/>
diff --git a/v1.13.x/sitemap.xml.gz b/v1.13.x/sitemap.xml.gz
index e2b905601..5ae2a5acb 100644
Binary files a/v1.13.x/sitemap.xml.gz and b/v1.13.x/sitemap.xml.gz differ
diff --git a/versions.json b/versions.json
index 9e9aca54c..c313b1e29 100644
--- a/versions.json
+++ b/versions.json
@@ -10,8 +10,8 @@
     "version": "v1.12.x",
     "title": "v1.12.x (current)",
     "aliases": [
-      "stable",
-      "current"
+      "current",
+      "stable"
     ]
   },
   {