[fix][website] exclude outdated versions of api documentation from se…

…arch engine results (#623)

static/robots.txt

@@ -1 +1,38 @@
+User-agent: *
+Disallow: /api/*/2.2.0/
+Disallow: /api/*/2.2.1/
+Disallow: /api/*/2.3.0/
+Disallow: /api/*/2.3.1/
+Disallow: /api/*/2.3.2/
+Disallow: /api/*/2.4.0/
+Disallow: /api/*/2.4.1/
+Disallow: /api/*/2.4.2/
+Disallow: /api/*/2.5.0/
+Disallow: /api/*/2.5.1/
+Disallow: /api/*/2.5.2/
+Disallow: /api/*/2.6.0/
+Disallow: /api/*/2.6.1/
+Disallow: /api/*/2.6.2/
+Disallow: /api/*/2.6.3/
+Disallow: /api/*/2.6.4/
+Disallow: /api/*/2.7.0/
+Disallow: /api/*/2.7.1/
+Disallow: /api/*/2.7.2/
+Disallow: /api/*/2.7.3/
+Disallow: /api/*/2.7.4/
+Disallow: /api/*/2.7.5/
+Disallow: /api/*/2.8.0/
+Disallow: /api/*/2.8.1/
+Disallow: /api/*/2.8.2/
+Disallow: /api/*/2.8.3/
+Disallow: /api/*/2.8.x/
+Disallow: /api/*/2.9.0/
+Disallow: /api/*/2.9.1/
+Disallow: /api/*/2.9.2/
+Disallow: /api/*/2.9.3/
+Disallow: /api/*/2.9.x/
+Disallow: /api/*/2.10.0/
+Disallow: /api/*/2.10.1/
+Disallow: /api/*/2.10.2/
+
 Sitemap: https://pulsar.apache.org/sitemap.xml