test: added backwards compatiblity test for DTD

ReadAlongs · Jul 15, 2024 · ec3557c · ec3557c
1 parent d928373
commit ec3557c
Show file tree

Hide file tree

Showing 3 changed files with 79 additions and 0 deletions.
diff --git a/test/data/ras-dtd-1.0.readalong b/test/data/ras-dtd-1.0.readalong
@@ -0,0 +1,24 @@
+<?xml version='1.0' encoding='utf-8'?>
+<read-along version="1.0">
+    <text xml:lang="fra">
+        <body>
+            <div type="page">
+                <p>
+                    <s>Bonjour.</s>
+                    <s>Je m'appelle Éric Joanis.</s>
+                    <s>Je suis programmeur au sein de l'équipe des technologies pour les langues autochtones au CNRC.</s>
+                </p>
+            </div>
+            <div type="page">
+                <p>
+                    <s>J'ai fait une bonne partie de ma carrière en traduction automatique statistique, mais maintenant cette approche est déclassée par l'apprentissage profond.</s>
+                    <s>En ce moment je travaille à l'alignement du hansard du Nunavut pour produire un corpus bilingue anglais-inuktitut.</s>
+                    <s>Ce corpus permettra d'entraîner la TA, neuronale ou statistique, ainsi que d'autres applications de traitement du langage naturel.</s>
+                </p>
+                <p>
+                    <s>En parallèle, j'aide à écrire des tests pour rendre le ReadAlong-Studio plus robuste.</s>
+                </p>
+            </div>
+        </body>
+    </text>
+</read-along>
diff --git a/test/data/ras-dtd-1.1.readalong b/test/data/ras-dtd-1.1.readalong
@@ -0,0 +1,25 @@
+<?xml version='1.0' encoding='utf-8'?>
+<read-along version="1.1">
+    <meta name="generator" content="human made" id="meta0" />
+    <text xml:lang="fra">
+        <body>
+            <div type="page">
+                <p>
+                    <s>Bonjour.</s>
+                    <s>Je m'appelle Éric Joanis.</s>
+                    <s>Je suis programmeur au sein de l'équipe des technologies pour les langues autochtones au CNRC.</s>
+                </p>
+            </div>
+            <div type="page">
+                <p>
+                    <s>J'ai fait une bonne partie de ma carrière en traduction automatique statistique, mais maintenant cette approche est déclassée par l'apprentissage profond.</s>
+                    <s>En ce moment je travaille à l'alignement du hansard du Nunavut pour produire un corpus bilingue anglais-inuktitut.</s>
+                    <s>Ce corpus permettra d'entraîner la TA, neuronale ou statistique, ainsi que d'autres applications de traitement du langage naturel.</s>
+                </p>
+                <p>
+                    <s>En parallèle, j'aide à écrire des tests pour rendre le ReadAlong-Studio plus robuste.</s>
+                </p>
+            </div>
+        </body>
+    </text>
+</read-along>
diff --git a/test/test_dtd.py b/test/test_dtd.py
@@ -58,6 +58,36 @@ def test_invalid_inputs(self):
                     self.dtd.validate(parsed), f"{name} validates but shouldn't"
                 )
 
+    def test_backwards_compatibility(self):
+        # the DTD needs to be backwards compatible as long as the major version does not change
+        versions = """
+                ras-dtd-1.0.readalong
+                ras-dtd-1.1.readalong
+            """.strip().split()
+        for name in versions:
+            path = os.path.join(dirname(__file__), "data", name.strip())
+            # DTD is text, XML is binary... okay
+            with open(path, "rb") as infh:
+                parsed = etree.parse(infh)
+                self.assertTrue(self.dtd.validate(parsed), f"{name} does not validate")
+        # test that previous DTD fails current version
+        # test DTD 1.0 with format 1.1
+        with open(
+            os.path.join(
+                dirname(__file__), "..", "readalongs", "static", "read-along-1.0.dtd"
+            ),
+            "rt",
+        ) as dtdFile:
+            dtd = etree.DTD(dtdFile)
+            with open(
+                os.path.join(dirname(__file__), "data", versions[1]), "rb"
+            ) as rasFile:
+                parsed = etree.parse(rasFile)
+                self.assertFalse(
+                    dtd.validate(parsed),
+                    f"{versions[1]} validates with 1.0 but shouldn't",
+                )
+
 
 if __name__ == "__main__":
     main()