86 lines
3.9 KiB
Python
86 lines
3.9 KiB
Python
import pytest
|
||
|
||
INFIX_HYPHEN_TESTS = [
|
||
("Бала-чака жакшыбы?", "Бала-чака жакшыбы ?".split()),
|
||
("Кыз-келиндер кийими.", "Кыз-келиндер кийими .".split()),
|
||
]
|
||
|
||
PUNC_INSIDE_WORDS_TESTS = [
|
||
(
|
||
"Пассажир саны - 2,13 млн — киши/күнүнө (2010), 783,9 млн. киши/жылына.",
|
||
"Пассажир саны - 2,13 млн — киши / күнүнө ( 2010 ) ,"
|
||
" 783,9 млн. киши / жылына .".split(),
|
||
),
|
||
('То"кой', 'То " кой'.split()),
|
||
]
|
||
|
||
MIXED_ORDINAL_NUMS_TESTS = [("Эртең 22-январь...", "Эртең 22 - январь ...".split())]
|
||
|
||
ABBREV_TESTS = [
|
||
("Маселе б-ча эртең келет", "Маселе б-ча эртең келет".split()),
|
||
("Ахунбаев көч. турат.", "Ахунбаев көч. турат .".split()),
|
||
("«3-жылы (б.з.ч.) туулган", "« 3 - жылы ( б.з.ч. ) туулган".split()),
|
||
("Жүгөрү ж.б. дандар колдонулат", "Жүгөрү ж.б. дандар колдонулат".split()),
|
||
("3-4 кк. курулган.", "3 - 4 кк. курулган .".split()),
|
||
]
|
||
|
||
NAME_ABBREV_TESTS = [
|
||
("М.Жумаш", "М.Жумаш".split()),
|
||
("М.жумаш", "М.жумаш".split()),
|
||
("м.Жумаш", "м . Жумаш".split()),
|
||
("Жумаш М.Н.", "Жумаш М.Н.".split()),
|
||
("Жумаш.", "Жумаш .".split()),
|
||
]
|
||
|
||
TYPOS_IN_PUNC_TESTS = [
|
||
("«3-жылда , туулган", "« 3 - жылда , туулган".split()),
|
||
("«3-жылда,туулган", "« 3 - жылда , туулган".split()),
|
||
("«3-жылда,туулган.", "« 3 - жылда , туулган .".split()),
|
||
("Ал иштейт(качан?)", "Ал иштейт ( качан ? )".split()),
|
||
("Ал (качан?)иштейт", "Ал ( качан ?) иштейт".split()), # "?)" => "?)" or "? )"
|
||
]
|
||
|
||
LONG_TEXTS_TESTS = [
|
||
(
|
||
"Алыскы өлкөлөргө аздыр-көптүр татаалыраак жүрүштөргө чыккандар "
|
||
"азыраак: ал бир топ кымбат жана логистика маселесинин айынан "
|
||
"кыйла татаал. Мисалы, январдагы майрамдарда Мароккого үчүнчү "
|
||
"категориядагы маршрутка (100 чакырымдан кем эмес) барып "
|
||
"келгенге аракет кылдык.",
|
||
"Алыскы өлкөлөргө аздыр-көптүр татаалыраак жүрүштөргө чыккандар "
|
||
"азыраак : ал бир топ кымбат жана логистика маселесинин айынан "
|
||
"кыйла татаал . Мисалы , январдагы майрамдарда Мароккого үчүнчү "
|
||
"категориядагы маршрутка ( 100 чакырымдан кем эмес ) барып "
|
||
"келгенге аракет кылдык .".split(),
|
||
)
|
||
]
|
||
|
||
TESTCASES = (
|
||
INFIX_HYPHEN_TESTS
|
||
+ PUNC_INSIDE_WORDS_TESTS
|
||
+ MIXED_ORDINAL_NUMS_TESTS
|
||
+ ABBREV_TESTS
|
||
+ NAME_ABBREV_TESTS
|
||
+ LONG_TEXTS_TESTS
|
||
+ TYPOS_IN_PUNC_TESTS
|
||
)
|
||
|
||
NORM_TESTCASES = [
|
||
(
|
||
"ит, мышык ж.б.у.с. үй жаныбарлары.",
|
||
["ит", ",", "мышык", "жана башка ушул сыяктуу", "үй", "жаныбарлары", "."],
|
||
)
|
||
]
|
||
|
||
|
||
@pytest.mark.parametrize("text,expected_tokens", TESTCASES)
|
||
def test_ky_tokenizer_handles_testcases(ky_tokenizer, text, expected_tokens):
|
||
tokens = [token.text for token in ky_tokenizer(text) if not token.is_space]
|
||
assert expected_tokens == tokens
|
||
|
||
|
||
@pytest.mark.parametrize("text,norms", NORM_TESTCASES)
|
||
def test_ky_tokenizer_handles_norm_exceptions(ky_tokenizer, text, norms):
|
||
tokens = ky_tokenizer(text)
|
||
assert [token.norm_ for token in tokens] == norms
|