49 lines
1.8 KiB
Python
49 lines
1.8 KiB
Python
import pytest
|
||
|
||
from spacy.lang.tr.lex_attrs import like_num
|
||
|
||
|
||
def test_tr_tokenizer_handles_long_text(tr_tokenizer):
|
||
text = """Pamuk nasıl ipliğe dönüştürülür?
|
||
|
||
Sıkıştırılmış balyalar halindeki pamuk, iplik fabrikasına getirildiğinde hem
|
||
lifleri birbirine dolaşmıştır, hem de tarladan toplanırken araya bitkinin
|
||
parçaları karışmıştır. Üstelik balyalardaki pamuğun cinsi aynı olsa bile kalitesi
|
||
değişeceğinden, önce bütün balyaların birbirine karıştırılarak harmanlanması gerekir.
|
||
|
||
Daha sonra pamuk yığınları, liflerin açılıp temizlenmesi için tek bir birim halinde
|
||
birleştirilmiş çeşitli makinelerden geçirilir.Bunlardan biri, dönen tokmaklarıyla
|
||
pamuğu dövüp kabartarak dağınık yumaklar haline getiren ve liflerin arasındaki yabancı
|
||
maddeleri temizleyen hallaç makinesidir. Daha sonra tarak makinesine giren pamuk demetleri,
|
||
herbirinin yüzeyinde yüzbinlerce incecik iğne bulunan döner silindirlerin arasından geçerek lif lif ayrılır
|
||
ve tül inceliğinde gevşek bir örtüye dönüşür. Ama bir sonraki makine bu lifleri dağınık
|
||
ve gevşek bir biçimde birbirine yaklaştırarak 2 cm eninde bir pamuk şeridi haline getirir."""
|
||
tokens = tr_tokenizer(text)
|
||
assert len(tokens) == 146
|
||
|
||
|
||
@pytest.mark.parametrize(
|
||
"word",
|
||
[
|
||
"bir",
|
||
"iki",
|
||
"dört",
|
||
"altı",
|
||
"milyon",
|
||
"100",
|
||
"birinci",
|
||
"üçüncü",
|
||
"beşinci",
|
||
"100üncü",
|
||
"8inci",
|
||
],
|
||
)
|
||
def test_tr_lex_attrs_like_number_cardinal_ordinal(word):
|
||
assert like_num(word)
|
||
|
||
|
||
@pytest.mark.parametrize("word", ["beş", "yedi", "yedinci", "birinci", "milyonuncu"])
|
||
def test_tr_lex_attrs_capitals(word):
|
||
assert like_num(word)
|
||
assert like_num(word.upper())
|