This file contains ambiguous Unicode characters that may be confused with others in your current locale. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to highlight these characters.
from__future__importdivision,print_function
importmath
from..importword_error_rate,words
deftest_words():
result=list(
words("Der schnelle [„braune“] Fuchs kann keine 3,14 Meter springen, oder?")
)
expected=[
"Der",
"schnelle",
"braune",
"Fuchs",
"kann",
"keine",
"3,14",
"Meter",
"springen",
"oder",
]
assertresult==expected
deftest_words_private_use_area():
result=list(
words(
"ber die vielen Sorgen wegen deelben vergaß Hartkopf, der Frau Amtmnnin das ver⸗\n"
"ſproene zu berliefern."
)
)
expected=[
"ber",
"die",
"vielen",
"Sorgen",
"wegen",
"deelben",
"vergaß",
"Hartkopf",
"der",
"Frau",
"Amtmnnin",
"das",
"ver",
"ſproene",
"zu",
"berliefern",
]
assertresult==expected
deftest_word_error_rate():
assert(
word_error_rate("Dies ist ein Beispielsatz!","Dies ist ein Beispielsatz!")==0
)
assert(
word_error_rate("Dies. ist ein Beispielsatz!","Dies ist ein Beispielsatz!")
==0
)
assert(
word_error_rate("Dies. ist ein Beispielsatz!","Dies ist ein Beispielsatz.")
==0
)
assert(
word_error_rate("Dies ist ein Beispielsatz!","Dies ist ein Beispielsarz:")
==1/4
)
assert(
word_error_rate("Dies ist ein Beispielsatz!","Dies ein ist Beispielsatz!")
==2/4
)
assertword_error_rate("Dies ist ein Beispielsatz!","")==4/4
assertmath.isinf(word_error_rate("","Dies ist ein Beispielsatz!"))
assertword_error_rate("","")==0
assert(
word_error_rate(
"Schlyñ lorem ipsum dolor sit amet,","Schlym̃ lorem ipsum dolor sit amet."