Oh, je découvre un usage utile de ICU (que je n'avais pas avant, faute de bien connaitre le projet).
=> https://github.com/BoboTiG/ebook-reader-dict/issues/155

Code :

from icu import Collator, Locale

collator = Collator.createInstance(Locale.getFrance())
# or collator = Collator.createInstance(Locale("fr_FR.UTF-8"))
words = sorted(words, key=collator.getSortKey)