Достаточно распространенный вопрос, в какой кодировке и вообще как писать русскоязычные URL и русские буквы при указании каких-то ограничений в robots.txt или при составлении sitemap.
Общее правило очень простое.
Для указания русскоязычного домена (FQDN) необходимо пользоваться Punycode (пуникод), который преобразует имя домена, например, домен.рф в xn--d1acufc.xn--p1ai. Это общее правило для многих сервисов. В базах DNS хранится именно преобразованное имя. Углубленно интересующимся можно порекомендовать чтение RFC 3490, RFC 3491, RFC 3492 и RFC 3454.
Для указания русскоязычного пути к ресурсу (URN) необходимо пользоваться перекодировкой urlencode. При перекодировании такой кодировкой слово, например, "Кириллица" выглядит, как %D0%9A%D0%B8%D1%80%D0%B8%D0%BB%D0%BB%D0%B8%D1%86%D0%B0. Для тех, кто готов погрузиться в дебри описаний URI - RFC 3986.