Добавлю свои 5 копеек, может кому полезно будет.
Про то, что надо прикидываться бразуером - не надо, но если прикидываетесь, то надо прикидываться "правильным" браузером.
У меня в User-Agent исторически стояло Mozilla/3.0 (compatible; Indy Library) - это перестало работать, возвращает 451
При этом если его оставить пустым или написать туда Mozilla/5.0 (compatible; Indy Library) или вообще любую тарабарщину - работает.
Похоже они таким странным образом отцепили древние браузеры...