Нашу песню не задушишь

Обратил внимание, что RSS-лента «Аэростата» перестала обновляться. Полез разбираться.

Парсер на сервере ругается на таймаут при попытке открыть страницу на сайте Радио России, хотя в браузере эта страница открывается без проблем. Проверил curl‘ом с другого сервера — судя по всему, сайт просто блокирует подключения из AS Digital Ocean (а может, и вообще из Европы; но через Tor открывается).

Неприятно, но не трагедия: можно ведь формировать ленту на домашнем сервере, и закидывать на Digital Ocean, где крутится сайт, уже в готовом виде. Запускаю парсер локально — ругается, что страницу невозможно распарсить. Проверил curl‘ом — страница нормальная. Что за напасть?!

Оказалось, сайту Радио России разонравился User Agent по умолчанию в Go, и на запросы от этого User Agent от отдаёт 403 Forbidden. Делать нечего, пришлось добавить пару строк кода и прописать браузерный User Agent… Хотел бы я знать, в чём смысл всей этой «границы на замке». С блокированием Digital Ocean понятно — это не самый эффективный способ борьбы с DDoS, но какая-то логика имеется. А User Agent`ы-то зачем блокировать?

В любом случае, лента снова обновляется. Да, я знаю, что существует новый неофициальный сайт, но их уже столько было, неофициальных… Пока поддерживать свою ленту не так уж сложно — буду её поддерживать. Аэростаты должны летать.