Разблокировка сервисов Google
В свете продолжающихся блокировок «Казахтелекомом» отдельных ресурсов Google, представляю обновлённое решение на основе ранее опубликованного поста.
Решение состоит в настройке собственного DNS-сервера, на котором описываются подпадающие под блокировку зоны, с таким расчётом, чтобы они разрешались на блок адресов Google, не подпадающий под ограничения. Одним из таких блоков является собственный блок адресов «Казахтелекома», выделенный для установки кеширующих серверов для нашего региона. Каждая зона описывается стандартной «болванкой», содержащей ресольвинг доменного имени и поддоменов на диапазон '212.154.168.240–212.154.168.243' с простой балансировкой по round-robin.
Последний актуальный набор переназначенных зон BIND можно скачать здесь.
Заготовку конфигурационного файла 'named.conf' можно взять отсюда.
Прочие зоны не перекрыты, поскольку я не имею представления об инфраструктуре сервисов Google и «расширение зоны покрытия» чревато всякими неожиданными проблемами при доступе. Ещё одним плюсом данной схемы является то, что трафик с описанных зон гарантированно становится «казахстанским», что имеет значение для пользователей Мегалайна.
И напоследок, для защитников «Казахтелекома», отметим очевидный факт: доступность блокированных ресурсов через его собственные сервера означает, что блокировка вводится на уровне ресурсов провайдера, а не где-то выше на магистрали.
Копирование контента без указания автора преследуется сотрудниками ада.
Обсуждение
Добавил еще зону для mail.google.com:
// googlemail.l.google.com zone zone "googlemail.l.google.com" IN { type master; notify no; file "googlemail.l.google.com.zone"; allow-update { none; }; };У меня Google Mail не блокируется, поэтому его зоны не добавлял. Хотя имеет смысл для организации «казахстанского» трафика с Gmail-a
Надо бы ещё посмотреть на предмет доступности iGoogle (там поддомены gmodules.com) и Google Apps (ghs.l.google.com). Я их не прописывал, поскольку их не использую и проверить толком не могу.
gmodules.com точно блочиться, хотя как-то неоднозначно: на работе еле открывается, а вот дома все пучком… при этом, что интересно, дома и на работе прописан один и тот же ДНС - гугловские 8.8.8.8 и 8.8.4.4
Насчёт gmodules, там вроде какой-то косяк вылезал, когда пробовали в прошлый раз по шаблону. Попробуй ещё раз стандартным путём. Если не получится, то напиши по джабберу больше технических деталей (как проверять, что оно нормально/ненормально работает), тогда посмотрю.
8.8.8.8 отдает это: Name: gmodules.com Address: 212.154.168.243 И прописывать не надо :) iGoogle открывается весь, 100%, и даже чат там работает!
nifiga ne ponyal. ya vot yvisiona dobavil v notepad. cheto youtube ne pret. mozhet nado perezagruzit?
А я не понял, при чём здесь notepad и yvision. Вы написанное выше внимательно читали? Нужно установить свой DNS-сервер и на нём настроить зоны. Если вы не знаете, как это сделать, данная заметка вам ничем не поможет.
Можно все в архиве закинуть? Еще настройку бинда описанть
Простая конфигурация кеширующего сервера для локальной сети, с определением дополнительных DNS-зон.
В архиве 'named.conf' и файлы зон Google (добавлены googlemail.l.google.com и photos-ugc.l.google.com).
named-google-services.tar.gz
Добавил еще некоторые зоны: gstaticssl.l.google.com talkgadget.l.google.com csi.l.google.com video-stats.l.google.com
talkgadget.l.google.com возможно и не надо. Но с этой записью и без нее чат в gmail не работает! Не может подключиться.
Спасибо за зоны, добавлю на на своём сервере. Насчёт talkgadget.l.google.com, не совсем понял, что имелось в виду
С перекрытой зоной чат доступен или недоступен?
Чат недоступен, как только прописываем зону для googlemail.l.google.com. Добавление зоны talkgadget.l.google.com проблемы не решает. Имхо на Астанинских серверах этого функционала просто нет.
Дело в том, что не все астанинские серверы одинаково полезны. Почти все они (или все) могут отдавать 'google.com/.ru/.kz', а вот далее их роли разнятся. Наши ('240-243') хороши для уже описанных зон. Диапазон примерно '246-250' используется кэшами YouTube и т.п. Стоит пробежаться по всему диапазону и поискать там talkgadget.l.google.com. Хотя, возможно, как и вы и говорите, просто сервис здесь не предоставляется.
Здравствуйте Денис. Сегодня слетел бинд. Когда его запускаю через службы (сервисы) он дает ошибку 1067. Конфиги ложу в папку etc
Можете закинь всю папку бинда , я тупой наверное но не нашел куда ложить конфиги , до этого ложил в etc но кажется не прокатывает
Касательно настройки BIND, обратитесь к документации своего дистрибутива. В redhat-система конфиги лежат в одном месте (используется chroot-окружение), в debian-производных – в другом.
Сейчас вдруг Гугловые сервера стали отдавать это: nslookup www.google-analytics.com 8.8.8.8 Server: google-public-dns-a.google.com Address: 8.8.8.8
Non-authoritative answer: Name: www-google-analytics.l.google.com Addresses: 212.154.168.251, 212.154.168.240, 212.154.168.241, 212.154.168.250 Aliases: www.google-analytics.com
Интересно, надолго? :)
Там посмотрим
Меня, в принципе, устраивает наша схема, чтоб не зависеть от очередных перипетий КТ или Google.
Опять все по прежнему. Отдаются адреса Американских серверов. Кто-то гадит 100%.
Выше я уже обозначил своё мнение.
Ebay.com, Amazon.com, Yahoo.com и прочие американские сайты не открываются, либо ОЧЕНЬ медленно открываются.
Проблема внешняя наверно, но никто на это не реагирует
У меня они открываются без задержек, обычный Мегалайн, проверял в нескольких местах. Возможно, задержки из-за блокировки google-analytics? (которые исчезают при прописывании зон)
Тут проблема возникла с googlecode.l.google.com. Как эту зону прописать?
Так же, как и все прочие.
Сейчас проверил, вроде работает, как надо. При прямом запросе перенаправляет на 'code.google.com' (http://v8.googlecode.com → http://code.google.com/p/v8/). Внутренние ресурсы (например, http://red5.googlecode.com/svn/) не редиректятся, но сразу открываются на «казашке».
Да, все работает, спс. Я пытался прописать маску и не пошло :)
Большое спасибо все завелось с первого раза. Были проблемы blogspot.com теперь читаю с удовольствием:)
Проблема с ghs. 404 выдается на www.hdtv-ukraine.com, а они хостятся на ghs. Через прокси Оперы заходит :)
Здравствуйте! Проблему с гугло сервисами косяктелеком не устранил до сих пор. В офисе с этим проблемы, для работы они нужны(gmail, chrome.google.com и т.д). На сервере bind9, настройки брал ваши. nslookup выдает следующее:
nslookup blogger.com Server: 192.168.1.100 Address: 192.168.1.100#53 ** server can't find blogger.com: NXDOMAINСоответственно сервисы так и не доступны.
Значит, что-то неправильно делаете. Постучите в джаббер, обсудим.
P.S. «Расследования» насчёт GHS, зон chrome / chromium и android всё ещё продолжаются. Нет времени заняться ими детально.
Решение для ghs.google.com. Поскольку на казахских серверах этой зоны обнаружить не удалось – будем тянуть из «внешки»:
// ghs.l.google.com zone zone "ghs.l.google.com" IN { type master; notify no; file "ghs.l.google.com.zone"; allow-update { none; }; };Поскольку зоны chromium и android были недоступны из-за отсутствия GHS, то проблемы с ними решаются автоматом (с учётом сказанного выше: часть трафика для них будет идти с «внешки»).
Добавил зону dl.google.com – центр загрузки ПО от Google. Типовая зона, будет грузиться с казахстанских серверов:
// dl.l.google.com zone zone "dl.l.google.com" IN { type master; notify no; file "dl.l.google.com.zone"; allow-update { none; }; };Отлично! Все работает! :)
В дополнение к dl.l.google.com, есть ещё такой центр загрузки – dl-ssl.l.google.com. Настройки зоны аналогичны. В первую очередь, представляет интерес для мегалайнеров в целях экономии трафика.
Что-то новое появилось: gfe.google.kz
Дайте больше информации (сайты, на которых можно тестировать; использующие его ресурсы и т.п.)
Делаем: nslookup www.google.kz Получаем: Name: gfe.google.kz Address: 212.154.168.243 Aliases: www.google.kz
googleapis.l.google.com надо добавить. Реально блочат. Разработчики использующие Google API - негодуют! Часто вызывается с sourceforge.net. Интересно, есть оно на кэш серверах?
Поищу, где-нибудь точно найдётся
Касательно gfe.google.kz не понял, вроде оно не блочится и при использовании Google DNS автоматом ресольвится на казахские кеш-сервера.
Всем, шалом не могу разобраться, плиз хелпните мне- ламеру… дистр. - ubuntu 10.04 - он же шлюз в /etc/bind/named.conf.options в forwarders и в /etc/resolv.conf нужно указать ктшные ДНСы или opendns (к примеру 8.8.8.8).
В forwarders нужно указать OpenDNS или Google DNS (8.8.4.4, 8.8.8.8), смотрите архив с примерами настройки выше в комментариях.
В /etc/resolv.conf можете указать сами себя ('nameserver 127.0.0.1'), если на самом шлюзе требуется правильный ресольвинг заблокированных зон. В ином случае, указываете любой, хоть КТ, хоть Google DNS.
Денис, сорри что так поздно фидбэк оставляю, спасибо
Народ, плиз хелпните, похоже КТ перекрыли и эту лазейку. Сегодня перестало работать, не открывает блогспоты :(
Все работает.
заработало, тэнкс
всем, салют! кто нибудь решил траблу с google talk ? не работает плюшка :(
Все работает. Попробуйте к порту 443 подключиться.
Подтверждаю, gtalk работает. Вообще, если имеется в виду «плюшка»–панель в составе gmail-а, то нужно перекрыть googlemail.l.google.com со всеми поддоменами:
// googlemail.l.google.com zone zone "googlemail.l.google.com" IN { type master; notify no; file "googlemail.l.google.com.zone"; allow-update { none; }; };супер, спс!
i subscribe myselft to email
Денис, помогите разобраться doc-08-a4-docs.googleusercontent.com не работает это сервис гугла Google Docs https://docs.google.com
Этот хост является алиасом для googlehosted. Если он перекрыт, то проблем быть не должно. Сейчас проверил с выделенки КТ и Мегалайна, работает.
Посмотрите в комментариях выше, там есть архив с примером конфигурации и перекрытыми зонами.
Извините все работает сменил в конфиге IP DNS казахтелекома на гугловские все заработало. Странно не уже ли Казахтелеком уже на уровне своих dns блокирует.
спасибо Денис за ваши файлы зон. есть такой вопрос, с этими настройками домены привязанные к блоггеру перескакивают на google.com, пример radio-t.com Это решаемо?
Проверил, «Radio-T» открывается нормально. Возможно, с тех пор были исправления в файлах зон. Последний набор здесь:
named-google-services2.tar.gz. Не забудьте прописать их все в 'named.conf', имена зон смотрите в ORIGIN файлов.
у меня Win7 х64 замучился с установкой BIND9 у меня есть Ubuntu 11.10, кто-нибудь может дать ссылку на хороший мануал по установке BIND на Ubuntu, хочу читать немного в блогах
Возьмите любой мануал из поисковика по запросу «ubuntu bind9».
Если вкратце, то 'apt-get install bind9', настроить chroot (опционально), отредактировать конфиг по образцу 'named.conf' отсюда, свежие зоны взять отсюда.
Установил Bing для виндовс…расжуйте пожалуйста где и как настроить…раньше с этой программой не сталкивался.
Извените (очепятался)BIND 9
Cистема Win XPsp3
Денис здравствуйте
вопрос такой, у меня уже есть днс сервер и я не хотел бы его трогать. Скажите я могу например на другой машине установить днс сервер прописать вашу конфигурацию для сервисов гугла, а потом в другом файле прописать форфард на мой уже работающй днс сервер. А потом клиентам прописать новый днс сервер. Будет такая схема работать?
спасибо за ответ заранее
Да, будет работать. Только сложная система DNS получается, лучше упростить.
Упростить это прописать зоны гугла в уже существующий днс сервер?
Конечно.
Ответьте пожалуйста как установить и настроить BIND на WindowsXP?
Почему не можете ответить?
К сожалению, у меня нет Windows XP и я не знаю, что вам подсказать. Поищите на тематических форумах.
Денис есть такой ресурс udacity.com, вот он тоже вероятно блокируется казахтелекомом. Hе подскажите как мне настроить зону для этого сайта в днс.
Он использует 'ghs.google.com', так что, если эта зона перекрыта, проблем быть не должно. У меня на Мегалайне открывается нормально.
Странно у меня тоже Мегалайн но не открывается а также livejournal тоже не открывается сделал также как у вас.
Вообще да, какие-то тормоза есть при открытии. Не всегда, но проявляется через раз. Надо будет глянуть.
Насчёт LiveJournal, на настоящий момент грамотного решения нет, там заблокирована вся подсеть.
Денис, большое спасибо за статью… очень пригодилась… :)
странно. bind поднял, вроде зоны поднялись, nslookup из них видит что надо а сервисы так и не доступны гугловые в нормальном виде… в частности блогспот, фотоальбомы. пустота на месте фот и картинок
Возможно есть какие то более обновленные зоны?
Проверьте настройки DNS на вашей машине, отключите прокси (если есть), очистите кеш/перезагрузите компьютер.
а ежели через прокси выход в мир? прокси подконтролен, стоит на том же сервере «снаружи» что и bind?
Насколько я понимаю прокси (squid) резолвит адреса через dns который на сервере, где сам прокси. Или я ошибаюсь?
Если не указано иначе (директивой 'dns_nameservers' в конфиге squid), используется системный ресольвер. То есть, что у вас в '/etc/resolv.conf', то и используется для разрешения имён.
забавно. пока явно не прописал эту директиву ни фига не работало. спасибо еще раз за зоны :) теперь в ате еще нескоко есть юзверей с работающим нормально гулосервисом :)
Можно не прописывать в конфиг squid-a. Если прокси на одной машине с bind-ом, просто указать 'nameserver 127.0.0.1' в 'resolv.conf'. Впрочем, на ваш выбор, работает в обоих вариантах.
вот не хотело как ни странно… собственно работает и кулл :) осталось понять как бы ограничить к оному dns доступ ибо сервер на статике в гермозоне казахтелекома а офис на adsl с динамикой… по ip не привязать. походу придется vpn какой мутить или еще какой вариант видится может?
Лучше по VPN, простой и универсальный способ. Какой-нибудь openvpn. Заодним защитите доступ к прокси-серверу на той же машине, дав доступ только тем, кому надо.
к проксе и так перекрыт кислород. туннель бить тож не самая классная идея imho ибо надо будет поднимать клиента кажен раз на компе а это не всегда удобно…
надо скорее подумать на тему резолвинга через ddns например
Можно туннель поднять на шлюзе локальной сети (если он есть).
Денис, отпишите меня от рассылки. Заспамили е мае :) Отписка не работает. Говорит «Failed to handle command: discussion_unsubscribe».
Кто сможет помочь объяснить почему у меня в почте на гугле выходит такое окно в случае если мне надо скачать файл и как это можно решить….С уважением Мен
Ошибка «Прикрепленные файлы могут быть недоступны». Если вы получаете сообщение об ошибке «Прикрепленные файлы могут быть недоступны», это может происходить потому, что ваш сетевой администратор или интернет-провайдер заблокировал домен mail-attachment.googleusercontent.com, который используется Google для хранения приложений в целях безопасности. Если вы убедились, что сеть не блокирует домен googleusercontent.com, проверьте подключение к Интернету и обновите страницу. Если проблема не устранена, причиной может быть конфликт ПО на вашем компьютере (например, включенный брандмауэр или программа для работы с прокси-серверами) либо временная проблема на сервере Google.
У вас 'googlehosted.l.googleusercontent.com' не перекрыт, проверяйте.
А как все эти зоны правильно перенести в стандартный виндовый DNS сервер? А то я BIND с AD не могу связать..
Господа, а как на счет translate.googleusercontent.com ?
Это алиас для 'googlehosted.l.googleusercontent.com', который переопределен. Так что, должен работать.
Сервера переехали в другой ДЦ в Астане. Изменились IP'шки. Вот они: 89.218.72.84 89.218.72.86 89.218.72.89 89.218.72.91 89.218.72.94 89.218.72.96 89.218.72.99 89.218.72.101 89.218.72.104 89.218.72.106 89.218.72.109 89.218.72.111 89.218.72.114 89.218.72.116 89.218.72.119 89.218.72.121 89.218.72.88 89.218.72.93 89.218.72.98 89.218.72.103 89.218.72.108 89.218.72.113 89.218.72.118 89.218.72.123
Тут такое дело… Если у нас прописана зона youtube-ui.l.google.com, при запросе m.youtube.com, gdata.youtube.com или youtube.com без www - отдаются IP из сети 173.194.* или 74.125.*. Как пофиксить сие безобразие?
agz, спасибо за информацию! Я вчера заметил, что youtube «светанул» на 94-м айпишнике. Сейчас у меня проблема с поиском жилья, как только освобожусь – обновлю заметку.
Тут долго серфил по разным сервисам Google, затем сделал дамп кэша :) Вот отфильтровал некоторые CNAME Google: accounts.l.google.com. appspot.l.google.com. blogger.l.google.com. bloggerphotos.l.google.com. blogspot-kz.l.google.com. blogspot.l.google.com. checkout.l.google.com. clients-cctld.l.google.com. code.l.google.com. ghs.google.com. ghs.l.google.com. googleapis.l.google.com. googlecode.l.googleusercontent.com. googlehosted.l.googleusercontent.com. googlemail.l.google.com. groups.l.google.com. id.l.google.com. images.l.google.com. maps.l.google.com. news.l.google.com. photos-ugc.l.google.com. picasaweb.l.google.com. plus.l.google.com. sandbox.l.google.com. scholar.l.google.com. tools.l.google.com. translate.google.com. video.l.google.com. www-cctld.l.google.com. www-google-analytics.l.google.com. www.blogger.com. www.l.google.com. www2.l.google.com. www3.l.google.com. www4.l.google.com. www5.l.google.com youtube-ui.l.google.com. ytimg.l.google.com. ytstatic.l.google.com. Думаю тут не все. Есть еще, много. Кстати, есть очень полезный сайт - рекомендую: www.whatsmydns.net
talk.l.google.com. забыл :)
Обновленную заметку о блокировках Google смотрите здесь.