?

Log in

Меркантильный гуру

> Recent Entries
> Archive
> Friends
> Profile
> knutov.com
> previous 10 entries

April 11th, 2017


04:46 am - pdns recursor for mac
Если у вас по непонятным причинам тупит резолвер на роутере И тормозят ответы от 8.8.8.8 (я предполагаю вину DPI у провайдера) - можно поставить локальный рекурсор. Я люблю powerdns, и это первое, что предлагает гугл под мак, вот только никакого мануала по установке рекурсора под мак нет. Пришлось немного погуглить.

brew install pdnsrec

# https://gist.github.com/kometchtech/1cda9953aa51c1498183
sudo wget -O /Library/LaunchDaemons/homebrew.mxcl.pdnsrec.plist https://gist.githubusercontent.com/kometchtech/1cda9953aa51c1498183/raw/d85a7b283efef3c605e32d28a8f3ed07a41a2f1b/homebrew.mxcl.pdnsrec.plist

cd /usr/local/etc/powerdns/
cp recursor.conf-dist recursor.conf

# sudo killall pdns_recursor
sudo reboot

Воспроизводимость не проверял, вполне возможно, что после ребута все работает сразу, без скачивания homebrew.mxcl.pdnsrec.plist.
Tags: ,

(Leave a comment)

April 6th, 2017


05:04 am - Toshiba HK4E
Про Toshiba HK4E.

Зацените - http://www.thessdreview.com/featured/toshiba-hk4e-enterprise-ssd-review-800gb/

В некоторых тестах - идет вровень в SM863 плюс-минус погрешность, в некоторых тестах его превосходит. Фантастически хорошо ведет себя в сценарии 95% WRITE (это то что у меня). Стоит, при этом, смешных денег.

Скорее бы партию с ними в россию завезли...

ps: SM863 больше не будет, HK3E2 кончились.

pps: HK3R2 и HK4R - печальны. Я их взял немного, и больше не буду. Под 95% Write они не годны, если не нулевая нагрузка (т.е. просто работать - норм, удаляем файлики и все встает раком, как и s3610).

S3510, кстати, тоже для этого сценария прилично плох - зацените график латенси - https://yadi.sk/i/LisPvkm_3GhZH8 - и это еще без удаления файлов. Смотрю и плакать хочется.

Для сравнения - латенси S3610 во время удаления миллионов файлов с журналом - https://yadi.sk/i/dnAplj4P3GhZMN . Не смотря на вполне хороший график - всё адски тупило.
Tags:

(Leave a comment)

March 31st, 2017


02:22 am - Про часы и клавиатуры
Решил тут, что хватит страдать и купил переходник с Thunderbolt на гигабит. Страдать вроде и перестал - все перестало тупить при скачивании торрентов, но торренты качаются все равно максимум на 5 мегабайт в секунду (x220 рядом качает в полочку 10 мегабайт).

Заодним, посмотрел в магазине яблочные часы. Очень надеялся, что они мне понравятся и я их наконец куплю, но нет. Они какие-то странные, колесико и прочее аккуратно, но ровно ноль вау-эффекта. При этом текст кажется мелковатым и на руке смотрятся странно. Например, Pebble всегда были очень органичны.

Заодним, посмотрел новые макбуки. Тачбар - это просто супер, это словами не передать как классно. Но - теперь эти клавиатуры стучат при нажатии. Это просто сума сойти. Зато увеличили ход клавиш по сравнению с макбуком 12 (и это - хорошо, они стали примерно идеальны, но стук - пользоваться невозможно).

Макбук 12 просто няшка, все еще хочу, но у него ход клавиш примерно отсутствует вообще и это прилично мешает. Видимо в обоих случаях надо страдать ждать следующих поколений.

Заодним, посмотрел мелкий ноут от Xiaomi (видимо, тот, который 12.5). В обзорах пишут про то как там прогибается клавиатура и как от плохо, а в реальности она это делает меньше и беззвучно, поэтому совсем не мешает. Но он толще, больше и вообще ни разу не альтернатива макбуку 12.

Заодним, подержал Mi 5s в руках. Это вау, я не ожидал, но он идеально лежит в руке не смотря на свой размер. Серьезно задумался о . И при его размерах - это вполне замена сочетанию телефона с планшетом. Ложка дегтя - там вся камерная обвязка конкретно сливает Google Pixel. Но, видимо, все равно лучше, чем в iphone 5s.

---
И вот это все - в 21ом веке? Там в яблоках непонятно как такое допустили - понятно же, что плохо когда такой маленький ход клавиатуры как в 12, и что такой стук - вообще не вариант, зачем они так сделали? У них гигантское количество людей используются в тестах продуктов, как можно умудриться такое выпустить?

upd: Change the priority of your network connections - супер штука. Сразу сделала удобно и почему-то торренты стали качаться быстрее, уже видел 9 мегабайт в секунду. Опять же непонятно почему по дефолту проводная сеть не приоритетнее, чем wifi.

upd2: еще немного магии - https://dpron.com/os-x-10-11-5-slow-smb/ - и теперь файлики по сети копируются со скоростью около 90 мегабайт в секунду, причем тормозит, похоже, локальный ссд.

(6 comments | Leave a comment)

March 21st, 2017


04:39 pm - XQuartz
Если вы используете какие-то приложения по маком с wine и ваши шрифты выглядят, гм, не очень - просто даунгрейднитесь до XQuartz 2.7.9.

А я то раньше думал, что это от версии wine зависит.

Отдельный вопрос - почему все еще нет нативной сборки SQLyog под мак.
Tags:

(Leave a comment)

03:57 pm - LE coders
https://github.com/certbot/certbot/issues/2071
https://github.com/certbot/certbot/issues/3386

я понял что с ними не так. Это просто сборище пхп-шников, которые зачем-то стали писать на питоне.

они сначала создают проблему на пустом месте, а потом решают её наиболее неочевидным способом, обязательно порождающим не менее двух новых проблем
Tags:

(2 comments | Leave a comment)

March 13th, 2017


12:18 pm - Странности с IPMI
У нас тут странное случилось, переустанавливали ось на одном сервере по IPMI, там сначала мышка отвалилась, а потом вообще весь IPMI целиком. В смысле не просто iKVM, а вообще всё. Дальше много пытались ковырять, ipmi было мертво целиком даже после ребутов кнопкой.

Суппорт в ДЦ предложил (спасибо им) полностью выдернуть питание из сервера - после этого не только ipmi заработал, но еще и сервер стал работать в два раза быстрее. Включая, кстати, сеть - вдс-ки теперь мигрируются между серверами на 700+ мегабитах, а то я перед переустановкой оси как раз мигрировал их оттуда и с некоторым удивлением смотрел на миграцию на скоростях в 200-400 мегабит вместо привычных.

Нерешенной загадкой осталось почему сервер хронически отказывался грузиться в SATA DOM, но это я узнаю видимо уже не раньше следующих запланированных тех.работ.
Tags:

(3 comments | Leave a comment)

March 10th, 2017


04:53 pm - Датацентры
А вот скажите, если я пишу в требованиях "порт - 1 гигабит и нормальные цены", и "стоимость сервера до 7 т.р.", а мне потом разные продажники разных датацентров пишут и предлагают поставить сервера на коло за 4500 на 100 мегабит, и еще 30 т.р. за гигабит, а во втором случае предлагают взять сервер за 14 т.р. - это вообще что?

В обоих случаях ведь прочитали требования. В обоих случаях все не с улицы, а с хостобзорной тусовки. Ну какого?

Повторяется с разными компаниями с интервалом в три месяца, и так по кругу уже несколько лет.
Tags:

(9 comments | Leave a comment)

March 7th, 2017


10:53 pm - Ребрендинг конкурента
Был у селектела такой милый ламповый проект с дешевыми дедиками - tehnodom.com. И сайт у него был чудесный.

А тут вдруг раз и они сделали ребрендинг. Новый сайт - chipcore.com . Осторожно, глаза вытекают, не ходите туда, я предупреждал.

"Зачем они это сделали — лично я не понял." - наверное, лучший комментарий по этому поводу.
Tags:

(Leave a comment)

March 6th, 2017


08:09 am - Borg - неудобности
Минусов у Borg-а, конечно, есть. В основном всё написано в faq-е, и чувствуется, что вопросы популярные и у всех одинаковые - у меня возникли эти же вопросы примерно в этом же порядке. Это всё явно недостаток дизайна, конечно.

1) бекап нескольких серверов в один репозиторий. Мне бы его очень хотелось, потому что сотни битриксов хорошо задедуплицируются. Однако: каждый раз перебилд кеша + репозиторий лочится при записи - писать можно только в один поток. В оригинале:

"it will be most efficient if a single repository is only modified from one place. Also keep in mind that Borg will keep an exclusive lock on the repository while creating or deleting archives, which may make simultaneous backups fail."

2) взять сколько-то снапшотов из одного репозитория и закинуть в другой - штатных способов нет. Можно рсинком продублировать, замаунтить первый и добавить во второй, но только так. Учитывая пункт 1 (а именно из-за него вообще возникает сделать split репозиториев, или группу по префиксу выкинуть куда-то еще) - фича получается и ненужной.

По совокупности обоих пунктов, и учитывая, что юзеры могут переезжать между серверами - придется каждого юзера бекапить в отдельный репозиторий. Это плохо для дедупликации, конечно.

Менее очевидное:

Переменная BORG_FILES_CACHE_TTL по умолчанию = 20. Если какого-то файла нет в наборе более 20 раз - инфа о нем удаляется из кеша и при появлении файл будет залит заново в новый чанк. Так же - файлы привязаны к путям, датам и т.д. и, похоже, к инодам. Изменение пути файла приведет к его повторной загрузке. Это серьезный минус для дедупликации, но, вероятно, иначе нельзя сделать без потребления большого количества памяти как в ZFS.

Есть плохо понятный лимит количества метадаты, в который раньше все хорошо упирались, но сейчас вроде лимиты подняли так, что в реальной жизни проблемы возникать не должно.

В сравнении с альтернативами:

в bup сходу не завелись нужные фичи (поставил по доке, bup-index нету, exclude не сделать, про fuse в интернетах странное пишут и т.д.),

в zbackup странные авторы (fuse нет, авторы лучше меня знают какое мне надо сжатие, поэтому только самое медленное LZMA, нет возможность менять размер блоков/чанков, чтобы достать один файл надо распаковать всё - в моем случае, видимо, все 200 гигабайт и 15 миллионов файлов, есть больше памяти - в идеале от 512М против 64М у Borg и 10M у tar/pigz).

attic фактически умер два года назад и переродился в borg.

rsnapshot 99% времени (на миллионах файлов) создает симлинки - это всё.

duplicity сначала пишет много в /tmp и по факту я от него вообще ни разу ничего не дождался на моих объемах.

rdiff-backup - пробовали, всё было плохо, примерно как и с duplicity, очень плохо с большим количеством мелких файлов.

tartarus и backup2l, которы упоминаются в мануала хетзнера - совсем неинтересны в сравнении с Borg.
Tags:

(5 comments | Leave a comment)

04:44 am - Borg backup
Ищем альтернативу бекапам на основе tar + pigz и вот сейчас тестируем borg. У него отличная документация (хотя пока осталась пара вопросов), вот тестовый аккаунт клиента на 50 гигабайт - делаем бекап, в exclude - всевозможные кеши битрикса и подобный ненужный треш.

time borg create --compression lz4 -v --stats \
        --exclude-from=exclude.cache \
        /test.ssd/borg-test::b01 \
        /vz5/private/$ve/home/$test_user/

------------------------------------------------------------------------------
Archive name: b01
Archive fingerprint: 054749329aa1393c4fdb9248c32e42d56b866fcc9b6c16c60433232445cecaaa
Time (start): Mon, 2017-03-06 01:50:16
Time (end):   Mon, 2017-03-06 02:10:41
Duration: 20 minutes 25.22 seconds
Number of files: 437908
------------------------------------------------------------------------------
                       Original size      Compressed size    Deduplicated size
This archive:               21.13 GB             18.73 GB             14.49 GB
All archives:               21.13 GB             18.73 GB             14.49 GB

                       Unique chunks         Total chunks
Chunk index:                  273104               432909
------------------------------------------------------------------------------

real	20m28.493s
user	8m15.197s
sys	1m21.897s


Выглядит как бы и неплохо, но - тут бекап делается на локальный ссд, в продакшене у нас делается tar + pigz на sshfs в другом датацентре в другой стране через гигабит и там архив занимает 17.3 гигабайта, причем последний раз он сделался за 10 минут. Пока подозреваю, что дело в том, что у pigz 12 потоков (в сервере 48 ядер).

Далее прекрасное - ждем час и делаем еще один бекап.

Duration: 2 minutes 17.95 seconds
Number of files: 437909
------------------------------------------------------------------------------
                       Original size      Compressed size    Deduplicated size
This archive:               21.13 GB             18.73 GB             36.52 MB
All archives:               42.25 GB             37.47 GB             14.52 GB

                       Unique chunks         Total chunks
Chunk index:                  273934               865774
------------------------------------------------------------------------------

real	2m21.642s
user	1m39.310s
sys	0m17.626s



UPD: Многократные тесты в продакшене подтвердили - при копировании на удалённый сервер первый снапшот боргом происходит вдвое медленнее (20 минут borg с remote borg serve против 10 минут у tar+pigz в 12 потоков и sshfs), зато любой следующий снапшот занимает в пределах двух минут и пары мегабайт диска. Это фантастически хорошо по возможностям, которые оно даст и по количеству денег, которым нам сэкономит.
Tags:

(Leave a comment)

> previous 10 entries
> Go to Top
LiveJournal.com