клёво, жаббир во все поля.
Только одно но. Хотел бы подобного, сиделбы в чатиках\эхах лол

>>17723
кому как, я например давно хотел чего-то подобного

>>17725
а штука действительно классная

Есть вариант, чтобы посты были без ссылок, даты и прочего? Просто номер и текст.

>>17731
похоже что нет, да и посты без ссылок не есть удобно ИМХО

А отвечать через жабу можно будет?

>>17735
Навряд ли. А то так можно и на бан нарваться, в итоге даже чтение работать не будет для всех.

>>17735
попробуй в ычановском треде спросить, я не автор, хотя и ОП

>>17740
Да я так, посты набить ;)

>>17742
ааа, ты аватарку забыл?

>>17744
Смотрю, ты новенький. Я тебе помогу. У нас правила простые, ты не волнуйся и не ссы. Спокуха, сынок.

• На картинке должно быть говно. В течении недели ты сможешь заходить только под таким аватаром.
• Через неделю твой ранг поднимается до негра-пидораса. Неделю спустя — два негра-пидораса, в порыве стрясти совокупляющиеся под *звуки анальной смазки. Не грусти! Потом будет веселее.
• Кошечки. Через 3 недели ты сможешь помещать на аватар котов. Ура! Только вывернутых наизнанку. Найди во дворе кота, все тщательно изучи, а то отправишься на пункт 1.
• Через месяц после начала, ты будешь достоин поставить на аватар анимуфага. Любишь зверушек, да? Надеюсь, уже полюбил в п.3. Это смесь кошечки и негра-пидораса. Что, ты думал негры твое темное прошлое? Нееет, это твое светлое будующее. И неизбежное настоящее. Месяц ношения аватара.
• Через 2 месяца, как ты уже догадался, ты сможешь поставить себе на аватар лоли. Да-да, анимешную девочку, ебимую негропидорасом в образе вывернутого кота. Отставить блевать. Плохо? Иди в п.1
• Два месяца анимешных лолей и твоя жизнь резко меняется — ДЕСУ! Очаровательная девочка с двумя разноцветными глазами ждет тебя, десу! Помни, десу, что слово «десу», ты, десу, сука, десу, должен повторять неотступно, десу и всенепременно, десу, иначе десу, ты упадешь до негров-пидарасов десу.
• После полугода десу ты приходи ко мне. Я награжу тебя очередным аватаром.

Продолжение ычановского треда будет здесь.

http://kagami.touhou.ru/attachments/download/10/mahoro-0.0.7.tar.gz
0.0.7

• теперь парсятся все сообщения с последнего обновления в треде, а не только нижнее
• показывает и оп-пост и последнее соощение, когда обновляется борда
• возможность задания формата вывода 'help format'
• парсинг стал намного шустрее и теперь нормально парсятся все поля поста (трипкод, имя автора, email, etc)

Обработка 404 и нормальный парсинг WakabaMark будет в 0.0.8.

похоже бот опять завис

А возможно ли добавлять комментарий к треду в команде add?

>>17976
Use help, Luke.

Пофиксил несколько багов парсинга.

>>17976
Сделал. 'add <url> [description]'

>>17979

> Сделал. 'add <url> [description]'

спасибо

Есть подозрения, что вылеты связаны с кривой версией ghc. Ебаный дебиановский unstable.

>>17986
Бот падает или он просто ссорится с сервером?

>>17988
Падает.

>>17989
Вобщем немного моих глупых вопросов, которые возможно помогут, а возможно и нет решить проблему. На вопросы можно не отвечать.

• В момент подения бот получает/передает что-то специфическое? (дампнуть полный лог общения с сервером в файл и потом разобраться, что к чему)
• Возможно ли, что он падает при попытке отпарсить какую-то необычную страницу? (логировать все действия бота куда-нибудь, пусть даже в stdout, если это конечно применимо для haskell с его ленивыми вычислениями)
• Возможно ли в haskell обращение по неинициализированому указателю/неинициализированной переменной? (характерный признак - постоянный вылет с Segmentation fault)
• Не течет ли память?

>>17990
Вылетает с Segmentation fault. На сервере 2.6.26-2-amd64 (Debian 2.6.26-15lenny2). На десктопе (32 бит и другой дистрибутив) повторить ошибку (с той же базой) не получается. Думаю, что дело в либах. Попробую strace сейчас посмотреть.

>>17992

> Вылетает с Segmentation fault
> На сервере 2.6.26-2-amd64
> На десктопе 32 бит
> повторить ошибку не получается

Очевидный для меня вывод - на 64 битных системах размерность большинства типов переменных другая, где-то (возможно в какой-то либе), эта размерность взята за константу без использования sizeof(), в результате чего памяти выделяется куда меньше чем нужно на самом деле и рано или поздно происходит обращение за пределы пространства памяти, отведенного программе.
Вобщем grep по всему коду (в том числе и либ) на предмет использования malloc()/realloc()/calloc() без sizeof() внутри и анализ таких мест, а учитывается ли там разная размерность типов, например того-же int.
Аналоги вышеуказанных функций для haskell, зная его, думаю подобрать не сложно.

Пофиксил один баг. Все равно иногда вылетает, но вроде сейчас пореже. Алсо, поставил 20 тредов и 5 секунд задержку и обновление о новом посте приходит через ~30 секунд.

Упс, оказывается на nowere не обновлялись разделы целиком, а никто и не сказал…
Пофиксил.

>>18057
из-за падений бота было непонятно, глюк ли это бота или он их просто не успевает обновлять до того, как падает

Кагами, твоя мать - достойная женщина, да и ты молодец. Но если при подписке на раздел за период между циклами проверки добавляется несколько постов, то мне уведомление приходит только про последний.
%%Я надеюся, ты подписался на этот тред%%

>>18190
Сейчас сделаю тест.

test1

test2

test3

>>18190
Все четыре пришло.

>>18190
Сделал чуть-чуть больше задержку между отправкой сообщений в джаббер. Сейчас пришли 1, 2, 3?

>>18200
с /wa/ пришел только test3, предпологаю что там еще должен был быть test1 и test2

>>18201
А, все правильно, потому что только на целый раздел подписка, и оно берет только нижнее сообщение.

>>18190
Все время уходишь из джаббера, не успеваю ответить.

У меня два варианта, как должно выглядеть обновление целого раздела:

1. проверяем каждый раз только верхний тред и если в нем с последнего обновления добавилось больше, чем одно, то показываем их все, а не только последнее; если же тред уже трудой, то из него только нижнее
2. проверяем все треды на первой странице, отыскиваем где находилось сообщение с последнего обновления и выводим все треды, которые выше, с сообщениями, которые появилсь после него

Собственно, как лучше?

>>18205 Лучше второй вариант, конечно же. Может быть такой случай, когда сначала напишут два поста (#n и #n+1) в один тред, а потом один пост #n+2 - в другой. Тогда в первом варианте мы теряем пост #n.
А вообще, лучшим вариантом было бы прикрутить счетчик контрольной суммы постов с дозированной глубиной проверки. Смотри, проверяется сначала первый тред, в нем определяются новые посты и их число сравнивается с разницей между номером самого свежего поста и номером последнего отосланного. Если эти числа совпадают - все, поиск закончен, другие треды проверять не надо. Если же разница больше, чем число новых постов в треде - последовательно проверяются все треды сверху вниз (сначала их отображение на странице раздела, а если новых постов больше, чем отображается в конце треда - то подгружается весь тред) до совпадения обеих чисел. Если все равно постов не хватает - последовательно проверяется вторая страница и т.д. (возможно, ответили с сажей). После получения посты сортируются по возрастанию и отсылаются.

При этом мы получаем ГАРАНТИЮ того, что не пропущен ни один новый пост с минимально возможными затратами на парсинг и трафик при этом.
PROFIT!

>>18209
Тогда попозже сделаю второй вариант с парсингом корневой странички раздела целиком. Парсить отдельно каждый тред и следующие страницы не думаю, что нужно, так как вряд ли за полторы-две минуты (примерное время цикла обновления) успеют написать >10 сообщений в один тред и >20 раз в разные треды.

Если успеют, то это слишком быстрая борда и не думаю, что имеет смысл на нее подписываться, чтобы получить постоянный флуд в клиенте.

>>18211 На некоторых бордах отображаютя только последие три поста в конце треда, тогда возможна ситуация, когда уже при 5 новых постах за цикл (4+1) будут потери в уведомлениях. Кроме того, при откючении сервиса хотя бы на несколько минут предложенная схема позволила бы избежать потери извещений. Возможно, парсинг следующих страниц - действительно лишнее, хотя я подразумевал это для захвата постов с сажей, которые будут детектиться при следующем посте с бампом по разнице в контрольной сумме. При этом при малой скорости постинга в 95% все ограничится первой страницей доски и только изредка будет возникать необходимость подгружать отдельные треды. Просто в случае контроля разницы постов этот код будет совершенным в этом отношении, в отличие от быдлокода, когда все оставляется на авось. Вон, как у тебя - кто-то не проставил sizeof() в либе, в результате все периодически вылетает с ошибкой. Так и здесь - читаешь тред в жаббере, а тут - бац, одного поста нет. Мелочь, а неприятно.

>>18211 Так не уподобляйся же худшим из быдлокодеров - чего стоит написать несколько лишних циклов, чтоб все работало, как атомные часы!

Можно пойти еще проще, протокол HTTP предусматривает условную загрузку документов если они новее определенного времени (заголовок If-Modified-Since). Добавить такую штуку к запросу и парсить нужно уже только измененные документы.
Подробнее: http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html

>>18212

>кто-то не проставил sizeof() в либе

Там не в этом дело было. И где-то еще остался баг.

>хотя я подразумевал это для захвата постов с сажей

Тогда придется каждый раз скачивать все страницы разделы, пока не дойдем до нашего треда, вдруг там написали с сажей. Это излишне, пожалуй.

Вообще, я думаю сделать и обновление тредов через парсинг странички раздела. Это должно сильно увеличить скорость, так как борд не так много и нужно в основном будет качать всего лишь заглавную страницу. Правда, на сажу придется забить. Сильно ли нужны посты с сажей?

>>18220
Да, слышал про этот хедер и хотел делать через него в самом начале. Но на новее его нету и я забыл. Спасибо, что напомнил.

Тогда таки можно будет сделать сделать отслеживание сажи простым запросом хедеров, что намного быстрее
У меня на десктопе, например:

% time curl http://iichan.ru/b/ &>/dev/null   
curl http://iichan.ru/b/ &> /dev/null  0.00s user 0.00s system 0% cpu 0.804 total

% time curl -I http://iichan.ru/b/ &>/dev/null               
curl -I http://iichan.ru/b/ &> /dev/null  0.00s user 0.00s system 1% cpu 0.232 total

>>18224

> Но на новее его нету и я забыл.

Там же вроде странички должны генерится динамически, или я ошибаюсь?

>>18227
угу

странное дело - бот в онлайне, а на команды не реагирует

только сюда написал - сразу заработало, странно

Хаскель-кун, а почему с Ычана сообщения не приходят?

>>18460
Починил.

>>18461
спасибо!

похоже оно опять не работает

>>18514
Буду переписывать большую часть кода скоро. Текущая версия кривовата.

>>18521
По прежнему на хаскель или уже на чем-то другом?

>>18522
На хаскелле.

в /wa/ залил немного обоев, а от бота до сих пор нет реакции

прол тупой.

Бамп.

Передумал переписывать на rss, лень держать еще одну программу, да и джаббер поудобнее будет, так как там много времени проводишь.
Буду пока убирать баги, да и надо все-таки стабильность повысить, чтобы можно было на месяц спокойно оставить без присмотра.

>>19837
ухты! он заработал! я уже и не надеялся

Добавил 13ch.ru (кто-то его еще в треде на ычане просил).

Временно убрал 410chan.ru (не работает).

Поставил рестарт каждый час. Должно быть более-менее ГЛОБАЛЬНО и НАДЕЖНО (по крайней мере, с небольшой задержкой, но должны приходить).
Да, это идиотство, но мне больно лень переписывать стало.

>>19971
Задержка в 5 минут часто не так страшно как задержка на 5 часов редко, так что я тоже за авторестарт.

тоскливо очищая список по признаку 404
Может все-таки следует допилить автоудаление?

Неужели и рестартилка зависла?

А теперь скажи честно, анон, ты вайпаешь 13ч?

>>20432

>А теперь скажи честно, анон, ты вайпаешь 13ч?

Интересно узнать, зачем?

Походу сервер забанили на ычане.
Это печально.

Прикрути туда фичу, чтоб он еще автоматически находил бесплатные проксики и сидел через них.

>>20437
Немного медленно будет + придется круглосуточно держать (агрегатор + чекер) прокси.

>>20436
мод-шлюха окончательно пизданулась.

Убрал iichan.ru, обновил адрес 12chan.org.

>>20520

> Убрал iichan.ru

Через прокси не работает? Может стоит tor попробовать?

>>20547 <- >>20438

>>20548
Tor на то он и tor, что ему не нужны ни агрегаторы ни чикеры, а со скоростью да, проблемы будут, но мне кажется лучше хоть что-то, чем совсем ничего.
http://ru.wikipedia.org/wiki/Tor

>>20549

>ни чикеры

Нужны, так как он частично побанен на ычане.

Хотелось бы поинтересоваться, что же случилось с сервисом? B последнее время я его не видел в сети.

>>21302

>B последнее время я его не видел в сети.

сервис не работает
к.о.

>>21302
Скоро все будет (надеюсь).

>>21422
Готово. Изменилась система команд (справка по 'help').
И старую базу мне лень было переносить, к тому же в ней было много спама.

>>21477
Благодарю, надеюсь я быстро привыкну к новым командам.

>>21486
И да, еще изменалсь система подписки на целую борду.
Приходит сообщение только о новый тредах (в которых одно сообщение).

>>21487
Важное замечание, учту на будущее.
Кстати автоудаление по 404 не появилось?

>>21488
Появилось.

Я еще думаю, как быть с ответами в тред из джаббера. Возможно, имеет смысл сделать распознование простых капчей, типо как здесь, на новере.

>>21489
Можно подумать о возможности писать тут без капчи для бота, только для этого неплохо ввести ограничения на скорость постинга с одного JID, а то появится возможность за пару минут забросать любой тред копипастой до бамплимита. Еще капчу можно выводить прямо в jabber в види asscii (через libaa)

>>21493

>Еще капчу можно выводить прямо в jabber в види asscii (через libaa)

Хм, по-моему, чтобы что-нибудь разобрать, это надо огромную пасту отправлять. В любом случае, надо будет потестить.
Жалко, что только в одном клиенте пока (гаджиме) картинки можно выводить.

>>21494
Блин, забыл сажу снять.

>>21494
выглядеть это будет как-то так:

......$$...
......$$...
$$.....$$..
@@.....@@..
$$.....$$..
.$$.....$$.
.$$.....$@.
..$$$..@$$.
....$$$$.$$
.........$$
........$$.
........$$.
.....$$$$..
...$$$.....

еще можно выкладывать картинки на сервер и давать ссылки на них

>>21497
Если ссылки, то это почти тоже самое, что открыть тред и там сразу ответить ;3

оп, это выглядит очень интересно. но, зачем?!
объясни пожалуйста, я тоже думаю подписаться.

>>21506
Чтобы не держать открытыми 20 вкладок с тредами и не релоадить их постоянно вручную?

бамп на всякий случай

еще один дежурный бамп

Похоже это моя карма - когда что-то очень нужно, оно не работает. Так и сейчас, очередной всплеск активности, а у меня только F5 на вооружении.

мне таки кажется, что этот гейт- костыли, бро.

Проект можно считать закрытым?