[/b/] [/d/] [/tu/] [/a/] [/34/] [/ph/] [/wa/] [/cg/] [/t/]

[Burichan] [Futaba] [Gurochan] [Photon] - [Home] [Manage] [Archive]

[Return]
Posting mode: Reply
Leave these fields empty (spam trap):
Name
Link
Subject
Comment
File
Verification
Password (for post and file deletion)
  • Supported file types are: GIF, JPG, PNG
  • Maximum file size allowed is 10240 KB.
  • Images greater than 200x200 pixels will be thumbnailed.

File: 1245517789497.png -(56001 B, 991x964) Thumbnail displayed, click image for full size.
56001 No.17722  

репост из http://iichan.ru/b/res/670292.html
Рекламирую сервис.
Гейт в джаббер для подписки на треды.

Добавить в ростер контакт 'mahoro_nya@jabber.ru' и написать 'help'.
Пикрелейтед.

>> No.17723  

клёво, жаббир во все поля.
Только одно но. Хотел бы подобного, сиделбы в чатиках\эхах лол

>> No.17725  

>>17723
кому как, я например давно хотел чего-то подобного

>> No.17730  
File: 1245522919755.jpg -(12794 B, 496x368) Thumbnail displayed, click image for full size.
12794

>>17725
а штука действительно классная

>> No.17731  
File: 1245523028368.png -(16152 B, 1014x467) Thumbnail displayed, click image for full size.
16152

Есть вариант, чтобы посты были без ссылок, даты и прочего? Просто номер и текст.

>> No.17734  

>>17731
похоже что нет, да и посты без ссылок не есть удобно ИМХО

>> No.17735  

А отвечать через жабу можно будет?

>> No.17736  

>>17735
Навряд ли. А то так можно и на бан нарваться, в итоге даже чтение работать не будет для всех.

>> No.17740  

>>17735
попробуй в ычановском треде спросить, я не автор, хотя и ОП

>> No.17742  

>>17740
Да я так, посты набить ;)

>> No.17744  

>>17742
ааа, ты аватарку забыл?

>> No.17747  

>>17744
Смотрю, ты новенький. Я тебе помогу. У нас правила простые, ты не волнуйся и не ссы. Спокуха, сынок.

  • На картинке должно быть говно. В течении недели ты сможешь заходить только под таким аватаром.
  • Через неделю твой ранг поднимается до негра-пидораса. Неделю спустя — два негра-пидораса, в порыве стрясти совокупляющиеся под *звуки анальной смазки. Не грусти! Потом будет веселее.
  • Кошечки. Через 3 недели ты сможешь помещать на аватар котов. Ура! Только вывернутых наизнанку. Найди во дворе кота, все тщательно изучи, а то отправишься на пункт 1.
  • Через месяц после начала, ты будешь достоин поставить на аватар анимуфага. Любишь зверушек, да? Надеюсь, уже полюбил в п.3. Это смесь кошечки и негра-пидораса. Что, ты думал негры твое темное прошлое? Нееет, это твое светлое будующее. И неизбежное настоящее. Месяц ношения аватара.
  • Через 2 месяца, как ты уже догадался, ты сможешь поставить себе на аватар лоли. Да-да, анимешную девочку, ебимую негропидорасом в образе вывернутого кота. Отставить блевать. Плохо? Иди в п.1
  • Два месяца анимешных лолей и твоя жизнь резко меняется — ДЕСУ! Очаровательная девочка с двумя разноцветными глазами ждет тебя, десу! Помни, десу, что слово «десу», ты, десу, сука, десу, должен повторять неотступно, десу и всенепременно, десу, иначе десу, ты упадешь до негров-пидарасов десу.
  • После полугода десу ты приходи ко мне. Я награжу тебя очередным аватаром.
>> No.17963  

Продолжение ычановского треда будет здесь.

http://kagami.touhou.ru/attachments/download/10/mahoro-0.0.7.tar.gz
0.0.7

  • теперь парсятся все сообщения с последнего обновления в треде, а не только нижнее
  • показывает и оп-пост и последнее соощение, когда обновляется борда
  • возможность задания формата вывода 'help format'
  • парсинг стал намного шустрее и теперь нормально парсятся все поля поста (трипкод, имя автора, email, etc)

Обработка 404 и нормальный парсинг WakabaMark будет в 0.0.8.

>> No.17969  

похоже бот опять завис

>> No.17976  

А возможно ли добавлять комментарий к треду в команде add?

>> No.17978  

>>17976
Use help, Luke.

>> No.17979  

Пофиксил несколько багов парсинга.

>>17976
Сделал. 'add <url> [description]'

>> No.17981  

>>17979

> Сделал. 'add <url> [description]'

спасибо

>> No.17986  

Есть подозрения, что вылеты связаны с кривой версией ghc. Ебаный дебиановский unstable.

>> No.17988  

>>17986
Бот падает или он просто ссорится с сервером?

>> No.17989  

>>17988
Падает.

>> No.17990  
File: 1246048898234.png -(40360 B, 720x600) Thumbnail displayed, click image for full size.
40360

>>17989
Вобщем немного моих глупых вопросов, которые возможно помогут, а возможно и нет решить проблему. На вопросы можно не отвечать.

  • В момент подения бот получает/передает что-то специфическое? (дампнуть полный лог общения с сервером в файл и потом разобраться, что к чему)
  • Возможно ли, что он падает при попытке отпарсить какую-то необычную страницу? (логировать все действия бота куда-нибудь, пусть даже в stdout, если это конечно применимо для haskell с его ленивыми вычислениями)
  • Возможно ли в haskell обращение по неинициализированому указателю/неинициализированной переменной? (характерный признак - постоянный вылет с Segmentation fault)
  • Не течет ли память?
>> No.17992  

>>17990
Вылетает с Segmentation fault. На сервере 2.6.26-2-amd64 (Debian 2.6.26-15lenny2). На десктопе (32 бит и другой дистрибутив) повторить ошибку (с той же базой) не получается. Думаю, что дело в либах. Попробую strace сейчас посмотреть.

>> No.17995  
File: 1246050471089.jpg -(174578 B, 704x900) Thumbnail displayed, click image for full size.
174578

>>17992

> Вылетает с Segmentation fault
> На сервере 2.6.26-2-amd64
> На десктопе 32 бит
> повторить ошибку не получается

Очевидный для меня вывод - на 64 битных системах размерность большинства типов переменных другая, где-то (возможно в какой-то либе), эта размерность взята за константу без использования sizeof(), в результате чего памяти выделяется куда меньше чем нужно на самом деле и рано или поздно происходит обращение за пределы пространства памяти, отведенного программе.
Вобщем grep по всему коду (в том числе и либ) на предмет использования malloc()/realloc()/calloc() без sizeof() внутри и анализ таких мест, а учитывается ли там разная размерность типов, например того-же int.
Аналоги вышеуказанных функций для haskell, зная его, думаю подобрать не сложно.

>> No.18056  

Пофиксил один баг. Все равно иногда вылетает, но вроде сейчас пореже. Алсо, поставил 20 тредов и 5 секунд задержку и обновление о новом посте приходит через ~30 секунд.

>> No.18057  

Упс, оказывается на nowere не обновлялись разделы целиком, а никто и не сказал…
Пофиксил.

>> No.18065  

>>18057
из-за падений бота было непонятно, глюк ли это бота или он их просто не успевает обновлять до того, как падает

>> No.18190  

Кагами, твоя мать - достойная женщина, да и ты молодец. Но если при подписке на раздел за период между циклами проверки добавляется несколько постов, то мне уведомление приходит только про последний.
%%Я надеюся, ты подписался на этот тред%%

>> No.18191  

>>18190
Сейчас сделаю тест.

>> No.18192  

test1

>> No.18193  

test2

>> No.18194  

test3

>> No.18195  

>>18190
Все четыре пришло.

>> No.18200  

>>18190
Сделал чуть-чуть больше задержку между отправкой сообщений в джаббер. Сейчас пришли 1, 2, 3?

>> No.18201  

>>18200
с /wa/ пришел только test3, предпологаю что там еще должен был быть test1 и test2

>> No.18202  

>>18201
А, все правильно, потому что только на целый раздел подписка, и оно берет только нижнее сообщение.

>> No.18205  

>>18190
Все время уходишь из джаббера, не успеваю ответить.

У меня два варианта, как должно выглядеть обновление целого раздела:

  1. проверяем каждый раз только верхний тред и если в нем с последнего обновления добавилось больше, чем одно, то показываем их все, а не только последнее; если же тред уже трудой, то из него только нижнее
  2. проверяем все треды на первой странице, отыскиваем где находилось сообщение с последнего обновления и выводим все треды, которые выше, с сообщениями, которые появилсь после него

Собственно, как лучше?

>> No.18209  

>>18205 Лучше второй вариант, конечно же. Может быть такой случай, когда сначала напишут два поста (#n и #n+1) в один тред, а потом один пост #n+2 - в другой. Тогда в первом варианте мы теряем пост #n.
А вообще, лучшим вариантом было бы прикрутить счетчик контрольной суммы постов с дозированной глубиной проверки. Смотри, проверяется сначала первый тред, в нем определяются новые посты и их число сравнивается с разницей между номером самого свежего поста и номером последнего отосланного. Если эти числа совпадают - все, поиск закончен, другие треды проверять не надо. Если же разница больше, чем число новых постов в треде - последовательно проверяются все треды сверху вниз (сначала их отображение на странице раздела, а если новых постов больше, чем отображается в конце треда - то подгружается весь тред) до совпадения обеих чисел. Если все равно постов не хватает - последовательно проверяется вторая страница и т.д. (возможно, ответили с сажей). После получения посты сортируются по возрастанию и отсылаются.

>> No.18210  

При этом мы получаем ГАРАНТИЮ того, что не пропущен ни один новый пост с минимально возможными затратами на парсинг и трафик при этом.
PROFIT!

>> No.18211  

>>18209
Тогда попозже сделаю второй вариант с парсингом корневой странички раздела целиком. Парсить отдельно каждый тред и следующие страницы не думаю, что нужно, так как вряд ли за полторы-две минуты (примерное время цикла обновления) успеют написать >10 сообщений в один тред и >20 раз в разные треды.

Если успеют, то это слишком быстрая борда и не думаю, что имеет смысл на нее подписываться, чтобы получить постоянный флуд в клиенте.

>> No.18212  

>>18211 На некоторых бордах отображаютя только последие три поста в конце треда, тогда возможна ситуация, когда уже при 5 новых постах за цикл (4+1) будут потери в уведомлениях. Кроме того, при откючении сервиса хотя бы на несколько минут предложенная схема позволила бы избежать потери извещений. Возможно, парсинг следующих страниц - действительно лишнее, хотя я подразумевал это для захвата постов с сажей, которые будут детектиться при следующем посте с бампом по разнице в контрольной сумме. При этом при малой скорости постинга в 95% все ограничится первой страницей доски и только изредка будет возникать необходимость подгружать отдельные треды. Просто в случае контроля разницы постов этот код будет совершенным в этом отношении, в отличие от быдлокода, когда все оставляется на авось. Вон, как у тебя - кто-то не проставил sizeof() в либе, в результате все периодически вылетает с ошибкой. Так и здесь - читаешь тред в жаббере, а тут - бац, одного поста нет. Мелочь, а неприятно.

>> No.18213  

>>18211 Так не уподобляйся же худшим из быдлокодеров - чего стоит написать несколько лишних циклов, чтоб все работало, как атомные часы!

>> No.18217  

Можно пойти еще проще, протокол HTTP предусматривает условную загрузку документов если они новее определенного времени (заголовок If-Modified-Since). Добавить такую штуку к запросу и парсить нужно уже только измененные документы.
Подробнее: http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html

>> No.18220  

>>18212

>кто-то не проставил sizeof() в либе

Там не в этом дело было. И где-то еще остался баг.

>хотя я подразумевал это для захвата постов с сажей

Тогда придется каждый раз скачивать все страницы разделы, пока не дойдем до нашего треда, вдруг там написали с сажей. Это излишне, пожалуй.

Вообще, я думаю сделать и обновление тредов через парсинг странички раздела. Это должно сильно увеличить скорость, так как борд не так много и нужно в основном будет качать всего лишь заглавную страницу. Правда, на сажу придется забить. Сильно ли нужны посты с сажей?

>> No.18224  

>>18220
Да, слышал про этот хедер и хотел делать через него в самом начале. Но на новее его нету и я забыл. Спасибо, что напомнил.

Тогда таки можно будет сделать сделать отслеживание сажи простым запросом хедеров, что намного быстрее
У меня на десктопе, например:

% time curl http://iichan.ru/b/ &>/dev/null   
curl http://iichan.ru/b/ &> /dev/null 0.00s user 0.00s system 0% cpu 0.804 total
% time curl -I http://iichan.ru/b/ &>/dev/null               
curl -I http://iichan.ru/b/ &> /dev/null 0.00s user 0.00s system 1% cpu 0.232 total
>> No.18227  

>>18224

> Но на новее его нету и я забыл.

Там же вроде странички должны генерится динамически, или я ошибаюсь?

>> No.18228  

>>18227
угу

>> No.18370  

странное дело - бот в онлайне, а на команды не реагирует

>> No.18371  

только сюда написал - сразу заработало, странно

>> No.18460  

Хаскель-кун, а почему с Ычана сообщения не приходят?

>> No.18461  

>>18460
Починил.

>> No.18462  

>>18461
спасибо!

>> No.18514  

похоже оно опять не работает

>> No.18521  

>>18514
Буду переписывать большую часть кода скоро. Текущая версия кривовата.

>> No.18522  

>>18521
По прежнему на хаскель или уже на чем-то другом?

>> No.18523  

>>18522
На хаскелле.

>> No.18573  

в /wa/ залил немного обоев, а от бота до сих пор нет реакции

>> No.18971  

прол тупой.

>> No.19837  

Бамп.

Передумал переписывать на rss, лень держать еще одну программу, да и джаббер поудобнее будет, так как там много времени проводишь.
Буду пока убирать баги, да и надо все-таки стабильность повысить, чтобы можно было на месяц спокойно оставить без присмотра.

>> No.19838  

>>19837
ухты! он заработал! я уже и не надеялся

>> No.19847  

Добавил 13ch.ru (кто-то его еще в треде на ычане просил).

>> No.19848  

Временно убрал 410chan.ru (не работает).

>> No.19971  

Поставил рестарт каждый час. Должно быть более-менее ГЛОБАЛЬНО и НАДЕЖНО (по крайней мере, с небольшой задержкой, но должны приходить).
Да, это идиотство, но мне больно лень переписывать стало.

>> No.19994  

>>19971
Задержка в 5 минут часто не так страшно как задержка на 5 часов редко, так что я тоже за авторестарт.

>> No.20083  

тоскливо очищая список по признаку 404
Может все-таки следует допилить автоудаление?

>> No.20428  

Неужели и рестартилка зависла?

>> No.20432  

А теперь скажи честно, анон, ты вайпаешь 13ч?

>> No.20435  

>>20432

>А теперь скажи честно, анон, ты вайпаешь 13ч?

Интересно узнать, зачем?

>> No.20436  

Походу сервер забанили на ычане.
Это печально.

>> No.20437  

Прикрути туда фичу, чтоб он еще автоматически находил бесплатные проксики и сидел через них.

>> No.20438  

>>20437
Немного медленно будет + придется круглосуточно держать (агрегатор + чекер) прокси.

>> No.20439  

>>20436
мод-шлюха окончательно пизданулась.

>> No.20520  

Убрал iichan.ru, обновил адрес 12chan.org.

>> No.20547  

>>20520

> Убрал iichan.ru

Через прокси не работает? Может стоит tor попробовать?

>> No.20548  

>>20547 <- >>20438

>> No.20549  
File: 1251128918122.png -(28333 B, 510x326) Thumbnail displayed, click image for full size.
28333

>>20548
Tor на то он и tor, что ему не нужны ни агрегаторы ни чикеры, а со скоростью да, проблемы будут, но мне кажется лучше хоть что-то, чем совсем ничего.
http://ru.wikipedia.org/wiki/Tor

>> No.20550  

>>20549

>ни чикеры

Нужны, так как он частично побанен на ычане.

>> No.21302  

Хотелось бы поинтересоваться, что же случилось с сервисом? B последнее время я его не видел в сети.

>> No.21310  

>>21302

>B последнее время я его не видел в сети.

сервис не работает
к.о.

>> No.21422  

>>21302
Скоро все будет (надеюсь).

>> No.21477  

>>21422
Готово. Изменилась система команд (справка по 'help').
И старую базу мне лень было переносить, к тому же в ней было много спама.

>> No.21486  

>>21477
Благодарю, надеюсь я быстро привыкну к новым командам.

>> No.21487  

>>21486
И да, еще изменалсь система подписки на целую борду.
Приходит сообщение только о новый тредах (в которых одно сообщение).

>> No.21488  

>>21487
Важное замечание, учту на будущее.
Кстати автоудаление по 404 не появилось?

>> No.21489  

>>21488
Появилось.

Я еще думаю, как быть с ответами в тред из джаббера. Возможно, имеет смысл сделать распознование простых капчей, типо как здесь, на новере.

>> No.21493  

>>21489
Можно подумать о возможности писать тут без капчи для бота, только для этого неплохо ввести ограничения на скорость постинга с одного JID, а то появится возможность за пару минут забросать любой тред копипастой до бамплимита. Еще капчу можно выводить прямо в jabber в види asscii (через libaa)

>> No.21494  

>>21493

>Еще капчу можно выводить прямо в jabber в види asscii (через libaa)

Хм, по-моему, чтобы что-нибудь разобрать, это надо огромную пасту отправлять. В любом случае, надо будет потестить.
Жалко, что только в одном клиенте пока (гаджиме) картинки можно выводить.

>> No.21495  

>>21494
Блин, забыл сажу снять.

>> No.21497  

>>21494
выглядеть это будет как-то так:

......$$...
......$$...
$$.....$$..
@@.....@@..
$$.....$$..
.$$.....$$.
.$$.....$@.
..$$$..@$$.
....$$$$.$$
.........$$
........$$.
........$$.
.....$$$$..
...$$$.....

еще можно выкладывать картинки на сервер и давать ссылки на них

>> No.21498  

>>21497
Если ссылки, то это почти тоже самое, что открыть тред и там сразу ответить ;3

>> No.21506  
File: 1253014242468.png -(16569 B, 300x400) Thumbnail displayed, click image for full size.
16569

оп, это выглядит очень интересно. но, зачем?!
объясни пожалуйста, я тоже думаю подписаться.

>> No.21508  

>>21506
Чтобы не держать открытыми 20 вкладок с тредами и не релоадить их постоянно вручную?

>> No.21927  

бамп на всякий случай

>> No.22754  

еще один дежурный бамп

>> No.23195  

Похоже это моя карма - когда что-то очень нужно, оно не работает. Так и сейчас, очередной всплеск активности, а у меня только F5 на вооружении.

>> No.23220  
File: 1257593719406.jpg -(185316 B, 500x625) Thumbnail displayed, click image for full size.
185316

мне таки кажется, что этот гейт- костыли, бро.

>> No.24273  

Проект можно считать закрытым?



Delete Post []
Password