> перевести всю библиотеку в pdf, а затем проиндексировать её

Чуувааак, ты что курил? Зачем хранить данные в формате который как бы должен быть защищен от индексирования? Или ты говоришь о бумажной библиотеке?

> Алсо посоветуй мне хорошую утилиту для индексирования файлов, под линукс.

Тебе для индексирования файлов по названиям или по содержимому?

>>26470
А в какой ещё? Я так понял, что текст в пдфках индексировать можжет большинство программ.

Естественно по содержимому. Зачем мне имена тысяч книг из разных торрентов?

>>26473
Опять же, а какой есть другой формат для быстрого просмотра картинок вперемешку с текстом?

>>26474
html

>>26486
да ты совсем, блджад, пизданулся!

>>26487
что не так с html? doxygen и подобные утилиты документацию почему-то в html генерируют, а не в пдф.

>>26488
мне не нужна документация. мне нужна удобная библиотека. просматривать хтмл книгу нихуя не удобно. кликать по ссылкам в книге нихуя не удобно. хтмл неудобен.

>>26489
Что же такого неудобного в html книге чего нет в других форматах?

>>26490
это для меня гавно плохо зделано тупо. трудно хранить, трудно обновлять, трудно читать. не подходит короче, не надо спорить, ты формат электронной книги предлагай.

>>26492
Ничего не понял в твоих объяснениях. Совсем ничего. Сколько ни читал книги в html - каких-либо проблем это не вызывало, разве что не все устройства могут переварить html файл размером больше метра. Олсо старый добрый txt тоже хорош, если книга без картинок.

>>26493
вот о том и речь. а у меня целые справочники, которые надо в виде текста со словами, диаграммами, картинками представить, да так, чтобы это было на нетбуке удобно читать.

>>26494
Тогда тем более html, поскольку у него существует возможность сделать довольно мягкое форматирование.

>>26495
ну не скажи. и читать его нечем, и масштабируется он уебански, и вообще медленный это формат, он на страницы рассчитан.

ну что, блять, за привычка спорить.

>>26496
посмотри как выглядит например http://zhurnal.lib.ru/ очень даже читабельно и масштабируемо под любые мониторы.

Собственно, да, чем конкретно html не угодил? Поддерживаю предыдущего оратора. Если убрать из текста все уебанские приёмы форматирования и оставить только исконно расово верные <h1...7>, <img> и <a>, то получится вполне себе даже пиздато и очаровательно индексируемо, а читать можно будет даже в сыром виде как текст.

>>26510

1. книга на 1500 страниц.
2. часть символов- картинки точно на месте буковицы.
3. на каждой почти странице- графики.

из всего этого мы сделаем вывод: мой нетбук обосрётся такие документы обрабатывать.

>>26511
Ну тогда, DjVu-файл может содержать текстовый (OCR) слой, что позволяет осуществлять полнотекстовый поиск по файлу. Кроме того, DjVu-файл может содержать встроенное интерактивное оглавление и активные области — ссылки, что позволяет реализовывать удобную навигацию в DjVu-книгах. DjVu стал основой для нескольких библиотек научных книг.

Одну из главных вещей забыли: pdf(ну и отчасти djvu) читается на очень многих девайсах, начиная с телефоном, заканчивая MID и psp.

>>26513
его содержимое вообще возможно какой-нибудь существующей тулзой индексировать?

http://dvach.hut1.ru

как ни странно, под линупсы оказалось целых 4 мощных поисковика, помимо гуглписечки. сейчас буду выбирать, но похоже лучшее- recoil, оно и дежавьюшки индексирует.

>>26778
Названиями остальных не поделишься?

>>26783
тащемто ПЕРВАЯ СТРОЧКА в википедии.

в порядке крутости:

1. Beagle
2. Terrier
3. Strigi
4. Tracker

Бамп.

возвращаюсь к этой теме. я пока шарюсь в гоогле, размышляю, хотелось бы узнать следующее:

кто-нибудь знает, как проверить pdf и djvu документ в плане того, был ли он переконвертированн в частично текст/частично картинки, или целиком состоит из изображений.

>>26778

>recoll

реквестирую образец скрипта для рекурсивного применения команды ко всему в папке.

реквестирую скрипт для рекурсивного переименования всего в папке в нижний регистр.

как вы уже догадались, под баш.

>>28628

> реквестирую скрипт для рекурсивного переименования всего в папке в нижний регистр

#!/bin/bash

perfile() {
dst="`echo $1 | sed 'y/QWERTYUIOPASDFGHJKLZXCVBNMЙЦУКЕНГШЩЗХЪФЫВАПРОЛДЖЭЯЧСМИТЬБЮ/qwertyuiopasdfghjklzxcvbnmйцукенгшщзхъфывапролджэячсмитьбю/'`"
if [ "$1" != "$dst" ] ; then mv -vi "$1" "$dst" ; fi
}

perdir() {
find . -maxdepth 1 -mindepth 1 -type d | while read dir ; do cd "$dir" ; perdir ; done
ls | while read file ; do perfile "$file" ; done
}

perdir

почти всё раскидал и рассортировал. сейчас буду окрить пытаться.

>>28631
все проще

for fname in *
do
mv -ni $fname ${fname,,}
done

>>28677

1. Нет рекурсивности.
2. Догадайся как отработает твоя программа, нарвавшись на имена файлов с пробелами.
3. Про то что файл может по русски называться ты тоже не подумал.

>>28679
спасибо, кстати.

>>28679
Рекурсивность я специально не писал, просто хотел показать более простое переименование. Пробелы вообще не проблема, а файлов с русскими именами у меня практически нет.

Кстати, кто-нибудь использует специальные "катологизаторы" для книг? Самому всё страшно лень организоваться

чудесно. пока что я вижу только один способ получить список не отокреных файлов- в скрипте вызывать утилиту, извлекающую текст из пдфки, измерять вес файла, записывать/нет его в список. но это же ебанатство на день!

>>28776

> но это же ебанатство на день!

Поставь скрипт на ночь.

> список не отокреных файлов

Я так и и не понял, что ты имел в виду.

>>28779
я имел в виду файлы, которые состоят из сканов страниц, а не из картинок и распознанного текста. к слову, нормальное распознование, не превращающие документ в кашу возможно есть в файнридере, но там об обработке скриптом речи не идёт, такие дела. да даже просто добавить невидимый слой для поиска- в питухах непонятно как, а в акнеподелии никаких скриптов, нужно каждый документ руками открывать и тыкать в кнопочки. ебаный нахуй.

>>28780
Тебе распознание текста нужно для поиска в документах? Если да, то вполне сойдет и каша из слов, главное чтобы слова были нормально распознаны. Просто искать придется без учета порядка слов да и только.

>>28782
ну да, естественно, просто нужно распознанные слова ещё и в скрипте запихать в невидимый слой под обычную пдфку. а с добавлением слоя в скрипте пока у меня проблемы.

ещё и гтумб после апдейта сломался. ну блять.

>>28784

pdf2ps source.pdf out1.ps

добавляешь индексируемый слой

pdf2ps source.pdf out2.ps
diff out1.ps out2.ps

смотришь, что поменялось, пытаешься воспроизвести аналогичные действия скриптом

>>28785
ещё и говна в интерфейс подлили. ёбаные прыщеинноваторы. я негодую.

>>28792
хм, зато теперь тумбнэйлы грузятся быстро.

>>28786

>добавляешь индексируемый слой

вот в этом-то и вопрос. как?

после продолжительного лурканья я таки нашел способ! причём, как говорится искаропки. вот тут: http://blog.konradvoelkel.de/2010/01/linux-ocr-and-pdf-problem-solved/ некий человек, подозрительно похожий на леонида василевского, даже написал скрипт.

а оказывается, есть такая утилита hocr2pdf, которая именно добавляет невидимый слой из формата hocr, ещё и точно оберегая расположение текста в документе. только кунеинформ пиздец медленный, а hocr2pdf у меня в портаже нет, такие дела. сейчас будем ковыряться.

>>29449
а это оказывается утилита из пакета exactimage. его, впрочем, тоже в портаже нет.

>>29450
а, нет, был, но хитро запрятаный.

>>28631
ты кстати в скрипте cd .. забыл.

#!/bin/bash

perfile() {
dst="echo $1 | sed 'y/QWERTYUIOPASDFGHJKLZXCVBNMЙЦУКЕНГШЩЗХЪФЫВАПРОЛДЖЭЯЧСМИТЬБЮ_+-=/qwertyuiopasdfghjklzxcvbnmйцукенгшщзхъфывапролджэячсмитьбю /'"
if [ "$1" != "$dst" ] ; then mv -vi "$1" "$dst" ; fi
}

perdir() {
find . -maxdepth 1 -mindepth 1 -type d | while read dir ; do cd "$dir" ; perdir ; done
ls | while read file ; do perfile "$file" ; done
cd .. ;
}

perdir

>>29467
и ещё лучше делать mv -vn, а не -vi, потому что всё равно консоль заспамится остальными сообщениями и все файлы в директории останутся непереименованы.

>>29467
Точно забыл. Извиняюсь.
>>29468
И опять забыл что основной поток функции уже используется. Тогда уже лучше сделать cat /dev/stderr | mv -vi ...
Тогда запрос на перезапись будет происходить с клавиатуры.

>>29475
а вот совсем правильная версия:

#!/bin/bash

perfile() {
dst="echo $1 | sed 'y/QWERTYUIOPASDFGHJKLZXCVBNMЙЦУКЕНГШЩЗХЪФЫВАПРОЛДЖЭЯЧСМИТЬБЮ_+-=/qwertyuiopasdfghjklzxcvbnmйцукенгшщзхъфывапролджэячсмитьбю /'"
if [ "$1" != "$dst" ] ; then echo "$file" "\n" "$dst" ; fi
}

perdir() {
find . -maxdepth 1 -mindepth 1 -type d | while read dir ; do cd "$dir" ; perdir ; done
for f in * ; do

dst="echo $f | sed 'y/QWERTYUIOPASDFGHJKLZXCVBNMЙЦУКЕНГШЩЗХЪФЫВАПРОЛДЖЭЯЧСМИТЬБЮ_+-=/qwertyuiopasdfghjklzxcvbnmйцукенгшщзхъфывапролджэячсмитьбю /'"
if [ "$f" != "$dst" ] ; then mv -nv "$f" "$dst" ; fi

done
cd .. ;
}

perdir

а то твоя на множественных пробелах глючила.

>>29482
нет, всё равно файнд пробелы теряет.

>>29488
вернее в cd они теряется.

>>29488

> пробелы теряет

dst="`echo "$1" | sed ...

>sed 'y/QWERTYUIOPASDFGHJKLZXCVBNMЙЦУКЕНГШЩЗХЪФЫВАПРОЛДЖЭЯЧСМИТЬБЮ_+-=/qwertyuiopasdfghjklzxcvbnmйцукенгшщзхъфывапролджэячсмитьбю /'"

Да вы же упоротые.

% echo 'НянямУ няНЯшу НяняКА' | ghc -e 'interact (map Data.Char.toLower)'
няняму няняшу няняка

>>29500

Size of files: 70,020 kB

Как-то многовато для простой операции.

>>29501
Нищеброд чтоле?

>>29492

>вернее в cd они теряется
>dst="`echo "$1" | sed ...

да ты снайпер.
вернее сд не может перейти в каталог с несколькими пробелами в названии. сраный синтаксис, сраные символы переноса.

всё, заработало.

>>29506
а, нет, всё равно отрезаются где-то пробелы в конце названия. ну ёб.

>>29507
и не где-то, а в сд.

>>29508
и не в сд, а в while read

охвау, всех конечно уже заебало, но я сделал этот скрипт правильным:

#!/bin/bash

perdir()
{
find . -maxdepth 1 -mindepth 1 -type d | (IFS='\n'
while read dir
do
cd "$dir"
IFS=' \t\n'
perdir ; done)
for f in * ; do

dst="echo $f | sed 'y/QWERTYUIOPASDFGHJKLZXCVBNMЙЦУКЕНГШЩЗХЪФЫВАПРОЛДЖЭЯЧСМИТЬБЮ_+-=/qwertyuiopasdfghjklzxcvbnmйцукенгшщзхъфывапролджэячсмитьбю /'"
if [ "$f" != "$dst" ] ; then mv -nv "$f" "$dst" ; fi

done
cd .. ;
}

perdir

>>29510
лолнет, немного не так, но починил.

ламера

>>29513
ты хуй

поставил декодировать неотокреные дежавьюшки. чувствую, они будут конвертироваться несколько дней.

>>29515
слишком долго. решил просто отокрить дежавьюшки для поика непосредственно в них. что характерно, решение искаропки нашлось сразу. опенсорс в обращении почему-то удобнее чем проприетарщина. наверное благодаря скриптам.

>>29517
и, блджад, распознать текст в дежавью- операция на несколько порядков быстрее чем преобразовать дежавью в пдф.

>>29500
% echo 'НянямУ няНЯшу НяняКА'|perl -e 'binmode(STDIN,":utf8");binmode(STDOUT,":utf8");print lc(<STDIN>)'
няняму няняшу няняка

%%ПЕRЛ%%

дежавьюшки всё распознаются..

не могу найти нормальную тулзу для разделения пдфок. все на джаве(ёбаный стыд), пдфтк вообще не собирается(а что собственно от джавы ждать).

>>29756
собрал таки, джава с оптимизациями не дружит.

>>29764
а ещё я почистил и собрал свою пневматику.

>>29765
А там где ты взял эту картинку еще есть такие? Или это очередной рэндом?

>>29796
это сибирь-тян. есть на сибирьчане и в ычанском /тян

кто-нибудь из линупсоидов, попробуйте установить вот эту библиотеку:
http://jwilk.net/software/python-djvulibre

у меня выдаёт
/_documents/python-djvulibre-0.1.17/setup.py: line 17:
python-djvulibre is a set of Python <http://python.org>_ bindings for the
DjVuLibre <http://djvu.sf.net/>_ library, an open source implementation of
DjVu <http://djvu.org/>_.
: No such file or directory
/_documents/python-djvulibre-0.1.17/setup.py: line 29: syntax error near unexpected token `('
/_documents/python-djvulibre-0.1.17/setup.py: line 29: `'''.split('\n')'
, чзх?

а других путей нормально оцифровать пдфки я не вижу. алсо, пдф- проприетарное говно, вчера весь день ебался со скриптами.

>>29854
У меня аналогично. Думаю что можно просто ручками скопировать эти файлы в каталог где там у питона либы лежат

>>29856
где там у питона либы лежат?

>>29765
какая у тебя пневма?

>>29864
ставишь питон, ставишь какую-нибудь либу на него, потом

updatedb
locate <libname>

если мало интересного то можно еще попробовать

locate .py

>>29865
ижик обычный.

>>29890
ижики разные бывают, рискну предположить что у тебя 38-й, поскольку обычный, сам гордый владелец двух МуРок, вот планирую накопить на GunPower

>>29854
у нас тут кто-нибудь в питоне разбирается? потому что там нужно сначала скомпилировать библиотеки. пока я всё окрю русские дежавьюшки, но как бы было бы неплохо и с пдф разобраться.

>>30067
думаю что это делается как-то так http://docs.python.org/library/py_compile.html или так http://docs.python.org/library/compileall.html

>>30067 Компилить библиотеки для использования не обязательно. Главное, чтоб они импортились нормально, а уж в исходниках они или скомпилены - все равно работать будут.

Кто-нибудь разбирается с dpi? если я ресайзю разные пикчи в 900dpi, количество пикселов в выходной картинке всегда будет одинаковым?

>>30074 dpi = dots per inch, т.е. сколько пикселей в одном дюйме. Этой информации тебе недостаточно?

>>30075
мм, скажи точно, >количество пикселов в выходной картинке всегда будет одинаковым?
для разных исходников?

меня интересует перекодирование, и я могу ошибаться.

алсо нашел способ обрабатывать пдфки.

>>30076 Я не понимаю, что ты называешь разными источниками.

>>30078
да я уже разобрался сам.

похоже что заработал скрипт для пдфок. из всей ебли с конвертацией и декодированием я вынес две простые вещи:
cuneiform- говно.
imagemagik- ещё большее говно.

>>30138
С первым не работал, но imagemagick то за что? Вполне годный графический редактор, если как следует разобраться.

>>30143
конвертирует медленно и с ошибками.

>>30148
Обработка изображений процесс по определению весьма ресурсоемкий. Если сравнивать производительность с тем же гимпом, то imagemagick куда быстрей. А к не совсем очевидному поведению со временем привыкаешь.

>>30151
ghostscript много лучше себя показал.

>>30153
Если ты про рендеренг страничек то это не удивительно, он заточен под это. Imagemagick кстати скорее всего его же и использует в какой-то промежуточной стадии.

закончил окрить руские книги.

медленно, блджад.

>>31138
Чем окришь?

>>31142
tesseract из svn'а. в ней и данные для руского есть, и окрит точно. хорошая софтина.

слушайте, а у нас в линуксах есть какая-нибудь команда, которая бы запускала другую команду, и, если она не выполнится в течении какого-то времени, терминировала её?

запросы в гугле выдают один мусор.

>>31535

#!/bin/bash
#запускаем программу в фоне
program&
#ждем 5 минут
sleep 5m
#если она еще жива - убиваем
kill $!

>>31536
у меня несколько инстансов одной программы. алсо килу же нужен номер процесса?

>>31538
Используй несколько переменных для хранения pidа. Когда ты отправляешь в фон процесс то его pid сохраняется в $!, соответственно если ты сделаешь kill $! то убьешь последний отправленный в фон процесс.

>>31536
погоди, так kill $ получит параметры внутри скрипта, да? как это так хитро реализованно?

>>31539
спасибо, я всё понел!

hocr2pdf оказалась полнейшим говном, не способным работать ни с выводом cuneiform, ни с тессерактом. а других окров с этим форматом под линуксы нет, такие дела.

теперь сижу конвертирую все неокреные пдфки в дежавью, получаю бонусы сжатия и скорости запуска. хороший формат, жаль не могу к словам распознование привязать.

алсо поставил beagle. сейчас разберусь со своей безопасностью и включу веб-интерфейс. а ещё сделаю торрент с библиотекой, и выложу на наш трекер. таким образом любой из 3.5 анонов сможет легко найти и скачать нужные научные книги. давно хотел такую библиотеку сделать.

>>31671
нет, бигл я не поставил. у него какие-то проблемы с скуелем. задо работает рекол. веб-интерейс буду отдельно делать.

>>31671

> включу веб-интерфейс. а ещё сделаю торрент с библиотекой, и выложу на наш трекер

Было бы интересно.

>>31535

[~]$ timeout --help
Использование: timeout [КЛЮЧ] ЧИСЛО[СУФФИКС] КОМАНДА     [АРГУМЕНТ]...
       или:    timeout [КЛЮЧ]
Запускает КОМАНДУ, и завершает её, если она остаётся     запущенной после
заданного ЧИСЛА секунд.
СУФФИКСОМ может быть: s (по умолчанию) секунды, m минуты, h часы или d дни.

>СУФФИКСОМ может быть: s (по умолчанию) секунды, m минуты, h часы или d дни.

а тян?

спасибо.

>>31697
ばか！

Внезапное поднятие вверх

>>31687
последний раз при попытке извлечь бигл он умер на компиляции чего-то с майскуелем, так что я быть может просто выложу индекс библиотеки для утилиты recoll(она и получше бигла будет, в управлении запросами). алсо тогда мне не надо будет светить айпишник.

книги конвертятся днями и ночами.

Как успехи, ОП?

>>34027
все неиндексированные pdf переведены в djvu, recoll- up&running, осталось несколько дней окрить дежавьюшки. скрипты в общем-то фоном работали уже почти месяц.

бигл сегодня ночью свежий емёржнуть попробую.

>>34029
хм, вероятно я всё же выложу индекс рекола. хотя он 20 gb. может или с сюэлем разберусь.

>>34046
всё должно работать.

не забыть пропатчить моно.

>>34051

> не забыть пропатчить моно

Ух. Мне страшно от этих слов, оно же и так едва работает.

ОП, как у тебя дела? Наверняка ты знаком с calibre, не пробовал использовать ее как конвертер и веб-сервер для своей библиотеки?

>>35958
сейчас окрятся гуманитарные науки. чёрт его знает, сколько там ещё книг.

а за калибре спасибо, интересная штуковина.

>>35997
нет, прыщехуйня это очередная. нет полнотекстового поиска, не способен хранить библиотеку как симлинки-> сразу на помойку.