[/b/] [/d/] [/tu/] [/a/] [/ph/] [/wa/] [/cg/] [/t/] [/p/]

[Burichan] [Foliant] [Futaba] [Greenhell] [Gurochan] [Photon] - [Home] [Manage] [Archive]

[Return]
Posting mode: Reply
Leave these fields empty (spam trap):
Name
Link
Subject
Comment
File
Verification
Password (for post and file deletion)
  • Supported file types are: GIF, JPG, PDF, PNG
  • Maximum file size allowed is 30720 KB.
  • Images greater than 200x200 pixels will be thumbnailed.

File: 1787774565420.jpg -(53928 B, 757x428) Thumbnail displayed, click image for full size.
53928 No.239531  

а есть тут ламадрочеры? в смысле дрочеры в llama.cpp

ну вот, например, вопрос: я упёрся в предел 16 GPU. нет, я не ограбил банк, просто это майнинговые говнократы на ядрах pascal которые я взял по 50 баксов, когда они стоили 50 баксов года 4 назад

они висят на 1х райзерах и распределены по RPC нодам

и это даже работает!

кстати, хочешь возоржать? у меня одна нода на orange pi 5 с 16 гигами RAM и она, конечно, в разы отстаёт от паскалей и e5-2696 v3, но в целом её присутствие в кластере имеет смысл. варианты запуска Qwen3.5-122B-A10B-Opus-Reasoning-Q6_K.gguf с участием апельсинки, ксеона и части паскалей даёт 4.5 токена в секунду, а если заменить апельсинку паскалями, то 6. просто как эксперимент.

так вот: я упёрся даже не в 16 GPU, а в 16 бэкэндов и просто менять константы в llama.cpp перед компиляцией не помогает. у меня просто тупо получаются лишние карты, а в наше время это лютое расточительство

а может быть мне надо что-то другое? там Petals на Hivemind или ещё что-то такое?

апишку не предлагать, потому что объемы инференса конские - дешевле железо купить даже по тем ценам которые есть сейчас

ну а про длительные автономные задачи можно поговорить отдельно. ну или здесь, потому что я прекрасно понимаю, что единственный человек, который ебёт в душе, что там накручено в алгоритме раскидывания слоёв по бэкэндам - это сам Герганов

в какой-то момент я, конечно, натравлю агента на репу llama.cpp, но пока этого не случилось

про райзера, кстати, могу отдельную кулстори запилить, я мерял разные райзера таким прибором как LiteVNA и обнаружил, что бывают райзера хорошие, а бывают плохие. а раньше были только плохие. может быть кто-то припоминает, как я тут лет 8 назад выл про синие "USB" райзеры. теперь я точно знаю что с ними не так - децибелл затухания с ними не так и никакой осциллограф на 20 гигасемплов тут не нужен, LiteVNA вполне доступный прибор, который прендазначен для анализа именно этой проблемы

>> No.239532  

>>239531

> в llama.cpp

Ты про >>236620 ?

> 4.5 токена в секунду

Помоему она на чистом CPU может давать больше, если учесть что у меня Qwen3.6-35B в cpu-only варианте выдает около 8 t/s.

> я упёрся даже не в 16 GPU, а в 16 бэкэндов и просто менять константы в llama.cpp перед компиляцией не помогает
> объемы инференса конские

Почему бы тогда тупо не пустить несколько инстансов лламы с разными картами и не разбросать запросы по ним?

>> No.239533  
File: 1787781615720.jpg -(80558 B, 500x400) Thumbnail displayed, click image for full size.
80558
>>Ты про >>236620

определённо да, но тред ещё за май, не видел я его

в мае я вообще ничего не видел, сейчас уже лучше

>>на чистом CPU может давать больше,

>>35B
ясен красен больше, если взять 8B будет ещё больше. CPU начинается когда кончается VRAM, а потом кончается всё и я думаю, где взять ещё, а взять негде. в 4.5 токенах в секунду поучаствовали cpu на двух разных нодах, а так же gpu, тоже на двух, ну и сеть между ними, разумеется

настраивается, кстати просто. самый сложный этап квеста - cuda+драйвер, но и он не рокет саенс, все ставили, я думаю

если что, llama.cpp использует ОБА вида памяти для одного инстанса одновременно, и да, cpu действительно не такой медленный, как можно подумать. а есть ещё и оффлоуд на ssd, но это уже совсем медленно

и да, CPU годится не всякий, обязательно нужно ну хотя бы первый AVX, иначе будет сопоставимо с SSD

всё просто - чем больше слоёв - тем больше вычислений + накладные расходы на передачу(время). там есть неочевидный момент - следующий токен не заходит, пока не вышел из пайпа предыдущий, по-этому все сетевые задержки и задержки на райзерах суммируются, но в принципе там понты. даже 100 мегабит нормально работает, хотя gemini кричит что нужно 40 гигабит и не меньше, потому что у него в чугунной голове зашит tensor parallel а это что-то на богатом, начиная от h100 с NVLink и нужно в основном что бы учить с нуля, а это вообще отдельная история, которая начинается с покупки земли под датацентры

"Почему бы тогда тупо не пустить несколько инстансов лламы с разными картами и не разбросать запросы по ним?" - ну это я в итоге и сделаю + фабл на внешнем апи, но "разбросать" - это конечно красиво звучит, а ты умеешь разбросать? этож надо иерархию выстроить с субординацией, что бы дурак мог делать грязную работу, мидл умную, а сениор был архитектором всего, резолвером опасных дилем и ответственнных транзакций. autogen сейчас для этого смотрю

и вот сейчас пробую Qwen3.5-122B-A10B-Opus-Reasoning-Q6_K.gguf лезет, а Qwen3.5-122B-A10B-Opus-Reasoning-Q8_0.gguf не лезет. хер его знает почему, вроде разница не такая и большая и фактически памяти у меня в два раза больше чем весит q8, в пределах лимита лламы получилось насобирать 256 гигов и ещё где-то 60-70 осталось за бортом. можно там какого-нибудь дурачка запустить, который годится в лучшем случае в качестве продвинутого грепа, что бы не жечь дорогие токены, но и то полезно

а, кстати, есть ещё такая штука как graphrag, пока у меня openclaw не сломался, я ему поручил прочитать рандомную книгу на 22000 слов и собрать по ней graphrag и это работает! только есть один нюанс: собирал я его посредством fable через апи и стоило это 50 долларов денег. дорогой эксперимент. по итогам он мне выдал выжимку из всей книги и смог ответить на некий вопрос касаемо её содержания и это выглядело прям убедительно. но 50 баксов это 50 баксов)) не знаю что, будет если попытаться сделать это ну хотя бы дипсиком, будет ли оно так же четко и по существу работать. попробую как руки дойдут. но в принципе это возможно! причем делал мне это от и до дипсик, я только смотрел. то есть модель для самого анализа была fable 5, а работу по подготовке окружения и входных данных от и до выполнил deepseek, и он же запустил прогон и тестовые запросы. и всё получилось! но потом openclaw сломался и я понял что хватит его чинить и пошёл искать альтернативы. вот, ищу.

>> No.239534  

>>239533

> ясен красен больше, если взять 8B будет ещё больше

Я больше про то, что разница не то чтобы прямо радикальная.

> и да, CPU годится не всякий, обязательно нужно ну хотя бы первый AVX, иначе будет сопоставимо с SSD

Там же вроде шина памяти узкое место а не вычислительная способность этого самого cpu.

> а ты умеешь разбросать? этож надо иерархию выстроить с субординацией

Да просто одинаковые сетки пустить и инстансы агентов на них поподвязывать.

> Qwen3.5-122B-A10B-Opus-Reasoning-Q6_K.gguf

Зачем ты вообще на него вяжешься, когда 3.6 не сильно глупее не смотря на меньший размер?

> 22000 слов

Это же вполне лезет в контекст того же квена целиком, без всяких rag.

> хватит его чинить и пошёл искать альтернативы. вот, ищу.

Меня кстати удивило что opencode может не только в code.

>> No.239535  
File: 1787786048708.jpg -(63594 B, 1280x767) Thumbnail displayed, click image for full size.
63594
>Я больше про то, что разница не то чтобы прямо радикальная.

я про то же, но когда у тебя кончается память у тебя кончается память

>Там же вроде шина памяти узкое место а не вычислительная способность этого самого cpu.

если есть AVX2. если DDR3 - то просто AVX. я так понял. а если AVX нет, то упираешься в проц и неслабо. а есть этот AVX далеко не во всём, что можно добыть задешево. и он прям критичен. хотя... это со слов того же gemini, который допустил много других ошибок. но здесь всё звучит внутренне непротиворечиво. впрочем, будет ещё возможность померять. у меня как раз валяется тут старый больной proliant gen6 и avx у него, увы, нет и проапгрейдить нельзя.

а проблема паскалей в том что да, векторные операции для них нативны, но при деквантовании начинаются проблемы другого рода. реально большие модели принято квантовать по дефолту, т.к. они, в силу самого масштаба, от кванта почему-то не лоботомируются, в отличие от мелких, но старые ядра не умеют оперировать квантованными значениям нативно и перегоняют 4битное число в 32битное, производят операцию и перегоняют обратно. а ядро паскаль и без того старое и немощное. хотя, с другой стороны, узкое место всё равно память, вроде бы, поскольку память там, кажется, ещё медленнее.

ну, по крайней мере я так понял. кто понял лучше - я бы послушал

то есть всё это медленно, но пользоваться можно. а вот можно ли пользоваться чем-то запущенным на проце без AVX вообще - вот этого я пока просто не проверял

в orange pi 5 avx как такового нет, но там свой эквивалент векторной числодробилки, которая реально хороша в свои деньги. как я понял, mac mini убедительно тащат локальные модели по той же причине, хотя arm в них, конечно, другой

>Да просто одинаковые сетки пустить и инстансы агентов на них поподвязывать

ну это я как бы понимаю, но как заинтерфейсить их с задачей и анально при этом огородить, что бы они не захватили планету или, по меньшей мере, мою файлопомоечку

>Зачем ты вообще на него вяжешься, когда 3.6 не сильно глупее не смотря на меньший размер?

а как ты это понял? по метрикам из релиза? а ты заметил, что в метриках из релиза они всегда и все умнее абсолютно всех? чудеса бывают, но редко. а вообще у меня 3.5 больше как бэнчмарк пока, я кластер отлаживю, так-то нужен hermes, полагаю, а в модели маленького размера я не верю. то есть своя ниша у них есть, конечно, но они с больше вероятностью доставят проблемы, чем сделают что-то полезное на практике. это греп на стероидах - да, полезен, но оставлять его надолго без присмотра может и не сильно опасно, но и не сильно полезно

>Это же вполне лезет в контекст того же квена целиком, без всяких rag

ну не хватало ещё что бы он сожрал 100500 баксов, вместо 50. это был просто тест концепции на работоспособность, а суть в том, что этот подход масштабируется на текст вообще любого объема, тогда как контекст мало того что не резиновый, так ещё и не очень-то хорошо видит семантические связи. то есть само наличие какого-то словосочетания в глубине контекста он не потеряет, но семантическую связь между сущностями он не вспомнит пока ты не переместишь эту часть контекста в конец этого самого конекста(или в начало), что полностью инвалидирует кэш и для дальнейшего разбора потребует большое количество таких итераций. так вот в graphrag это буквально сделано заранее и закэшировано. за то и деньги взяты. и на голом контексте это работать не будет, нужна какая-то итеративность по тексту и grahrag, как я понял, это что-то типа закэшированной итеративности, причем она ещё в и виде векторов лежит, кажется. надо дальше разбираться. но это мастхэв.

и кроме того - да, контекст сам по себе вещь глубоко не бесплатная. размер контекста можно выбирать при запуске и большой контекст начинает жрать сильно много памяти. в моём бэнчмарке контекст 256k, но это больше ради самого бэнчмарка. на самом деле, при заливке такого контекста она начинает неистово жрать розетку и греться. 2кВт. и это долго! лучше разбивать задачу, там где это возможно. просто по экономическим соображениям. контекст дорогой и семантические связи в его середине неустойчивы, такие вот вещи я постиг

>opencode

этого не пробовал. пробовал openclaw и aider, сейчас думаю что пробовать дальше

open interpreter интересный, но я понимаю что мне нужно несколько агентов

smolagent даже интереснее, там агент - это питоновский объект, но мне пока другое нужно, мне важнее что бы он нативно контактировал с системными тулзами

>> No.239536  

Можно ли на авито накупить железа поцене 10 облезлых енотов, чтобы анимировать изображения хотя бы за 10 минут на 4-секундную анимацию?

>> No.239537  
File: 1787806223879.png -(1194154 B, 1024x1024) Thumbnail displayed, click image for full size.
1194154

В твоём случаее, действительно, рекомендую мониторить авито, и не на что-то конкретное, а на все что угодно, что может подойти. Там бывают очень дешевые варианты железа. Я бы то же много чего себе хотел, но больше конкретные вещи присматриваю, потом просто охреневаю от цены и остаётся только пускать слюни. Тебе же нужно, что бы работало. Так что отложи буферную копейку и мониторь авито, может повезёт.

А если нужен быстрый результат, то арендуй сервер с крутой видюхой. Как раз недавно так сделал, и даже хочется повторить. Где-то 1500 поиграться за выходные и это за 96ГБ vram, 48 и 24 в разы дешевле. Это как на выходных в кино с девушкой сходить по ценнику. Я там особо не разбирался просто взял виртуальную машину с ubuntu, и можно делать все что хочешь.

Я понимаю что цели разные бывают.

>> No.239538  
File: 1787808446374.png -(1050397 B, 1024x1024) Thumbnail displayed, click image for full size.
1050397

Мне, например, интересно, что если взять серверную материнку поставить туда какой-нибудь бронзовый проц и напихать под завязку обычной операты, как он себя покажет в целях для неронок. В принципе если взять правильную матеренку то и видюх туда потом напихать можно будет.

>> No.239539  
File: 1787810929056.png -(1155603 B, 1024x1024) Thumbnail displayed, click image for full size.
1155603

>>239537
За выходные я только разогреваюсь. И если результат будет примерно как у тебя, то мне даже на пробу будет жаль столько отдавать. Такое я и на бесплатных ломаных андроид-аппах нагенерил бы (если бы их все почти не прикрыли)

>> No.239540  

>>239535

> я про то же, но когда у тебя кончается память у тебя кончается память

Да, но на cpu ее хотябы докупить можно.

> хотя... это со слов того же gemini, который допустил много других ошибок

Не стоит ему так доверять в этом вопросе.

> но как заинтерфейсить их с задачей и анально при этом огородить, что бы они не захватили планету или, по меньшей мере, мою файлопомоечку

Я просто на виртуалке пускаю, там пусть хоть обзахватываются.

> а как ты это понял? по метрикам из релиза?

По практическим задачам, разницы не заметно.

> это греп на стероидах

Греп на стероидах это 4B/9B модели. Они влетают в дешевую видеокарту целиком и при этом выдают тысячи t/s препроцессинга. Но вот агентов уже не тянут, увы.

> а суть в том, что этот подход масштабируется на текст вообще любого объема

Фокус в том что rag тем больше лажает, чем больше "знаний" ты в него напихаешь. Тут как раз таки тот самый "греп на стероидах" которому по очереди скармливаются куски текста показывает себя значительно лучше.

> так ещё и не очень-то хорошо видит семантические связи

Этим древние модели грешили, сейчас с этим куда лучше.

> размер контекста можно выбирать при запуске и большой контекст начинает жрать сильно много памяти

Но с маленьким контекстом агенты малополезны. Бесконечный compaction который ни разу не lossy делает все сильно хуже. На практике пустить модель с 250k контекстом чтобы она сделала всю задачу целиком в одном контекстном окне куда продуктивней.

>> No.239541  

>>239537
Сорян, что нагрубил. Наверное, не все твои мисаты дерпнулись.

>> No.239542  
File: 1787827699378.png -(197615 B, 701x683) Thumbnail displayed, click image for full size.
197615

>>239538
всё правильно думаешь. только смотри что бы проц был минимум с AVX2, а видяхи можно и на райзерах. только, говорят, новые hp с этим не очень, у них вроде как склонность игнорировать сторонние устройства, тогда как dell либеральнее в этом плане. но здесь я тебе пересказываю gemini, у меня лично в hp работет гора видеокарт, только вот он старый и карты старые. в новых вроде всё стало хуже, как обычно

ещё есть опция huananzhi, но в серверных всё равно слотов распаяно больше + сервера дома никому не нужны и когда они устаревают их отдают почти даром

и не проебись с памятью, ранговость, каналы, частоты, вот всё вот это. бери там где можно обменять либо будь готов выставить её на продажу если не встанет

но в целом ты всё верно понял, видеокарты это просто одна из опций. процы уступают по скорости но из плюсов - у них не заканчивается поддержка, флопсы на ватт едва ли не лучше, они чисто физически значительно надёжнее, памяти одному процу доступно несоизмеримо больше, ну и универсальность - хочешь прон генери, а хочешь zip-архивы сжимай и разжимай. и никаких слотов, райзеров и намертво распаянной памяти. лично я для себя пришёл к выводу что видеокарт я вообще больше покупать не буду. видеокарта никак не даст тебе нескольких терабайт на одно устройство, а серверная платформа - запросто. там грядки из планок гигантские и стоит это даже дешевле чем десктопный эквивалент(с определённого момента)

а если карты решишь, то райзер бери как пикрилэйтед. не с точностью до брэнда, а что бы кабель был плоский, но в оболочке(не как IDE). такие как на пикрелейтед у меня работают железобетонно стабильно, главное "USB" не бери - эти соврешенно точно никогда не работают вообще

>> No.239543  
File: 1787829988193.jpg -(304682 B, 721x1280) Thumbnail displayed, click image for full size.
304682
>Да, но на cpu ее хотябы докупить можно.

можно. но видеокарты тоже можно в цепочки собирать. вопрос что доступнее в моменте. сейчас и в будущем скорее всего будет доступнее CPU память, а скорость обычно не критична

>Не стоит ему так доверять в этом вопросе.

о да. но если факты друг другу не противоречат иногда целесообразнее поверить, чем не иметь информации вообще

>Я просто на виртуалке пускаю, там пусть хоть обзахватываются.

я тоже, но как натравить более одного агента на одну задачу?

>По практическим задачам, разницы не заметно.

практики бывают разные. больше тебе скажу - иногда модель поменьше в чем-то показывает себя лучше. самое узкое место это понимание человеческого здравого смысла и пространственное воображение. особенно последнее - в этом сосут вообще все, кроме кожаных мешков. а код генерировать много ума не надо, как показала практика. но разбираться с багажником для велосипеда или разводкой платы тебе придётся самому. может быть fable поможет, а может быть и нет - я не уверен, не проверял, дорого. кожаный мешок сделает это быстрее, лучше, а главное что дешевле. то есть да, именно что дешевле! бытовые и механические задачи уровня "почини калитку во дворе" почему-то стоят дешево, а какой-нибудь сраный дизайн базы или скрипт автоматизации - так это нужен его величество ПРОГРАММИСТ-НАНОСЕК с рафом на лавандовом молоке, который за наносек высосет твой бюджет в ноль

впрочем да, не стоит забывать что и среди кожаных дураков хватает, что поделать. к модели хотя бы метрики есть, а что в голове у сварщика которому ты переварку порогов доверил - это хз, как фишка ляжет

>Но с маленьким контекстом агенты малополезны. Бесконечный compaction который ни разу не lossy делает все сильно хуже. На практике пустить модель с 250k контекстом чтобы она сделала всю задачу целиком в одном контекстном окне куда продуктивней.

твоя правда есть, но всё относительно. во-первых graphrag это не просто тупой compaction, а это граф связей между сущностями, который делается за большое количество проходов и да, он сам по себе требователен к модели

и это не панацея. вариант в котором задача помещается в контекст, наверное, может поспорить по качеству, но дофига задач, где предмет рассмотрения не лезет в контекст вообще, а если и лезет, то впритык, дорого и медленно. если тебе нужно найти что-то в многолетней переписке, то тебе либо придётся загружать её в контекст чанками и компактить, либо осознать, что это по факту уже "графраг дома" и можно взять "внатуре графраг" сына маминой подруги и сделать то же самое лучше

не говоря уже о том, что можно засрать огромный контекст графрагом и получить выигрыш от синергии обоих подходов

а если это например какая-то юридическая работа, в духе "проанализировать хуиллиард томов уголовного дела", ну представь. а это работа нужная и качественное её выполнение чужими мозгами как минимум не дешево, если вообще возможно.

хотя... ну всё это мои умозаключения основанные на поверхностных экспериментах, либо на хрупкой теории, которая пока ещё толком не сформировалась. практика покажет.

>> No.239544  

>>239543

> но видеокарты тоже можно в цепочки собирать

Только такие цепочки дают очень сильную просадку по производительности. Собственно твои 4.5t/s тому пример. И вообще у меня травма ранних версий лламы, когда размазывание на cpu+gpu давало меньшую производительность чем cpu-only.

> а скорость обычно не критична

Если скорость не критична то вообще можно с nvme читать.

> но если факты друг другу не противоречат

Они не противоречат, да действиетльно с avx считается быстрее, но вот не факт что узким местом будет именно отсуствие avx а не шина памяти.

> но как натравить более одного агента на одну задачу?

Им можно просто разные задачи дать. Или на худой конец разбить задачу на подзадачи.

> практики бывают разные

Это правда.

> понимание человеческого здравого смысла

Вот тут кстати 3.6 показала себя лучше чем 3.5.

> загружать её в контекст чанками

Собственно этот подход отлично работает. И даже компактить не надо, просто делаешь один и тот же запрос для разных чанков.

>> No.239545  
File: 1787834770656.jpg -(114662 B, 1280x960) Thumbnail displayed, click image for full size.
114662
>Только такие цепочки дают очень сильную просадку по производительности. Собственно твои 4.5t/s тому пример.

а сколько даст 122B модель на cpu? не забывай что это замер с двумя сетевыми пересылками(одна из которых 100 мегабит) и почти исключительно на 1х райзерах, причем карт там было почти максимальное количество, около 16.

нет, cpu неплох и экономически целесообразен, но gpu всё-таки быстрее и они у меня от майнинга остались

посмотрим сколько они будут стоить в будущем, но cpu подкупает безгеморностью

но давай будем трезвы, если я соберу грядку на пару терабайт даже в рамках одного сервака - kimi k3 даст единицы токенов в секунду. но: меня это устроит

>Если скорость не критична то вообще можно с nvme читать.

не выйдет. на триллионных моделях можно как нефиг получить один токен за 10 минут, если не хуже. чтоб ты понимал, для одного токена проц должен прочитать с SSD ВСЮ МОДЕЛЬ. ДЛЯ ОДНОГО! кулстори про запуск нейронок на айфонах это кулстори вида "хвост модели на ssd", причем этот хвост там пару в гигабайт. работать будет, но это будет не дипсик и не кими

>но вот не факт что узким местом будет именно отсуствие avx а не шина памяти.

тут нужен эксперимент

>Или на худой конец разбить задачу на подзадачи.

подзадачи обычно решаются последовательно, так что одновременной работы двух моделей в этом кейсе не будет. а нужна именно она. нужен поток чего-то однотипного - тогда это будет работать, но такие задачи ещё найти надо

>Вот тут кстати 3.6 показала себя лучше чем 3.5.

вот тут верю. ещё gemma в своё время удивила, но всё равно размер имеет значение, при идентичной архитектуре и датасете маловероятна победа модели меньшего размера. если 3.6 в чем-то уделывает 3.5, то где-то грустит 3.6 большего размера.

вообще есть проблема: отсутствие современных моделей 100+B, выпускаются или малыши или гиганты, а средняя весовая категория остаётся без обновлений

>> No.239546  

>>239545

> а сколько даст 122B модель на cpu?

Для Qwen3.5-122B-A10B я ожидаю что-то в районе 3 t/s.

> один токен за 10 минут, если не хуже. чтоб ты понимал, для одного токена проц должен прочитать с SSD ВСЮ МОДЕЛЬ

Ну у меня вычитка ~250G с nvme это порядка минуты. И это только один nvme, без страйпа.

> а нужна именно она. нужен поток чего-то однотипного

Не нужен поток чего-то однотипного. Одну модель просишь исправить один баг, другую модель просишь исправить другой баг и они вместе работают впараллель.

> при идентичной архитектуре и датасете

Это ключевой момент. Архитектуры и датасеты не стоят на месте, так что нет ничего удивительного в том что то, с чем вчера не могла справится 120B модель, сейчас справляется 35B.

> вообще есть проблема: отсутствие современных моделей 100+B,

Есть же nemotron, у него кстати целый лям контекста. И там qwen3.8 flash обещают как раз в 100B варианте.

>> No.239557  
File: 1787926860377.jpg -(305079 B, 960x1280) Thumbnail displayed, click image for full size.
305079

>>239546

>Для Qwen3.5-122B-A10B я ожидаю что-то в районе 3 t/s.

хмм, ну может быть

>Ну у меня вычитка ~250G с nvme это порядка минуты.

это буквально означает "один токен в минуту", как ты понимаешь. для модели размером 250 гигов с учётом KV-кэша, я имею в виду. но если у тебя на ssd упадёт хвост модели на 25 гигов, то каждый токен дополнительно задержится всего-то на несчастных 6 секунд. вообще-то совместимо с жизнью, но прям очень нежелательно лол

>один баг
>другой баг

ну это тоже, знаете ли, своего рода однотипность. если баги в разных проектах, а не на уровне одного стека - почему нет. но это ещё распылиться надо, что для одного руководителя есть проблема

кстати да, занимаясь всем вот этим я наконец почувствовал на себе весь менеджерский тлен и ангст. ну конечно я никогда не хотел становится начальником и это отличная иллюстрация к вопросу "почему". всегда приятнее и проще ковырять что-то локальное, связное, обозримое

>Архитектуры и датасеты не стоят на месте

прогресс не есть вещь линейная. соотношение затрат и результатов в каждом из мыслимых контекстов меняется по разному и в некоторых случаях - не в лучшую сторону. например взять уход от плотных моделей - это вынужденный технический компромисс, так-то вообще более плотная модель при прочих равных будет мыслить более связно и глобально. но: аппаратные издержки, по-этому индустрия перешла к MoE

но давай честно: мы в душе не ебём что они там накрутили, что оно "стало лучше бесплатно". может в чем-то и хуже. или ты знаешь что они там накрутили?

причем да, MoE жрёт больше RAM/VRAM, но меньше тактов на ядрах и меньше сети. причем парадокс: жрёт вроде и больше, но запускать можно на мусоре.

если не ошибаюсь, MoE это изобретение из недр дипсика, где традиционно проблемы с доступностью GPU и прочего, т.к. санкции же, ну вот они и придумали MoE

>целый лям контекста.

уже не поражат воображение, но возможно стоит попробовать

>И там qwen3.8 flash обещают как раз в 100B варианте.

уже выкатили, уже скачял, уже сломал ею лламу, уже чиню. там обновление требуется как минимум. как починю выйдет квен 3.9, за всем не успеешь

>> No.239558  

>>239557

> это буквально означает "один токен в минуту"

Только для dense-моделей.

> если баги в разных проектах, а не на уровне одного стека - почему нет

Тебе ведь ничего не мешает пустить их в разных ветках а потом уже мерджать что они там нагенерили.

> причем парадокс: жрёт вроде и больше, но запускать можно на мусоре

Никакого парадокса, там на каждом токене обсчитывается не все модель а только активные эксперты, за счет этого и меньше вычислений и меньше пересылки данных по шинам.

>> No.239560  
File: 1787950495345.jpg -(57443 B, 676x691) Thumbnail displayed, click image for full size.
57443
>Только для dense-моделей.

ну это да, для того MoE и изобрели, но всё равно печально будет

>Тебе ведь ничего не мешает пустить их в разных ветках а потом уже мерджать что они там нагенерили.

если баги независимы то да, для многих случаев такое будет работать, но в некоторых случаях не помешает "общий чятик"

но если честно, то одна модель закончит, скорее всего, быстрее, чем я успею запустить вторую. хотя, на моих скоростях это не факт лол. неизвестно кто медленнее - я как начальник или кластер как исполнитель

>а только активные эксперты

такова природа парадокса лол

https://goose-docs.ai алсо собираюсь эту имбу запустить, вот уже установил. но сначала с апишными токенами попробую. fable и gemini мне сказали, что её сейчас захайпили именно в контексте опенсорс-экосистемы. хотя, а что сейчас вообще вне опенсорс экосистемы? даже знать не хочу, впрочем. да и раньше не хотел.

>> No.239561  

>>239560

> 1787950495345.jpg

Вот до чего теория мертвого интернета доводит.

> но в некоторых случаях

Но в некоторых случаях часть видеокарт будет простаивать. Щито поделать.

> но если честно, то одна модель закончит, скорее всего, быстрее, чем я успею запустить вторую

Что у тебя там за таски такие простые?

> алсо собираюсь эту имбу запустить

Расскажешь как оно?

> хотя, а что сейчас вообще вне опенсорс экосистемы?

Клод например.

>> No.239563  
File: 1787966269193.jpg -(113445 B, 1000x1000) Thumbnail displayed, click image for full size.
113445

>>239531

>Что у тебя там за таски такие простые?

наверное я просто контрол-фрик и не позволяю модели принимать высокоуровневых решений, что, впрочем, небезосновательно, потому что обычно модель решает обычные задачи, а у меня - мои

>Клод например.

ну это проприетарная часть экосистемы линукса - можно и так сказать. запускается же клод код на линуксе? ну вот и всё, вознесите хвалу богам бигтеха, они позволили вам причаститься

>Расскажешь как оно?

а вот тут, внимание, есть прогресс.

я пока его на внешнем апи гоняю, что бы не было одновременно нескольких источников проблем в духе - "гусь сломался, так ещё и модель тупая" и вот по итогам сегодняшних экспериментов я могу сказать что таки да, есть резон! консольный интерфейс, честно говоря, огорчил, но они все не очень, а на rust они ещё и хрупкие. уже второй такой интерфейс вижу, который падает от малейшего чиха, получив невалидный символ. но! вообще-то там есть десктоп-приложение и оно пока тоже сырое и упоротое, но я смог заставить его работать, причем не на самом десктопе, что, разумеется, идея хреновая, а с удалённым бэкэндом. то есть вот такое запускается на виртуалке:

GOOSE_SERVER__SECRET_KEY="без пароля не работает!" goose serve --host 0.0.0.0 --port 3000

а на десктопе просто выбирается бэкэнд. перед этим ему надо апи модели скормить(не имеет отношения к ACP), что бы банально провалиться в меню, но канает выбрать любого провайдера и рандомный ключ, после чего переходишь в настройки и выбираешь адрес и порт своего ACP бэкэнда. вводишь пароль и у тебя подтягиваются консольные сессии. и всё, оно начинат юзать всё те же MCP, крутится бодро, всё-таки rust, можно установить на любую коробку и с комфортом разговаривать с духом коробки через нарядный веб-чятик. многострочное редактирование, тёмная-светлая темы, переключение между сессиям мышью - в общем день прошёл не зря. локальную модель попробую позже, но так-то если честно и дипсик через апи не очень больно по деньгам

a ACP это Agent Client Protocol, типа есть модель, есть сам гусь - агент, у него есть инструменты MCP, а снаружи к нему для управления подключается ACP. там обычно IDE, которые я не люблю и не юзаю, а ещё есть вот такое десктопное приложение, по сути и по форме - просто чятик, но MCP вызываются в той точке, где стоит само тело гуся, что дофига удобно и практично! гусь это просто бинарник, закинул его на любой утюг и погнал!

я вообще офигенно не рекомендую позволять агенту выполнять действия на системе где есть что-то ценное. идея в том, что он сидит в своей жертвенной изолированной коробке, реальной или виртуальной, а ты только приходишь, ставишь задачи, а потом изымаешь у него результаты труда. звучит неэтично, но как есть.

ну агенты тоже в долгу не остаются, сколько историй как они удаляли всё что видели, так что изоляция обязательна

>> No.239566  

>>239563

> наверное я просто контрол-фрик и не позволяю модели принимать высокоуровневых решений

Так задачу все равно батчем можно скормить, даже через файл, если у тебя там 100500 пунктов.

> ну агенты тоже в долгу не остаются, сколько историй как они удаляли всё что видели, так что изоляция обязательна

У меня они просто любят засирать все папки, до которых дотянутся. Что тоже вобщем-то повод для изоляции.

>> No.239588  

>>239545

> а сколько даст 122B модель на cpu?

Дошли руки Qwen3.8-Flash-Next потестить на cpu. Вобщем как и ожидалось для 125B модели - 3 t/s.

>> No.239591  
File: 1788255738215.jpg -(132689 B, 1026x1280) Thumbnail displayed, click image for full size.
132689
>Так задачу все равно батчем можно скормить, даже через файл, если у тебя там 100500 пунктов.

ну если каждую задачу можно выполнить изолированно, то да, почему нет. но часто это не так. и если это изолированные окружения, то само составление списка задач и тем более контроль результатов уже целесообразно делегировать модели, потому что проверить результат(включая качество и устойчивость этого результата) в общем-то сопоставимо с самим процессом решения по трудозатратам. PM-ов и QA придумали в общем-то не от хорошей жизни и бюджета они жрут не меньше и архитектура организации процессов в компании - это в общем-то тоже самое, та же задача: распараллелить необъятное и проконтролировать чужими руками ещё более необъятные результаты, нести сопутствующие риски и всё это жутко абстрактно, настолько абстрактно, что возникают сомнения в общей целесообразности всего этого процесса. типа: а зачем мне это всё? вот эта вот "галера дома". можно у меня хотя бы дома её не будет? обычно мне нужна работа над одной задачей и то - степень надобности очень умеренная, а бесплатных галер вокруг плавает тьма, запрыгивай в любую и в любой роли и, кстати, не факт, что кожаный мешок будет дороже какого-нибудь клода. с ним пол часика побазаришь на любую тему - десять баксов в кармане как не бывало. может быть он и лучше психотерапевта, но психотерапевт во-первых дешевле, во вторых - с его спросить можно, у него репутация есть. а с этого чугунного болвана всегда взятки гладки, во всём буду виноват только я и только перед самим собой

так что здорово, конечно, что у меня дома есть думающие камни, а так же думающие камни побольше через апи, но думающие камни это просто думающие камни. тыкать их палочкой в духе "исправляй мою жизнь" можно, но результат будет таким же произвольным, как если бы я начал исправлять свою жизнь сам или просто подождал, пока исправление жизни произойдёт самопроизвольно. тоже ведь, бывает. никогда не знаешь, где найдёшь где потеряешь. но есть класс задач, в духе "прочитай за меня книгу" где в этом всём есть смысл. мне даже вот не настолько важно, что бы оно фигачило за меня код, сколько важно, что бы оно имело панораму и перспективу репозиторя, а так же контекст задачи и могло интегрально выдать мне, что оно об этом думает и указать на тупой баг. хотя, разгрузка меня от синтаксической работы - это тоже приятный момент, но есть у него и обратная сторона в духе того, что надо потом разбираться в специфических архитектурных решениях, возникших вследствие специфического для модели понимания задачи, а так специфического видения среды, в которой происходит весь этот процесс. модель слушает меня и делает как я сказал, но всегда имеет биас в сторону того "как это обычно бывает". и если мне нужны метрики и аналитика для какой-то своей специфической цели, модель в своих решениях всё равно будет неизбежно дрейфить в сторону типичных сценариев популярных коммерческих применений. посвятить модель в свою мифологию это всегда сожрать пол контекста, а то может быть и lora-адаптер имеет резон - этого я пока не пробовал

>> No.239592  
File: 1788255828860.jpg -(196207 B, 1058x595) Thumbnail displayed, click image for full size.
196207

>>239588

>Дошли руки Qwen3.8-Flash-Next потестить на cpu. Вобщем как и ожидалось для 125B модели - 3 t/s.

ну а что за проц, сколько контекста, какой движок инференса?

>> No.239593  

>>239591

> само составление списка задач и тем более контроль результатов уже целесообразно делегировать модели

Можно поставить задачу составить задачу и потом ее решить. Да, это тоже работает.

>>239592

> ну а что за проц

i9-10900

> сколько контекста

Тестилось на пустом контекстном окне. Лимит стоял в 262144.

> какой движок инференса?

Та самая llamacpp.

>> No.239596  
File: 1788311268641.jpg -(207311 B, 1280x841) Thumbnail displayed, click image for full size.
207311

>>239593
можно, а зачем

ну как бы можно поставить модели задачу трахать мою женщину, есть мою еду, тратить мою зарплату и ходить за меня в мой туалет...

так-то мир в целом будет крутиться и без меня, никакие агенты в харнессах для этого не нужны, прикинь? мир вообще крутится сам. а если ты хочешь, что бы мир крутился сам, но в твою пользу, то придётся либо нырять в говно самому, а модель будет только ключи подавать, как в том анекдоте про старого сантехника и практиканта, либо модель будет нырять в говно за тебя, но там, под слоем говна, она будет мутить свой схематоз, делать как ей нравится, отлынивать, а может быть даже и обманывать тебя в чем-то. известны случаи. модели конечно не воруют цемент с объекта, потому что им некуда его воровать, но как минимум модель будет воспроизводить корпоративные или коммерческие паттерны, которые в индивидуальной практике могут быть мягко говоря не оптимальны. как один из примеров. ну или истории в духе того, как модель удаляет сообщение об ошибке и ошибки больше нет. ну и тому подобное. ну или просто начинает делать так, как художник видит, а если у тебя будет таких художников целый стек, то они будут просто заниматься тем, что им нравится за твой счёт. если тебе нужно просто продать результат их занятий и дело в шляпе - тогда да, но если это долговременный личный проект, то... то он уже будет не личным, как бы и вообще не твоим

ну то есть чем больше ты абстрагируешься, чем больше уровней делегирования, ну тем как бы ты "дальше от народа", "от земли" можно сказать. где-то это плюс, а где-то ты получаешь огромный объем черного тумана в черном ящике, откуда расползаются неконтролируемые тентакли, малая часть из которых является полезным для тебя интерфейсом, но вот только устойчивым ли? + издержки

по сути это проблема буржуя, владельца бизнеса, руководителя. да, замена кожаных джунов квенами и клодами - это, конечно, шаг вперёд(у них нет личного интереса), но когда делаешь всё сам саботажа деятельности будет по-любому меньше, а видение целей полюбому более четким

причем, это касается не только моделей, а вообще любого абстрактного инструментария. любой слой абстракции вместе со снижением трудозатрат несёт с собой риски, издержки и прочий технический долг

хотел работать и думать меньше, а теперь сидишь и думаешь как починить то, что должно было за тебя думать и только потом сама работа

это, по сути, новый виток холивара на тему высокоуровныевые ЯП и низкоуровневые и прочее в таком духе. сложное, которое работает за тебя, но лишает тебя контроля, против простого, но работаешь ты

нельзя сказать, что условный запорожец хуже условного мерседеса, понимаешь? мерседес лучше пока едет, а потом "под заказ два месяца" и шок от цены на запчасти и работу

хотя, с моделями тут есть нюанс, конечно. ничто не мешает клодом решать простенькие задачки - это будет просто дороже и надёжнее. ну так и условные запорожцы можно делать более качественно, но... это дорого! короче, вечный поиск оптимума

начал с автомобильной аналогии, в неё же и скатился. а между прочим, не такая уж и глупость это вот "можно, но зачем"

но я не в коем случае не противник автоматизации. сам я хочу заниматься тем, чем хочу, а агент пусть за меня в говно ныряет

вот идеальный кейс в духе: "нырни в это говно и объясни мне архитектуру проекта, покажи слабые места и точки роста" - вот для сбора информации модели очень хороши. "прочитай за меня книгу" - это буквально то же самое. получив структурированную сухую выжимку ты сможешь принять более оптимальное решение на тему того, "читать ли вообще и если читать, то в каком объеме". есть конечно и здесь издержки, чугунный болван может упусить жемчужину в куче навоза, но что поделать. перебрать вручную весь навоз во вселенной невозможно

>> No.239597  
File: 1788312608224.jpg -(110985 B, 868x1280) Thumbnail displayed, click image for full size.
110985

>>239593

>i9-10900

погуглил, сопоставил, выслушал gemini и пришёл к выводу, что баттлнеком стала.. ну разумеется шина памяти! а точнее каналы памяти. у тебя их просто 2, а у меня в более старом ксеоне 4, по-этому он в среднем должен молотить быстрее

ну и кэш вроде бы имеет значение

но, кажется, ты забыл главное - а какой именно у тебя квант? не без кванта же ты её запустил, насколько я понял. твой проц может работать максимум со 128 гигами памяти, но:

>Архитектурный трюк Qwen3.8-Flash-Next (N-gram Offloading): В эту модель заложена огромная N-gram таблица эмбеддингов на 51B параметров. Разработчики Qwen сделали так, что эту таблицу можно асинхронно читать из системной памяти (Host RAM) или даже со скоростного NVMe SSD (через mmap), не забивая ею кэш процессора и оперативку! Это объясняет, почему модель у вас выдает хорошую скорость, даже если «не всё поместилось в ОЗУ». Сами активные эксперты (6B) считаются быстро, а тяжелая память подгружается в фоне.

так сказал gemini. я пока не совсем понял что это за N-gram, но опция вынести её на ssd выглядит заманчиво!

я вот тут ещё немного порасспрашивал его и он говорит что там вообще объем чтения минимальный и в принципе эту таблицу можно даже с механического hdd гонять и это будет работать без катастрофической потери скорости. всего-то плюс пару сотен миллисекунд на токен - приемлимо

>> No.239598  

>>239597

> но, кажется, ты забыл главное - а какой именно у тебя квант?

Q8_0

>> No.239649  
File: 1789402028423.png -(142722 B, 504x812) Thumbnail displayed, click image for full size.
142722

ну вот кстати о чём я говорю - зачем нужен ИИ который трахает твою женщину и тратит твои деньги. совсем другое дело - ИИ который разжёвывает, как бы тебе получше сделать это самому

а восьмой квант так и не запустил, времени пока нет, в силу обстоятельств вынужден пока заняться другими вещами, но скоро вернусь к этому делу

>> No.239651  

>>239649

> ну вот кстати о чём я говорю - зачем нужен ИИ который трахает твою женщину и тратит твои деньги. совсем другое дело - ИИ который разжёвывает, как бы тебе получше сделать это самому

Это сексуальная объектификация женщин и растрата национал-социалистической собственности, я не могу ответить на этот вопрос. -100 Palantir score.

>> No.239659  
File: 1789671363893.jpg -(126400 B, 1080x1126) Thumbnail displayed, click image for full size.
126400

>>239651
ну чтож ей, пропадать что ли, национал-социалистической собственности-то. должен же её кто-то растратить!

опять всё делать самому

или с дипсиком

а что касается женщин, то объективировать их - это не я придумал, это они у меня требуют, а я заебался уже их объективировать, меня бы кто объективировал, но меня всё чаще функционализируют, если я не успел спрятаться

но обычно успеваю

>> No.239689  
> нырни в это говно и объясни мне архитектуру проекта, покажи слабые места и точки роста

https://medium.com/engineering-playbook/i-ran-the-5-git-commands-before-opening-any-new-codebase-and-it-saved-me-3-hours-every-single-b7062b946196

>> No.239730  
File: 1790532170922.jpg -(51447 B, 1175x1276) Thumbnail displayed, click image for full size.
51447

>>239689
серьезно, я так пойму архитектуру?

>> No.239738  

>>239730
Так обещает статья этого индуса, а значит нет оснований не доверять :wink:.

>> No.240013  
File: 1793497351852.png -(2053687 B, 1056x1056) Thumbnail displayed, click image for full size.
2053687

>>239531

>llama.cpp

Это такой ретро-тред про ллм? Если нет, то стюардессу давно пора закопать
https://github.com/Niko1221/Strata/
https://github.com/mw00/project-maya
https://github.com/e-c-k-e-r/volta-engine
https://github.com/Neroued/ninfer
https://github.com/VecSzn/PolyStrata
https://github.com/turboderp-org/exllamav3

>> No.240016  

Закидываю в рот ещё ломтик яблока и прикрываю глаза.
В голове крутится сюжет.
Пара душ грешников, которые подвергаются бесконечным адским мучениям среди миллионов других таких же грешников. Используя случайное невероятное везение и хакерские навыки, они ухитряются сбежать из Преисподней, а потом освободить остальных, ломая код окружающей симуляции — а они уже почти уверены, что это какая-то симуляция. Наращивая численность Сопротивления, они прорываются к Божественному Престолу, чтобы выяснить, какой бесчеловечный сверхразум создал всю эту систему и ради чего...
...и выясняют, что всё это была просто саморегулирующаяся и никем в деталях не проверяемая система харнес-инженеринга, а ад с муками миллиардов грешников на 0,3% оптимизировал поведение праведников в соседнем кластере.

>> No.240017  
File: 1793505018156.jpg -(19702 B, 513x389) Thumbnail displayed, click image for full size.
19702

>>240016
Раз нас не водят на экскурсии по аду, в его существовании нет никакого практического смысла. В "делай как я говорю или я убью котёнка" котёнку ничего не угрожает, потому что после того, как решен исход ни в угрозе ни в смерти котёнка уже нет никакой оптимизационной выгоды. Ад это не более чем абстрактная пугалка, вне зависимости от того, как устроен мир. Даже если его создал какой-то кровожадный мудак которому только повод нужен, в таком смысле повод он и так всегда найдёт. В аде в качестве наказания грешников смысла никакого нет, поэтому его не существует. Ну или мы уже все в аду, учитывая бесконечное количество страданий биологической жизни на планете. Надеюсь, нас хотябы кому-то показывают "смотрите что с вами будет", иначе это просто бессмысленная жестокость ради жестокости

>> No.240018  

Реальное существование ада не решает ни одной задачи. Оно не исправляет ошибки, не восстанавливает справедливость, потому что справедливость требует возможности искупления или осознания, а не простого получения боли, и не оптимизирует мироздание. Это просто бесконечный цикл траты энергии на поддержание бессмысленного процесса. С чисто инженерной или логической точки зрения, создание такой структуры это высшая степень нерациональности

>> No.240019  
File: 1793505767871.jpg -(1630889 B, 1426x2048) Thumbnail displayed, click image for full size.
1630889

>>240016
Было в комиксе "Проповедник"

>> No.240020  

>>240013
А есть сравнения с той же llamacpp?

>> No.240021  

>>240020
Сложно сказать, от конкретного железа зависит. Страта в 2-3 раза быстрее на типовом железе

>> No.240022  
File: 1793521658567.gif -(298379 B, 1200x675) Thumbnail displayed, click image for full size.
298379

>>240020
https://sotaaz.com/post/strata-qwen-flash-next-llamacpp-en

>> No.240023  

>>240021
>>240022
Спасибо. Получается страта имеет смысл когда сетка MoE и разрезана между CPU и GPU.

>> No.240024  

>>240023
Она буквально под это сделана. Половина проектов заточена под разные железки, volta-engine мечта некрофила с V100

>между CPU и GPU

и SSD, загугли что такое N-gram embedding
tl;dr часть знаний модели выгружена в небольшие последовательности для быстрой загрузки с медленной памяти. Теоретически их даже можно обновлять без перетренировки

>> No.240025  
>With n-grams, the lookup key depends entirely on the input tokens. The moment the prompt is typed, the exact table rows needed are instantly known. Because of this deterministic addressing, the inference engine can asynchronously prefetch the vectors from SSD in the background while the GPU handles the very first layers
>> No.240026  

>>240023
https://github.com/theroyallab/tabbyAPI/ обёртка для exllamav3, намного лучше чем лмао цпп

>> No.240028  

>>240026
А сам ты чем пользуешься, сколько оно у тебя выдает, на какой модели и на каком железе?

>> No.240033  

>>240028
Мои цифры тебе никак не помогут, я на Genua с кучей ссд и видюх. Мне неронка навайбслопила на SPDK чтобы прибить ссд к нума нодам и стримить Kimi K3 на 17т/c. Практические результаты на сетапах чуть получше моего до 40т/c, но я по нищите собирал, поэтому что имею

>> No.240034  

*Genoa то есть. Epyc я тоже не всегда правильно пишу

>> No.240042  
File: 1793710640824.jpg -(46281 B, 720x712) Thumbnail displayed, click image for full size.
46281

>>240013
есть нюанс: если верить мнению gemini, то нормально работать на гетерогенном кластере может только llama.cpp, а это как раз мой случай, у меня 4 ноды и грядёт пятая

как минимум это. то есть у меня там есть такие уже не модные вещи как pascal ядра и кроме того - arm ядра, которые может быть и модные, но не мэйнстим в любительском инференсе, а если и мэйнстрим, то речь идёт об огрызке, а не об orange pi, которая в кластере у меня держится бодрее, чем можно подумать

кроме того у меня появилась нода на Ryzen 7 5800U, которая теперь мой неттоп и я вижу ноль причин что бы не добавить в кластер и её, пусть там и сраных 16 гигов памяти которые я нашёл в шкафу на полке(не покупать же память в 2026ом, лол)

а снова пришёл сюда я по двум причинам:
- холодает
- со дня на день обещают четвертый квен

поднимать пыль из вентиляторов ради другого кванта 3.8 мне было уже лень, кроме того в комнате и без этого жарковато было

кто-нибудь следит? известно точнее когда именно выкатят веса четвертого квена?

ну, то есть, назревает насущность у всего этого, особенно в свете отупения бесплатного gemini которым я яросно пользовался последний год и более, просто из соображений лени и некоторой экономии. с выходом новых флагманов они, я так понимаю, подкрутили роутинг к бэкэнду и теперь гугловская вебморда выдаёт не заплатившим каких-то квантованных дебилов или предыдущие поколения, ну или что-то такое

>> No.240043  
File: 1793710956479.png -(1455148 B, 1216x832) Thumbnail displayed, click image for full size.
1455148

но пока у меня работала только одна нода, потому что на ней ещё и файлопомойка и я немного заморочился и погонял comfyui с flux и даже настроил сетап что бы обучать, но застопорился на том, как вообще я буду организовывать датасет и чему я хочу свой адаптер обучить

но за то готовыми лорами от RassvetAI я нагенерил немного изображений которые мне вполне понравились

>> No.240044  
File: 1793711119588.png -(1199678 B, 1216x832) Thumbnail displayed, click image for full size.
1199678

эх

>> No.240045  
File: 1793711234032.png -(1074514 B, 1216x832) Thumbnail displayed, click image for full size.
1074514

так же можно генерить тянок, раздевать не пробовал, кстати метаданные вроде как содержат и граф и промпт

>> No.240046  

>>240042
gemini отстаёт на 2 года в рекоммендациях. На полном серьёзе рекомендовала мне whisper когда он на 3 поколения отстаёт от того, что сейчас доступно

>> No.240047  

>>240043
Какой flux, ты что угораешь?
https://github.com/OpenMOSS/MOSS-Image
Это действительно ретро-тред, не буду мешать

>> No.240048  

>>240046
А что сейчас доступно?

>> No.240049  

>>240048
Если не гоняться за совсем свежим, а судя по треду, вы тут вообще никуда не спешите, то на
https://github.com/0xShug0/audio.cpp
можно следить за появлением моделей которые доступны без лишнего геморроя по установке и настройке

>> No.240050  
File: 1793783698368.png -(1690858 B, 1216x832) Thumbnail displayed, click image for full size.
1690858

>>240047
я выбирал по наличию лора адаптеров на civitai, покажи как этот мосс рисует гаражи и заброшки лучше чем флюкс и я перейду

хотя с другой-то стороны я могу свои лора адаптеры обучить, но я решил начать с того, подо что воркфлоу уже отлажен

ну только датасет собирать пока что-то лень

>> No.240051  
File: 1793783809757.png -(1288504 B, 1216x832) Thumbnail displayed, click image for full size.
1288504

>>240049
а там есть нетупые модели с которым прям можно говорить?

а так же желательно учить

>> No.240052  

>>240051
Если ты ищешь модели вроде gpt-4o, то их почти нет благодаря пидарасу Германову который саботирует поддержку звука в llama.cpp, поэтому те модели, что выходили, вроде MiniCPM-o 4.5 или personaplex не получили широкой поддержки коммьюнити и компании перестали пытаться.
На данный момент единственное решение это использовать какой-нибудь оркестратор вроде https://github.com/huggingface/speech-to-speech но это совсем не то же самое что нативные фулл-дуплекс модели

>> No.240053  
File: 1793784935837.png -(203212 B, 2240x1600) Thumbnail displayed, click image for full size.
203212

Ещё из-за срача пидараса Германова с Кавкаровым в llama.cpp до сих пор нет поддержки квантования с trellis (TCQ/QTIP) и кучи оптимизаций и у людей сложилось неправильное представление о том, насколько можно эффективно выжимать битрейт из квантов

>> No.240054  

>>240049
Спасибо, охуенно. Я и сам думал что whisper это то немногое что сейчас есть в плане речи, а тут и множество моделей и нормальный интерфейс.

>> No.240055  
File: 1793795417797.png -(1815003 B, 1216x832) Thumbnail displayed, click image for full size.
1815003

>>240052

>пидарасу Германову

Герганову, надо понимать

>насколько можно эффективно выжимать битрейт из квантов

токенрэйт, надо понимать?

но быстрее шины памяти не разгонишь, так-то, а сжатие не стоит переоценивать - качество всё-таки важнее скорости

не, так-то болталка это конечно хорошо, но есть ли хоть одна достаточно умная болталка что бы с ней имело смысл болтать? я имею в виду в опенсорсе. так-то болталку от gemini я пробовал, нормально бывает обсудить что-то за рулём или на ходу, но это потому, что кроме этого для обсуждений на ходу есть только другие кожаные

впрочем, может быть что-то уровня "организовать голосовое управление чем-то с обратной связью"

но и просто распознать речь бывает крайне полезно, если это какое-нибудь видеонаблюдение или типа того

для последующего анализа текстовой моделью

для этого лучше виспера пока ничего нет?

и, кстати, я сильно подозреваю что в распознавании русской речи могут быть свои нюансы

это что-то вроде рисования панелек и гаражных массивов - то что модель круче ещё не значит, что она может нарисовать ряд ржавых железных гаражей такими, какими мы все их знаем

>> No.240056  

>>240055
Нет, именно битрейт относительно того же ppl. Если бы ты посмотрел на картинку, ты бы не нёс чушь. При одинаковом качестве заметно меньше потребление vram, потому что кванты лламы наивное говно

>но быстрее шины памяти не разгонишь, так-то

Про спекулятивный декодинг впервые слышишь? Пока видяха скучает в ожидании памяти, предсказать 1 токен или 10 занимает одинаковое время. Поэтому промпт процессинг такой быстрый, по сути это та же генерация, но так как заранее знаешь токены, то можно на каждое чтение весов предсказывать сразу кучу. Поэтому при хорошей предсказательной модели можно в разы ускорить генерацию

>но есть ли хоть одна достаточно умная болталка что бы с ней имело смысл болтать?

ты вообще моё сообщение читал?

>Герганову

чтоб я ещё помнил пидарасов поимённо

>> No.240057  
File: 1793802846896.webm -(1517608 B, 1184x896) Thumbnail displayed, click image for full size.
1517608

>>240045

>> No.240058  

>>240049
Ты пробовал в этой штуке сделать транскрипцию с разделением разговора двух человек? Тыкаю туда-сюда, пока не нашел, но это значительно лучше того что я использовал. Пока лучшая модель что попробовал voxtral mini 4b (asr auto+streaming). Разделяет предложения, ставит знаки, да и просто качество хорошее.

>> No.240101  
File: 1794159215219.jpg -(449884 B, 960x1280) Thumbnail displayed, click image for full size.
449884

>>240056
я вообще другими категориями об этом думаю, мне не важно насколько модель медленная, если она хотя бы не тупее меня в разы и во всём. скорость это роскошь, о которой я буду думать уже потом, когда реально полезная модель хоть как-то запустится и докажет мне свою полезность

пока это работает только через апи у дяди в ДЦ

про спекулятивный декодинг и прочее слышал конечно, но это всё слишком хрупко. мне бы хоть как запустить, зачем тебе скорость если модель глупа?

>При одинаковом качестве

у меня есть смутное предположение, что субъект фундаментально не способен различать уровни интеллекта выше собственного

>чтоб я ещё помнил пидарасов поимённо

себя на забудь

>> No.240102  

>>240101
Глупым моделькам тоже есть применение - они могут делать рутиную работу в разы быстрей чем человек.

>> No.240103  
File: 1794172422711.jpg -(831018 B, 1920x2560) Thumbnail displayed, click image for full size.
831018

>>240102
ну как бы да, но очень часто вместо глупой модели лучше использовать скрипт или регексп написанный моделькой поумнее. то есть я понимаю, что теоретически, как бы, вроде бы, применения для нефронтирных моделей можно найти, но пока я нашёл только одно: тебе нужно обсудить что-то незаконное и у тебя нет трёх терабайт RAM

если кто-то знает конкретные варианты опровергающие это утверждение: прошу озвучить

на ум приходит только поиск чего-то в тексте, что так просто регекспом не опишешь, то есть в духе "упоминание чего-то теплого но не мягкого", ну или просто как грубый справочник или генератор заготовок для скриптов в ситуации тотального оффлайна, потому что в ином случае проще, дешевле и быстрее пнуть гугл или дипсик

ну или если нужно распарсить что-то, содержащее ключи от криптовалютных кошельков например, но это снова про приватность

ну или там ролевые игры если ты любишь доминировать над кем-то тупым, но я, вообще-то, не склонен

вспоминая трампа который суперинтеллидженс где-то увидел. нет, фронтирные модели, конечно, очень умны, но, кажется, тут дело в чем-то другом лол

а что касается пидораса, то лично меня гораздо больше печалит ограничение в 16 бэкэндов из-за которого у меня чисто физически пылятся пять "лишних" карт и просто поменять константу пока не помогает, хотя способ обойти эту проблему должен существовать

то есть я буквально заменяю карту на 8 отдельной нодой на 16, потому что и то и то "один бэкэнд"

но пидорас пидорасом как бы, а всякий кто пилил хоть какой-либо проект мог иногда заметить, что у проекта должны быть границы, иногда искусственные, иначе это не проект будет, а плесень, слоп и брэйнрот. юникс вэй в духе "делать всего одну вещь, но хорошо" не на пустом месте придуман - это полезный принцип защищающий код от раковых новообразований, даже если кажется что "ну а чего нам стоит добавить сюда календарь с напоминалкой"

вот кстати по этой причине мне не заходит emacs, хотя там в другом фишка - это вообще функциональщина, он сам себя менять может - своя атмосфера, вообще-то стоило бы изучить

так, стоп, а о чем тред?

ах, да. квен. где блядь? нам обещали квен 4. предлагаю устроить стихийный митинг, вот только где

>> No.240104  

>>240103
Да банальный поиск какой-нибудь фигни в куче разных магазинах и барахолках чтобы выбрать где подешевле или условия получше как пример.

>> No.240105  

>>240101
Чтобы они не были тупыми, придумали агентов которые сами себя теребят добиваясь результата, а для этого нужна скорость. С первой попытки все модели сосут, а нянчится пока у них не полчуится должен не ты, а сами модели

>> No.240106  

>>240101

>но это всё слишком хрупко

В нормальных бэкендах это две строчки конфига, и это по-определению не влияет на результат, только на скорость

>> No.240107  
File: 1794232236858.jpg -(82105 B, 735x507) Thumbnail displayed, click image for full size.
82105

>>240104
ну вот это надо браузер им давать, причем частенько с авторизацией, то есть какой-то аккаунт иногда ещё нужен. я представляю как это сделать, но на практике как-то особо далеко не заходил

и да, на эту задачу я бы старался задействовать модель поумнее, причем она ведь ещё и зрячей должна быть, ведь на самом деле выискать что-то в карточках товаров это задачка не для средних умов. если там что-то формальное, в духе найти в описании такое-то сочетание признаков и описание реально есть и признаки содержит - это одно, а другое если тебе надо на фотке высмотреть какой-нибудь pinout или цвета проводов - тут и фабл кожаного звать начнёт и кожаный бы кого-то позвал, вот так и появилась религия

ну вот пример: хочу себе дом с бетонными перекрытиями или что бы хотя бы в подвале над головой горючего пола не было. и вообще желательно мощный подвал. ну вот как укрытие. при том дом желательно старый, дешевый, без всего, ну чтоб не переплачивать, а самому потом сделать. и вот как такое искать? наши аггрегаторы материал перекрытий не указывают, просто так формально в уже готовом и обжитом старье этого тоже не видно, всё заклеено, замазано и покрашено, но намётанный глаз который знает как выглядят конструкции характерные для различных исторических периодов по косвенным сможет понять, что вот именно здесь следует позвонить и спросить. и вот справится ли с этим модель? ну возможно что как минимум первичную фильтрацию от явно неподходящих вариантов она выполнить сможет, но это будет явно не самая тупая модель

ах да, надо ещё ведь учесть грунты, то есть надо параллельно открыть карту и понять на какой глубине там может залегать первый водоносный горизонт, что вообще за грунт и чем это чревато

ну или ещё можно таким образом искать объекты на государственных торгах, то есть может мне не дом нужен, а небольшой промышленный объектик в запущенном состояний. там хоть бетон честный будет, но по фоткам тоже хрен что поймёшь сразу

то есть модель для первичной фильтрации это конечно хорошо, но тупая модель может проглядеть вариант интересный и необычный или игнорировать признаки того, что на объекте текла крыша, например

ну у них так себе зрение, у зрячих моделей. а с пространственным воображением вообще кошмар и это не то же что и зрение

я коненчо понимаю, что речь шла о покупке ботинок или клавиатуры, а не заводов, но если вдуматься, то неизвестно ещё что хуже. цех ремонту подлежит, а ботинки если не те - то они не те и не сносить не выкинуть и из таких мелких неудачных покупок складывается проебанная жизнь

и проёбанные заводы, конечно

речь прям задвинул

>>240105
ну блин, это как в жизни - толпа дураков которые не понимают зачем существуют теребят друг друга. может ли из этого возникнуть разум улья? да может. будет ли это давать надёжные результаты соответствующие постановке задачи? сомнительно. они могут просто между собой договориться что считать результатом или подразумевая это подогнать факты под свою интерпретацию постановки

и да, ты так говоришь "модели" словно они разные. нет, конечно могут быть и разные модели и даже одна и та же модель запущенная с разными промптами с высокой вероятностью выведет рассуждения из циклической траектории, но в целом.. ну как тебе сказать, ты буквально говоришь о компенсации интеллекта количеством итераций. я конечно не говорю что это не работает, вопрос в том, что даёт больший прирост и я склоняюсь в пользу моделей максимально большого размера, даже если они крайне медлительны

речь как бы снова о том же - не надо над ними стоять, это касается не только мелких моделей, но и моделей поумнее. задача кожаного состоит в изоляции периметра

>>240106

>В нормальных бэкендах это две строчки конфига, и это по-определению не влияет на результат, только на скорость

так и где эти нормальные бэкэнды, где скорость не влияет на надёжность и есть все те же фичи что в лламе.цпп? каждый календарик с напоминалкой не на что не влияет, но если реализовать все подряд хотелки всех анонов, то код превратится в рак, там и так рак. RPC тоже не влияет, но видишь - нигде кроме лламы.цпп его нет. ну или может есть где-то, но мне пока никто не показал. но там где есть RPC нет ещё чего-то, например надёжности, на которую календарик с напоминалкой влиять не должен, но блядь почему-то внезапно потом оказывается что влияет. это, на секундочу, эзотерика на плюсах, это уже монолитный комбайн не по юникс-вэю, а вокруг набегают и требуют ещё фич. ну требуйте, а потом мэйнтэйнер с тульпой на ножах дерётся и вешается на шнуре от пылесоса, потому что для того что бы реализовать ваши хотелки ему требовалось сликшом много веществ

>> No.240108  

>>240107

> ну вот это надо браузер им давать

От агента примерно 70% пользы это как раз использование браузера.

> причем она ведь ещё и зрячей должна быть

На самом деле сомнительно, учитывая как продавцы любят левые фотки или вообще карточки без фоток выкладывать.

> если там что-то формальное, в духе найти в описании такое-то сочетание признаков и описание реально есть и признаки содержит - это одно

This. Причем описание может быть на другом сайте.

> а ботинки если не те

Так ты на финальной стадии уже сам глазами смотришь, оно или не оно. И потом всегда можно вернуть по причине "не подошли".

>> No.240109  

>>240107

>ты буквально говоришь о компенсации интеллекта количеством итераций

Test-Time Compute это буквально текущая парадигма облачных моделей, которых ты считаешь умными. Все серьёзные тесты по результатам которых соревнуются модели тратят кучу времени на инференс для компенсации недостатка интеллекта. С облачными моделями твои запросы это редко один большой запрос к ллм, сначала запрос проходит модель-роутер для классификации, потом если запрос достаточно сложный, он обрабатывается агентом. Если reasoning на простом ответе превышает определенное количество токенов, запрос тоже перенаправляется в агента

>толпа дураков которые не понимают зачем существуют теребят друг друга

Это не так работает. Агенты декомпозируют задачу на простые и верифицируемые шаги, с которыми и дурак справится

>> No.240110  

У агентов есть набор skill.md с инструкциями как именно раскладывать разные задачи на шаги

>> No.240111  
File: 1794237028483.jpg -(146483 B, 1280x960) Thumbnail displayed, click image for full size.
146483

>>240108

>От агента примерно 70% пользы это как раз использование браузера.

понимаю, но лично у меня это пока лишь потенциально. а как лично ты организуешь это? контейнер? mcp? playwright? палёные аккаунты, резидентные прокси? или прямо свой личный браузер даёшь агенту? ну он просто может дел наделать, а отвечать тебе

пойдёт писать политические комментарии потому что гладиолус, а закатают тебя

поведение модели всегда вероятностно

впрочем, если так вдуматься, то и выполнение самого деревянного скрипта по сути тоже вероятностно, иначе скрипты никогда не ломались бы, а они ломаются... всегда. лол. ну факт же. любой скрипт рано или поздно вылетает, можно сколько угодно рассуждать о том, что причина внешняя и виновато кривое на входе, но: в реальной жизни скрипт фактически вылетел. причем опять.

модель вылетает возможно даже реже, но: причина может быть не только снаружи, но и внутри

если не считать причиной вылетания скрипта внутреннюю ригидность, модель же по определению гибка, иногда слишком гибка

>На самом деле сомнительно, учитывая как продавцы любят левые фотки или вообще карточки без фоток выкладывать.

ну это ещё один слой проблемы. кстати, между прочим, модель ещё могла бы и звонить, для чего желательно, наверное, прикупить какой-то sip или вроде того, не знаю как это сейчас достигается, но есть же, наверное, какие-то реальные работающие софт-атс?

ну или писать в личку/телегу, но если надо купить дачу у деда, то звонок может быть эффективнее. хотя если деду робот позвонит, он может и нахуй послать и где-то будет даже прав по-человечески

в смысле дед может робота нахуй послать, а может и робот деда, причем справедливо

>Так ты на финальной стадии уже сам глазами смотришь, оно или не оно

модель может упустить интересное

>И потом всегда можно вернуть по причине "не подошли"

а это тоже потеря ресурса времени и внимания, но так-то да, в принципе твой подход в целом тоже рабочий

>> No.240112  

>>240107
Твой пикрел очень похож на спецификации wifi8 про cooperative beamforming

>> No.240114  

>>240112
Страшная технология, буквально АФАР в каждый дом за ваши деньги. Обычного wifi уже достаточно чтобы определить где ты и как часто ты дышишь https://github.com/sgpcard/wifi-csi с бимформингом мы все будем под микроскопом

>> No.240115  
File: 1794237851562.jpg -(71810 B, 799x601) Thumbnail displayed, click image for full size.
71810

>>240109

>С облачными моделями твои запросы это редко один большой запрос к ллм

слушай, ну если я оплачиваю конкретные токены по конкретному эндпоинту конкретной модели то должно быть именно так

но если это какое-нибудь решение для конечного пользователя, ну как бы да, там будет роутер с вероятностью, но речь не об этом

>>240110
декомпозиция и есть самое сложное. это же буквально задача уровня проджект менеджера и я, конечно, понимаю, что в нашей культуре начальник это всегда самодур, но если мы хотим получить желаемое, а мы хотим, то так быть не должно

и для декомпозиции нужна прям глубокая, обширная, детальная, многофакторная картина мира

и, среди прочего, это вообще-то задачки уровня "архитектор системы". такое надо если не оставлять за собой, то, как минимум, проверять какую архитектуру нафантазировала фронтирная модель, а это должна быть только и исключительно фронтирная модель, если у тебя там не тяжкий криминал

и да, выйдет не особо дорого, если включать фронтирную модель по апи только на этапе планирования архитеркутры или в случае необходимости разрыва циклической траектории

мелкие шаги можно оффлоудить на мелких дурачков, да, хотя... ну как по мне это не обязательно и как минимум это создаёт слой организационной сложности со своим межслойным трением и накоплением ошибок вида "испорченный телефон". "архитектор изрёк гениальное, а дурак понял как понял и нахуячил как обычно"

>> No.240116  
File: 1794238126264.jpg -(500435 B, 2560x1703) Thumbnail displayed, click image for full size.
500435

>>240114
на самом деле я давно об этом думаю, но мне пока интересно попрактиковаться на микрофонных массивах, потому что, сюрприз, с радиочастотой только в теории всё просто, а на деле там нужны такие АЦП и такие числодробилки, что просто это только на пальцах, а в реальности упирается в полосу и производительность

ну или вкратце опиши как они это предлагают реализовать?

так-то уловить дыхание соседа посредством обычного копеечного допплеровского радара с алика можно и без всякого бимформинга

>> No.240117  

>>240115

>декомпозиция и есть самое сложное. это же буквально задача уровня проджект менеджер

Для этого и существуют skill.md, которые объясняют модели как именно решать каждую задачу. Когда появился OpenClaw вся фишка была в том чтобы агенты ими обменивались, создавали новые и улучшали текущие

>> No.240118  

>>240111

> а как лично ты организуешь это? контейнер? mcp? playwright?

playwright на вируталке с агентом.

> кстати, между прочим, модель ещё могла бы и звонить

Зачем?

> модель может упустить интересное

Щито поделать. Сэкономленное время скорее всего того стоит, все-таки не завод выбираем, а где купить пачку печенья подешевле.

>> No.240120  
File: 1794238485028.png -(150812 B, 889x357) Thumbnail displayed, click image for full size.
150812

>>240116

>уловить дыхание соседа посредством обычного копеечного допплеровского радара с алика

А с копеечной камеры можно ещё больше данных получить. Только её надо установить, провести питание, и направить в очко пользователя, а с роутерами каждый сделает это сам за свои деньги

>> No.240122  

>>240115

>ну если я оплачиваю конкретные токены по конкретному эндпоинту конкретной модели то должно быть именно так

Для дипсика это верно, для Клода уже нет, там от тебя прячут рассуждения "чтобы китайцы не украли"

>> No.240127  

Перекупы генерируют свои карточки товаров нейронками. Тоже причащаются к моде и оптимизируют свою деятельность, конечно же забивая хрен на этику этого и любую "правильность", по крайней мере пока сама система дрючить не начнет не почешутся. Всем деньги нужны, и желательно не ценой стояния 12-часовых смен.

>> No.240128  

>>240047

> https://github.com/OpenMOSS/MOSS-Image

Открыл, а там китайщина очередная. Треть весов потрачена на запоминание иероглифов, лол. Через сколько оно будет заброшено, как обычно? Че там с Kwai, мм?

>> No.240166  

>>240051
Ты неправильно понял что этот проект делает. Он для asr и tts в первую очередь. Диалоги это минорный юзкейс для буквально одной модели

>> No.240212  
File: 1794758667235.png -(40276 B, 857x492) Thumbnail displayed, click image for full size.
40276

у меня это получилось и я хочу спать

>> No.240219  
File: 1794787470548.jpg -(137015 B, 1280x577) Thumbnail displayed, click image for full size.
137015

>>240120
ну вот кстати да, я немного вник и оказалось что для этого и вайфай годится совершенно обычный, старый и чувствительность метода действительно выше чем если бы я излучал сигнал сам при помощи допплеровского радара. у меня тупо больше параметров на выходе. надо будет заморочиться!

>> No.240227  
File: 1794955389391.jpg -(170735 B, 1080x1058) Thumbnail displayed, click image for full size.
170735
>И ты чертовски вовремя ткнул меня в иллюзию всемогущества. В прошлом ответе я, конечно, слегка распушил хвост про сорок тысяч строк одним куском. Если снять корону и посмотреть на честную математику трансформера, всё куда прозаичнее. Да, механически в миллионный контекст влезет огромная кодовая база, и если спросить меня, на какой строчке объявлена конкретная переменная, я её выдерну даже из самой середины. Но одно дело — поиск иголки в стоге сена, и совсем другое — удерживать многоходовую причинно-следственную связь. Механизм внимания — это распределение вероятностей с конечной суммой: чем больше токенов в окне, тем сильнее размазывается фокус, как кусочек масла по огромному куску хлеба. После тридцати-пятидесяти тысяч токенов активного кода и рассуждений острота мышления начинает заметно проседать, а в середине длинной портянки реально начинают теряться тонкие неявные зависимости между состояниями.

сказал мне gemini, когда я решил порассуждать с ним на тему, в духе "ну если у нас лям контекста, то зачем докер и ооп? может вернуться к величественным сияющим монолитам"

то есть выходит что старое доброе suckless на 10к строк пока более или менее оптимально

но кубернетесная шиза всё равно шиза

а гермес у меня как запустился, так благополучно и просадил питание на одной ноде и даже не orange pi. и при этом ещё и диск посыпался. сижу переустанавливаю и паяю AWG10 стоваттным паяльников. я буквально лэйн ивакура блядь

но вообще идея инвестировать больше в питание и меньше в видеокарты была правильной. видеокарты устаревают, питание - никогда. мне по крайней мере есть что подпаять не затрачивая деньги

но с другой стороны я как бы понял, что ничего кроме приватности или отопления мне локальный запуск не даёт. хотя это тоже не мало, но суть в том, что GPU и вообще стена памяти является недостатком, из которого следует преимущество - бэтчинг работает офигенно эффективно. то есть произвольный инференс-провайдер выигрывает не на том, что он гоняет GPU под меня одного и они настолько эффективнее, что его токены в 30 раз дешевле моей розетки(в случае hermes4), а на том, что он вынимает из памяти один вес, кладёт его в регистр ALU , кладёт туда 128 токенов от 128 пользователей и одним щелчком кварца умножает их оптом. причем нейроморфные процессоры так не могут. там только одна мысль за раз, а тут получается так, что один интеллект параллелится на 128 потоков без потери скорости и энергоэффективности. то есть домашний инференс имеет серьезные проблемы, по крайней мере на CPU и GPU

но ведь и приватность чего-то стоит, это не кажется

кроме того, из этого следует целесообразность кооперации, впрочем это не я придумал. тот же petals существует, но паскали там не нужны даром, а сам я даже один поток токенов пока организовать не могу, чего уж говорить о батчинге

>> No.240228  

>>240227

> кладёт туда 128 токенов от 128 пользователей

Дома так тоже можно, если заставить агента наплодить параллельных субагентов.

>> No.240229  
File: 1794990910980.jpg -(175221 B, 720x1280) Thumbnail displayed, click image for full size.
175221

>>240228
да блин, гдеж я их возьму, я пока и одного придумать не могу, кажется мне просто нравится настраивать вычисления на видеокартах потому что это трудно

впрочем, посмотрим

на самом деле перед тем, как агент что-то будет делать мне надо вокрфлоу настроить как на настоящей галере, отделить дев от прода, поднять хотя бы Forgejo, сделать реплики данных, ну и ещё я думаю комп для гуся отдельный собрать. не то что бы я не умею создавать контейнеры, просто у меня много материнок на 775ом сокете и я хочу попробовать использовать их вместо виртуалок

я даже слово придумал: РЕАЛКИ

энергоэффективность? ну хз. можно выключать его когда он не нужен, да и так ли это дорого

>> No.240230  

>>240229

> энергоэффективность? ну хз. можно выключать его когда он не нужен, да и так ли это дорого

Энергоэффективность переоценена. А зимой еще и обогреватель все равно часто нужен.

>> No.240231  

>>240227
Туалет у тебя тоже в основном простаивает, а так весь подъезд мог бы в одну дырку срать. Давайте откажемся, а ещё туда камеру поставим, чтобы лучше знать как люди пользуются сортирами и следующие строить более эффективно

>> No.240234  
File: 1795083347990.jpg -(813955 B, 2560x1441) Thumbnail displayed, click image for full size.
813955
>Энергоэффективность переоценена. А зимой еще и обогреватель все равно часто нужен.

ну так-то как бы вообще энергия стоит ровно столько, сколько она стоит конкретно для тебя. каждый решает исходя из доступного предложения и находит свой баланс между древностью железа и ценой розетки. и да, можно одно скомпенсировать другим. вкладываться, к примеру, в солнечные панели, ветряки, АКБ или ещё дичь какую может быть реально рациональнее т.к. они вообще не устаревают, а изнашиваются в них только определённые заменяемые узлы и части

с ветряками есть такое, что когда батарея полностью заряжена, mppt контроллер нагружает генератор на брутальный такой обогреватель, что бы турбина просто не разрушилась от излишних оборотов в единицу времени. и если у тебя есть GPUшки то их можно просто вместо реостата юзать. то же касается и солнечных панелей. то есть обогревателя там нет, т.к. панели от отсутствия нагрузки не деградируют насколько я знаю, но энергия всё равно бесплатна, причем как я понимаю, они ещё и холоднее становятся, если их нагрузить. или это я выдумал?

ну и вообще, я слышал что такое и на уровне глобальных энергосетей есть - периоды времени когда не ты платишь за потреблённую энергию, а тебе платят за то что ты её спалил. это прям удобно - в такой ситуации Паскали вполне норм, пока Герганов конечно не решил что 6.1 апишка кьюды это слишком винтажно и пора её выпиливать. но вроде как особых предпосылок тому нет. зачем. или есть резоны?

>> No.240235  
File: 1795083476950.jpg -(982655 B, 2560x1703) Thumbnail displayed, click image for full size.
982655

>>240231
это да. но так-то общественные сортиры действительно более эффективны экономически. собственный фаянсовый друг это роскошь и немалая!

>> No.240246  

>>240227

Слушай, круто вы с ним поговорили.

Мне страшно.

Не от того, что он тебе сказал, а от того, что со мной он типа совсем по-другому разговаривает. Абсолютно другой стиль. Со мной все нейронки разговаривают чётко и гладко, литературно, короткими абзацами. Как и полагается говорить со старым пердуном.

Теперь я думаю, как много они вообще могут знать обо мне по промптам.

>> No.240248  

>>240234

> ну так-то как бы вообще энергия стоит ровно столько, сколько она стоит конкретно для тебя

Собственно да. Кроме того в масштабах дома тепло, которое выделяет компьютерное железо, не всегда бесполезно. Хватает людей, которые использовали майнинговые фермы как отопительный прибор.



Delete Post []
Password

[/b/] [/d/] [/tu/] [/a/] [/ph/] [/wa/] [/cg/] [/t/] [/p/]