а есть тут ламадрочеры? в смысле дрочеры в llama.cpp
ну вот, например, вопрос: я упёрся в предел 16 GPU. нет, я не ограбил банк, просто это майнинговые говнократы на ядрах pascal которые я взял по 50 баксов, когда они стоили 50 баксов года 4 назад
они висят на 1х райзерах и распределены по RPC нодам
и это даже работает!
кстати, хочешь возоржать? у меня одна нода на orange pi 5 с 16 гигами RAM и она, конечно, в разы отстаёт от паскалей и e5-2696 v3, но в целом её присутствие в кластере имеет смысл. варианты запуска Qwen3.5-122B-A10B-Opus-Reasoning-Q6_K.gguf с участием апельсинки, ксеона и части паскалей даёт 4.5 токена в секунду, а если заменить апельсинку паскалями, то 6. просто как эксперимент.
так вот: я упёрся даже не в 16 GPU, а в 16 бэкэндов и просто менять константы в llama.cpp перед компиляцией не помогает. у меня просто тупо получаются лишние карты, а в наше время это лютое расточительство
Comment too long. Click
here to view the full text.
Обстановка: нахожусь психиатрический стационар, пожизненно.
Сделал полезный телефонный звонок, но психиаторше он не понравился и она добавила мне рисполепт, бессрочно. Я переключил назначение на клопиксол, который хотя бы не обрушивает работу всех нейромедиаторов, и выиграл время пока этот клопиксол не будет доставлен в стационар.
Есть вариант договориться дальше о том чтобы вместо получения нейролептика - отдать телефон, оставив только ноутбук. Андроид по многим причинам хуйня + подключение к Сети жрёт большой процент моих денег. Стоит ли? Помогите советом. Работать удалённо не умею.