[/b/] [/d/] [/tu/] [/a/] [/ph/] [/wa/] [/cg/] [/t/] [/p/]

[Burichan] [Foliant] [Futaba] [Greenhell] [Gurochan] [Photon] - [Home] [Manage] [Archive]

Leave these fields empty (spam trap):
Name
Link
Subject
Comment
File [
Verification
Password (for post and file deletion)
  • Supported file types are: GIF, JPG, PDF, PNG
  • Maximum file size allowed is 30720 KB.
  • Images greater than 200x200 pixels will be thumbnailed.

File: 1787774565420.jpg -(53928 B, 757x428) Thumbnail displayed, click image for full size.
53928 No.239531   [Reply]

а есть тут ламадрочеры? в смысле дрочеры в llama.cpp

ну вот, например, вопрос: я упёрся в предел 16 GPU. нет, я не ограбил банк, просто это майнинговые говнократы на ядрах pascal которые я взял по 50 баксов, когда они стоили 50 баксов года 4 назад

они висят на 1х райзерах и распределены по RPC нодам

и это даже работает!

кстати, хочешь возоржать? у меня одна нода на orange pi 5 с 16 гигами RAM и она, конечно, в разы отстаёт от паскалей и e5-2696 v3, но в целом её присутствие в кластере имеет смысл. варианты запуска Qwen3.5-122B-A10B-Opus-Reasoning-Q6_K.gguf с участием апельсинки, ксеона и части паскалей даёт 4.5 токена в секунду, а если заменить апельсинку паскалями, то 6. просто как эксперимент.

так вот: я упёрся даже не в 16 GPU, а в 16 бэкэндов и просто менять константы в llama.cpp перед компиляцией не помогает. у меня просто тупо получаются лишние карты, а в наше время это лютое расточительство

Comment too long. Click here to view the full text.
60 posts and 28 images omitted. Click Reply to view.
>> No.240053  
File: 1793784935837.png -(203212 B, 2240x1600) Thumbnail displayed, click image for full size.
203212

Ещё из-за срача пидараса Германова с Кавкаровым в llama.cpp до сих пор нет поддержки квантования с trellis (TCQ/QTIP) и кучи оптимизаций и у людей сложилось неправильное представление о том, насколько можно эффективно выжимать битрейт из квантов

>> No.240054  

>>240049
Спасибо, охуенно. Я и сам думал что whisper это то немногое что сейчас есть в плане речи, а тут и множество моделей и нормальный интерфейс.

>> No.240055  
File: 1793795417797.png -(1815003 B, 1216x832) Thumbnail displayed, click image for full size.
1815003

>>240052

>пидарасу Германову

Герганову, надо понимать

>насколько можно эффективно выжимать битрейт из квантов

токенрэйт, надо понимать?

но быстрее шины памяти не разгонишь, так-то, а сжатие не стоит переоценивать - качество всё-таки важнее скорости

не, так-то болталка это конечно хорошо, но есть ли хоть одна достаточно умная болталка что бы с ней имело смысл болтать? я имею в виду в опенсорсе. так-то болталку от gemini я пробовал, нормально бывает обсудить что-то за рулём или на ходу, но это потому, что кроме этого для обсуждений на ходу есть только другие кожаные

Comment too long. Click here to view the full text.
>> No.240056  

>>240055
Нет, именно битрейт относительно того же ppl. Если бы ты посмотрел на картинку, ты бы не нёс чушь. При одинаковом качестве заметно меньше потребление vram, потому что кванты лламы наивное говно

>но быстрее шины памяти не разгонишь, так-то

Про спекулятивный декодинг впервые слышишь? Пока видяха скучает в ожидании памяти, предсказать 1 токен или 10 занимает одинаковое время. Поэтому промпт процессинг такой быстрый, по сути это та же генерация, но так как заранее знаешь токены, то можно на каждое чтение весов предсказывать сразу кучу. Поэтому при хорошей предсказательной модели можно в разы ускорить генерацию

>но есть ли хоть одна достаточно умная болталка что бы с ней имело смысл болтать?

ты вообще моё сообщение читал?

>Герганову
Comment too long. Click here to view the full text.
>> No.240057  
File: 1793802846896.webm -(1517608 B, 1184x896) Thumbnail displayed, click image for full size.
1517608

>>240045

>> No.240058  

>>240049
Ты пробовал в этой штуке сделать транскрипцию с разделением разговора двух человек? Тыкаю туда-сюда, пока не нашел, но это значительно лучше того что я использовал. Пока лучшая модель что попробовал voxtral mini 4b (asr auto+streaming). Разделяет предложения, ставит знаки, да и просто качество хорошее.

>> No.240101  
File: 1794159215219.jpg -(449884 B, 960x1280) Thumbnail displayed, click image for full size.
449884

>>240056
я вообще другими категориями об этом думаю, мне не важно насколько модель медленная, если она хотя бы не тупее меня в разы и во всём. скорость это роскошь, о которой я буду думать уже потом, когда реально полезная модель хоть как-то запустится и докажет мне свою полезность

пока это работает только через апи у дяди в ДЦ

про спекулятивный декодинг и прочее слышал конечно, но это всё слишком хрупко. мне бы хоть как запустить, зачем тебе скорость если модель глупа?

>При одинаковом качестве

у меня есть смутное предположение, что субъект фундаментально не способен различать уровни интеллекта выше собственного

>чтоб я ещё помнил пидарасов поимённо
Comment too long. Click here to view the full text.
>> No.240102  

>>240101
Глупым моделькам тоже есть применение - они могут делать рутиную работу в разы быстрей чем человек.

>> No.240103  
File: 1794172422711.jpg -(831018 B, 1920x2560) Thumbnail displayed, click image for full size.
831018

>>240102
ну как бы да, но очень часто вместо глупой модели лучше использовать скрипт или регексп написанный моделькой поумнее. то есть я понимаю, что теоретически, как бы, вроде бы, применения для нефронтирных моделей можно найти, но пока я нашёл только одно: тебе нужно обсудить что-то незаконное и у тебя нет трёх терабайт RAM

если кто-то знает конкретные варианты опровергающие это утверждение: прошу озвучить

на ум приходит только поиск чего-то в тексте, что так просто регекспом не опишешь, то есть в духе "упоминание чего-то теплого но не мягкого", ну или просто как грубый справочник или генератор заготовок для скриптов в ситуации тотального оффлайна, потому что в ином случае проще, дешевле и быстрее пнуть гугл или дипсик

ну или если нужно распарсить что-то, содержащее ключи от криптовалютных кошельков например, но это снова про приватность

ну или там ролевые игры если ты любишь доминировать над кем-то тупым, но я, вообще-то, не склонен

Comment too long. Click here to view the full text.
>> No.240104  

>>240103
Да банальный поиск какой-нибудь фигни в куче разных магазинах и барахолках чтобы выбрать где подешевле или условия получше как пример.



File: 1794067700174.png -(800123 B, 1254x1254) Thumbnail displayed, click image for full size.
800123 No.240078   [Reply]

Анализируют ли путём массовой автоматической обработки данных частную и групповую переписку своих пользователей (незашифрованную встроенными средствами) владельцы ориентированных на смартфоны централизованных проприетарных IM?

>> No.240080  

>>240078
Если и анализируют то тщательно это скрывают.

>> No.240083  

Трудно представить причины, по которым это бы не происходило.

>> No.240086  

>>240078
А какая разница делают ли это именно они, если у тебя дефолтная google android клавиатура gboard на том что ты пишешь обучается, чтобы лучше autosuggestion генерировать?

А так отвечая на твой вопрос — МОГУТ, но я не в курсе каких-то сливов по этой теме, как и >>240080

>> No.240089  

>>240086

> дефолтная google android клавиатура gboard

Не все ей пользуются.

>> No.240090  

>>240089
Кто не пользуется — молодец. Та что в graphene os мне напоминает simple keyboard из fdroid, но я не уверен.

>> No.240100  

>>240089
из забавного - в сигнале якобы своя ПРИВАД клавиатура должна быть без этого, но совершенно точно могу сказать, что после обсуждения эксклюзивно сигнальной тематики, начал получать рекомендации



File: 1794123655744.png -(6222127 B, 2500x3500) Thumbnail displayed, click image for full size.
6222127 No.240096   [Reply]
>> No.240097  

Предыдущий >>202466

>> No.240099  

danbooru уже несколько дней не работает из-за подозрений взлома



File: 1784998133266.jpg -(2807994 B, 2500x1000) Thumbnail displayed, click image for full size.
2807994 No.239034   [Reply]
364 posts and 190 images omitted. Click Reply to view.
>> No.240063  
File: 1793842126389.png -(5180711 B, 2048x2048) Thumbnail displayed, click image for full size.
5180711

Test

>> No.240064  

>>240062
Паяльником не получилось снять контроллер, а кусачек подходящего размера не нашлось. На самом деле там полоски мягкие, можно было бы и так просто отодрать, но я боялся плату повредить. Да и вообще, не так чтобы срочно.

>Банки-то новые хоть заказал

Нет, мне их сваривать нечем. В каком-то магазине видел уже с заводскими контактами, надо туда заглянуть.

>> No.240065  

>>240064

> мне их сваривать нечем

При большом желании можно таки припаять, хоть это и не рекомендуется. Главное не перегреть в процессе.

>> No.240066  

Я сижу на лекции,
По психопроекции
Ничего не понимаю
Лишь башкой своей киваю...

>> No.240068  
File: 1793895425099.png -(1760135 B, 1024x1024) Thumbnail displayed, click image for full size.
1760135

Пипец, нашел развлекуху. Полетел настроенный ВПН, начали особо жестко его блочить. Ну, я его и чинил почти две недели. Реализовал крайне ебанутую схему в которой вся сеть ВПН ходит в интернет с домашнего роутера. Настроил фильтрацию, что бы не приходилось включать выключать ВПН на российских сайтах. Ну, и заодно поднял файлопомойку на самбе на роутере. Да еще и белый айпишник ему зачем то купил. В принципе уже знаю как можно все улучшить и «поприкалываться» еще. Теперь понимаю xray core на новом уровне… В принципе за это время еще много чем по прикалывался, но это уже другие истории:3

>> No.240070  

>>240068
С возвращением в свободный интернет.

>> No.240071  

>>240070
Полегче, он не машинувремени изобрел.

>> No.240077  

>>240071
Все уже изобретено после нас.

>> No.240079  

>>240068
Как же завидую нормальным людям которым это настолько не надо, что трудно представить.

>> No.240095  
File: 1794104112949.jpg -(31976 B, 250x375) Thumbnail displayed, click image for full size.
31976

Иммерсивно эрондондоним, пацаны. VR переживает второе рождение или типа того https://questports.com/



File: 1659016406891.jpg -(70271 B, 700x543) Thumbnail displayed, click image for full size.
70271 No.202466   [Reply]
493 posts and 113 images omitted. Click Reply to view.
>> No.240082  

>>240081
Ну паролить граб то такое, оно при наличии физического доступа к машине все равно обходится. А без физического доступа в grub и не попасть. А вот ssh уже как правило голой жопой в интернет торчит.

>> No.240084  

>>240082
Паролят не только от боевой мейды под прикрытием, но и от мамки.

> А вот ssh уже как правило голой жопой в интернет торчит.

Да. Оно должно было быть давно в Metasploit, с такой эпичностью. Странно.

>> No.240085  

>>240084

> но и от мамки

Там по идее сам факт запроса пароля cможет остановить. Впрочем всегда есть возможность поставить пароль на биос.

>> No.240087  

>>240076
И что? Типа у NSA был доступ к эксплоиту до того как его обычным работягам типа нас слили?

>> No.240088  

>>240076
Соус?

>> No.240091  

>>240088
/a/nime website
На странице печать "declassified", но в сети я этого документа не нашел. Так что может быть фейком.
Но мы то с вами понимаем...

>> No.240092  

>>240091
Если присмотреться, похоже на фейк.

>> No.240093  

>>240091

>declassified

Оно может быть просто уже не SCI / TS, а Unclassified / Law Enforcement Sensitive или типа того.

Но то что у трёхбуквенных инфа про эксплоиты была раньше чем у разрабов, вынужденных соблюдать эмбарго, вполне вписывается в мою картину мира и чему удивляются тут другие я, если честно, не понимаю. Даже если авторы эксплоита не из того же ведомства.

>> No.240094  

>>240087
>>240093

>эксплоита

Вулны (vulnerability) конечно. Quick fix. В прочем в этом контексте не важно.

>> No.240098  

Новый тред >>240096



File: 1775937305910.jpg -(302687 B, 2048x1450) Thumbnail displayed, click image for full size.
302687 No.237043   [Reply]
337 posts and 287 images omitted. Click Reply to view.
>> No.239986  
File: 1793129178305.jpg -(49475 B, 639x633) Thumbnail displayed, click image for full size.
49475
>> No.239987  
File: 1793129307776.jpg -(54324 B, 720x644) Thumbnail displayed, click image for full size.
54324
>> No.240001  
File: 1793257759801.jpg -(65838 B, 746x560) Thumbnail displayed, click image for full size.
65838
>> No.240002  
File: 1793303145525.jpg -(264922 B, 1080x1440) Thumbnail displayed, click image for full size.
264922
>> No.240009  

>>240001

>и несколько человек им пользуется

У меня есть такой проект и я был немного шокирован что Geminy его однозначно распознаёт по куску кода. Возможно, причина в том, что я изначально хостил его на google code

>> No.240027  
File: 1793538619186.jpg -(198136 B, 995x1300) Thumbnail displayed, click image for full size.
198136
>> No.240032  
File: 1793549115153.jpg -(58022 B, 603x638) Thumbnail displayed, click image for full size.
58022
>> No.240072  
File: 1793987998432.jpg -(24233 B, 1079x383) Thumbnail displayed, click image for full size.
24233
>> No.240073  
File: 1793999269285.jpg -(183832 B, 960x950) Thumbnail displayed, click image for full size.
183832
>> No.240074  
File: 1793999311263.jpg -(76669 B, 640x604) Thumbnail displayed, click image for full size.
76669


File: 1788987928099.jpg -(442537 B, 700x896) Thumbnail displayed, click image for full size.
442537 No.239627   [Reply]

Предыдущий: >>236022

11 posts omitted. Click Reply to view.
>> No.239752  

>>239675 Вывеска: «Весь секс у нас в шопе».

>> No.239756  

Надпись на могильном камне: «Здесь покоится величайший напёрсточник всех времён». На двух соседних: «Или здесь».

>> No.239759  

>>239674 Знак с рюмкой на упаковке бытовой техники означает, что покупку нужно обмыть.

>> No.239760  

Историки раскрыли секрет невероятной прочности раствора, использованного при строительстве римского акведука. Как показали последние исследования сохранившихся документов, в начале строительства были принесены в жертву более сотни строителей, воровавших со стройки цемент.

>> No.239995  

«Разве капитан не должен оставлять корабль последним?» — удивились матросы.
«Вы и есть последние, — ответил капитан, налегая на вёсла. — Я оставляю корабль вам».

>> No.239996  

>>239674 «Она ловила рыбу, а он её жарил.»

>> No.240000  

— Оставь лучше голосовое сообщение.
— Пачиму ты нихочиш штобы я тибе песал?
— Люблю твой голос.

>> No.240007  

>>237053
>>236174

> Just imagine it’s 2am in the morning and you hear a faint “Nothing on one, nice click on two, nothing on three, four” outside your house
> Я непонел

Вскрытие замка отмычками. Вслух.

>> No.240008  

>>240007
Конкретно это отсылка к LPL https://www.youtube.com/@lockpickinglawyer/videos

>> No.240061  

Молодая офицантка прибегает в испуге на кухню кафе: в зале сидит страшного вида зек, весь в наколках, попросил какого-нибудь чаю на её вкус.
Повар заварил крепчайший чифирь; офицантка относит его зеку, тот пробует и говорит: «Да, дочка… Вижу жизнь-то тебя помотала».



File: 1791717789198.jpg -(83668 B, 768x768) Thumbnail displayed, click image for full size.
83668 No.239799   [Reply]

Какие быстрые и безболезненные способы совершить роскомнадзор существуют не за кучу денег?

61 posts and 5 images omitted. Click Reply to view.
>> No.239999  

>>239998
То есть, вышло пять студентов и зашли две вахтёрши, которые стали читать лекцию преподавателю, о том как ему нужно преподавать. Придут два студента, и вахтёрши станут читать лекцию им, а преподавателя оставят в покое. Но это всё с точки зрения преподавателя, то есть, внешнего мира относительно отдельного студента. Нас же интересует точка зрения студента. Он изучает теорию относительности, и к нему пришёл он же из будущего, который ему сказал, что он точно знает эту лекцию и сдал экзамен. Таким образом, если студент ушёл с лекции, следовательно, преподаватель должен был читать ему лекцию с бесконечной силой, чтобы даже отсутствующий студент её усвоил.
Мы ведь не про студентов, студенты могут уйти от лекции. А Вася не может уйти из жизни от проблем, и он не уходит а исчезает. Ведь нет, на самом деле, какого-то места без проблем, куда уходят.

>> No.240010  

>>239968

> 1792964475522.jpg

Ах, какие времена были! Какие мобилы! Вот бы щас делали съёмную клавиатуру-повербанк для современных лопат, похожую на эти с пикчи.

>> No.240011  

>>240010

> Вот бы щас делали съёмную клавиатуру-повербанк для современных лопат, похожую на эти с пикчи.

Их время от времени делают, но потом проваливаются в продажах и банкротятся.

>> No.240012  
File: 1793466732276.jpg -(556171 B, 1750x1300) Thumbnail displayed, click image for full size.
556171

>>239968
Ну а я пользуюсь сетевым фильтром, который являет собой древний ноут с FreeBSD и коммутатор Cisco Catalist. Bind, Squid и pf.
Алсо, в полевых условиях можно совершать роскомнадзор при помощи v2rayN.

>> No.240035  

>>239799
Нужна сотня пачек чипсов и плотно закрывающийся шкаф. Залезай внутрь и начинай их все открывать. Ты даже не заметишь как азот из пачек снизит концентрацию кислорода ниже 10%

>> No.240036  

Уцух, удали тред, тут действенные советы пошли.

>> No.240037  

>>240036
Я не думаю что этот совет осуществим на практике

>> No.240038  

салфеточный рассчёт показал, что ты истеричка не умеющая в юмор

>> No.240039  

>>240038 Сразу пошли оскорбления.

>> No.240040  
File: 1793700153970.png -(651635 B, 540x720) Thumbnail displayed, click image for full size.
651635

>>240039
оу, действительно не имеешь. мои соболезнования



File: 1663968511136.webm -(582441 B, 836x960) Thumbnail displayed, click image for full size.
582441 No.203969   [Reply]
347 posts and 238 images omitted. Click Reply to view.
>> No.238394  
File: 1780866744125.gif -(2403549 B, 640x360) Thumbnail displayed, click image for full size.
2403549
>> No.238437  
File: 1781128277906.gif -(975283 B, 460x268) Thumbnail displayed, click image for full size.
975283

… я вашу цензуру!

>> No.238469  
File: 1781369302774.webm -(3065383 B, 750x722) Thumbnail displayed, click image for full size.
3065383
>> No.238483  
File: 1781383361166.gif -(3294888 B, 478x564) Thumbnail displayed, click image for full size.
3294888
>> No.238515  
File: 1781460926063.gif -(14539153 B, 450x450) Thumbnail displayed, click image for full size.
14539153
>> No.238537  
File: 1781576427636.gif -(3134127 B, 258x258) Thumbnail displayed, click image for full size.
3134127

>>238483 Кот гипнотизёр.

>> No.238710  
File: 1782544079463.webm -(490815 B, 464x848) Thumbnail displayed, click image for full size.
490815
>> No.239632  
File: 1789021175998.webm -(2939921 B, 1280x720) Thumbnail displayed, click image for full size.
2939921
>> No.239637  
File: 1789141038958.gif -(1871046 B, 600x338) Thumbnail displayed, click image for full size.
1871046

Последний вагон синий.

>> No.240014  
File: 1793498025470.gif -(2139582 B, 300x203) Thumbnail displayed, click image for full size.
2139582


No.240003   [Reply]

Где я

>> No.240004  

Тут

>> No.240005  

Внигде.



Delete Post []
Password
Previous [0] [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20]

[/b/] [/d/] [/tu/] [/a/] [/ph/] [/wa/] [/cg/] [/t/] [/p/]