Персональный веб-сайт 🌐
Пытался разобраться в бедах Search Engine Indexing. Заметил эту проблему уже давненько. Беда в том, что Google постепенно удаляет страницы моего блога из базы данных. Это видно на графике: количество индексированных страниц идёт вниз.
- Полностью убрал Notify URL API из моего кода, ибо от него нет пользы.
- Буду заново проходить ручную индексацию с трекером.
Цель: дойти до уровня индексации 99%…100%.
Похоже что способа автоматизировать индексацию в Google через API реально не существует. Либо вставляешь URL вручную в Google Search Console, либо ждёшь пока Google сам решит, что сайт достаточно популярный, и соизволит его проиндексировать.
LLM KV-cache quant 👓
Экспериментировал с квантами KV. По умолчанию имеем K=F16, V=F16. Понижение до Q8 даёт ощутимый прирост скорости, особенно при недостатке VRAM. Однако, после тестов решил, что оно того не стоит, ибо потеря точности слишком большая. Прочитал такое сравнение: когда понижаете KV, то модель как будто надевает мутные очки, смотрит сквозь туман, и не может разглядеть слова в входных данных. Лучше оставить KV на F16 и потерпеть низкую скорость.
Видеокарта ретроспектива, RX 7900 XT 🖥️
В прошлом году я купил новую видеокарту для LLM, и с тех пор ею пользовался. Старая видеокарта имела 16 ГБ VRAM на борту, а новая 20 ГБ. На момент покупки я сомневался, стоит ли оно того? Теперь, по прошествии 8 месяцев, могу сделать такие выводы:
- 📗LLM размером до 27B летает
- 🔰LLM размером 31B пашет, но постепенно наполняющийся контекст жёстко лагает
Стоило ли оно того? Да, но вообще-то нет 🥴
- 🟢 Да, потому что видеокарту я активно использовал, и сказать что она “пылилась без дела” я не могу 🧹
- 🟡 Нет, потому что апгрейд с 16 до 20 ГБ не такой уж и значительный. LLM ехали кое-как и на старой видеокарте. Раньше тормозов было больше, но разница не принципиальная…
В итоге, основной вывод такой: логичнее было доплатить и сразу перейти на максимальную видеокарту из RX7000 серии, с 24 ГБ памяти. Либо продолжать спокойно сидеть на 16 ГБ. А смысла в “промежуточном” решении на 20 ГБ между 16 ГБ и 24 ГБ оказалось мало 🧐
