hacktricks/src/todo/test-llms.md

51 lines
7.5 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# Тест LLMs
## Запуск та навчання моделей локально
### [**Hugging Face Transformers**](https://github.com/huggingface/transformers)
Hugging Face Transformers є однією з найпопулярніших бібліотек з відкритим кодом для використання, навчання та розгортання LLM, таких як GPT, BERT та багатьох інших. Вона пропонує всебічну екосистему, яка включає попередньо навчені моделі, набори даних та безшовну інтеграцію з Hugging Face Hub для доопрацювання та розгортання.
### [**LangChain**](https://github.com/langchain-ai/langchain)
LangChain є фреймворком, розробленим для створення додатків з LLM. Він дозволяє розробникам підключати мовні моделі до зовнішніх джерел даних, API та баз даних. LangChain надає інструменти для розширеного проектування запитів, управління історією розмов та інтеграції LLM у складні робочі процеси.
### [**LitGPT**](https://github.com/Lightning-AI/litgpt)
LitGPT є проектом, розробленим Lightning AI, який використовує фреймворк Lightning для полегшення навчання, доопрацювання та розгортання моделей на основі GPT. Він безшовно інтегрується з іншими інструментами Lightning AI, надаючи оптимізовані робочі процеси для обробки великих мовних моделей з покращеною продуктивністю та масштабованістю.
### [**LitServe**](https://github.com/Lightning-AI/LitServe)
**Опис:**\
LitServe є інструментом розгортання від Lightning AI, призначеним для швидкого та ефективного розгортання AI моделей. Він спрощує інтеграцію LLM у реальні додатки, надаючи масштабовані та оптимізовані можливості обслуговування.
### [**Axolotl**](https://github.com/axolotl-ai-cloud/axolotl)
Axolotl є хмарною платформою, розробленою для спрощення розгортання, масштабування та управління AI моделями, включаючи LLM. Вона пропонує такі функції, як автоматичне масштабування, моніторинг та інтеграція з різними хмарними сервісами, що полегшує розгортання моделей у виробничих середовищах без значного управління інфраструктурою.
## Спробуйте моделі онлайн
### [**Hugging Face**](https://huggingface.co/)
**Hugging Face** є провідною платформою та спільнотою для машинного навчання, особливо відомою своєю роботою в обробці природної мови (NLP). Вона надає інструменти, бібліотеки та ресурси, які спрощують розробку, обмін та розгортання моделей машинного навчання.\
Вона пропонує кілька розділів, таких як:
* **Моделі**: Великий репозиторій **попередньо навчених моделей машинного навчання**, де користувачі можуть переглядати, завантажувати та інтегрувати моделі для різних завдань, таких як генерація тексту, переклад, розпізнавання зображень тощо.
* **Набори даних:** Всебічна **колекція наборів даних**, що використовуються для навчання та оцінки моделей. Це полегшує доступ до різноманітних джерел даних, дозволяючи користувачам знаходити та використовувати дані для своїх конкретних проектів машинного навчання.
* **Простори:** Платформа для хостингу та обміну **інтерактивними додатками машинного навчання** та демо. Вона дозволяє розробникам **демонструвати** свої моделі в дії, створювати зручні інтерфейси та співпрацювати з іншими, обмінюючись живими демо.
## [**TensorFlow Hub**](https://www.tensorflow.org/hub) **&** [**Kaggle**](https://www.kaggle.com/)
**TensorFlow Hub** є всебічним репозиторієм повторно використовуваних модулів машинного навчання, розроблених Google. Він зосереджується на полегшенні обміну та розгортання моделей машинного навчання, особливо тих, що побудовані з TensorFlow.
* **Модулі:** Велика колекція попередньо навчених моделей та компонентів моделей, де користувачі можуть переглядати, завантажувати та інтегрувати модулі для завдань, таких як класифікація зображень, вбудовування тексту тощо.
* **Посібники:** Покрокові інструкції та приклади, які допомагають користувачам зрозуміти, як реалізувати та доопрацьовувати моделі за допомогою TensorFlow Hub.
* **Документація:** Всебічні посібники та API посилання, які допомагають розробникам ефективно використовувати ресурси репозиторію.
## [**Replicate**](https://replicate.com/home)
**Replicate** є платформою, яка дозволяє розробникам запускати моделі машинного навчання в хмарі через простий API. Вона зосереджується на тому, щоб зробити ML моделі легко доступними та розгорнутими без необхідності в значному налаштуванні інфраструктури.
* **Моделі:** Репозиторій моделей машинного навчання, внесених спільнотою, які користувачі можуть переглядати, пробувати та інтегрувати моделі у свої додатки з мінімальними зусиллями.
* **Доступ до API:** Прості API для запуску моделей, які дозволяють розробникам без зусиль розгортати та масштабувати моделі у своїх додатках.