Ollama est un outil open source sous license MIT, qui vous permet d’héberger facilement votre propre modèle de langage avancé sur votre ordinateur ou votre serveur. Il fournit une interface simple pour interagir avec ces modèles et les intégrer dans vos applications.
Avec Ollama, vous pouvez :
- Héberger des modèles de langage populaires tels que Llama 2,Falcon 40B et OPT-IML-2.7B sur votre propre matériel.
- Interagir avec ces modèles via une interface en ligne de commande ou l’API HTTP fournie par Ollama.
- Utiliser Ollama comme une passerelle pour accéder à des modèles hébergés sur d’autres serveurs, tels que les modèles proposés par NVIDIA.
Pour utiliser Ollama, vous devez disposer d’un ordinateur doté d’une carte graphique compatible avec le modèle de langage que vous souhaitez exécuter. Ollama prend en charge les cartes graphiques NVIDIA CUDA et AMD ROCm, ce qui permet l’exécution de modèles volumineux sur des machines puissantes.
Gentoo Linux était dépourvue d’installation classique pour Ollama. Les ebuilds prenant en charge l’application, sont directement installables, et fonctionnels. Ils sont disponible dans cet overlay dédié : https://ftp.pingwho.org/pub/gentoo/ftp/overlay/pingwho-overlay/app-misc/ollama-bin/
Par sécurité, ce paquet nécessite également, acct-user/ollama et acct-group/ollama, pour que le service fonctionne avec son utilisateur dédié, et ainsi restreindre l’accès au Shell.
Les logs de compilation, sont disponible içi :
https://gist.github.com/jaypeche/55d6c1fb1f6799a6ee027deb3e9bd3a9