Τρέξε τα δικά σου AI μοντέλα στους δικούς σου servers. Το Lion AI Cloud οργανώνει nodes Ollama και llama.cpp σε ένα gateway με API keys, ουρά και παρακολούθηση.
Οι εικόνες προέρχονται από το ίδιο το λογισμικό, με δεδομένα επίδειξης.
Το Lion AI Cloud είναι το control plane που χρησιμοποιεί η LionHost για τα δικά της AI εργαλεία, όπως ο βοηθός υποστήριξης στο WHMCS. Συνδέει servers με Ollama ή llama.cpp και τους παρουσιάζει ως ένα ενιαίο gateway.
Είναι σχεδιασμένο πρώτα για CPU servers, χωρίς να απαιτεί κάρτες γραφικών: ο scheduler λαμβάνει υπόψη RAM, δίσκο και φόρτο κάθε node, ενώ είναι έτοιμο και για GPU nodes όταν χρειαστούν.
Κάθε εφαρμογή παίρνει δικά της API keys, όριο requests ανά λεπτό, μηνιαίο quota, επιτρεπτά μοντέλα και pools, δικό της system prompt και ξεχωριστή βάση γνώσης. Τα requests μπαίνουν σε ουρά με κλάσεις προτεραιότητας, ώστε η υποστήριξη πελατών να μην περιμένει πίσω από μια μαζική εργασία.
Τηλεμετρία CPU, RAM και δίσκου από read-only agent.
Pull, warm, διαγραφή και πολιτικές τοποθέτησης μοντέλων.
Όρια, quota και επιτρεπτά μοντέλα για κάθε εφαρμογή.
Background, batch, interactive, coding, support, critical.
Ιστορικό tokens/sec και latency ανά node και μοντέλο.
Maintenance windows, backups ρυθμίσεων, alerts και firewall.
Όχι. Το Lion AI Cloud είναι σχεδιασμένο για CPU servers και υποστηρίζει και GPU nodes όταν υπάρχουν.
Ollama και llama.cpp.
Στους servers που συνδέεις εσύ. Τα μοντέλα τρέχουν τοπικά στα δικά σου nodes.