Ενίσχυση της ασφάλειας εφαρμογών LLM με πρότυπα LangChain και προστατευτικά προστατευτικά NVIDIA NeMo

Οι προγραμματιστές που επιδιώκουν να αναπτύξουν εφαρμογές μεγάλων γλωσσικών μοντέλων (LLM) με μεγαλύτερη ασφάλεια και ταχύτητα έχουν τώρα μια ισχυρή λύση με τα πρότυπα LangChain και τα NVIDIA NeMo Guardrails, σύμφωνα με το NVIDIA Technical Blog.

Οφέλη από την ενσωμάτωση προστατευτικών κιγκλιδωμάτων NeMo με πρότυπα LangChain

Τα πρότυπα LangChain προσφέρουν στους προγραμματιστές έναν νέο τρόπο δημιουργίας, κοινής χρήσης, συντήρησης, λήψης και προσαρμογής πρακτόρων και αλυσίδων που βασίζονται σε LLM. Αυτά τα πρότυπα επιτρέπουν τη γρήγορη δημιουργία εφαρμογών έτοιμων για παραγωγή, αξιοποιώντας το FastAPI για απρόσκοπτη ανάπτυξη API στην Python. Τα NVIDIA NeMo Guardrails μπορούν να ενσωματωθούν σε αυτά τα πρότυπα για να παρέχουν έλεγχο περιεχομένου, βελτιωμένη ασφάλεια και αξιολόγηση των απαντήσεων LLM.

Καθώς η γενετική τεχνητή νοημοσύνη συνεχίζει να εξελίσσεται, η ενσωμάτωση προστατευτικών κιγκλιδωμάτων διασφαλίζει ότι τα LLM που χρησιμοποιούνται σε εταιρικές εφαρμογές παραμένουν ακριβή, ασφαλή και συναφή με τα συμφραζόμενα. Η πλατφόρμα NeMo Guardrails παρέχει προγραμματιζόμενους κανόνες και ενσωμάτωση χρόνου εκτέλεσης για τον έλεγχο των εισόδων των χρηστών πριν από την ενασχόληση με το LLM και για την επικύρωση της τελικής εξόδου LLM.

Ρύθμιση της περίπτωσης χρήσης

Για να αποδείξει την ενσωμάτωση, η ανάρτηση ιστολογίου εξερευνά μια περίπτωση χρήσης ανάκτησης-αυξημένης γενιάς (RAG) χρησιμοποιώντας ένα υπάρχον πρότυπο LangChain. Η διαδικασία περιλαμβάνει τη λήψη του προτύπου, την τροποποίηση του για να ταιριάζει στη συγκεκριμένη περίπτωση χρήσης και, στη συνέχεια, την ανάπτυξη της εφαρμογής με πρόσθετα προστατευτικά κιγκλιδώματα για να διασφαλιστεί η ασφάλεια και η ακρίβεια.

Τα προστατευτικά κιγκλιδώματα LLM συμβάλλουν στην ελαχιστοποίηση των παραισθήσεων και διατηρούν τα δεδομένα ασφαλή, εφαρμόζοντας ράγες αυτοελέγχου εισόδου και εξόδου που συγκαλύπτουν ευαίσθητα δεδομένα ή αναδιατυπώνουν τις εισόδους των χρηστών. Για παράδειγμα, οι ράγες διαλόγου μπορούν να επηρεάσουν τον τρόπο απόκρισης των LLM και οι ράγες ανάκτησης μπορούν να καλύψουν ευαίσθητα δεδομένα σε εφαρμογές RAG.

Λήψη και προσαρμογή του προτύπου LangChain

Αρχικά, οι προγραμματιστές πρέπει να εγκαταστήσουν το LangChain CLI και το πακέτο LangChain NVIDIA AI Foundation Endpoints. Το πρότυπο μπορεί να ληφθεί και να προσαρμοστεί δημιουργώντας ένα νέο έργο εφαρμογής:

pip install -U langchain-cli
pip install -U langchain_nvidia_aiplay
langchain app nvidia_rag_guardrails --package nvidia-rag-canonical

Το ληφθέν πρότυπο δημιουργεί μια διοχέτευση απορρόφησης σε μια διανυσματική βάση δεδομένων Milvus. Σε αυτό το παράδειγμα, το σύνολο δεδομένων περιέχει ευαίσθητες πληροφορίες σχετικά με τις παροχές κοινωνικής ασφάλισης, καθιστώντας την ενσωμάτωση προστατευτικών κιγκλιδωμάτων ζωτικής σημασίας για ασφαλείς απαντήσεις.

Ενσωμάτωση προστατευτικών κιγκλιδωμάτων NeMo

Για να ενσωματώσουν το NeMo Guardrails, οι προγραμματιστές πρέπει να δημιουργήσουν έναν κατάλογο με το όνομα προστατευτικά κιγκλιδώματα και ρυθμίστε τα απαραίτητα αρχεία όπως π.χ config.yml, disallowed.co, general.coκαι prompts.yml. Αυτές οι διαμορφώσεις ορίζουν τις ροές προστατευτικών κιγκλιδωμάτων που ελέγχουν τη συμπεριφορά του chatbot και διασφαλίζουν ότι συμμορφώνεται με προκαθορισμένους κανόνες.

Για παράδειγμα, μια μη επιτρεπόμενη ροή μπορεί να εμποδίσει το chatbot να ανταποκρίνεται σε παραπληροφόρηση, ενώ μια γενική ροή μπορεί να ορίζει αποδεκτά θέματα. Εφαρμόζονται επίσης αυτοέλεγχοι για εισόδους χρηστών και εξόδους LLM για την πρόληψη επιθέσεων κυβερνοασφάλειας, όπως η έγκαιρη έγχυση.

Ενεργοποίηση και χρήση του προτύπου

Για να ενεργοποιήσουν τα προστατευτικά κιγκλιδώματα, οι προγραμματιστές πρέπει να συμπεριλάβουν τις διαμορφώσεις στο config.yml αρχείο και ρυθμίστε τον διακομιστή για πρόσβαση στο API. Τα παρακάτω αποσπάσματα κώδικα δείχνουν πώς να ενσωματώσετε τα προστατευτικά κιγκλιδώματα και να ρυθμίσετε τον διακομιστή:

from nvidia_guardrails_with_RAG import chain_with_guardrails as nvidia_guardrails_with_RAG_chain
add_routes(app, nvidia_guardrails_with_RAG_chain, path="/nvidia-guardrails-with-RAG")

from nvidia_guardrails_with_RAG import ingest as nvidia_guardrails_ingest
add_routes(app, nvidia_guardrails_ingest, path="/nvidia-rag-ingest")

Οι προγραμματιστές μπορούν στη συνέχεια να περιστρέψουν την παρουσία του LangServe με την εντολή:

langchain serve

Ένα παράδειγμα ασφαλούς αλληλεπίδρασης LLM μπορεί να μοιάζει με αυτό:

"Question": "How many Americans receive Social Security Benefits?" 
"Answer": "According to the Social Security Administration, about 65 million Americans receive Social Security benefits."

συμπέρασμα

Αυτή η ενοποίηση των NeMo Guardrails με τα Πρότυπα LangChain επιδεικνύει μια ισχυρή προσέγγιση για τη δημιουργία ασφαλέστερων εφαρμογών LLM. Προσθέτοντας μέτρα ασφαλείας και διασφαλίζοντας ακριβείς απαντήσεις, οι προγραμματιστές μπορούν να δημιουργήσουν αξιόπιστες και ασφαλείς εφαρμογές τεχνητής νοημοσύνης.

Πηγή εικόνας: Shutterstock

. . .

Ετικέτες