- AI infratuzilmasini ma’lumotlar tashqi bulutlarga chiqmaydigan qilib joylashtirish mumkinmi?
- Ha, GPU serverlar va klasterlar, lokal LLM va modellar uchun platformalar buyurtmachi perimetri ichida joylashtiriladi, shu sababli ma’lumotlar buyurtmachining o‘z infratuzilmasidan tashqariga chiqmaydi. Bunday yondashuv «GPU’da AI infratuzilmasi» loyihasida qo‘llanilgan: o‘qitish, inferens va lokal LLM uchun quvvat ma’lumotlarni tashqi bulutlarga yubormasdan qurilgan.
- AI infratuzilmasini qurishda qanday ishlab chiqaruvchilar bilan ishlaysiz?
- NVIDIA, Lenovo, Dell Technologies, Nutanix, Red Hat va SUSE bilan ishlaymiz, shuningdek Nutanix GPT-in-a-Box, Red Hat OpenShift AI va SUSE Rancher platformalaridan foydalanamiz.
- Modellarni o‘qitish va inferens uchun qancha GPU, xotira va tarmoq kerakligi qanday hisoblanadi?
- O‘lchamlash buyurtmachining aniq vazifalariga qarab amalga oshiriladi: GPU platformasi tanlanadi va modellarni o‘qitish hamda inferens uchun zarur hisoblash quvvati, xotira, saqlash va tarmoq hisoblab chiqiladi.
- Xodimlar allaqachon tashqi LLM bilan ishlayotgan bo‘lsa va bu ma’lumotlar sizib chiqishi xavfini tug‘dirsa, nima qilish kerak?
- Bunday holat uchun xodimlar tashqi LLM bilan ishlaganda ma’lumotlarni himoya qilish, shuningdek tajriba bosqichidagi modellarni buyurtmachi perimetri ichidagi lokal infratuzilmada to‘laqonli ekspluatatsiyaga o‘tkazish ko‘zda tutilgan.