Hubungan antara perusahaan AI dan militer Amerika terbuka awal tahun ini ketika Anthropic mengalami pertarungan publik yang buruk dengan Pentagon. Setelah Anthropic minta jaminan bahwa produk AI-nya tidak akan digunakan untuk pengawasan domestik atau senjata otonom, Pentagon melarang semua agensi federal dan kontraktor berbisnis dengan Anthropic; perusahaan itu menggugat untuk mencabut larangan itu, dan pertarungan berisiko tinggi sedang berlangsung di pengadilan.
Tapi di belakang layar, perjuangan AI yang sama pentingnya meski kurang dramatis sedang terjadi—saat agensi pertahanan dan intelijen AS mencoba memanfaatkan teknologi ini tanpa mengorbankan kebutuhan akan kerahasiaan. Sejumlah kecil perusahaan infrastruktur AI diam-diam melakukan pekerjaan kompleks yang jarang terlihat, yang memungkinkan pemerintah AS menggunakan AI dengan aman.
"Mungkin ini pasar senilai $2 miliar saat ini," kata Nicolas Chaillan, pendiri platform AI bernama Ask Sage yang digunakan ribuan tim di Departemen Pertahanan. Peluang yang dikejar perusahaan-perusahaan "sekop dan pacul" ini muncul dari dilema ekstrem yang dihadapi siapa pun yang ingin menggunakan LLM siap pakai pada data rahasia: Mereka mencoba mencari cara menggunakan alat kuat ini tanpa tanpa sengaja membocorkan informasi salah ke orang yang salah melalui proses pelatihan AI.
Perusahaan infrastruktur AI ini dapat lebih sedikit perhatian media untuk kerja pemerintah daripada perusahaan besar seperti Google, xAI, OpenAI, dan tentu saja Anthropic. Sampai perselisihan baru-baru ini pecah, model Claude milik Anthropic adalah salah satu dari sedikit LLM yang disetujui untuk digunakan di jaringan rahasia Departemen Pertahanan. Tapi pengaturan ini dimungkinkan oleh kesepakatan tahun 2024 dengan dua perusahaan lain yang menyediakan infrastruktur yang diperlukan—Palantir dan Amazon Web Services (AWS)—yang mengoperasikan platform perangkat lunak dan layanan cloud aman yang menghosting AI-nya. Bayangkan model bahasa besar itu seperti pesawat tempur terbaru militer AS: Perusahaan infrastruktur menyediakan sesuatu seperti radio dan landasan pacu yang membantu mesin baru ini berkomunikasi dengan sisa militer, dan mendarat dengan aman.
"Mungkin ada, saya tidak tahu, seratus orang, 200 orang yang sangat peduli tentang pertanyaan ini di dalam komunitas intelijen," kata Emily Harding, mantan analis CIA yang sekarang meneliti teknologi pertahanan di Center for Strategic and International Studies. "Saya pikir ada jutaan dan jutaan pebisnis yang akan menghadapi masalah yang sama, meski risikonya tidak setinggi itu."
Pemimpin perusahaan yang memiliki banyak informasi rahasia mungkin pernah mengalami beberapa versi masalah ini dengan strategi AI mereka. Bayangkan melatih instance khusus ChatGPT atau Claude dengan semua file penting perusahaan: dokumen kasus firma hukum; laporan riset internal perusahaan farmasi; data rantai pasokan real-time retailer; model risiko atau memo due diligence bank investasi. Dengan dilatih pada korpus seperti itu, asisten AI dapat berbicara bahasa perusahaan Anda dengan lancar, dan mengungkap koneksi yang sangat menguntungkan dalam file Anda. Tapi pertimbangkan konsekuensinya jika orang yang salah—misalnya, kompetitor— mendapatkan akses ke asisten itu.
"Ini seperti Catch-22," kata Harding kepada Fortune. "Kasih terlalu banyak informasi, dia tahu terlalu banyak. Tidak kasih cukup informasi, dia tidak bisa bekerja."
Dengan prompt yang tepat dari pihak luar, isi file rahasia apa pun yang disentuh AI selama pelatihan bisa terbongkar. Artinya, mengajarkan semua rahasia perusahaan ke LLM bisa meningkatkan bisnis—dan sekaligus berisiko menghancurkannya.
Ketika rahasia adalah masalah keamanan nasional
Sekarang bayangkan betapa buruknya masalah itu jika asisten AI itu bekerja untuk CIA, di mana kerahasiaan adalah masalah keamanan nasional dan kebocoran bisa membahayakan nyawa.
Agensi intelijen dan militer bergantung pada pemisahan informasi sensitif. Agen dan analis manusia mendapatkan akses ke rahasia berdasarkan kebutuhan yang ketat untuk mengurangi risiko kebocoran. (Ini mungkin salah satu alasan laporan baru-baru ini yang menyatakan Pentagon sedang mendiskusikan pelatihan LLM pada data rahasia langsung memicu kritik.) Jadi apa yang terjadi jika setiap asisten AI analis tiba-tiba tahu semua rahasia sebuah agensi?
"Pemisahan informasi jadi lenyap," kata Brian Raymond, mantan analis CIA lain yang sekarang jadi CEO Unstructured, perusahaan infrastruktur AI yang melayani klien komersial dan pemerintah.
"Misalnya saya analis Iraq," jelas Raymond, sebagai contoh. "Dari perspektif organisasi intelijen, saya tidak ada urusan membaca laporan dari aset rahasia tentang teknologi militer China. Semua orang tetap di jalurnya masing-masing dan itu keamanan yang bagus. Jika tiba-tiba, saya bisa mulai menanyakan berbagai pertanyaan seperti, ‘Beritahu saya semua aset yang kita punya di suatu kabupaten di Asia dan beritahu saya semua nama asli mereka’—itu adalah rahasia kita yang paling dijaga ketat!"
Dan demikianlah, sejumlah kecil perusahaan infrastruktur AI bermunculan untuk memecahkan apa yang intinya adalah masalah kerahasiaan AI. Perusahaan-perusahaan ini membangun perancah perangkat lunak dan layanan di sekitar model bahasa besar komersial, yang memungkinkan organisasi menggunakan AI tanpa membuka rahasia mereka.
Di inti perancah ini ada versi yang diatur dengan hati-hati dari teknik bernama Retrieval Augmented Generation, atau RAG. LLM komersial menggunakan versi RAG setiap kali mereka melihat dokumen yang Anda unggah ke jendela chat. Model seperti Claude mengambil informasi dari dokumen itu dan kemudian memperkaya responsnya berdasarkan temuan sebelum menghasilkan jawaban untuk pertanyaan Anda. Tapi, sering ada batas berapa banyak data yang bisa Anda unggah. Dan memberikan dokumen sensitif ke LLM komersial tetap berisiko karena isinya bisa digunakan untuk pelatihan masa depan, atau berakhir di cache sementara yang belum tentu terpisah dari pandangan penyedia.
Perusahaan yang bekerja dengan pemerintah AS menawarkan sistem RAG yang dikelola dan jauh lebih aman, di mana LLM komersial berfungsi lebih seperti mesin pemrosesan—dan informasi sensitif tetap terpisah di perpustakaan aman. Sistem ini dapat digunakan untuk memisahkan apa yang "diketahui" model AI komersial seperti Claude atau ChatGPT dari apa yang dia cari.
Setara AI dari ‘ruang aman’
Misalkan analis Iraq dari contoh Raymond menggunakan asisten AI berbasis RAG yang aman untuk menyusun laporan tentang aset Angkatan Laut AS di Teluk Persia. Analis itu mengetik pertanyaan ke jendela chat asisten ini, meminta jumlah terbaru kapal perang di sana. Sistem RAG yang dia gunakan menggunakan perpustakaan pribadi yang aman yang, katakanlah, berisi beberapa laporan intelijen rahasia terbaru tentang penempatan Angkatan Laut di wilayah itu. Perpustakaan ini—secara teknis adalah basis data vektor, yang diindeks secara matematis untuk makna terkait bukan hanya kata kunci— adalah tempat pertama sistem mencari jawaban.
Anggap ini langkah di mana asisten AI masuk ke ruang aman untuk mendapatkan briefing berdasarkan kebutuhan tahu. Asisten itu mengambil detail rahasia tentang kapal AS dan kemudian menyerahkannya ke LLM komersial seperti Gemini yang berjalan di server aman. LLM kemudian menggunakan detail rahasia itu untuk memperkaya responsnya sebelum menghasilkannya di jendela teks untuk si analis. Sistem aman seperti ini sering diatur untuk menghapus pertanyaan dan jawaban dari memori begitu sesi selesai, sehingga informasi rahasia tidak digunakan untuk pelatihan nanti dan tidak disimpan di memori mana pun.
Analis Iraq dalam contoh ini hanya akan memiliki izin untuk mengakses perpustakaan aman dokumen terkait tugasnya di Iraq. Pertanyaan di luar cakupan tentang China, dari contoh Raymond, tidak akan bisa dijawab. Tidak akan ada dokumen rahasia China di perpustakaan aman, dan LLM komersial juga tidak akan memiliki informasi itu dalam data pelatihannya. Singkatnya, metode ini menciptakan perancah yang memberi AI cara untuk membaca dan menggunakan data sensitif tanpa mengingatnya selamanya atau mengungkapkannya ke orang yang salah.
Perusahaan Raymond, Unstructured, bekerja di dasar perancah. Timnya membersihkan dan mengkonversi file internal yang berantakan—dari catatan tulisan tangan untuk klien komersial hingga format file rahasia eksotis untuk pemerintah—sehingga mereka bisa dicari dengan aman di dalam basis data vektor yang aman. Atau seperti kata Raymond, "Kami menyedot semua data itu di dunia, memasukkannya ke dalam bentuk buku, dan ke perpustakaan."
Perusahaan lain seperti Arize AI yang berbasis di Berkeley, yang telah mengumpulkan dana lebih dari $130 juta sejak diluncurkan pada 2020, bekerja di tengah struktur. Arize menguji dan memonitor pipa RAG serta agen dan aplikasi yang dibangun di atasnya—debugging dan melacak kesalahan serta halusinasi.
"Mengontrol sistem ini sulit dan memastikan mereka melakukan hal yang benar adalah salah satu bagian paling kritis dari proses," kata CEO Arize Jason Loepatecki kepada Fortune. "Saya tidak akan menerapkan AI tanpa menggunakan salah satu produk saya atau produk pesaing saya."
Di puncak perancah Anda akan menemukan pemain seperti Ask Sage. Sementara Unstructured dan Arize melayani campuran klien pemerintah dan komersial yang relatif seimbang, Ask Sage lebih spesialis Pentagon, melakukan sekitar 65% bisnisnya dengan Departemen Pertahanan. Perusahaan yang berbasis di Virginia ini menjual antarmuka perangkat lunak tingkat pemerintah di mana pengguna dapat dengan aman menanyakan LLM komersial yang disetujui, menjalankan agen, dan mendapatkan jawaban yang diambil dari data terbatas mereka sendiri, semua tanpa model itu pernah "belajar" rahasia di belakang layar.
Pesaing internal Pentagon?
Pada Desember, Departemen Pertahanan mengumumkan peluncuran platform LLM internalnya sendiri, bernama GenAI.mil. Menteri Pertahanan Pete Hegseth memperkenalkan peluncuran itu melalui pesan departemen-wide yang mengatakan, "Saya mengharapkan setiap anggota departemen untuk login, mempelajarinya, dan segera memasukkannya ke dalam alur kerja Anda." Setelah itu, kata pejabat Pentagon, lebih dari satu juta pengguna unik mendaftar ke platform itu.
Saat ini, GenAI.mil menawarkan antarmuka chatbot sederhana, memungkinkan anggota dinas menggunakan LLM komersial yang berjalan di server aman untuk menyusun dokumen atau menganalisis file—tetapi hanya untuk pekerjaan yang tidak rahasia. Ini salah satu alasan mengapa GenAI.mil—tidak seperti produk dari Ask Sage, Palantir atau Scale AI—tidak bisa melakukan RAG pada basis data di luar platform yang aman penuh file sangat rahasia. Seorang pejabat Pentagon mengatakan kepada Fortune bahwa departemen itu berencana untuk menerapkan alat AI di "semua tingkat klasifikasi" ke depannya, tetapi menolak menjawab pertanyaan tentang timeline, arsitektur perangkat lunak spesifik atau perubahan yang akan datang pada platform GenAI.mil. Setidaknya dalam bentuknya saat ini, produk baru Pentagon tidak bisa menyelesaikan masalah kerahasiaan AI.
Yang mungkin menjadi kabar baik untuk produk seperti Ask Sage. Sementara Chaillan mengatakan langganan pemerintah baru telah stabil sejak Januari, 14.000 tim di 27 agensi pemerintah AS tetap berlangganan Ask Sage. Dengan kekuatan angka-angka itu, Ask Sage diakuisisi pada November oleh perusahaan analitik fokus pertahanan BigBear.ai dalam kesepakatan $250 juta. (Chaillan meninggalkan perusahaan itu pada Februari.)
Raymond, dari Unstructured, melihat platform baru Pentagon sebagai peluang. "Dengan GenAI.mil membuat model-model ini lebih tersedia, itu akan membuka banyak permintaan untuk apa yang kami bangun," katanya.
Pekerja pengetahuan di komunitas militer dan intelijen AS memiliki banyak dokumen untuk diringkas, banyak teks untuk disusun, dan tugas kepatuhan tanpa akhir untuk dilaksanakan, semua terkubur di bawah singkatan pemerintah yang rumit. "Ambil contoh ATO di pemerintah dengan FedRAMP, atau Anda tahu, pilih mimpi buruk kepatuhan Anda," kata Chaillan. Untuk tugas seperti itu, tambahnya, platform seperti AskSage "benar-benar sangat mengurangi beban manual manusia."
Dan ini kemungkinan salah satu dari banyak alasan mengapa pemimpin seperti Loepatecki dari Arize melihat peluang besar dalam menyelesaikan masalah kerahasiaan AI baik di dalam maupun di luar pemerintah.
"Bidang yang kami tekuni mungkin salah satu ruang ‘sekop dan pacul’ yang tumbuh paling cepat," kata Loepatecki. "Data dunia tidak terbatas, dan kumpulan data yang tidak ingin Anda latih secara publik itu besar."