Dua anggota komunitas Extropian, pengusaha internet Brian dan Sabine Atkins—yang bertemu di daftar surat Extropian pada tahun 1998 dan segera menikah—begitu terkesan dengan pesan ini sehingga pada tahun 2000 mereka mendanai sebuah pusat pemikiran untuk Yudkowsky, Institut Singularitas untuk Kecerdasan Buatan. Pada usia 21 tahun, Yudkowsky pindah ke Atlanta dan mulai menerima gaji nirlaba sekitar $20.000 setahun untuk menyebarkan pesannya tentang kecerdasan super yang baik. “Saya pikir hal-hal yang sangat pintar akan otomatis baik,” katanya. Namun, dalam delapan bulan, ia mulai menyadari bahwa dia salah—sangat salah. AI, katanya, bisa menjadi bencana.
“Saya mengambil uang orang lain, dan saya adalah orang yang merasa memiliki rasa kewajiban yang cukup mendalam terhadap mereka yang membantu saya,” jelas Yudkowsky. “Pada suatu titik, daripada berpikir, ‘Jika superintelligences tidak secara otomatis menentukan apa yang benar dan melakukan hal tersebut, artinya tidak ada benar atau salah yang sebenarnya, dalam hal ini, siapa peduli?’ Saya seperti, ‘Namun, Brian Atkins mungkin lebih memilih untuk tidak dibunuh oleh superkecerdasan.’ ” Dia berpikir Atkins mungkin ingin memiliki “rencana cadangan,” tetapi ketika dia duduk dan mencoba membuatnya, dia menyadari dengan ngeri bahwa itu tidak mungkin. “Itu membuat saya benar-benar terlibat dengan isu-isu mendasar, dan kemudian saya menyadari bahwa saya telah salah tentang segalanya.”
Atkins memahami, dan misi institut tersebut beralih dari membuat kecerdasan buatan menjadi membuat kecerdasan buatan yang ramah. “Bagian di mana kami perlu memecahkan masalah kecerdasan buatan yang ramah memang menghalangi jalannya untuk langsung merekrut peneliti AI, tetapi juga kami sama sekali tidak memiliki dana untuk melakukannya,” ungkap Yudkowsky. Sebagai gantinya, dia merancang kerangka pemikiran baru yang dia sebut “rasionalisme.” (Meskipun pada dasarnya, rasionalisme adalah kepercayaan bahwa umat manusia memiliki kekuatan untuk menggunakan akal untuk sampai pada jawaban yang benar, seiring waktu hal itu dianggap sebagai gerakan yang, dalam kata-kata penulis Ozy Brennan, mencakup “reduksionisme, materialisme, non-realisme moral, utilitarianisme, anti-kematianisme, dan transhumanisme.” Scott Alexander, pewaris intelektual Yudkowsky, bercanda bahwa sifat membedakan gerakan sebenarnya adalah kepercayaan bahwa “Eliezer Yudkowsky adalah khalif yang sah.”)
Dalam sebuah makalah tahun 2004, “Volition Diekstrapolasi Coherent,” Yudkowsky berargumen bahwa kecerdasan buatan yang ramah harus dikembangkan berdasarkan bukan hanya apa yang kita pikir kita inginkan AI lakukan sekarang, tetapi apa yang sebenarnya dalam kepentingan terbaik kita. “Tujuan rekayasa adalah bertanya apa yang ‘ingin’ umat manusia, atau lebih tepatnya apa yang akan kita putuskan jika kita tahu lebih banyak, berpikir lebih cepat, menjadi orang yang lebih kita inginkan, telah tumbuh lebih jauh bersama, dll.,” tulisnya. Dalam makalah tersebut, dia juga menggunakan metafora yang mengesankan, yang berasal dari Bostrom, tentang bagaimana AI bisa salah: Jika AI Anda diprogram untuk membuat klip kertas, jika Anda tidak hati-hati, itu mungkin berakhir mengisi tata surya dengan klip kertas.
Pada tahun 2005, Yudkowsky menghadiri makan malam pribadi di sebuah restoran San Francisco yang diselenggarakan oleh Institut Foresight, sebuah pusat pemikiran teknologi yang didirikan pada tahun 1980-an untuk mendorong nanoteknologi. (Banyak anggotanya yang asli berasal dari L5 Society, yang didedikasikan untuk mendorong penciptaan koloni luar angkasa yang mengambang di belakang bulan, dan berhasil membujuk Amerika Serikat untuk tidak menandatangani Persetujuan Bulan Perserikatan Bangsa-Bangsa 1979 karena ketentuannya melawan terraforming benda langit.) Thiel hadir, bercerita kepada tamu lain tentang seorang teman yang menjadi penanda pasar, karena setiap kali dia mengira beberapa investasi potensial panas, itu akan segera anjlok. Yudkowsky, tanpa tahu siapa Thiel, mendekatinya setelah makan malam. “Jika teman Anda adalah sinyal yang dapat diandalkan tentang kapan aset akan turun, mereka perlu melakukan jenis kognisi yang mengalahkan pasar efisien agar mereka dapat secara dapat diandalkan berkorelasi dengan saham yang turun,” kata Yudkowsky, pada dasarnya mengingatkan Thiel tentang hipotesis pasar efisien, yang menganggap bahwa semua faktor risiko sudah dipatok ke pasar, tidak ada ruang untuk menghasilkan uang dari selain informasi internal. Thiel terkesan.