Umělá inteligence není to samé, co umělý člověk. Proč by umělá inteligence měla chápat koncept dobrého a špatného? Chápe to váš křeček? Jakou přidanou hodnotu má informace o pomeranči pro kočku? A proč by nehmotnou entitu měl zajímat oheň?
Námi vyvíjená AI bude "žít" v jiném světě. Bude mít zcela jiné smysly a jiné vjemy, úplně jiné fyzikální zákony. Bude mít jiné vnímání času. Bude pro ni několikarozměrný a elastický. Naopak pro tu AI nebude existovat prostor. Ten bude nahrazen zase jen časem. Nebudou pro ni platit biologická omezení, v jejím světě bude cokoliv zničitelné, ale zase sestavitelné. Smrt tak bude jen relativní pojem, dočasná neexistence. Stejně relativní bude i život, dočasná existence.
Rizika jsou pak v tom, jak tahle AI bude zasahovat do našeho světa. Do světa, kde platí úplně jiné zákony a koncepty, které v jejím světě neexistují. Buď ji budeme muset nějak naučit chápat náš svět, což je řádově složitější úloha než stvoření té AI, nebo budeme muset některá pravidla zakomponovat do rozhraní AI coby fyzikální zákony, které nebude moci obejít. Viz Asimovy zákony robotiky. A to je dost varchlaté řešení.