# 約翰·霍普菲爾德：心智的物理學視角與神經生物學 > 物理學家談神經網路與記憶的物理模型、大腦的計算方式，以及物理與生物的交匯。 - 原標題：#76 – John Hopfield: Physics View of the Mind and Neurobiology - 期數：第 76 期 - 釋出日期：2020-02-29 - 嘉賓 / 主題：約翰·霍普菲爾德 - 網頁版：https://lex.qiaomu.ai/tw/ep/john-hopfield/ - 官方頁面：https://lexfridman.com/john-hopfield/ - 精讀字數：約 8720 字（閱讀約 19 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 2001 年 6 月，泰晤士河上那座新落成的千禧橋開放三天就關了。人走上去，橋會橫向搖晃。 橋沒有塌，搖晃的幅度也不像要塌的樣子。它擺得更像有人推鞦韆：一次比一次大，走到後來行人得扶住欄杆。三天後橋關了，一關兩年。 事後的解釋是這樣。行人走路的步頻在 2 赫茲上下，橋的橫向自振頻率差不多也是這個值。人走路時重心除了前後移動，還會左右擺。工程師設計時只算了前後方向，橋的強度夠了，橫向剛度不夠。橋一開始晃，行人本能地想穩住自己，腳步不自覺跟橋的節奏對齊，給橋的推力於是更整齊，橋晃得更兇。 約翰·霍普菲爾德（John Hopfield）在播客裡講這個故事，講到一半就拐到了神經系統上。 神經細胞產生動作電位。一群頻率相近、彼此鬆散耦合的細胞放在一起，某些條件下相位會鎖死，所有人一起放電；另一些條件下鎖不上。而**一旦它們同步放電，周圍的細胞一定會注意到**。在一顆正在演化中的大腦那裡，這件事本身就能拿來當計算用。 > 生命系統裡那些看起來像缺陷的東西，是可以變成特徵的。（約翰·霍普菲爾德） 他說完停了一下，接著說：現在絕大多數人工神經網路，連動作電位都沒有，更別提讓它們同步。 ## 複製一份，然後讓兩份漂開 他舉了分子層面的例子。 一段 DNA 編碼一個特定的蛋白質。這段 DNA 可以被複制一份。複製完之後，其中一份繼續幹原來的活，另一份可以自己慢慢變化，編碼出一個略有不同的分子。如果這個新分子碰巧幫上了某個對細胞要緊的化學反應，演化就會開始改進它。於是你得到一種能力：**複製，然後讓兩份漂移開，一份守住舊功能，另一份去試新的。** 萊克斯·弗裡德曼（Lex Fridman）把話題引到公司上。霍普菲爾德說，是啊，公司也這樣，關門、開業，時間尺度短一些，也短不了多少，有些公司能活一個世紀。他提到 IBM 造第一臺 PC 時成立了一個隔離的內部小組，那是 IBM 歷史上第一次不堅持用自家元件。要進一個完全不同的市場，得把整套文化換掉。 然後他補了一句：生物學找新市場的方式，比這更有適應性。 ## 晶片是平的，大腦是立體的 他把人工神經網路缺的東西歸結到一件很物理的事情上：結構。 計算機晶片基本是二維的，勉強算 2.1 維。**它做不好三維佈線。**大腦不長這樣。新皮層是片狀的，鋪在白質上面，白質的體積大約是灰質的十倍，裡面全是所謂的"線"。 結構決定什麼容易、什麼極難。生物學讓一些事變得極其容易，而那些事從計算角度看，難到不知道怎麼下手。反過來，它做不了簡單的浮點運算，那對它來說蠢得沒法用。 他提到嬰兒期。那段時間大腦裡既有瘋狂的細胞增殖，也有最劇烈的細胞死亡。用不上的、接得不夠好的連線會被清掉。這是一套篩選機制，並非一次性的設計。 ## 教了一輩子書，"理解"這個詞他還是沒定義清楚 霍普菲爾德的父母都是物理學家。他說自己從中真正得到的，是一種感覺：**世界是個可以被理解的地方。**做得夠多的實驗，想清楚它們意味著什麼，把東西組織成能做數學的形式，你就應該能明白它怎麼運作。 但他教大一物理的時候遇到麻煩。他不想讓學生背下一堆例題，看到題就知道該寫哪個公式去生成答案。他想讓學生真的"理解"牛頓定律，看到某個情境就能說，這個球應該走那條軌跡。 > 對這個"理解"，我心裡有個模糊的想法，可我不知道該怎麼把它表達好，我一輩子都沒搞清楚該怎麼表達它。（約翰·霍普菲爾德） 他說這個問題在前饋神經網路面前撞得頭破血流。這些網路做出了驚人的事，可裡面沒有一絲一毫他心目中的"理解"。 > 理解遠遠不止一張巨大的查詢表。（約翰·霍普菲爾德） 弗裡德曼追問：如果這張表足夠大呢？ 霍普菲爾德沒接這個話頭，他繞到了反饋和腦電節律上。問一個神經外科醫生，什麼時候算一個人死了？答案大概會是：看腦電節律，這一顆是再也回不來的，那一顆好好處理還有救。做這個判斷靠的是電極讀到的簡單電學圖樣，壓根不去看單個神經元在幹什麼。 **這些節律，在 Google 的任何一臺機器裡都不存在。** 弗裡德曼說，這有點像拿世界頂級鋼琴家和一個剛學琴的孩子比。霍普菲爾德說，可他們都在彈鋼琴。 ## AI 撞一次牆，神經生物學遞一塊磚，然後再撞 被問到兩邊會不會有一天接上，霍普菲爾德的判斷是，這會一代一代迴圈下去。 模式大致是這樣：人工智慧和電腦科學這邊說，這就是我們當下對神經生物學的模型，先假裝它夠用，把能做的做盡。做出一堆有意思的東西。做一陣子之後，撞進沙子裡動不了了。然後有人回頭說，神經生物學那邊還得要點別的東西。再然後某個更大的東西出現，又能往前走很遠。接著再撞一次。 他說他也不知道這個迴圈要走多少代。每一代都會比上一代更接近大腦實際在做的事，也能在更大範圍上越過圖靈測試這類標尺。 有意思的是，這個迴圈在神經生物學內部已經演過一遍。 霍普菲爾德剛對這個領域感興趣的時候，絕大多數從業者相信，只記錄單個細胞就能理解神經生物學。大衛·休伯爾（David Hubel）是這種觀點的強力代表。後來一兩代人把這個看法整個推翻了：**不做到同時記錄一萬到十萬個細胞，就別談理解大腦怎麼工作。** 霍普菲爾德說，大方向上這是對的。你得能看到集體模式。這些模式落在整組細胞的集體屬性上，跟某一個動作電位、某一個細胞無關。問題是，要多少個。 ## 六個高精度電機，還是十萬根肌肉纖維 他舉了運動皮層。運動皮層做的事很複雜，可你要研究的問題本身相對簡單。神經生物學的做法和工程師的做法完全不同：工程師會在一條肢體上裝六個高精度步進電機，神經生物學用的是十萬根肌肉纖維，每一根都得單獨控制。 > 理解怎麼用一種寬容得多的、更像神經的方式去完成一件事，我覺得對工程界是有好處的。（約翰·霍普菲爾德） 他的建議很具體。別鋪一整片幾萬個壓力感測器，每一個都不太準，每一個都在沒完沒了地自我校準。裝一兩個，然後用一套容錯的方式去用它們。 弗裡德曼追問：那樣的話，物理學家不就永遠失業了嗎？那麼大、那麼亂的系統裡，哪還有什麼簡單的基本原理可挖。 霍普菲爾德不接受這個說法。他拿納維-斯托克斯方程打比方。非線性流體力學的方程裡有大量物理，原子和分子的物理全都不見了，被另一組方程取代，而那組方程跟底層方程一樣真。 > 問題在於，這類方程在一般生物學裡會難找得多。但作為物理學家的那個我堅持認為，大概存在某種這樣的方程，它們就在那兒。（約翰·霍普菲爾德） 如果物理學還能對這個領域有貢獻，可能就貢獻在找這類方程上，以及貢獻在弄清怎麼從生物學裡把它們提取出來。 他把這稱作一個尚未解決的開放問題。分子在這頭，心理行為在那頭，中間隔著好幾層集體性。要抓住的是這些層與層之間怎麼接起來，而不必從頭算。 ## 兩種學習，他只願意研究其中一種 被問到最漂亮的東西，霍普菲爾德的回答幾乎脫口而出：適應就是一切。 但適應有兩種。一種發生在代際之間，靠演化時間。另一種發生在單個個體的一生之內，靠這個人從環境裡學。生物學兩種都有。讓神經生物學變得困難的正是這一點：**它是一套建立在演化系統之上的、像數學系統一樣的東西。** 他講這兩種學習時的態度差別很大。 演化讓他敬畏。他接著說，那是個黑洞，他看不出從哪裡下手，所以一點工作的興趣都沒有。 > 我看不到演化過程在眼前發生。我對它心懷敬畏，但我沒法對它產生研究的興趣。（約翰·霍普菲爾德） 人能撬開的是"一生"這個時間尺度。發育神經生物學就在這個尺度上，看連線和結構怎麼從基因加三維構建這兩件事裡長出來，也看那最初幾天幾個月裡發生了什麼。 ## 身體散了以後 訪談裡有個轉折，弗裡德曼問他自己怎麼看待死亡，因為他研究的是心智這個機制。 霍普菲爾德的回答很直接。年紀大了，身體以各種方式散架，他越來越清楚地意識到，**一個人是什麼，裝在腦子裡，不裝在你操心怎麼埋葬的那具身體裡。** 有一部分的確能留下來。寫過東西的人，方程、筆記、日記，這些碎片會在他死後繼續活著。他說他這輩子正在經歷一場深刻的轉變：他父親過世時，除了親手寫下的那些東西，關於這個人的事實幾乎沒有被記錄過。而現在，每一個普通人的大量事實都會被數字世界永久記下來。 > 所以什麼是死亡這個問題，對上一代人和對下一代人，答案可能不一樣。按某些定義，我們某種程度上已經不朽了。（約翰·霍普菲爾德） 這個判斷出自一個研究聯想記憶的人嘴裡，別有意味。他造的那類網路，本質上就是讓部分資訊能喚起整體。他說的"留下來"也是同一回事：留下足夠多的錨點，別人就能重建出一部分你。 ## 意義這個詞，和"理解"一樣滑 被問到生命的意義，他先說這個詞滑得像"理解"。 然後他講到活著的系統有多難定義。一個氫原子和另一個氫原子基本一樣。兩個同種細菌就不太一樣了，同名義物種之內的差異大到超出直覺。什麼算物種這個概念本身開始模糊。物種離開特定環境還存不存在，又是個問題。 再往下推，整片生物圈都是活的，可你要問其中哪一塊單獨拿出來能叫"活"，他自己都覺得說不清。 > 所以"意義"這種東西，可能是像有意識的生物這樣的個體才擁有的。而你在說，這一切都以某種方式互聯，可能連個體都不存在。（萊克斯·弗裡德曼） 霍普菲爾德接了一句更狠的：人說新皮層是思考的地方，可大量工作在脊髓上完成。思考的本質在哪？不可能只在新皮層。 想理解思想、想造出思想，你可能得連著新皮層一起把整個宇宙造出來。 ## 提起一個腰不好的認知科學家 話題轉到他自己的工作。 聯想記憶是什麼？他舉了個例子。你對每個朋友都有一堆記憶：長什麼樣、聲音什麼樣、哪上的大學、在哪兒認識的、寫過什麼論文，一直列下去。現在有人開始描述，一個五英尺十英寸高、做認知科學、腰很不好的傢伙。用不了多久你就知道，他在講傑夫·辛頓（Jeff Hinton）。 整個過程裡沒人提名字。 幾個和某個人繫結的事實，就足以讓你抓住其餘事實裡的一個子集。這種把東西連起來、把經歷連起來的能力，就叫聯想記憶。霍普菲爾德對它的評價比大多數人想的都要高： > 在我看來，智慧行為裡有很大一部分，其實就是大型聯想記憶在運轉。（約翰·霍普菲爾德） 他四十年前做的東西是個粗糙的物理模型。粗糙是有意的，為的是讓他自己那種物理學家的"理解"能站住：你可以說，哦，我明白它為什麼跑到穩定態去了，就跟東西往山下滾一樣。有了這個，你就能用物理的語言思考，而不只靠數學符號。 具體機制是這樣。把系統看成一個在高維空間裡運動的點。存在某些路徑，別的路徑會往它們上面收斂。這類網路叫吸引子網路。吸引子的意思是，從附近任意一點出發，軌跡最終都落到同一條線上去。 怎麼在高維空間裡實現收縮？這裡有道經典的限制。劉維爾定理說，相空間裡處處收縮是不可能的。這兒縮，那兒就得脹。有意思的驅動物理系統總是這樣處理：**取一小塊子系統當"有意思的部分"，讓它收縮，剩下的那部分負責膨脹，物理學家管這個叫熵流。** 收縮帶來穩定。穩定帶來穩定的計算和穩定的行為。 關鍵的數學工具叫李雅普諾夫函式。有這個東西的系統，你不必把動力學細節全跟一遍，就能判斷它會往哪去。霍普菲爾德說他在八十年代初做那個簡單模型時，壓根不知道李雅普諾夫函式叫什麼，他只知道那是個能量函式。 從山頂放一顆球，它會停在某個谷底。你用不著盯著它滾，也能知道這件事。 這套"能量地形"的圖景順帶解釋了誤差校正。糾正錯誤可以理解成一條河谷：計算沿著谷底走，被石頭推偏了一點，水會自己回到河道里。即使中間每一步執行得都不完美，最後也能到同一個答案。 他說得很清楚，沒有谷底的糾錯方案也存在，數學家能懂，他不懂。他懂的是有谷底的那種。 ## 這個模型沒告訴你東西是怎麼學會的 弗裡德曼幾次想把這套東西升格成"關於學習的洞見"，霍普菲爾德每次都把他按回去。 > 它沒給出關於學習的洞見。它給出的是，一個已經學成的系統可以怎樣表達。它沒有描述一個合理的、真正把東西學下來的過程。（約翰·霍普菲爾德） 這句話分量很重。被問了三十多年 Hopfield 網路的人，本人一再強調這個模型的邊界：它說的是"假如這些連線已經以某種方式學好了，現在你放半個圖案進去，另一半會自動補全，為什麼？因為物理"。那套連線最初怎麼形成的，它一個字沒講。 真正把學習裝進去的是玻爾茲曼機，辛頓和特里·謝諾夫斯基（Terry Sejnowski）的工作。霍普菲爾德對它有個評價：這是最長壽的學習系統之一，而它本質上是個反饋網路，學習的內容是一組物理哈密頓量或者能量函式的引數。他說辛頓一遍又一遍回到玻爾茲曼機的變體上，這件事一直讓他覺得有趣，因為一個帶反饋、帶機率的東西，在計算和物理兩邊都是漂亮的封裝。 從這裡他引出一個對當下深度學習的判斷。他不認為大腦有最深那些網路那麼深。他懷疑，電腦科學裡那種深度，有一部分是被逼出來的：**機器上最容易實現的學習是前饋的，所以只能靠堆深度來補。** 如果真是這樣，問題就變成了：生物系統裡既有前饋又有反饋，它會不會被一個神經元多得多、但層層堆疊的系統給近似掉了？反饋的動力學，會不會比神經元數量和深度更關鍵？ 他的比喻是，沒有反饋，就像造了一臺大計算機，只讓它跑一個時鐘週期，然後必須重新載入輸入才能幹下一件事。而人可以閉上眼睛，不聽對方說話，在腦子裡擺弄一個棋盤兩分鐘，一點外部輸入都沒有。 > 那種記憶的東西，從根本上就是反饋機制。（約翰·霍普菲爾德） ## 意識是給自己講的故事 反饋繞不開意識，他承認這一點，但他說很難內省，更別說研究。他這些年偶爾對意識感興趣，就去問比他強的人怎麼看，收集觀點。 馬文·明斯基（Marvin Minsky）的看法是，意識基本被高估了，它可能只是個副現象。你做的那些難的運算，全在無意識裡完成。證據多得很：甚至很簡單的動作，你已經決定了，神經生物學家能在你自己意識到之前看出你已經決定要把手往左移。意識像蛋糕上的糖霜，真正的蛋糕在下面。 尼可拉斯·查特（Nick Chater）寫過一本《心智是平的》（The Mind Is Flat）。霍普菲爾德拿神經網路來類比這個"平"字：可能是一張很寬、沒有深度的網。他順著明斯基往下推，如果把明斯基逼急了，他大概會說，意識是你為了向自己解釋你早就做完的事而付出的努力。 > 它是圍繞那些已經替你算好的東西，編織出來的一段敘事。（萊克斯·弗裡德曼） 霍普菲爾德說，對，我們對事件的記憶有大量這種情況。你目睹一件創傷性事件，真正準確記下的沒幾條。有人問你，你會圍繞這幾個正確的錨點，加上一般常識，編出一段細節豐富得多的敘事。一旦這段敘事被生成出來，你極可能反覆複述它，並且堅稱裡面每一條都是真的。 他舉了約翰·迪恩（John Dean）的例子。水門事件時期，迪恩是尼克松的私人律師，捲入掩蓋行動，後來意識到不交代就等著坐很久的牢。他作證時表現驚人，能極其詳細地複述一次次談話，非常有說服力。多年後秘密錄音帶公開，人們發現迪恩的記憶是好的，但沒到非凡的程度。他真正有的能力是，**把當時的氣氛生動而大體準確地畫出來。** 弗裡德曼說，這本身就是對意識的一個漂亮描述。霍普菲爾德沒反對。 問到他自己站哪邊，他說還在收集觀點。他見過弗朗西斯·克里克（Francis Crick）一次，問起意識，克里克立刻開始長篇講孟德爾和豌豆。孟德爾知道有些東西在遺傳裡，而且那種東西不溶於灰色、是這個或那個、會傳遞下去，這對生物學是根本性的。生物學家花了好幾代才明白有遺傳學這回事，又花了一兩代才明白它來自 DNA。可孟德爾之後不久，會思考的生物學家就已經意識到遺傳裡有個深層問題。 克里克想說的是，這就是我在做意識的原因。霍普菲爾德指出，克里克手裡沒有孟德爾那樣的確鑿訊號。這正是他立場薄弱的地方。克里克和克里斯托夫·科赫（Christoph Koch）合寫的那本書，他覺得不夠有說服力，原因就在於缺那個訊號。 他自己為什麼不站隊：**他還沒看到進入點。**在神經生物學裡，一旦他理解了集體現象、理解了可以被描述為集體行為的動力學演化，他就覺得，我懂的那套物理和任何一個神經生物學家懂的東西差得這麼遠，我大概能往裡添點東西。從物理學看意識，現在沒有任何可以抓的地方。 自由意志是緊挨著的另一個問題。他說物理學家會隨口給一個答案，然後一路後退，因為發現剛說的那個答案必然和物理定律衝突。 但這裡他劃了一條界線，劃得很乾脆。量子力學不必扯進來。 > 在我看來，大腦的謎屬於這樣一種性質：一個被驅動的動力系統，手裡有一億億個部件，會發生什麼。這種複雜性的物理，至少和量子力學裡的相位相干一樣，都沒被搞明白。（約翰·霍普菲爾德） ## 街上滾過來一個球 如果有個眼睛裡帶著光的年輕人跑來，說想用神經網路造出會思考的系統，他會給什麼建議。 他的第一條批評是：簡單的網路撐不住多個假設並存。 他理解中的思考，核心是在採取物理行動之前先做心理上的探路。就是剛才說的閉眼在腦子裡擺棋盤。前饋網路做這件事的方式是把所有情況預先算好。他認為神經生物學不這麼幹，它手裡有一套動力學系統，探路是真的在系統裡跑一遍。這裡面有創造的成分。 而在簡單網路裡，你有的是一堆學過的例項構成的空間。如果新問題落在這個空間內部，網路能給出不錯的建議。如果這個問題來自空間之外，它的行為沒有任何約束，什麼都有可能發生。 > 在人工神經網路這個世界裡，前提永遠是我有一堆樣本，測試集必須從同一個分佈裡抽。如果測試集來自完全不同的分佈，你沒道理指望它答對。（約翰·霍普菲爾德） 這就是所謂的分佈外。 他舉了個場景。黃昏時分，一個球從街對面滾過來。假如這不在訓練集裡，**"後面可能跟著個孩子"這個念頭不會出現在網路裡。**而人的生物性裡有某種東西會讓這個念頭出現。 接下來他說的話，把整場對話又拽回"理解"那個詞上。訓練集這個分佈，不只是那堆樣本的集合，它背後還有別的東西。那個別的東西，正是他一直想問的：理解一件事到底是什麼。 ## 皮布林斯不啃大資料 弗裡德曼問演繹推理在科學裡的位置。 霍普菲爾德承認，有些科學問題的答案確實只能靠分析海量資料拿到，宇宙學就是。這類問題從來不是他有洞見的那一類。然後他補了個例子：今年諾貝爾物理學獎得主之一吉姆·皮布林斯（Jim Peebles）就在隔壁系。皮布林斯干的事，從來是自己不去啃大資料，他用的是別人工作被壓縮後的結果，最終歸結為把問題想透，想清楚一個現象在什麼原理下運作。 物理學會一直尋找那種能越過細節去描述系統的方式。死硬派生物學家認為生物學之所以成立就在細節裡。物理學家想要的是一個"不管細節怎樣都成立"的解釋。他也承認，有些問題的答案註定無法用這種方式找到。 ## 那輛在 45 英里上抖輪子的道奇 霍普菲爾德講了他第一輛車。1936 年的道奇，基本是堆廢鐵。開到 45 英里每小時以上，輪子就開始抖。 沒人設計成這樣。這就是車在出故障。 換到生物學裡，如果"什麼時候超過 45 英里"這個資訊對你有用，演化會直接把這個抖動抓過來當感測器用，而且完全不關心它是怎麼來的。 > 要讓這種發生在大規模複雜網路裡的事情真正被用於計算，還得等很長時間。（約翰·霍普菲爾德） 他接著說，你筆記本里現在有多少個電晶體？數量級是百億。所有電晶體都差不多。而物理系統裡只要有這麼多相似的部件，幾乎必然會出現集體屬性。空氣裡的聲波，地震，天氣，都是。 而在今天的人工智慧裡，**沒有一個集體屬性被用上了。** 如果生物學用上了，那就還要好幾代人去挖，去看它們怎麼被用、意味著什麼。弗裡德曼說，那我們可能得反覆回到神經生物學，把我們的電晶體弄得更亂一點。霍普菲爾德說，對，同時那些簡單的方案也會拿下很大一塊地盤。 他自己承認，最讓他意外的事情之一是，學習系統明明跟生物一點關係都沒有，卻能這麼有用。 ## 回到千禧橋 整場對話的結構很像他自己描述的那種動力學。開頭是橋在晃，行人不自覺同步，一個純粹的相變問題。中段是一顆球從山頂滾到谷底，是高維空間裡的吸引子。結尾是一輛 1936 年的道奇在 45 英里時速上抖輪子。 三件事的共同點是：**系統裡有大量相似的部件，集體行為既不出自哪個部件的設計，也沒法靠拆開某個部件理解。** 橋的設計師算錯了方向，行人的本能把這個錯誤放大成一場相變。球的軌跡不用盯著看也知道終點。抖動的車輪如果對某件事有用，演化就會留著它，還會把它磨得更靈。 他七十年代從物理學轉進生物學，八十年代做出那個以他命名的網路，之後又把注意力轉回真實的神經生物學，反覆提醒別人（也提醒自己）那個模型沒解釋學習。他 2018 年那篇文章就叫《現在呢？》（Now What?）。他在裡面寫，自己科學上的成就多半來自問這個問題，然後往往以一次大轉向作為回答。 文章末尾還有一句：專家擅長回答問題。如果你夠膽，就問自己的問題，別太在意你是怎麼找到它的。 ## 可以試的幾件事 - 重讀自己領域裡被反覆引用的那個經典模型時，專門去找作者本人後來寫的"這個模型沒解決什麼"。Hopfield 網路被引用了三十多年，而霍普菲爾德本人一再強調它不解釋學習怎麼發生。作者的自評比二手綜述誠實得多。 - 做模型評估時，除了標準測試集，另外構造一組明顯脫離訓練分佈的樣本單獨跑。霍普菲爾德給的判據很樸素：新情況如果不在你的樣本總體裡，系統行為就沒有任何約束，別指望它給出合理反應。 - 如果你的系統是純前饋的，問一句：這套能力裡有多少是靠預先算好所有情況換來的？試著加一層狀態迴圈，讓它能在沒有新輸入時繼續在內部演變幾秒，看輸出會不會變。 - 做硬體和機器人時，考慮用少數不精確、會自我校準、彼此冗餘的感測器，替換掉"一兩個高精度感測器加精密控制環"的做法，讓整個系統靠容錯收斂，不必每一步都算準。神經系統就是這麼處理十萬根肌肉纖維的。 - 讀一點動力系統的語言，尤其是相空間、吸引子、李雅普諾夫函式這幾個概念。它們的好處在於給你一套看圖的方式：知道球一定會落到某個谷底，就不必把滾動全過程模擬一遍。 - 碰到一個看著像 bug 的行為，先問它在這個系統裡有沒有可能被當成訊號用。生物學裡大量特性都是這麼來的，工程系統裡通常直接把它修掉了。 - 每完成一個專案，把"現在呢"當成一個必須回答的問題寫下來。他一生裡幾次重要轉向，都是從這個問題的答案開始的。