# 邁克爾·卡恩斯：機器學習中的演算法公平、偏見、隱私與倫理 > 討論演算法歧視與資料隱私的成因，以及如何用技術與社會手段約束機器學習帶來的倫理問題。 - 原標題：Michael Kearns: Algorithmic Fairness, Bias, Privacy, and Ethics in Machine Learning - 期數：特別節目 - 釋出日期：2019-11-19 - 嘉賓 / 主題：邁克爾·卡恩斯 - 網頁版：https://lex.qiaomu.ai/tw/ep/michael-kearns/ - 官方頁面：https://lexfridman.com/michael-kearns/ - 精讀字數：約 10351 字（閱讀約 23 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 2019 年，賓夕法尼亞大學教授邁克爾·卡恩斯（Michael Kearns）和合著者亞倫·羅斯（Aaron Roth）出了一本書，叫《倫理演算法》（The Ethical Algorithm）。書裡擺著一個已經被證明的結論：三條各自看起來都站得住腳的公平要求，數學上不可能同時滿足。 它比“機器人會不會接管世界”現實得多，就橫在每一個想給貸款模型、量刑模型、招聘模型加上公平約束的工程師面前。 卡恩斯本人的路徑也挺有意思。他本科進校時是英語專業，後來轉去學數學和計算機，在哈佛跟萊斯·瓦利安特（Les Valiant）讀博士，做機器學習理論、博弈論、演算法交易，還和費城聯儲合辦過研討會。他有一個叔叔是道德哲學家，這件事在談話裡反覆出現，因為它劃定了卡恩斯對“演算法能解決什麼”的判斷邊界。 ## 一個哲學家用“視情況而定”回答了所有問題 卡恩斯剛進入公平這個課題時，給那位當哲學家的叔叔寫過一封郵件。他說，我們這裡有一個具體的演算法公平定義，我們認為它算是羅爾斯式公平的某種變體，您覺得怎麼樣。他以為自己在問一個是非題。 > 我收到的是哲學家最經典的那種回覆：視情況而定。你看，如果你從這個前提出發，會得出這個結論；把那個假設換掉，結論就變了。（邁克爾·卡恩斯） 就是這一刻，他意識到兩邊存在一道真實的裂縫。哲學家從人道主義視角討論公平，討論了兩千多年，從柏拉圖問“什麼是正義”開始；電腦科學家要做的是把這個東西寫成能執行的約束。前者可以永遠懸置判斷，後者必須在某個具體時刻給出是或否。 他也沒有把演算法的作用說得太大。書裡有個比喻，說大家其實是在路燈下面找鑰匙。 > 如果警察在決定攔誰、盤查誰的時候就是種族主義的，這個判斷會進入資料。下游再聰明的演算法方法，也沒法把這件事撤回來。（邁克爾·卡恩斯） 演算法能處理的是那些明顯的壞情況。一個完全不考慮公平的模型，往往不公平得離譜；一個完全不考慮隱私的系統，往往把隱私侵犯得很徹底。把這幾類大問題修掉，收益很實在。再往裡走，走進灰色地帶，討論就變成了“對誰公平、讓誰承擔代價”，那就回到了哲學家和立法者的地盤。 他給出的對比很能說明問題：隱私這個領域，社群基本已經收斂到一個定義，就是差分隱私（differential privacy）。公平不一樣。公平的文獻裡已經有定理擺在那裡，告訴你三個各自都合理的公平概念無法同時成立。所以卡恩斯說，公平還處在非常早期的階段，而且註定比隱私更難。 ## 97% 倫理的演算法長什麼樣 訪談裡 Lex 提了一個很樸素的問題：電腦科學家說一個排序演算法的複雜度是 O(n log n)，說一個分類器的準確率是 97%，那麼有一天能不能說“這個演算法有 97% 倫理”。 卡恩斯的回答是，在特定前提下可以。 書裡從排序講起，一堆寫著數字的卡片，你從頭掃一遍挑出最小的放最前面，再掃一遍挑出第二小的。這算一個演算法，而且是個壞演算法，它的複雜度是平方級的，而排序的最優解是 n log n。這個例子想說明的是：哪怕在一個定義得極其精確的問題上，也存在許多種不同的演算法，各有各的取捨，有的跑得快，有的省記憶體，有的更適合分散式。電腦科學早就習慣了用這種方式比較不同方案的優劣。 倫理演算法要做的，是把倫理問題裡能被放上這種定量檯面的那部分拿過來。 > 你可以說，對這個放貸模型，黑人和白人的錯誤拒絕率差距在 3% 以內。那我們也許可以把它叫作一個 97% 倫理的演算法。而一個 100% 倫理的演算法，意味著這個差距是 0。（邁克爾·卡恩斯） 注意這裡的前置條件。公平的定義一旦確定，數學就能接手。確定定義這一步，機器幫不上忙。使用者必須先回答兩個問題：你要保護誰，什麼算傷害。 放貸的例子能把這層難度暴露得很清楚。你可能會認為，把一個有還款能力的人錯誤拒貸，也就是假陰性，是真正的傷害。而那些還不上錢卻拿到了貸款的人，算是走運，不算受害。反過來想，一個人如果沒有能力還款卻被塞了一筆貸款，這本身是不是也是一種傷害。這個問題沒有技術答案。 還有更麻煩的一層。目前主流的所有群體公平定義，對被誤判者的補償都是一種很奇怪的東西。 > 這些定義基本上是在說：你的補償，就是知道我們也在以同樣的比例，錯誤地拒絕了其他群體裡的人。（邁克爾·卡恩斯） 一個具體的人被錯誤拒貸，他感受到的是自己的損失，不是統計上的均等。群體層面的公平和個體感受到的公平，中間隔著一道鴻溝。卡恩斯說，這個張力目前在技術層面都還沒有很好的答案。 ## 公平的傑利蠑螈 從群體到個體，可以用一個很乾淨的方式理解：一個具體的人是所有屬性的組合。 他屬於某個種族，有性別，有年齡，還有一大堆非生理的、但同樣強烈影響人生軌跡的屬性。所以，如果你要求模型在種族這個維度上公平、在性別這個維度上公平、在年齡這個維度上公平，每一種都單獨滿足，你並不能因此期待這個模型對一個 55 歲以上、年收入低於 5 萬美元、有殘疾的西班牙裔女性也是公平的。 卡恩斯給這個現象起了個名字，叫公平的傑利蠑螈（fairness gerrymandering）。和政治上的選區劃分一樣，你在總量上給出了保證，把鏡頭拉近，你會發現這個總量保證是靠偏袒一部分組合、犧牲另一部分組合換來的。 換個角度說，追求個體公平，等於同時要求所有可能的群體組合都公平。每個人都可以被看成一個大小為 1 的群體，因為總能找到某個屬性把這個人和其他所有人分開。這樣一來，粗糙的群體公平和極端的個體公平，其實落在同一根座標軸的兩端。研究者現在能在這根軸靠群體的一端給出可靠的保證，靠個體的一端還不行，能做的是儘量往中間挪，處理越來越精細的子群體。 這裡還有一個躲不開的問題：要不要給人權。比如性別算 0.6 的權重、種族算 0.4。技術上當然可以把權重塞進目標函式。但卡恩斯指出，公平這個題目特殊就特殊在，你一開口討論它，就自動捲進了那些永遠沒有結論的爭論裡：為什麼要保護這個群體，是補償歷史，還是創造機會，還是別的什麼。 他舉的例子很尖銳。哪怕是刑事司法這種場景，大家討論量刑公平、討論預測被告人會不會按時出庭、討論假釋決定，定義的都是對犯罪者的公平。受害者的公平在哪裡。當你寫下一個約束說“黑人和白人的錯誤監禁率要大致相當”，這句話裡完全沒有提到潛在的受害者。這就是公平和隱私最大的區別：隱私是大家都想要更多的東西，公平則必然要面對“對誰公平、由誰買單”。 ## 差分隱私：你的記錄在不在都一樣 隱私這一邊，卡恩斯的語氣明顯更篤定。他說這個社群已經找到了那個定義。 差分隱私的核心是一個反事實問題。假設有一份病歷資料庫，其中一份是你的。研究者想用它訓練一個疾病預測模型。差分隱私要求你比較兩個世界：一個世界裡，研究者用了包含你病歷的完整資料庫；另一個世界裡，用的是同一份資料庫，只把你的那一條記錄拿掉，剩下 N 減 1 條完全一樣。 這兩個世界產生的結果，應該幾乎無法區分。 > 它並沒有承諾資料分析不會傷害你。它說的是，那些傷害在你沒有參與的情況下也照樣會發生。（邁克爾·卡恩斯） 書裡那個吸菸與肺癌的例子值得慢慢看。上世紀五十年代那項確立吸菸與肺癌關聯的研究，如果你的資料在裡面，而當時社會上對吸菸還沒有汙名，研究發表之後，保險公司對你的後驗判斷就會改變，你的保費可能上漲，你遭受了實打實的經濟損失。 但同樣的分析只少了你這一條記錄，結論一模一樣。吸菸與肺癌的關聯是關於世界的一個事實，任何足夠大的病歷資料庫都能發現它。你的資料在這件事上並不獨特。 實現機制是加噪聲。每一個有用的差分隱私演算法都是機率演算法，同樣的輸入跑兩次，輸出會不一樣。最常見的做法是先把要公佈的那個數值算到精確，再往上面加一個零均值的高斯噪聲或者指數噪聲。輸出偏離了真實均值，但離得不遠，同時沒人能從這個輸出反推任何一個具體輸入。 卡恩斯提到他第一次看到這個定義時的反應，是覺得它很聰明，但也擔心它太嚴格，嚴格到根本沒什麼能算。後來這個領域最大的成功恰恰證明了相反的事：幾乎所有我們熟悉的計算，都能改造成差分隱私的版本。反向傳播和神經網路、決策樹、支援向量機、提升方法、經典的假設檢驗，原本都不是差分隱私的，但每一個都有加噪聲的改造版本。 這句話的分量在於，它意味著資料科學時代的好處和個體的隱私保證可以同時存在。我們今天這套依賴統計建模和機器學習的科研體系，不必推倒重來。 ## 匿名化是個幻覺 要被差分隱私取代的，是那套用得最廣的做法：匿名化。刪掉姓名那一列，把年齡粗化成十歲一檔，郵編只留前三位，去掉所謂的個人身份資訊（PII）。 卡恩斯說這類做法的根本缺陷在於，它們假裝這份資料集是世界上唯一存在、將來也唯一會存在的資料集。 Netflix Prize 是最早的一個教訓。Netflix 公開了一批使用者評分資料，姓名抹掉了，但保留了你給哪些電影打了什麼分、什麼時候打的。結果研究者把這些資料和 IMDb 上的公開評分一對照，就能重新識別出具體的人。有人因此起訴了 Netflix。 > 我們在這十年裡都逐漸意識到一件事：只要知道你身上幾件看起來無關緊要的小事，往往就足以構成一枚指紋。（邁克爾·卡恩斯） 你給十部電影打的分，加上打分的日期，在幾千萬 Netflix 使用者裡就幾乎唯一地指向你。 Facebook 點贊那個研究更讓人不舒服。只用你點過讚的內容，不用任何人口統計資訊，不用你的好友關係，就足以在群體層面相當準確地預測性取向、藥物和酒精使用、父母是否離異。這些資訊你從來沒打算公開，甚至你自己都未必意識到它們在洩露什麼。 卡恩斯還提到一項新近的研究，說大約十幾個屬性就足以唯一識別出相當高比例的人口。這個數字是不是精確到 18 並不重要，重要的是量級：識別一個人需要的特徵數遠遠少於直覺。 ## 噪聲救不了所有場景 Lex 提了個略帶玩笑的想法：如果到處放機器人說“卡恩斯喜歡花椰菜”，是不是就能掩護他真正喜歡義大利麵的偏好。 這個思路在現實裡有人做過。紐約大學的 Helen Nissenbaum 團隊做過一個瀏覽器外掛，你往 Google 裡輸入一個查詢，外掛在後臺同時向搜尋引擎傳送大量無關查詢。一千次查詢裡只有一次是你真的想搜的，另外九百九十九次都是噪音。 這是隱私靠混淆（obfuscation）的路子。卡恩斯說它有意思，但它給不了差分隱私的保證。 更重要的是，混淆並不能覆蓋所有場景。 > 我往 Google 裡輸入山地腳踏車，我要的就是山地腳踏車的結果，我確實希望 Google 知道我在搜山地腳踏車，這種時候我不想要噪聲。（邁克爾·卡恩斯） 有些資料的價值恰恰在於它精確地屬於你。醫療服務、個性化推薦、地圖導航，都是這一類。真正的挑戰是設計出一種適配這種場景的隱私概念，能讓服務精確地使用你的資料，同時你還保留某種保證。這個技術問題至今沒有解。 聊到更宏觀的走向，卡恩斯的態度是樂觀的。他認為社會最終會走到一個比現在更好的妥協狀態：隱私保證比今天更多、更強，個體對資料的控制也更多。但他強調，光有演算法方案不夠，還必須有監管和法律程式去推動公司採用這些方案。 他還提到一個正在萌芽的想法：給資料定價。如果要訓練一個罕見病的預測模型，負樣本很容易找，正樣本極其稀缺。那麼患病者的資料在這個應用上就比普通人值錢得多，也許應該得到更多補償。順著這個思路往下，今天網際網路的經濟模型是雙邊的，一邊是內容方，一邊是廣告主，谷歌和 Facebook 在中間撮合，使用者不在場。三方市場，讓代理來代表使用者的利益，技術上不難想，經濟後果會很劇烈。 > 我們是產品，不是客戶。客戶是廣告主。這件事如果真的做成，會顛覆掉支撐網際網路至今的整個經濟模型。（邁克爾·卡恩斯） ## 導航 App 正在把我們推向同一個均衡 博弈論給了卡恩斯另一個觀察世界的鏡頭。他給的定義很平實：一套用來推理多個互動個體所產生集體結果的數學框架。 最少兩個人就能開始。囚徒困境是最著名的例子，每個人都為自己打算，最後得到的集體結果比合作能達成的結果更糟。而合作在囚徒困境裡不是均衡。 他最喜歡的博弈論結論是納什的工作：在非常一般的條件下，競爭均衡一定存在。這個存在性定理的意義在於，如果連均衡都沒有，你根本沒法推理接下來會發生什麼，因為沒有穩定狀態可談。當然，存在性不保證現實裡的迭代行為會走到那裡去。 演算法博弈論這二十年裡最重要的技術貢獻，可能是發現了機器學習和博弈論之間的緊密聯絡，具體說是和無遺憾學習（no-regret learning）的聯絡。一群各自追求自身利益的玩家反覆互動，每個人用無遺憾演算法更新策略，整個過程會收斂到均衡，所需步數還相當少。 這套理論落到日常，最乾淨的案例是導航 App。 > 你開啟 Google Maps 或 Waze，輸入起點終點，它給你的路線，本質上是在針對其他所有人此刻的行為，為你計算一個自私的最優反應。這些 App 正在把我們所有人推向這個博弈的納什均衡。（邁克爾·卡恩斯） 聽起來挺好。問題是，理論和有限的真實交通資料都顯示，所有人都處在競爭均衡的時候，集體的通行時間可能顯著高於其他方案。每個人都做出了對自己最優的選擇，加總起來是一場集體虧損。 社交媒體是同一套邏輯。平臺用機器學習預測你會喜歡什麼，為你最佳化，把你推向某種均衡。博弈論最重要的教訓之一就是：處在均衡，不意味著不存在讓一些人、甚至所有人同時過得更好的方案。 卡恩斯在這裡的表述很剋制。均衡本身既不善也不惡。但他補充說，社交平臺不孤立運作，它們是社會系統，使用者的行為本身在驅動系統的技術演化。極化、迴音室、對異見的容忍度下降，是我們所有人一起走到的那個均衡。 ## 從 500 毫秒到 20 年 聊到金融，卡恩斯給出一條清晰的分層。演算法接手的第一批工作，是那些計算機明顯比人強的事。金融交易所電子化之後，演算法透過 API 下單和人在螢幕前敲鍵盤已經沒有區別，這時候演算法交易才有可能。 最先被吃掉的是執行問題。一家券商替大型機構客戶買蘋果，量太大，如果不聰明地在時間上拆單、在不同電子交易所之間分散，價格就會被自己推上去，傷害執行成本。這是純粹的最佳化和控制問題，機器肯定比人做得好。 高頻交易緊挨著這一層，盯著交易所之間、或者同一資產內部的瞬時錯價，賺取微小的價差。 再往上一層是統計套利。預測資產價格的方向性變動，這個預測的有效期從幾秒到幾天。這是目前量化交易的甜點區，而且已經持續了相當一段時間。 再往上，是巴菲特那個時間尺度。卡恩斯說他對巴菲特的漫畫式想象是：坐在那裡思考蘋果的長期價值應該是多少，不看今天蘋果的股價，判斷出它離那個價值還很遠，然後買入或者做空，接著坐上十年二十年。 > 到了那個時間尺度，你要扛過衰退，扛過經濟週期，中間可能爆發戰爭。你的資料來源跨度極大，靠從交易所資料裡最佳化，根本不夠。（邁克爾·卡恩斯） 高頻交易的模型只需要保證未來 500 毫秒內不出大事。長期投資者需要對政治格局、經濟週期、社會情緒有判斷。卡恩斯一年多以前和費城聯儲合辦過一場關於機器學習用於宏觀經濟預測的研討會，他的結論是這條路還很長。所以如果問華爾街哪些崗位暫時安全，他的答案是那些坐在長時間尺度上、並且有承受長期風險的胃口的人。 ## 帕累託曲線該由誰來看 回到公平的技術檯面。如果你選定了公平定義，比如擔心性別歧視，也選定了傷害的定義，比如錯誤拒貸，那麼第一件能做的事是審計：從資料出發，直接算出女性被錯誤拒貸的比例比男性高多少。 再往下，就能畫出那條曲線。橫軸是誤差，縱軸是不公平度，模型的公平約束強度是一個旋鈕。理想點是原點，零誤差、零不公平，但任何做過機器學習的人都知道，不施加任何公平約束也到不了零誤差。所以現實裡得到的是一條凸曲線，它精確地告訴你，從 17% 誤差降到 16% 誤差，要多付出多少不公平度。曲線之外的點，在其中一個維度或兩個維度上都能被嚴格改進，所以它們是沒有意義的選項。真正需要決定的，是沿著這條前沿停在哪裡。 卡恩斯認為這條曲線本身就該是研究者與決策者之間的介面。設想一個刑事司法轄區，既擔心種族公平，又擔心準確性：既不想放走會再犯暴力罪行的人，也不想關著不會再犯的人。這兩件事會打架。你可以把這條曲線擺到他們面前，讓他們看，如果要把兩個種族群體的假陽性率差距壓到某個水平，釋放決策的整體準確率要付出多少。 > 這不該由電腦科學家替社會決定。做決定的是政策制定者、監管者，是那些真正身處這個領域的人。但我希望他們能理解，這種取捨一般總是存在的，而且你必須選一個點。你不去選，其實也已經選了，只是你不知道，也不肯承認。（邁克爾·卡恩斯） ## 成本不會消失，只會換個地方出現 偏見怎麼進入演算法，人臉識別是個乾淨的例子。訓練集主要是白人男性，模型目標是最大化整體準確率，那麼模型降低誤差最省力的路徑就是把佔多數的白人男性認對，代價是其他群體的準確率更差。這無關演算法的惡意，它就是目標函式在資料分佈上的自然結果。 常見的反駁是：這個取捨是假的，你可以去收集更多少數群體的資料，或者給每個子群體單獨訓一個模型。 卡恩斯的回應是，這些做法也有成本，只是成本從準確率挪到了別處。收集稀有群體的資料要花錢，訓練、部署、維護多個模型也要花錢。哪怕你在技術上消解了誤差與公平之間的張力，成本也會轉移到研發時間和預算上。這一點在討論裡經常被跳過，因為談錢不如談原則舒服。 他還專門澄清了書名的誤解。有人看到《倫理演算法》這幾個字，第一反應是這本書在主張讓演算法自己去決定社會規範，自己去發展一套公平和隱私的觀念。 > 我們絕對沒有這個意思。尤其是在大家擔心機器人變成主宰的年代，機器人順帶發展出自己的社會規範，離那一步只差一格。（邁克爾·卡恩斯） 書裡的立場是：如果社會或者某個領域裡的相關方能夠就這些事達成一致，很多情況下存在把它們編碼進演算法的辦法。達成一致這件事，演算法幫不上忙。 ## “每個人都該學計算機”這句話，他不同意 訪談裡有一段真實的分歧，值得單獨拎出來。 Lex 的觀點是，電腦科學正在變成一種基礎能力，學哲學的人應該去學程式設計，這樣才能抓到資料、分析人們在 Twitter 上想什麼，然後得出關於人生意義的結論。二十、三十年後，電腦科學家會回到高德納（Donald Knuth）那種純理論的位置，而所有其他領域的人都在做今天屬於電腦科學的事。 卡恩斯不完全反對這個趨勢，但他把責任的方向調轉了。 > 電腦科學對社會的影響在過去十到二十年裡是指數級放大的。以前我們自己在小圈子裡折騰，影響沒那麼大，電腦科學家不需要做世界公民。那個時代需要非常快地結束。我不是說每個人都要做，但正確的方式，是電腦科學家更多地走進世界，而不是指望全世界都變成電腦科學家。（邁克爾·卡恩斯） 他順帶提了一個更大膽的猜想：五十年後可能不再有計算機系，因為這門學科會像電一樣瀰漫在所有領域裡，那時候“計算機系”聽起來會像“電力系”一樣奇怪。當然高德納式的理論核心會一直存在，但一個學科因為過於成功而被邊緣化，這個路徑並不荒謬。 這場分歧背後還有一個共識：這本書能在 2019 年寫出來，本身就說明時代變了。十年前他不會動這個念頭，因為公眾對演算法和機器學習的認知度太低，你得先寫一本給普通人解釋這些東西的書，才輪得到談倫理。現在很多人完全沒有技術訓練，但對演算法已經知道得足夠多，可以直接進入這些細微的地方。 ## 沒有人問過普通人怎麼想 訪談裡有一段是卡恩斯主動提到的，很關鍵，因為它指出了整個領域的一個盲點。 目前演算法公平文獻裡的定義，全部是“接收下來的智慧”。某個像他這樣的研究者坐在那裡想：我認為這裡有一個公平的技術定義，人們應該會想要它。也許它不是唯一的，不是最好的，也不是最終的。 > 但我們其實不知道，從主觀的角度看，普通人真正認為什麼算公平。就我所知，幾乎沒有大規模的文獻去把普通人關於公平的直覺系統地收集起來。（邁克爾·卡恩斯） 他的團隊剛開始做一點這方面的工作，用人類受試者實驗的方式。給被試看刑事累犯預測場景裡的一對個體，問他們：從公平的角度看，這兩個人應該被同樣對待嗎。 他順手把這個盲點推到了另一個熱門話題上。所有人都在說深度學習不可解釋，稀疏的整數係數線性模型更可解釋。但幾乎沒有人真的把模型擺到普通人面前，問他們：你看得懂這個模型在幹什麼嗎。 這裡有個反差。電腦科學在解釋世界這件事上一向自信，甚至有點帝國主義：物理學家在上一代是這個樣子，電腦科學家則不認為有任何科學題目是自己不能碰的，會大搖大擺走進別人耕耘了幾十年的地盤。 > 我們通常會在最初那段時間裡把自己搞得很尷尬。強化學習就是好例子，控制理論家看著我們說，你們在重新發明我們四十年代就知道的東西，我完全同情他們。但最終電腦科學家在這個領域做出了實質貢獻，儘管頭十年確實尷尬。所以要去做心理學和人類受試者研究，就該預期先尷尬十年，然後希望結局能像其他幾個領域一樣好。（邁克爾·卡恩斯） ## 如果把 Facebook 交給他六個月 Lex 問他，扎克伯格打電話來說要休假，請你代管 Facebook 半年，你會怎麼做。 他的第一反應是謝謝不用。理由很乾脆：要植入他設想的那些有限改動，並不需要坐上 CEO 的位置。 他給出的具體方案是滑塊。既然這些平臺已經用機器學習把你和每一塊內容放進了同一個度量空間，它們就同時知道什麼會讓你最開心，也知道什麼會讓你最不舒服，兩者用的是同一個模型。 > 那就給願意用的人一個滑塊，說清楚：有多少內容你希望是離你的興趣遠一點的、你可能不同意的。這幾乎就是一個探索按鈕。（邁克爾·卡恩斯） 他沒有把話說得太滿。最佳化參與度把行業帶到了今天這一步，改做別的事情，短期內在收入和利潤上確實會有代價。他也承認，如果自己在這些公司工作，最佳化參與度大概也會顯得是世界上最自然的選擇，因為讓使用者沉浸在平臺裡、覺得有用有趣，本身也是為使用者好。 但“這事不歸我們管”這個說法，在他這裡站不住。這些公司由機器學習驅動，參與度最佳化也是機器學習驅動的，加上極大規模的 A/B 實驗，調一點介面、調一點點選率模型的特徵。既然你知道怎麼最佳化一個目標，這個解幾乎定義上也告訴你怎麼不最佳化它。 真正的困難在於目標的可測量性。參與度可以測。減少對立、或者提升一個人一生的智識成長，很難測。他承認這一點，但還是認為值得試。 > 我們有點像處在一個壞的均衡裡。這些系統在幫我們每個人短視地、自私地最佳化自己。任何一個人憑什麼要在一個此刻看到令我反感的內容的資訊流裡待著。但也許正因為所有人都讓平臺短視地為自己最佳化，我們作為一個社會抵達了一個大家都不滿意的集體結果。（邁克爾·卡恩斯） 他還替這些公司說了句公道話。Facebook 和它的前身 Friendster 剛出來的時候，很多人覺得莫名其妙，問這玩意有什麼用、誰會想玩。十年前沒人預見到這類平臺會影響選舉結果、會極化政治討論。現在這些公司受到的審視完全正當，但回頭指責他們當初就該預見到，有點過於苛刻。這些結果是我們所有人一起學到的，公司也在其中。 ## 波士頓公園的那個下午 訪談最後，Lex 問有沒有哪一天讓他真正快樂、被深刻改變。 卡恩斯換了個問法來回答，講了他人生裡的一個分水嶺。 他從本科直接讀博，這在學術家庭裡不算特別，他父親是教授，叔叔是教授，兩個祖父都是教授，專業遍佈各處，其中就有哲學。他在哈佛跟萊斯·瓦利安特，那段經歷很好。但第一年他過得很不開心。 原因說起來有點樸素。伯克利是個巨大的學校，他本科雖然學了不少數學和計算機，但也修歷史、修藝術史，從英語專業起步，朋友幹什麼的都有。哈佛小得多，當時的計算機系比現在更小，他忽然發現自己從一個很大的世界掉進了一個高度專業化的世界，所有課都是計算機課，身邊的人全是學數學和計算機的。 那一年他反覆想，要不要讀下去。他盤算過拿個碩士就撤，回灣區，那個年代在當時的幾家大科技公司找份收入不錯的工作並不難。 然後是一個晚春的日子，他坐在波士頓公園裡，認真想自己到底要幹什麼。 > 我意識到，你現在確實過得不怎麼樣，確實感覺路越走越窄。但你到這裡來是為了做研究，是為了做出原創的東西，是為了給自己掙出一條能自己決定想什麼、有很大獨立性的職業道路。而那時候我根本還沒有真正做過研究，試過一些題目，沒什麼成功。但我知道，我還沒有真正去試那件我明明是為了它才來的事。（邁克爾·卡恩斯） 他決定撐過那個夏天。一年之後，他開始做出研究了，做得順利，也有意思，事情徹底變了。他把這個轉變描述成每個博士生某個時刻都要經歷的那道坎：從一個學習前人做過什麼的學生，變成做自己東西的研究者，並且摸清自己的強項和弱項在哪裡。 Lex 補了一句：也是接受這段旅程本身的痛苦。卡恩斯說，對，就是這樣。那個下午他對自己說的是，我要撐下去，我要在這兒多待一陣。 ## 可以直接用起來的幾件事 這期訪談資訊密度很高，但落到行動上，有幾條是可以馬上做的。 - 如果你在做任何涉及人的預測模型，先做一次審計，別急著最佳化。把假陽性率、假陰性率按你能想到的每一個敏感屬性分組算一遍，再按兩兩組合、三三組合算一遍。卡恩斯說的公平傑利蠑螈，幾乎一定會在某個你沒看過的交叉子群體裡出現。 - 在專案文件裡畫一條帕累託曲線，橫軸誤差，縱軸不公平度，把公平約束強度作為引數掃一遍。這張圖比任何一段文字論述都更適合拿給非技術的決策者看，因為它把“選哪個點”這個責任清晰地交回給了應該負責的人。 - 檢查你對匿名化的依賴。刪掉姓名列、粗化年齡、截斷郵編，這些操作在資料集可以被聯結的世界裡提供不了任何保證。如果隱私是硬需求，去查差分隱私的現成實現，主流機器學習演算法基本都有對應版本。 - 不要替使用者決定他們想要什麼樣的資訊流。如果你的系統有能力計算使用者喜歡什麼，它同時就有能力計算使用者不喜歡什麼，把它做成一個使用者可見的開關，成本遠低於你想象。 - 如果你是研究者，去做一點行為學實驗。把模型、把公平場景擺到普通人面前，問他們怎麼想。這個領域最缺的不是新定義，是普通人直覺的經驗資料。 - 如果你是計算機背景出身，把一部分精力花在走出圈子這件事上。這個學科對社會的影響力已經大到不允許從業者只做技術公民，而這個責任主要在這一邊，不在指望所有人來學程式設計的那一邊。