國外媒體Slate刊文指出，“年夜數據（Big Data）”一詞曾經變得沒有以往那末紅火了，為何會如許呢？“年夜數據”的成績其實不在于數據或許年夜數據自己很蹩腳，而是在于自覺留戀數據，不加批評地應用，那會激發災害。數據也紛歧定完整反應你想要懂得的工作的現實情形。
以下是文章重要內容：
5年前——2012年2月——《紐約時報》刊文高呼人類的一個新紀元的到來：“年夜數據時期”。
該文章告知我們，社會將開端產生一場反動，在這場反動中，海量數據的搜集與剖析將會轉變人們生涯的簡直每個方面。
數據剖析不再局限于電子數據表和回歸剖析：超等盤算的到來，隨同著可連續記載數據并將數據傳送到云真個聯網傳感器的賡續普及，意味著邁克爾·劉易斯（Michael Lewis）2003年的棒球書本《Moneyball》所描寫的那種先輩數據剖析無望被運用于各行各業，從貿易到學術，再到醫療和兩性關系。
不只如斯，高真個數據剖析軟件還有助于判定完整意想不到的相干性，好比存款方用盡額度和他債權背約的能夠性之間的關系。這必將將會催生會轉變我們思慮簡直一切事物的新鮮看法。
《紐約時報》其實不是第一個得出這一結論的企業機構：它的文章援用了麥肯錫征詢公司2011年的一份嚴重申報，其不雅點也獲得了2012年瑞士達沃斯世界經濟服裝論壇t.vhao.net題為“年夜數據，年夜影響”的官方申報的支撐。但這類宣言似乎就是標記年夜數據時期開啟的里程碑。
在以后的一個月里，巴拉克·奧巴馬（Barack Obama）的白宮成了一個2億美元的國度年夜數據項目，猖狂高潮隨即襲來：學術機構、非盈利組織、當局和企業都爭相去探討“年夜數據”畢竟是甚么，他們可以若何好好應用它。
現實證實，這類猖狂沒有連續很長時光。5年后，數據在我們的平常生涯中飾演主要許多的腳色，但年夜數據一詞曾經不再風行——乃至讓人認為有些憎惡。我們被承諾的那場反動畢竟產生了甚么呢？數據、剖析技巧和算法如今又在往甚么偏向成長呢？這些成績值得回頭去思慮。
科技征詢公司Gartner在它2015年相當著名的“技巧成熟度曲線”申報中不再應用“年夜數據”一次，以后該詞再也沒有回歸。該公司廓清道，這其實不是由于企業廢棄發掘巨量數據集取得洞見的概念。而是由于那種做法曾經變得廣為風行，以致于它不再相符“新興技巧”的界說。
年夜數據贊助驅動我們的靜態新聞、Netflix視頻推舉、主動化股票生意業務、主動校訂功效、安康跟蹤裝備等不可勝數的對象面前的算法。但我們如今不年夜應用年夜數據一詞了——我們只是將它稱作數據。我們開端將數據集可以或許包括有數的不雅察成果，先輩軟件可以或許檢測傍邊的趨向當作天經地義的工作。
年夜數據激發的嚴重毛病
固然該詞仍有被應用，但它更多地帶有一種欠好的意味，好比凱茜·奧尼爾（Cathy O’Neil）2016年的著作《數學殺傷性兵器》（Weapons of Math Destruction）或許弗蘭克·帕斯夸里（Frank Pasquale）2015年的《黑箱社會》（The Black Box Society）。急忙履行和運用年夜數據，即停止所謂的“數據驅動型決議計劃”，帶來了嚴重的毛病。
有的毛病相當引人注視：塔吉特（Target）曾向一名沒跟任何人說過本身懷孕的少女的家庭派送嬰兒用品優惠券；Pinterest曾祝賀一名獨身只身女性行將娶親；谷歌照片（Google Photos）也曾激發軒然年夜波，該公司被年夜肆吹噓的AI將黑人誤認為是年夜猩猩，緣由是它的練習數據不敷多元化。（值得指出的是，至多在該事宜中，“年夜數據”還不敷年夜。）
其它的毛病更加奧妙，也許也加倍陰險。傍邊包含奧尼爾在她的主要著作中記載的那些不通明的數據驅動式軌制性模子：被法庭用來判決罪犯的、帶有種族成見的累犯模子，或許那些基于可疑的考試分數數據辭退備受敬愛的教員的模子。年夜數據失足的新案例可謂層見疊出——好比Facebook算法顯著贊助俄羅斯經由過程針對性的假消息影響美國總統年夜選的成果。
自覺留戀數據與誤用
“年夜數據”的成績其實不在于數據自己很蹩腳，也不在于年夜數據自己很蹩腳：謹嚴運用的話，年夜型數據集照樣可以或許提醒其它門路發明不了的主要趨向。正如茱莉婭·羅斯·韋斯特（Julia Rose West）在比來給Slate撰寫的文章里所說的，自覺留戀數據，不加批評地應用，常常招致災害的產生。
從實質來看，年夜數據不輕易解讀。當你搜集數十億個數據點的時刻——一個網站上的點擊或許光標地位數據；年夜型公共空間十字轉門的遷移轉變次數；對世界各地每一個小時的風速不雅察；推文——任何給定的數據點的起源會變得隱約。這反過去意味著，看似高等其余趨向能夠只是數據成績或許辦法形成的產品。但或許更嚴重的成績是，你所具有的數據平日只是你真正想要曉得的器械的一個目標。年夜數據不克不及處理誰人成績——它反而縮小了誰人成績。
例如，平易近意查詢拜訪被普遍用作權衡人們在選舉中的投票意向的目標。但是，從湯姆·布拉德利（Tom Bradley）1982年在加州州長競選中戰敗，到英國脫歐公投，再到特朗普確當選，數十年來成果出人意料的選舉幾回再三提示我們，平易近意考試和人們現實的投票意向之間其實不老是完整分歧。Facebook以往重要經由過程用戶有無點贊來估計他們對特定的帖子能否有興致。但跟著經由算法優化的靜態信息開端年夜量涌現題目釣餌、點贊釣餌和嬰兒照片——招致用戶滿足度顯著降低——該公司的高層逐步認識到，“點贊”這事其實不必定意味著用戶真的愛好特定的內容。
目標和你現實上要估計的器械之間的差異越年夜，過于倚重它就越風險。以來自奧尼爾的著作的前述例子為例：學區應用數學模子來讓教員的表示評價與先生的考試分數掛鉤。先生考試分數與不在教員掌握規模內的有數主要身分有關。年夜數據的個中一個優勢在于，即使是在異常喧鬧的數據集里，你也能夠發明成心義的聯系關系性，這重要得益于數據量年夜和實際上可以或許掌握混淆變量的壯大軟件算法。
例如，奧尼爾描寫的誰人模子，應用來自多個學區和系統的先生的浩瀚生齒構造方面的相干性，來生成考試分數的“預期”數據集，再拿它們與先生的現實成就停止比擬。（因為這個緣由，奧尼爾以為它是“年夜數據”例子，雖然誰人數據集其實不夠年夜，沒到達該詞的一些技巧界說的門坎。）
試想一下，如許的體系被運用在統一所黌舍外面——拿每一個年級的教員與其它年級的教員比擬。要不是年夜數據的魔法，先生特定學年異常的考試分數會異常惹眼。任何評價那些考試的聰慧人，都不會以為它們可以或許很好地反應先生的才能，更不消說教他們的先生了。
而前華盛頓特區教導局長李洋姬（Michelle Rhee）實施的體系比擬之下更不通明。由于數據集比擬年夜，而不是小，它必需要由第三方的征詢公司應用專門的數學模子來停止剖析解讀。這可帶來一種客不雅性，但它也消除失落了周密質問任何給定的信息輸入，來看看該模子詳細若何得出它的結論的能夠性。
例如，奧尼爾剖析道，有的教員獲得低評分，能夠不是由于他們的先生表示蹩腳，而是由于那些先生之前一年表示得出奇地好——能夠由于上面誰人年級的教員謊稱那些先生表示很好，以晉升他本身的教授教養評分。但關于那種能夠性，黌舍高層并沒甚么興致去深究那種模子的機制來予以證明。
參加更多目標
其實不是說先生考試分數、平易近意查詢拜訪、內容排名算法或許累犯猜測模子一切都須要疏忽。除停用數據和回歸到奇聞軼事和直覺斷定之外，至多有兩種可行的辦法來處置數據集和你想要估計或許估計的實際世界成果之間不完整相干帶來的成績。
個中一種辦法是參加更多的目標數據。Facebook采取這類做法已有很長一段時光。在懂得到用戶點贊不克不及完整反應他們在靜態新聞傍邊現實想要看到的器械今后，該公司給它的模子參加了更多的目標。它開端丈量其它的器械，好比用戶看一篇帖子的時長，他們閱讀其點擊的文章的時光，他們是在看內容之前照樣以后點贊。
Facebook的工程師盡量地去衡量和優化那些目標，但他們發明用戶年夜體上照樣對靜態新聞里出現的內容不滿足。是以，該公司進一步增長丈量目標：它開端睜開年夜規模的用戶查詢拜訪，增長新的反響臉色讓用戶可以轉達加倍纖細的感觸感染，并開端應用AI來按頁面和按出書者檢測帖子的題目黨說話。該社交收集曉得這些目標沒有一個是完善的。然則，經由過程增長更多的目標，它實際上可以或許加倍接近于構成可給用戶展現他們最想要看到的帖子的算法。
這類做法的一個弊病在于，它難度年夜，本錢昂揚。另外一個弊病在于，你的模子參加的變量越多，它的辦法就會變得越撲朔迷離，越不通明，越難以懂得。這是帕斯夸里在《黑箱社會》里論述的成績的一部門。算法再先輩，所應用的數據集再好，它也有能夠會失足——而它失足的時刻，診斷成績幾無能夠。“過度擬合”和自覺信任也會帶來風險：你的模子越先輩，它看上去與你過往一切的不雅察越吻合，你對它越有信念，它終究讓你狼奔豕突的風險就越年夜。（想一想次貸危機、選舉猜測模子和Zynga吧。）
小數據
關于源自信數據集成見的成績，另外一個潛伏的應對辦法是部門人所說的“小數據”。小數據是指，數據集足夠簡略到可以直接由人來剖析息爭讀，不須要乞助于超等盤算機或許Hadoop功課。跟“慢餐”一樣，該詞也是由于其相不和的風行而發生。
丹麥作家、營銷參謀馬丁·林德斯特羅姆（Martin Lindstrom）在他2016年的著作《小數據：提醒年夜趨向的渺小線索》中談到了那種做法。例如，丹麥著名玩具廠商樂高（Lego）根據年夜量宣稱千禧一代須要即時知足，更輕易被比擬輕松的項目吸引的研討，轉向供給更年夜的積木，還在1990年月末和2000年月初打造主題公園和視頻游戲。這類轉型沒有見效。
那種由數據驅動的范式最初被它的營銷者2004年停止的一項規模小很多的人類學查詢拜訪推翻。它的營銷者逐一訊問小孩他們最珍重甚么物品，發明他們最愛好也最忠于可以讓顯示出其苦苦練就的才能的產物——好比一雙因數百個小時的滑板演習而磨損的舊活動鞋。據林德斯特羅姆（他曾擔負樂高的參謀，本身也很愛好玩樂高積木）說，樂高從新專注于供給它本來的小積木，由此完成中興。
在許多方面，亞馬遜是可充足解釋年夜數據威力的典范例子。它關于其數以億計的顧客的購置和商品閱讀習氣的數據，贊助它成為全球最勝利的批發商之一。不外，布拉德·斯通（Brad Stone）在他的書《萬貨市肆》（Everything Store）中稱，該公司的CEO杰夫·貝索斯（Jeff Bezos）有個很風趣（關于他的員工來講則很恐怖）的方法來均衡一切的那些客不雅數據剖析。他時不時會將顧客發來的贊揚郵件轉發給他的高層團隊，請求他們不只僅要處理贊揚的成績，還要完全查詢拜訪清晰它產生的緣由，并撰寫一份說明申報。
這解釋，貝索斯不只僅懂得年夜數據晉升各個體系運轉效力的威力，還曉得年夜數據也要能夠會掩飾沒有獲得有用估計的特定成績的產生緣由和機制。在依據你曉得該若何丈量的工作做出決議計劃的時刻，平安的做法是確保也無機制讓你可以或許曉得你不曉得該若何估計的工作。“成績老是，你沒有搜集甚么數據？”奧尼爾在接收德律風采訪時表現，“甚么數據是你看不到的？”
將來瞻望
跟著“年夜數據”不再被當作熱詞，我們有愿望逐步對數據的威力和圈套構成加倍過細入微的懂得。回頭來看，搜集數據的傳感器和剖析數據的超等盤算機一會兒年夜量出現，激發一股淘金熱，和許多時刻錯掉這一切的恐怖會壓過你的謹慎情感，都是可以懂得的。與此同時，必定會有沉思熟慮的人開端惹起我們對這些情形的留意，年夜數據也弗成防止地會帶來反后果。
不外，年夜數據誤用帶來的威逼，不會僅僅由于我們不再用畏敬的口氣來講誰人詞而消逝。看看Gartner 2017年技巧成熟度曲線的巔峰，你會看到像機械進修和深度進修如許的詞，和代表這些盤算技巧的實際運用的無人駕駛汽車、虛擬助手等相干的詞。這些是基于與年夜數據一樣的基本的新“棚架層”，它們全都依附于年夜數據。它們曾經走在通向真實的沖破的途徑上——但可以確定的是，它們也會招致嚴重的毛病。
