壹、“顯微鏡級別洞察力背後的黑科技
無論何時，市場洞察都是營銷人的眼睛，視線看向哪裏、看到了什麽，都左右著未來商業潮水的走向。
20多年前，“市場洞察更多還被稱為“市場調研，由於可獲取的樣本量有限，調研結果在如今看來並不精準，更難以稱之為“洞察。
互聯網的興起才讓“洞察真正成為可能。但受限於技術和產品能力，廣告主只能通過粗粒度的行業通用標簽來投放。例如，不同廣告主只能***用壹個“美妝的行業標簽，商業分析依舊無法達到理想中的“精準。
如今，5G時代下，流量潮水正逐漸褪去，接近飽和的移動互聯網廣告市場正宣告著存量時代的來臨，營銷步入精細化階段。這意味著，洞察需要更加精準才有能力支撐更清晰的商業決策。
以美妝行業為例，廣告主不僅需要看見對美妝感興趣的人群在哪裏，更需要知道對自己品牌感興趣的人群有哪些。
廣告的投放也不止於有限且固定的位置，還可以結合上下文場景。如主打美白的產品可以植入到所有與“美白相關的內容場景中。
洞察不再只是粗獷的行業調研，而是能夠看見某壹細分品類甚至某個產品的市場利益分析。
事實上，
上述這些功能都藏在巨量引擎的商業數據產品巨量雲圖中。有了這些精細的洞察，曾經相對模糊的營銷的中上遊如今有了更加清晰的視野，廣告主也能有的放矢，把控更多決策細節。
“顯微鏡級別的洞察背後，是機器對萬億級數據流的抽絲剝繭，以及人類與機器的高效聯動。
最初，巨量引擎技術團隊圍繞“精準洞察需求，決定在3個層面升級技術能力，開發出更精細、靈活、快速的解決方案：
1.基礎層：提升機器的內容理解豐富度，產出更多樣化的標簽。
2.應用層：洞察不僅要精準，更要為廣告主真正所需。因此搭建壹個標準化標簽生產平臺，靈活滿足廣告主個性化標簽需求，做到“所需即所得。
3.效率層：提升數據查詢速度，確保廣告主即時看到分析結果，以快速跟進決策。
二、基礎層：讓機器理解更豐富的世界
在巨量引擎，內容是最基礎的“原料，無數內容流匯成數據的基本盤，為商業分析提供不竭動力。但事實上，正如原油要經過壹系列工業流程才能變成有商業價值的石油，從海量內容中提煉出精準的商業洞察還需要很多操作。其中最關鍵的壹環就是讓機器能理解更多信息。
機器獲取的信息量越大，輸出的標簽顆粒度就會越細，最終發現更具象的商業洞察。
整體上從兩個方面入手。
壹是在識別粒度上，將機器的文本理解能力提升至詞粒度；二是在識別廣度上，讓機器具備理解視頻的能力。二者都是為了讓機器從海量內容中獲取更多的信息，“看見壹個更豐富的世界。
1.
細粒度的文本理解能力
在文本識別方面，機器的理解能力按照精細程度主要分為三個級別。同樣壹篇文章，初級水平的機器只能知道這段文本講的是汽車，因此標簽的分類也十分粗糙；中級水平的機器能理解到語句級別，識別出這篇講汽車的文章中有多少篇幅講的是發動機；高級水平的機器更聰明壹些，能夠識別出句子中的關鍵詞。文章中某輛汽車的品牌、型號、外形、性能、配置等各方面表現都能被準確識別出來。
在巨量引擎，
機器的文本理解水平已經精確到了詞粒度，達到了目前語義理解的最小單位
。簡單來說，技術同學會制定壹套具備商業屬性的關鍵詞策略，例如語義上是否相關、詞頻高低、熱度搜索趨勢、數據源是否有商業屬性等，機器會根據這套策略將識別到的詞語按照關鍵程度進行排序，越符合規定策略的詞則排名越高，最終被定義為商業關鍵詞。這些商業關鍵詞如果再經過系統的“美工，就是我們在分析中經常看見的詞雲圖。
2.
更廣泛的內容識別範圍
對機器來說，視頻通常集圖像、音頻、文本等各個形態於壹身，所以識別難度也比文本更高。在技術領域，通過機器學習的方法實現和理解多種形態信息的能力稱為
多模態學習
，這其中“模態就是指各種信息的載體，如文本、圖像、聲音等。因此，視頻理解就是壹個典型的多模態學習應用場景。通過“多模態學習，機器能夠識別出更多數據形態，對內容的理解也會更充分。
整體而言，讓機器理解視頻主要分為表征、融合和分類三個步驟。
“表征的作用類似於翻譯，即將文本、圖像、聲音等不同類型的數據轉換成機器能理解的“數據語言，即同壹種結構的數據。在“融合階段，機器將采取不同的策略將多種模態的信息進行整合，尋找這些信息之間的關聯性，形成統壹的認知。最後，機器在充分理解之後再把數據按照壹級、二級行業屬性等規則進行歸類，相似的數據歸為壹類，最終輸出“標簽。
多模態技術科普視頻:機器是如何理解視頻的？
通俗來講，有了多模態技術的加持，就像人類掌握了多國語言。壹方面，在缺失某種模態的情況下也能憑借另壹種模態理解內容；另壹方面，通過對不同模態的信息進行融合，機器對內容的理解也更加準確。
通過對文本與視頻的理解，機器將底層龐大的內容流“劃分成了各式各樣的標簽，這些標簽中有相對粗粒度的類目標簽，也有精細到詞粒度的關鍵詞，它們組成了龐大的商業標簽庫，成為滿足廣告主不同營銷需求的底層基礎。
三、應用層：高效滿足個性化洞察需求
雖然通過內容理解技術，機器最終能夠輸出更精準的標簽。但這些標簽屬於標準化產物，產出後無法再更改和調整，因此依然很難滿足壹些廣告主的個性化需求。
例如，如果廣告主只想投放對自己品牌感興趣的人群，或僅想知道與自身產品相關的利益點分析，那麽就需要重新生產出壹套符合自己需求的個性化標簽，這其中需要對標簽進行定義、根據規則在底層數據庫中進行挖掘、以及評估測試等多個流程，最後才能上線使用。
這壹系列流程都是在標簽平臺上實現的。簡單來講，標簽平臺是
搭建在內容理解的能力基礎之上的標簽生產和管理工具
。通過壹套標準化的流程，讓不懂技術的業務同學也能夠根據實際需求自定義標簽規則，在平臺上靈活生產標簽。
後來標簽平臺經過內測後對外開放，在巨量雲圖上線為“標簽工廠。
用技術同學的話說，標簽平臺的價值就像是將餐廳的後廚開放出來。如果菜單上沒有符合客人胃口的菜，那麽就可以直接去後廚，挑選合適的食材，做出想要的美食。
壹言以蔽之，標簽平臺讓精準洞察具備了“適配性：不僅精準，且為廣告主真正所需。
最終，通過內容理解和標簽平臺，廣告主才能通過對全平臺的內容指標分析，看到各種品類的市場趨勢。甚至還能通過分析某壹特定品類的UGC及PGC內容，得知產品賣點與用戶認知是否契合、正負評論各有哪些、產品利益點表現情況等。
人群方面，廣告主還能在標簽平臺上圈選出本品的興趣和機會人群，以及找出與目標群眾重合度高的KOL，大大降低營銷決策的風險。
四、效率層：讓商業分析唾手可得
如同古代的行軍打仗，戰報的送達時間密切影響著戰略決策，事關戰局輸贏。商業分析也是如此，對廣告主而言，如果數據不能被即時看見，就意味著不能盡快復盤，敏捷應對，那麽其價值就會被削弱，即便洞察精準，依舊如管中窺豹。
事實上，廣告主每發出壹次查詢請求，系統都要在海量數據庫中進行查詢、計算、分析等壹系列復雜的操作，最終才將目標數據呈現在廣告主眼前。但在廣告主看來，這壹切僅發生在眨眼之間。
如此高效的處理速度主要源於對數據存儲方式的優化。對機器而言，不同類型的數據存儲方式很大程度上決定了查詢速度的快慢。就像從壹個擁有10萬本藏書的圖書館裏找到四大名著壹樣，如果能將書籍按照內容以及首字母進行分類和排序，很快就能找全四大名著。
因此，在數據存儲方式上，團隊請了壹個“外援——ClickHouse，壹種高性能的開源數據庫管理系統，專門擅長處理雲圖這種數據量大、經常承接各種靈活查詢需求的場景。憑借列式存儲結構和按列計算的特性，結合業務側數據分片處理，ClickHouse能夠高效讀取與計算出廣告主需要的數據。
例如廣告主想對壹二線城市愛吃巧克力的女性進行內容分析，傳統的數據庫則需要讀取所有數據才能依次篩選出壹二線城市、女性、愛吃巧克力三個標簽，最後三個條件都符合的才是廣告主的目標人群。但如果使用ClickHouse這個“外援，系統無需讀取全部數據，只需查詢這三個標簽所在的“列，再對這三組數據在用戶分片上進行“交並差並行處理就可以了，大大節省了查詢時間。
在此基礎上，再通過“BitMap技術
縮小數據的存儲空間
。Bit是計算機數據系統中的最小單位，壹個bit值可以為1或0，我們經常聽到的“byte可以換算為8個bit。而“BitMap正是采用bit數組的數據結構，將原始數據與bit數組裏的位置建立映射關系。由於Bit的存儲單位很小，因此往往能夠節省大量存儲空間。
高度抽象壹點說，“BitMap的原理就像英語的縮略詞壹樣。例如把雅思寫成全稱的形式“InternationalEnglishLanguageTestingSystem需要占用45個字符，而如果直接簡寫成“IELTS只需要5個字符就夠了，這樣機器讀取的時間就會大大縮短。
根據業務測試反饋，憑借ClickHouse和“BitMap組合，巨量雲圖的查詢速度提升了10-50倍，查詢時間已控制在3-5秒間，真正實現了商業分析的“所需即所得。
結語：
內容理解從底層解決了標簽的精準問題，標簽平臺從上層讓精準的洞察發揮出更多價值，查詢技術讓壹切信息秒速進入人們的視線，正是通過壹次次技術上的突破，才成就了如今洞悉更多商業細節的能力。
從創意生產到洞察分析，現在巨量引擎團隊又有了更多新思考，例如讓情感分析更加細膩、系統更加智能、生產更高效營銷的科學性也正是在無數次思考中走向普羅大眾。相信，這些細微的思考也會在未來帶來更先進的技術，解決更多難題。