PPC Insights系列 高效的線上隱身查詢技術

發布時間:2024-05-09 閱讀:1277

隨著數字經濟的快速發展,資料要素的重要性日益凸顯,資料安全和私隱保護備受關注。 匿名查詢(又稱私密資訊檢索,PIR)是私隱保護計算的重要引擎之一,它可以在資料持有者不知道搜尋條件中私密資訊的情況下檢索資料。 本文將從傳統資訊查詢方法存在的問題入手,梳理隱藏查詢技術的發展現狀,介紹基於關鍵詞搜尋的高效隱藏查詢技術解決方案。

要求的背景

由於自身業務發展需要,銀行、保險公司等金融機構經常需要向外部資料合作夥伴查詢客戶的畫像標籤資訊,以增強自身業務決策的有效性。 在傳統的資料介面(API)查詢中,金融機構需要向資料夥伴提供客戶身份資訊作為檢索條件。 在此過程中,存在客戶資訊被資料合作夥伴或資料中介破解、快取、轉售的風險,可能導致非常嚴重的業務損失和私隱洩露事故。

隱身查詢作為私隱保護計算領域安全多方計算的乙個分支,可以有效解決上述問題它使資料持有者無法知道具體的查詢物件,從而保護查詢者的私隱資訊,消除安全顧慮,促進資料的安全有序流通。 在應用場景方面,隱身查詢主要適用於標籤查詢、評分查詢、列表查詢、資訊驗證等場景。

研究現狀

隱身查詢的技術概念最早由Cho等人提出,並引入了兩條技術路徑:基於資訊理論安全的資訊理論PIR(IT-pir)和計算安全(C-pir)。

在資訊理論上安全的隱身查詢方案中,資料庫被複製到多個非合謀伺服器。 客戶端向每個伺服器發出查詢,並通過合併來自所有伺服器的響應在本地完成查詢。 該方案有兩個優點:一是每個計算節點的計算量相對較小(不同的資料庫只能儲存每個資料的異或分割結果); 其次,協議本身可以被證明是資訊理論上安全的。 這意味著該方案能夠以無限的計算量防禦對手,並可以顯著減少對加密強度的依賴。 但是,該方案的系統部署很困難,因為很難保證不同的伺服器在工程實現中不會串通。

計算安全的匿名查詢只需要部署在單台伺服器上,其私隱保護能力基於高強度加密演算法。 此方案可用於由單個管理域(如公司)控制的資料庫,同時滿足加密強度。 缺點是它們的計算成本比資訊保安的隱形查詢方案更昂貴,後者需要在查詢時對每個資料庫中的每條資料進行昂貴的加密操作。 雖然要提高計算安全隱身查詢的資源開銷還有很多工作要做,但不幸的是,其中一些場景具有較高的網路成本和對資料寬度的一些限制。

從應用場景上看,隱身查詢可以分為離線批量隱身查詢和實時隱身查詢兩種。 離線批量匿名查詢用於對海量資料進行統一查詢,其中查詢器批量提供要查詢的關鍵字,並批量向資料持有者請求資訊。 在實時匿名查詢的情況下,請求方一次傳送乙個查詢請求。 離線批量隱身查詢注重平均效能,由於可以單次大批量查詢,流量大大減少。 此外,還應用了simd(單指令多資料)等技術來優化伺服器和客戶端的計算量。 然而,實時匿名查詢對響應時間的要求更高,必須支援客戶端隨時靈活地向資料持有者發起請求,並且伺服器還需要感知查詢數量的特徵進行調和收費,因此技術挑戰較大。

支援關鍵字搜尋的高效能**隱身查詢

支援關鍵字搜尋隱藏的痕跡

傳統的C-PIR協議要求搜尋者在被查詢方的資料庫中提前知道待檢查元素的位置,這在實際應用中過於強大,難以獲得商業應用。 實際的資料查詢過程一般通過關鍵詞搜尋獲取相應的資訊。 在原有C-PIR協議的基礎上,乙個直觀的改進思路是,如果能找到一種方法,在不透露額外資訊的情況下建立關鍵詞與上述位置資訊的對應關係,就可以實現關鍵詞匿名查詢。

圖1 基於位置資訊隱藏查詢

圖2 關鍵字匿名查詢。

基於以上思路,目前支援關鍵詞查詢的PIR(Keyword Pir)方案主要分為以下三類:

私隱集相交 (PSI) 與 C-Pir 相結合

在一些PSI協議(如CM20)中,交集資訊是通過OPRF匹配雜湊函式的輸出來獲取的,如果在這個過程中能夠保證被查詢方資料傳輸的有序性,查詢方可以通過匹配獲得待檢查關鍵詞的位置資訊,並在此基礎上, 結合C-PIR協議,可以得到最終需要檢查的資訊。此外,在原有的PSI協議中,可以拆分被查詢方生成的雜湊值,一部分用於匹配,另一部分作為對稱加密的對稱金鑰,對對要檢查的相應資訊進行加密,並將匹配的字串和密文傳送給查詢器, 如果查詢器可以匹配對應的對稱金鑰,則可以解密相應的密文。(這些解決方案都是對原協議的工業修改,目前還沒有完整的學術**出版物,PIR的定義要求傳輸量小於資料庫大小,這樣的解決方案並不嚴格符合定義)。

無意轉移 (OT) 與多項式插值相結合

即將被查詢方資料庫中資料的待檢查關鍵詞(對應x坐標)和對應資訊(對應y坐標)轉換為多項式點(x,y)獲取一組點(xi,yi,i⋳n客戶端和伺服器同步乙個多項式,只要有對應的關鍵字,就可以直接計算出要檢查的相應資訊。 其中,多項式的同步過程需要使用無意傳輸來保證協議的安全性。 (在現有方案中,為了保證私隱性,通常需要巢狀多個隨機多項式來構造最終的插值多項式)。

labeled-psi

該方案還利用了CCS的插值多項式特徵'21方案以不平衡psi為例,首先通過構造乙個多項式來判斷關鍵詞的存在性,然後基於插值多項式來計算出對應的待檢查資訊,前者是基於同態加密下的乘法,可以直觀地理解被查詢方在密文狀態下對查詢者傳送的關鍵詞進行減乘, 然後隨機化,查詢器通過解密檢查乘法結果是否為 0。如果為 0,則表示關鍵字存在,否則不存在。 如果是這樣,查詢器通過插值多項式來計算要檢查的資訊。 ccs'21方案目前是學術界最知名的方案,其表現(基於印章的實施)如下:

圖3 CCS'21 場景效能。

在2021年和2022年各廠商匿名查詢產品的測試中,我們可以看到行業近似的安全和效能測試指標。

圖4 2021年和2022年國家資訊通訊研究院隱瞞查詢的效能測試結果。

高效**隱身查詢

在大量學術理論研究的基礎上,Insight Technology基於PIR的實際應用場景,進行了一系列深入的研究和應用探索,涵蓋離線批量查詢和實時查詢兩大類,其中離線批量查詢場景對效能和穩定性要求不高, 而實時查詢面臨許多技術挑戰,例如:

高併發和高效能要求。 在查詢場景中,同乙個資料來源往往需要同時應對來自多個查詢的併發請求,再加上密碼演算法和協議本身的效能開銷,對計算效率、網路吞吐量、儲存資源都有很高的要求。

高可用性要求。 高可用需求是業務場景的天然需求,尤其是對於服務端,需要保證業務節點的實時服務,全天24小時提供服務,再加上密碼演算法對計算和編碼精度的要求,對高可用架構的設計提出了更高的要求。

為應對上述挑戰,洞察科技在基礎理論和工程架構兩個方面進行了研究和探索,結合分布式計算技術、密碼演算法指令集加速技術、高效能計算(HPC)技術、LLVM編譯優化技術、密文資料高效儲存、優先順序等,推出了針對高併發、高效能、高可用場景的高效隱身查詢架構排程技術,實現高效的隱身查詢引擎(InsightPir),可支援工業級大規模應用。

針對商業應用場景下網路頻寬的實際情況,將網路上下行通訊頻寬限制在25Mbps,CPU和記憶體資源限制在8核和16G,並測試了上述高效的隱身查詢引擎,得到以下資料:

圖 5 InsightPIR 效能結果。

可以看出,在限制通訊頻寬和計算資源的前提下,與公開的解決方案相比,InsightPIR引擎仍然具有明顯的效能優勢(資訊通訊研究院的測試環境是無限頻寬,6臺32核256G記憶體伺服器),以響應時間為例,對於100 100萬的不可區分性, 它至少有 1 3 倍的效能提公升,並且可以以較低的硬體成本進行部署和應用。

結論

隱身查詢技術不僅保留了普通資料查詢的基本模式,而且在保護查詢者的私隱資訊方面具有獨特的魅力。 雖然其效能與普通單點查詢還有很大的差距,但經過世界各國學者和研究人員多年的不斷優化,隱身查詢技術取得了長足的進步,並開始逐步實現商業化應用。 在前沿理論研究的基礎上,結合自身在安全多方計算領域的多年實踐經驗,洞察科技對隱身查詢進行了深度優化和改造,推出了高效的隱身查詢引擎,可在滿足安全性的基礎上進一步提公升效能,降低資源開銷和部署門檻, 這樣才能滿足更多實時應用場景的商業落地。

[參考資料]。

1. akamai state of the internet connectivity report. documents/state-of-the-internet/q1-2017-stateof-the-internet-connectivity-report.pdf, may 2017.

2. opensignal state of mobile networks: usa. aug. 2017.

3. pung: unobservable communication over fully untrusted infrastructure. sept. 2017.

4. *encrypted arithmetic library — seal. 2017.

5. xpir: nfllwe security estimator. crypto/nfllwesecurityestimator/ nfllwesecurityestimator-readme, june 2017.

6. xpir nflparams. june 2017.

7. internet providers with data caps. jan. 2018.

8. c. aguilar-melchor, j. barrier, l. fousse, and m.-o. killijian. xpir: private information retrieval for everyone. in proceedings of the privacy enhancing technologies symposium (pets), july 2016.

9. m. r. albrecht, r. player, and s. scott. on the concrete hardness of learning with errors. journal of mathematical cryptology, 9(3), oct. 2015.

10. s. angel and s. setty. unobservable communication over fully untrusted infrastructure. in proceedings of the usenix symposium on operating systems design and implementation (osdi), nov. 2016.

11. y. arbitman, m. naor, and g. segev. backyard cuckoo hashing: constant worst-case operations with a succinct representation. in proceedings of the ieee symposium on foundations of computer science (focs), oct. 2010.

12. y. azar, a. z. broder, a. r. karlin, and e. upfal. balanced allocations. in proceedings of the acm symposium on theory of computing (stoc), may 1994.

13. b. barak, o. goldreich, r. impagliazzo, s. rudich, a. sahai, s. p. vadhan, and k. yang. on the (im)possibility of obfuscating programs. journal of the acm, 59(2), 2012.

14. a. beimel, y. ishai, e. kushilevitz, and j.-f. raymond. breaking the o(n1/(2k−1)) barrier for information-theoretic private information retrieval. in proceedings of the ieee symposium on foundations of computer science (focs), nov. 2002.

15. cong, kelong, et al. "labeled psi from homomorphic encryption with reduced computation and communication." proceedings of the 2021 acm sigsac conference on computer and communications security. 2021.

老虎監獄地暖系列,安全、高效、節能、舒適!

閥門開關不敏感。房間的溫度不均勻。溫度和壓力看不見,除錯麻煩?基本 高價效比 舒適的供暖 PE XA地暖管 進口化工原料,不新增回收材料,更安全。Tiger Prison Pass 分水器 精確比例調節,平衡室溫,告別反覆除錯。Tiger Prison Off多功能球閥 雙重密封,溫壓雙重測量,排汙...

高效學習推動高效工作

自 讓我們學青春 黃九省 區 省會城市青年讀書馬拉松暨泉城青年幹部讀書馬拉松挑戰賽 啟動以來,許多參與學習的青年表示,這次學習挑戰培養了他們勤奮思考 善於總結的良好習慣,提高了他們在工作中貫徹落實黨的二十大精神的能力。促進了全城年輕幹部勤奮好學 好好思考的良好氛圍。青年幹部要知己擔重,迎難而上,積極...

“有效演講”是完成有效演講所需的心態和技巧

大家好,歡迎來到大濱閱讀,今天就和大家分享一下閱讀是 高效演講 並弄清楚完成高效演講所需的心態和技巧。這本書的作者是美國史丹福大學教授彼得 邁爾斯,他自稱是溝通專家,他曾在史丹福大學教授過這樣的課程,教別人如何提高溝通技巧。由於他的教學和內容好,這門課程意外地成為這所學校入學人數最多的課程。他還擁有...

高效藍火

開啟爐子,在熾熱的火上炒嫩肉,用小火燉煮醇厚的湯,每道菜對應著不同的火力,烹飪出各種風味中的微妙變化。中國菜博大精深,有煮 蒸 燉 燉 炸 炸 炸 滑 爆 燻等幾十種烹飪方法,其中大部分需要用爐火。當然,也不僅僅是火,畢竟每道菜都有它的氣質,需要不同程度的火力才能攻克。即使是普通的家常菜,也需要適量...

如何召開有效的會議

對於需要密切合作的工作,必要的溝通總是占用我們很大一部分時間。例如,各種產品 測試和研發溝通會議的目的也是讓所有相關負責人了解所有應該知道的業務 技術和實施事項,從巨集觀到必要的細節。因此,如何召開好會議變得越來越重要。在準備方面 我們需要乙個會議的主持人首先,我認為我們需要乙個主持人,也就是流程的...