隨著互聯網技術的發展，智能風控技術越來越多地被應用于金融機構的各個業務中，但現有的各類風控模型均基本使用結構化數據進行構建，對于圖片、語音等非結構化數據利用還相對較少。中原銀行提出一種結合非結構化數據和結構化數據的框架，采用當前較前沿的技術對多模態數據進行特征提取構建反欺詐模型，有效提升了模型的區分精度，助力把控業務風險。中原銀行提出了一種結合多模態數據的框架，該框架使用管道的方式，先通過深度學習模型對非結構化數據進行特征提取，再結合提取的非結構化特征與結構化特征構建評分卡，能夠對非結構化數據和結構化數據聯合建模，對信息的有效成分捕捉更全面，使得各類型數據之間的信息能夠實現1+1>2的效果。中原銀行該項目設計了非結構化數據的處理方案，并結合非結構化與結構化數據對現有風控技術進行增益，幫助金融機構更全面控制金融風險，有效規避金融欺詐風險；同時提供了一套可行的多模態數據風控方法論可以推行至其他各個業務場景；非結構化數據處理模型分類精度能夠達到95%以上，能夠非常精準給客戶圖像打標簽；較只使用結構化數據的舊模型，多模態數據處理模型從識別好壞申請的能力和模型穩定性上都有相當程度的提升，具體地，auc從0.796提升至0.828，ks從0.48提升至0.5，同時psi穩定性指標穩定在0.05。（來源：中國電子銀行網）