侵權投訴

構建AI交易系統?市場、數據等基礎設施不可或缺

2020-06-30 11:03 ? 次閱讀

近日,谷歌人工智能學者Denny Britz發表了一篇文章《Building AI Trading Systems》,對其使用強化學習技術,學習如何構建有利可圖的算法交易系統的經驗進行了總結。

Denny表示,人工智能的優勢顯而易見,但是也不能忽視良好的基礎設施:市場、數據、延遲、模型、執行,必不可少;同時,強化學習比監督學習難度要小些。

原文如下:

人工智能已經相當商品化了,它比優秀的基礎設施工程、數據收集或領域知識的歸納偏差更商品化。現在,你可以輕松下載最先進的模型,并在你的數據上運行它們。除非你處于相關研究的前沿,否則不太可能僅僅通過訓練一個好的模型就獲得顯著優勢。

當人們意識到他們的花哨的人工智能模型是建立在蹩腳的基礎設施上,用蹩腳的數據(同時也被其他人使用)訓練不起作用時,他們就會放棄。

人工智能可以給你一些優勢,但這些優勢沒有好到讓你忽略其他因素。你仍然需要構建良好的基礎設施、獲取良好的數據、適當的延遲等等。

很少有人愿意花時間在這些事情上。每一個因素都是乘數,如果某一個因素為零,那你的AI模型多好都沒有用。

那么,其他的因素是什么呢?

市場——選擇正確的市場進行交易。不要隨大流,選擇每個人都默認選擇的。從法律上和技術上進入市場越難,發現機會的可能性就越大。流動性較弱的市場可能無法被成熟的基金所忽視,因為它們無法適應其資產管理規模。同樣,這對于追求“優質API”的工程師通常是違反直覺的——優質API通常意味著受歡迎,流行通常意味著商品化。

數據——考慮其他人無法訪問或不愿使用的數據源。例如,由于復雜的速率限制和IP禁令,可能存在難以抓取的數據。大多數人會在這里放棄,但這是你的一個機會,要對流行的API和開源軟件持懷疑態度,所有人使用的數據都是一樣的。

延遲——你可能不打算與HFT交易員競爭,但這并不意味著你可以完全忽略延遲。好的延遲能使執行更容易以及更少的滑點。要注意在何處托管系統、如何發送數據、如何序列化數據等等。

模型——一般來說,好的數據比好的模型更重要,但是更好的模型也能給你帶來優勢。注意,你經常在模型復雜性和延遲之間進行權衡。

執行力——如果不能執行,好的模型就沒有多大意義。你收集的歷史數據可能和交易所實際發生的情況看起來很不一樣,直到開始交易,你才會知道實際發生的情況。

強化學習

在上一篇文章發表兩年之后,我還認為強化學習是市場交易的正確方法。然而,我承認,在工作時很多技巧工也是必要的。

強化學習的主要好處是您不需要設置可區分的損失函數。相反,你可以在某個時間范圍內直接優化盈虧。通過建立良好的仿真,模型可以學習到對延遲、抖動、滑點以及實際市場中可能發生的其他情況的魯棒性。

在監督學習中,這就困難多了。你需要獲得許多超參數才能得到“剛剛好”——什么時間范圍優化?要優化什么?如何處理由于延遲、被拒絕的訂單、API問題等引起的隨機情況?如何處理非iid數據等等。

我相信如果你努力的話可以做到,但是依靠基于仿真的方法似乎是更有原則的解決方案。

我也相信市場模擬是一個很好的強化學習算法的測試平臺。它有著今天許多技術都難以克服的特性:

稀疏的積極反饋。在隨機探索和獎勵的情況下,你很難發現發現好的政策。

需要歸納到未來的日期。在RL中,研究者“對訓練集進行測試”時,往往忽略了泛化。

有了一個好的模擬器,環境就可以以延遲、抖動、API問題、滑點等形式提供許多隨機性。

非平穩性。市場數據分布隨時間變化,agent必須學會處理它。

觀察到的低信噪比。

優化迭代速度

由于其他agent會適應你的策略,因此大多數效率低下的問題都會轉瞬即逝,這些問題會根據你交易的地點和方式,可能持續幾毫秒、幾秒、幾分鐘、幾小時、幾天、幾周或幾個月。

持續盈利的方法就是始終善于發現稍縱即逝的機會。這基本上就是元學習。

訓練模型時優化外循環速度,在發現新策略和調整模型和基礎設施方面,迭代的速度越快,效果就越好。圍繞這一點構建基礎設施。

查詢和加載批量歷史數據來處理要盡可能快一點。要特別注意反序列化的成本。在使用匹配引擎構建市場模擬器時,要對其進行廣泛的基準測試。

最小化RPC和網絡往返。我們這里討論的是數量級。我最近的一個模擬器比第一個模擬器快了約50倍。

由于模型是在仿真中訓練的,這意味著在訓練時迭代速度快了50倍。

自動化數據可視化,這樣當您得到意想不到的結果時,就可以很容易地查看它們。

當市場下跌時你無法賺錢

我從不太了解交易的人那里聽到一個常見的論點和誤解——我很幸運,因為市場上漲而獲利。

實際上,好幾個月以來,我的PnL圖表看起來是這樣的:

構建AI交易系統?市場、數據等基礎設施不可或缺

那么,我是否只是做空資產?不,我沒有做空任何事情,因為在我所交易的市場中不可能做空。市場很少會一直下跌。當人們說市場下跌時,他們說的是一個特定的時間范圍。市場可能在每日或每小時的范圍內上呈下降趨勢。

這并不意味著在更短的時間尺度上只有向下的運動。它可能會有相當大的波動。一旦你開始放大到秒和毫秒,總是會有上升和下降,仍然有可能從中獲利,而無需做空任何東西。

就個人而言,在下降趨勢(按小時或每天的比例)期間,我總是賺得更多。我仍然不知道為什么會這樣。可能是因為市場那邊有更多的流動性,或者是因為當價格開始下跌時,有很多不知情的交易員提交幼稚的指令進入市場。

了解交易

如果向來自不同背景的十幾個交易員提出相同的問題,那你會得到十幾個不同的意見。

請注意,我使用的是“意見”一詞,而不是答案或事實。由于交易是一個秘密領域,因此很少有被廣泛接受的真理。

人們沒有相同的背景知識,他們在不同的地方使用不同的術語。如果你想學習交易,這很難。我不知道有什么在線資源能很好地教授算法交易。

你在網上找到的大多數課程和教程都是大師們寫的——他們通過教學賺錢,但自己從來沒有建立過一個盈利的系統。他們可能會向你推銷他們的SaaS產品。

研究論文也是如此。我訂閱了arXiv的q-fin,但與機器學習等領域相比,其質量比較低。偶爾也會有一些有趣的點子,但絕大多數都是人們為了找工作和把一些東西寫進簡歷而做的實驗——這些想法在現實世界中都站不住腳。

顯然,運行一個盈利系統的人是不會發表與它有關的論文。《交易與交易所:從業者的市場微觀結構》(Trading and Exchanges: Market微觀結構)和《金融機器學習的進步》(Advances in Financial Machine Learning)等書是一個不錯的起點,但我的經驗是,沒有什么比邊做邊學或找導師更好的了。

收藏 人收藏
分享:

評論

相關推薦

天翼云利用5G通信技術推出國內首個5G云服數字職教汽修實訓一體化基地

5G時代是云的時代,也是云和網相互融合的時代。云網融合已催生出豐富多彩的行業應用,推動全行業數字化轉....
發表于 07-31 18:04 ? 124次 閱讀
天翼云利用5G通信技術推出國內首個5G云服數字職教汽修實訓一體化基地

腦機接口時代即將來臨?

在腦子里植入芯片看上去挺聳人聽聞,但馬斯克認為,其實我們已經是一個半機械人了。
發表于 07-31 16:23 ? 117次 閱讀
腦機接口時代即將來臨?

阿里云機器學習研究員對大規模機器學習實踐的見解

近年來,機器學習技術的發展歸因于我們有極其龐大的數據用來訓練算法。當企業需要落地大規模機器學習時,往....
發表于 07-31 16:22 ? 30次 閱讀
阿里云機器學習研究員對大規模機器學習實踐的見解

虛擬世界市場可期,5G助力內容制作和生產力提升

凱文·凱利曾有分享過:未來的世界,每一個現實中的物品都會有一個數字化的芯片,這個物品在虛擬世界中有一....
的頭像 我快閉嘴 發表于 07-31 16:05 ? 129次 閱讀
虛擬世界市場可期,5G助力內容制作和生產力提升

你我不懂的手語,為什么AI也很難讀懂?

雖然探索艱難,但科技企業們和學界還是不斷在手語AI上取得成果。例如騰訊優圖實驗室推出的 “優圖AI手....
發表于 07-31 15:59 ? 239次 閱讀
你我不懂的手語,為什么AI也很難讀懂?

蘋果CarPlay計劃被業界一度認為就是智能汽車未來的模樣

  后者則是一套堅持體現汽車中控大屏價值的車聯網系統。與CarPlay介乎手機與車載系統之間,更多被....
的頭像 我快閉嘴 發表于 07-31 15:53 ? 449次 閱讀
蘋果CarPlay計劃被業界一度認為就是智能汽車未來的模樣

計算機來模擬人 人工智能未來萬物互聯

人工智能(Artificial Intelligence),英文縮寫為AI。它是研究、開發用于模擬、....
發表于 07-31 15:33 ? 281次 閱讀
計算機來模擬人 人工智能未來萬物互聯

人工智能加持中醫 未來可期

人工智能,通俗易懂,它是人類賦予它能力的一個智能機器,可以仿照人的思維和表達來進行場景對話的,也是現....
發表于 07-31 15:25 ? 268次 閱讀
人工智能加持中醫 未來可期

人工智能在醫療健康領域的應用正在重塑著整個行業的形貌

如果我們想要了解什么在影響生命和生物進程,我們必須首先學會理解DNA的語言。先進的機器學習算法和Go....
發表于 07-31 15:17 ? 247次 閱讀
人工智能在醫療健康領域的應用正在重塑著整個行業的形貌

AI醫療正在改變現有的醫療方式

在席卷全球的大型公共衛生事件中,我們看到了人工智能技術的潛能。阿里巴巴的人工智能診斷工具能在20秒內....
發表于 07-31 15:15 ? 234次 閱讀
AI醫療正在改變現有的醫療方式

人工智能技術在酒店領域有何應用前景?

荀亮介紹,服務型機器人目前能夠應用在酒店領域的主要包括迎賓引導機器人、自助入住機器人、客房情感機器人....
發表于 07-31 15:10 ? 264次 閱讀
人工智能技術在酒店領域有何應用前景?

AI如何改變我們騎自行車和用自行車的方式

時至今日,隨著技術進步,騎自行車的人越來越多了。許多企業都在開發極具吸引力的自行車,使騎行更加安全、....
的頭像 貿澤電子設計圈 發表于 07-31 15:06 ? 225次 閱讀
AI如何改變我們騎自行車和用自行車的方式

人工智能加速世界進程 成為無接觸社會

一項新的全球性調查顯示,語音助手、聊天機器人、數字汽車展廳和面部識別的應用越來越多,預計這種情況在疫....
發表于 07-31 14:58 ? 32次 閱讀
人工智能加速世界進程 成為無接觸社會

工信部:加快5G建設進度,加快打造人機物全面互聯的工業互聯網

工信部召開數字基礎設施建設工作推進專家研討會,工信部副部長陳肇雄指出,加快5G建設進度,力爭早日建成....
的頭像 我快閉嘴 發表于 07-31 14:57 ? 307次 閱讀
工信部:加快5G建設進度,加快打造人機物全面互聯的工業互聯網

2020年地平線BPU賦能上億物聯網智能感知終端

  其中,“征程1.0”主要應用于智能駕駛,能夠對路況進行實時監測與識別,實現車道偏離、車輛及行人碰....
的頭像 我快閉嘴 發表于 07-31 14:50 ? 245次 閱讀
2020年地平線BPU賦能上億物聯網智能感知終端

有幾個因素要求將AI處理推向邊緣設備?

能夠在邊緣設備上運行大規模DNN模型。幾種框架和技術都支持模型壓縮,包括Google的TensorF....
發表于 07-31 14:44 ? 214次 閱讀
有幾個因素要求將AI處理推向邊緣設備?

人工智能技術怎么和教育進行結合?

把圖片替換成聲音,深度學習就由圖片識別變為聲音識別。如果標注的是聲音對應的正文,就可以做語音識別,如....
發表于 07-31 14:42 ? 714次 閱讀
人工智能技術怎么和教育進行結合?

AI實時監控食品加工符合生產要求

近些年,中國飲料市場群雄并起,各大飲料企業針鋒相對,各種飲料花樣層出不窮,競爭異常激烈。飲料企業要想....
發表于 07-31 14:40 ? 134次 閱讀
AI實時監控食品加工符合生產要求

人工智能將為保險行業帶來什么?

表面看起來保險行業一片繁榮,實則虛火不小,盡管還沒有斷崖式下滑的風險,但局部結構性危機已經顯現。
發表于 07-31 14:37 ? 366次 閱讀
人工智能將為保險行業帶來什么?

AI+BI的發展現狀和趨勢

IT部門以前做數據跟蹤報表,每次業務提需求基本是上午提下午要,給IT部門很大壓力,而IT部門引入數據....
的頭像 lhl545545 發表于 07-31 14:36 ? 309次 閱讀
AI+BI的發展現狀和趨勢

邊緣計算三種硬件形態:邊緣服務器、邊緣一體機、邊緣網關

  智能邊緣一體機將計算、存儲、網絡、虛擬化和環境動力等 產品有機集成到一個機柜中,在出廠時完成預安....
的頭像 我快閉嘴 發表于 07-31 14:23 ? 268次 閱讀
邊緣計算三種硬件形態:邊緣服務器、邊緣一體機、邊緣網關

人工智能的發展需跨過以下幾個大的關隘

  機器如果達到了這些要求,就可以順利入職成為軍師,主持“草船借箭”、“智取生辰綱”這樣的Proje....
發表于 07-31 14:23 ? 40次 閱讀
人工智能的發展需跨過以下幾個大的關隘

AI驅動的智慧物流將成為中國物流業的機遇

  伴隨著中國電商行業的崛起,中國物流行業已實現后來居上,物流成本、效率和服務水平都位居世界前列。毋....
的頭像 我快閉嘴 發表于 07-31 14:14 ? 900次 閱讀
AI驅動的智慧物流將成為中國物流業的機遇

寧暢定制液冷方案讓服務器倍享清涼

互聯網的快速發展,使人們對網絡、云端以及各類大數據處理訴求不斷增加,隨之而來的是對服務器產品性能的更....
的頭像 西西 發表于 07-31 14:13 ? 124次 閱讀
寧暢定制液冷方案讓服務器倍享清涼

為什么是互聯網公司率先布局無人駕駛汽車產業?

“視覺識別應用到汽車駕駛中還需要特別高的實時性,響應時間要快。”李慧云稱,雖然目前人臉識別技術的精度....
發表于 07-31 13:50 ? 73次 閱讀
為什么是互聯網公司率先布局無人駕駛汽車產業?

2020全球智博會還會圍繞AI技術多重應用場景,開拓企業進化新路徑

其中在國家新一代人工智能開放創新平臺展區,將集結15家開放創新平臺共同亮相全球智博會,彰顯作為國家人....
發表于 07-31 11:57 ? 136次 閱讀
2020全球智博會還會圍繞AI技術多重應用場景,開拓企業進化新路徑

人工智能鑒賞樂器的能力與譜曲能力

周杰倫對中國風(《青花瓷》、《蘭亭序》)和拉丁曲風(《迷迭香》、《mojito》)的拿捏和把握,是建....
發表于 07-31 11:54 ? 210次 閱讀
人工智能鑒賞樂器的能力與譜曲能力

人工智能服務民生,打造創新商業模式

作為 “臉行貴陽” 項目的整體端到端解決方案提供商,國內領先的人工智能企業依圖科技也受邀出席了本次發....
發表于 07-31 11:51 ? 167次 閱讀
人工智能服務民生,打造創新商業模式

中國成為僅次于美國的全球第二大智能音箱市場

其實現在回想,距離獵戶語音OS的正式發布,時間不過一年;距離獵豹321那場科技圈刷屏級的機器人發布會....
發表于 07-31 11:47 ? 210次 閱讀
中國成為僅次于美國的全球第二大智能音箱市場

圖像變動漫,深蘭的這項技術火了

世界名校杜克大學的研究人員提出了一種AI算法,稱之為PULSE(PhotoUpsamplingvia....
發表于 07-31 11:44 ? 213次 閱讀
圖像變動漫,深蘭的這項技術火了

華為通過引入AI、大數據等智能技術,驅動能源網絡走向自動駕駛

數字技術為世界經濟發展按下“快進鍵”,在社會新業態、新模式發展中起到了巨大的推動作用,尤其疫情期間,....
的頭像 我快閉嘴 發表于 07-31 11:34 ? 265次 閱讀
華為通過引入AI、大數據等智能技術,驅動能源網絡走向自動駕駛

AI技術與少兒編程教育的出口正在逐漸拓寬

隨著時代的發展,“智能”這個詞匯已經成為科研、生活中的熱門詞匯,人工智能對于社會發展的重要程度已經被....
發表于 07-31 11:32 ? 248次 閱讀
AI技術與少兒編程教育的出口正在逐漸拓寬

站在風口 本土AI智能計算中心蓄勢待發

作為全國領先的智能計算中心,“灃東新城智能計算中心”于6月正式發布了AI開放創新平臺——灃云平臺,平....
發表于 07-31 11:30 ? 145次 閱讀
站在風口 本土AI智能計算中心蓄勢待發

企業們期待通過機器學習基礎架構平臺,以推動人工智能在業務中的利用

受益于加速計算技術的不斷突破,機器學習、深度學習模型訓練和推理速度持續提升,加快推動了AI應用產業化....
發表于 07-31 11:24 ? 168次 閱讀
企業們期待通過機器學習基礎架構平臺,以推動人工智能在業務中的利用

面對5G時代各行各業的數據需求,七牛云一直在共同打造數據生態

本輪融資由中國國有企業結構調整基金(簡稱“國調基金”)、交銀國際、宏兆基金共同投資。在這幾家資方中,....
發表于 07-31 11:21 ? 241次 閱讀
面對5G時代各行各業的數據需求,七牛云一直在共同打造數據生態

酷培AI學習系統是全國首個大數據應用到學習過程的人工智能學習產品

智能學習”豐富講解方式,知識掌握曲線學情可視化
發表于 07-31 11:14 ? 255次 閱讀
酷培AI學習系統是全國首個大數據應用到學習過程的人工智能學習產品

自動駕駛車的人車交互接口設計方案

隨著高精度傳感、自動化、人工智能等技術的飛速發展,預計到2021年市場上會出現第一批完全沒有方向盤等駕駛控制器的自動駕駛量產...
發表于 07-30 07:57 ? 102次 閱讀
自動駕駛車的人車交互接口設計方案

人工智能改變客戶體驗的10種方式

  1)為客戶提供準確,個性化的建議   人工智能可以分析客戶的購買歷史,然后為他們可能感興趣的其他產品和服務提供建議。這...
發表于 06-19 11:20 ? 268次 閱讀
人工智能改變客戶體驗的10種方式

數字孿生再現旅行者號軌跡,可視化拉開航天新時代

[quote]做為數據可視化的一線重度參與者,本著技術為本,持續的奔波在自主研發的道路上。2020年,國家發改委多次點名‘數字孿生’...
發表于 06-18 09:29 ? 230次 閱讀
數字孿生再現旅行者號軌跡,可視化拉開航天新時代

大彩串口屏在智能檔案柜上面的應用

二、產品優勢 1. 智能檔案柜集手動、電動、電腦控制于一體,操作方便、移動平穩、安全可靠。2. 采用紅外感應方式對倉位的狀態進行...
發表于 05-28 16:19 ? 226次 閱讀
大彩串口屏在智能檔案柜上面的應用

延遲和指令呈現百度人工智能交互設計院的最新研究

有屏智能設備的多維對話:延遲和指令呈現  百度人工智能交互設計院最新研究...
發表于 05-25 09:46 ? 116次 閱讀
延遲和指令呈現百度人工智能交互設計院的最新研究

如何使用人工智能來發揮傳感器數據的協同作用

人工智能(AI)目前正在為社會的方方面面帶來革新。比如,通過結合數據挖掘和深度學習的優勢,如今可以利用人工智能來分析各種...
發表于 05-19 08:13 ? 303次 閱讀
如何使用人工智能來發揮傳感器數據的協同作用

電路設計行業未來將會轉為人工智能

現在的社會正慢慢轉向人工智能和電路的方向,而不是純粹的電路設計。 未來,有可能超市不需要服務員,僅僅需要部分理貨人員。 ...
發表于 05-18 15:51 ? 353次 閱讀
電路設計行業未來將會轉為人工智能

人工智能、機器學習、數據挖掘有什么區別

人工智能、機器學習、數據挖掘的區別
發表于 05-14 16:02 ? 339次 閱讀
人工智能、機器學習、數據挖掘有什么區別

RPA與人工智能的相連

RPA與人工智能
發表于 04-13 09:23 ? 197次 閱讀
RPA與人工智能的相連

疫情過后,對企業數字化戰略的新思考!

雖然疫情的爆發成為企業加速推進數字化轉型的催化劑,但在具體推進和實施上仍然面臨諸多亟需解決的挑戰。 當前國內新冠肺炎疫情已...
發表于 03-18 07:58 ? 792次 閱讀
疫情過后,對企業數字化戰略的新思考!
国产成 人 亚洲 欧美|在线时看乱伦视频网站|成人学生口交做爱吞精|日本r18成人手办