Meta 最新推出的視頻跟蹤工具CoTracker，發(fā)布沒(méi)多久就在 GitHub 上斬獲了 1.4k 星標。

　　從官方發(fā)布的幾個(gè) DEMO 來(lái)看，效果還是很震撼的。

　　對這個(gè)新“玩具”，有網(wǎng)友評論說(shuō)，它不僅能改變物體追蹤技術(shù)，也將在體育(動(dòng)作)分析、野生動(dòng)物追蹤，甚至電影后期領(lǐng)域掀起一場(chǎng)新的革命。

　　不過(guò)，在線(xiàn) DEMO 是個(gè)簡(jiǎn)易版本，還不支持自定義跟蹤位置，只能根據輸入的跟蹤數量等距分配。

　　但是如果自己部署、用代碼操縱的話(huà)，就可以設置任意跟蹤點(diǎn)了。

　　說(shuō)到這我們正好來(lái)看一下 CoTracker 該怎么部署。

　　首先是 Colab 版本，我們剛剛說(shuō)到的自定義跟蹤點(diǎn)也在 Colab 當中。

　　Colab 的過(guò)程不必過(guò)多介紹，進(jìn)入之后運行筆記中的代碼就可以了。

　　而如果想自己動(dòng)手的話(huà)，最簡(jiǎn)單的方式是從 torch.hub 中直接調用已完成預訓練的版本。

　　如果要對模型進(jìn)行評估或訓練，那么使用 GitHub Repo 更為合適。

　　首先要安裝一下程序和相關(guān)依賴(lài)：

　　然后下載模型：

　　有關(guān)評估和訓練的方式，可以到 GitHub 項目頁(yè)來(lái)查看，鏈接放在了文末。

　　那么，CoTracker 又是怎么實(shí)現像素級追蹤的呢?

　　評分超過(guò) DINOv2

　　雖然都是追蹤，但 CoTracker 和物體追蹤模型有很大區別。

　　CoTracker 并沒(méi)有基于語(yǔ)義理解對視頻中物體進(jìn)行分割的過(guò)程，而是把重點(diǎn)放在了像素點(diǎn)上。

　　底層方面，CoTracker 采用了 Transformer 架構。

　　Transformer 編碼了視頻中點(diǎn)的跟蹤信息，并迭代更新點(diǎn)的位置。

　　推理上，CoTracker 還采用了一種窗口機制，在時(shí)間軸上劃分出滑動(dòng)窗口。

　　CoTracker 使用上個(gè)窗口的輸出對后面的窗口進(jìn)行初始化，并在每個(gè)窗口上運行多次 Transformer 迭代。

　　這樣就使得 CoTracker 能夠對更長(cháng)的視頻進(jìn)行像素級跟蹤。

　　總之，經(jīng)過(guò)一番訓練之后，CoTracker 取得了一份不俗的成績(jì)單。

　　在 FastCapture 數據集測試上，CoTracker 的成績(jì)在一眾模型中脫穎而出，其中也包括 Meta 自家的 DINOv2。

　　總之，喜歡的話(huà)，就趕緊體驗一下試試吧!