『壹』 大數據獲取方法有哪些
UCI:經典的機器學習、數據挖掘數據集,包含分類、聚類、回歸等問題下的多個數據集。很經典也比較古老,但依然活躍在科研學者的視線中。
國家數據:數據來源中華人民共和國國家統計局,包含了我國經濟民生等多個方面的數據,並且在月度、季度、年度都有覆蓋,全面又權威。
亞馬遜:來自亞馬遜的跨科學雲數據平台,包含化學、生物、經濟等多個領域的數據集。
figshare:研究成果共享平台,在這里可以找到來自世界的大牛們的研究成果分享,獲取其中的研究數據。
github:一個非常全面的數據獲取渠道,包含各個細分領域的資料庫資源,自然科學和社會科學的覆蓋都很全面,適合做研究和數據分析的人員。
『貳』 數據查詢哪裡找數據網站匯總大全來啦
數據查詢哪裡找?數據網站匯總大全來啦
在進行人工智慧、數據挖掘、數據分析等任務時,數據獲取變得至關重要。對於初學者來說,獲取數據可能是一個挑戰,但其實有很多網站可以提供有用的數據集。本文將為您總結一些常用的數據網站,幫助您找到所需的數據。
一. 通用數據
1. Data.gov (美國政府公開數據所在地)
該站點包含超過19萬的數據集,覆蓋氣候、教育、能源、金融等眾多領域。
2. data.gov.in (印度政府公開數據所在地)
可從各種行業、氣候、醫療保健等領域查找數據,根據您所在國家,其他政府網站可能提供類似服務。
3. WorldBank (世界銀行開放數據)
提供開放數據目錄、世界發展指數、教育指數等工具,適合全球視角下的數據分析。
4. RBI (印度儲備銀行數據)
包含貨幣市場操作、收支平衡、銀行使用等指標的數據集。
5. Five ThirtyEight Datasets (數據集)
聚焦民意調查分析、政治、經濟和體育的博客,提供數據集,包含數據、解釋性字典和文章鏈接。
二. 大型數據集
1. Amazon Web Services (AWS) datasets
提供在AWS上使用的數據集,也可以在本地計算機上使用。
2. Google datasets (BigQuery公共數據集)
Google提供的數據集,包括GitHub公共資料庫的數據、Hacker News的故事和評論。
3. Youtube labeled video dataset (數據集)
谷歌研究小組發布的YouTube數據集,包含800萬個視頻id和4800個視覺實體的相關標簽。
4. Amazon公共數據集
亞馬遜跨科學雲數據平台的數據集,覆蓋化學、生物、經濟等多個領域,無需下載或存儲。
三. 預測建模與機器學習數據集
1. UCI Machine Learning Repository
最著名的機器學習數據存儲庫,包含各種數據集,如Iris、Titanic等流行數據集。
2. Kaggle
提供數據集和機器學習項目的平台,包括超過200個特徵數據集。
3. AnalyticsVidhya
實踐問題和黑客馬拉松問題的數據集,基於真實行業問題,相對較小。
4. Quandl
提供財務、經濟和替代數據的數據集,分為免費和付費,可以通過網站、API或工具集成訪問。
四. 圖像分類數據集
1. MNIST資料庫
用於圖像識別的流行數據集,包含6萬個示例和1萬個測試集。
2. Chars74K
包含自然圖像中字元識別的數據集,共74,000個圖像。
3. 面部圖像集
用於圖像識別的下一個挑戰級別,由CMU和MIT收集。
4. ImageNet
根據WordNet層次結構組織的圖像資料庫,包含數百個圖像描述。
五. 文本分類數據集
1. 郵件 - 非垃圾郵件
區分簡訊是否為垃圾郵件的數據集。
2. Twitter情感分析
包含1578627條分類推文的數據集。
3. 電影評論數據
提供了一系列標注了情緒極性和主觀評價的電影評論文件。
六. 推薦引擎數據集
1. MovieLens
幫助人們查找電影的網站,提供下載數據集用於創建推薦系統。
2. Jester
在線笑話推薦系統的數據集。
七. 各種來源的數據集網站
1. KDNuggets
提供數據集搜索的參考頁面。
2. Awesome Public Datasets
GitHub存儲庫,包含按領域分類的完整數據集列表。
3. Reddit Datasets Subreddit
社區驅動的論壇,提供流行排序和有趣的數據集討論。
八. 數據交易平台
1. 優易數據
流通數據平台,進行跨界增值。
2. 數據堂
專業的人工智慧數據服務提供商,提供數據採集和標注服務。
『叄』 66個!超全!工作學習中常用的遙感、地理、生態等數據下載平台匯總
1. 中國科學院資源環境數據中心,豐富的數據集(庫),注冊申請下載,resdc.cn。
2. 中國科學院地理空間數據雲,DEM、地形地貌、遙感等數據,注冊申請下載,gscloud.cn。
3. 中國科學院地理空間數據共享中心,GIS軟體、地圖等,免費,osgeo.cn。
4. 中國科學院地理空間數據共享中心全球黑土資料庫,黑土數據,免費,osgeo.cn/data/w70a2。
5. 中國科學院中國植物資料庫,植物種類檢索,開放,ppbc.iplant.cn。
6. 中國科學院生態系統評估與生態安全資料庫,生態系統評估數據,注冊申請下載,ecosystem.csdb.cn。
7. 中國科學院國家地球系統科學數據中心地球物理科學數據中心,地球物理數據,注冊申請下載,geospace.geodata.cn。
8. 中國科學院國家地球系統科學數據中心東亞古環境科學資料庫,古環境數據,注冊申請下載,paleodata.ieecas.cn。
9. 中國科學院地球生物多樣性資料庫,GBDB生態數據,注冊申請下載,geobiodiversity.com。
10. 中國科學院生態系統通量觀測網路,生態類數據,注冊申請下載,chinaflux.org。
11. 自然資源部國家地質資料公共服務,地質資料類,注冊申請下載,mlzx.ngac.cn。
12. 地質雲,與地質有關的數據,注冊申請下載,geocloud.cgs.gov.cn。
13. 全國地質資料館,地球化學、水文地質、區域地質等,開放,ngac.org.cn。
14. 中國地質調查局數字地質圖,地質圖,地質圖注冊申請下載,geodata.cgs.gov.cn。
15. 中國地質科學院地質數據共享網,物化探、水文、岩礦、環境、構造等,注冊申請下載,geoscience.cn。
16. 國家地質資料數據中心,區調、航磁、地球化學等,開放,dc.ngac.org.cn。
17. 國家海洋信息中心,海洋數據,開放,nmdis.org.cn。
18. 全國地理信息資源目錄服務系統,地理、測繪、遙感等數據,開放,webmap.cn。
19. 中國自然資源部標准地圖服務,標准地圖,開放,bzdt.ch.mnr.gov.cn。
20. 各地民政部門網站,行政區劃地圖,免費,202.108.98.30/map。
21. 地理監測雲平台,矢量數據,付費下載(數據服務企業),dsac.cn。
22. 中國地情網,地理國情、地方誌等,開放,diqing.difang.cssn.cn。
23. 國家科技管理信息系統公共服務平台,科技基礎資源、科技文獻、科技基金共享服務網,開源,service.most.gov.cn。
24. 國家自然科學基金查詢系統,基金項目查詢、免費圖書、科研資源,注冊申請下載,fund.keyanku.com。
25. 國家數據中心,國家統計局數據,需要內網登陸,nsdata.cn。
26. 科創中國-科技經濟融通平台,試點城市、供需對接、科創人才、科研圈等,開發,kczg.org.cn。
27. 國家科技成果轉換項目庫,成果導航、成果統計、政策法規、科技領域,注冊申請下載、專題部分開放,nstad.cn。
28. 國家航天局,中國航天、空間科學及應用、國際航天、科普與人物、政策介紹,開放,cnsa.gov.cn。
29. 中國科學數據網,期刊網站,開放,csdata.org。
30. 中國科技情報網,研究報告、科技簡報、創新政策、精品講座、科技查新、專利分析、眾創平台,開放,chinainfo.org.cn。
31. 中國科技共享網,國家科學數據中心、國家資源庫、服務案例,開放,escience.org.cn。
32. 國家基礎學科公共科學基礎數據中心,自然資源數據,注冊申請下載,nsdata.cn。
33. 中國工程科技知識中心,工程科技數據,開放,ckcest.cn。
34. 中國數字科技館,科普性質,開放,cdstm.cn。
35. 中國科技成果網,科技成果檢索,開放,tech110.net。
36. 中科院數據雲,各類專題資料庫,csdb.cn。
37. 中國科學院專題資料庫,論文、專利、科研成果、版權軟體、可許的資料庫,開放,cas.cn/ky/kycc/kxsjk。
38. 中國科學院國家綜合地球觀測數據共享平台,衛星觀測數據,填表申請,chinageoss.cn。
39. 北斗網,北斗系統、資源、應用、專題,開放,beidou.gov.cn。
40. 資源遙感中心衛星數據(地調局航遙中心),資源遙感衛星數據,注冊申請下載,agrs.cgs.gov.cn。
41. 自然資源遙感衛星服務平台(地調局航遙中心),資源遙感衛星數據,注冊下載,sasclouds.com。
42. 國家標本資源平台,標本庫,開放,nsii.org.cn。
43. 國家岩礦化石標本資源共享平台,標本庫,開放,nimrf.net.cn。
44. 地理信息知識專業服務系統,地理信息、地圖、地理、行政區劃,kmap.ckcest.cn。
45. 地理信息知識專業服務系統1:25萬地圖服務,地圖,kmap.ckcest.cn/nationwi。
46. 國家農業科學數據中心,農業,agridata.cn。
47. 國家空間科學數據中心,航空航天、天文、衛星、遙感,nssdc.ac.cn。
48. 國家生態科學數據中心,生態,cnern.org.cn。
49. 國家氣象科學數據中心,氣象,data.cma.cn。
50. 國家地震科學數據中心,地震,data.earthquake.cn。
51. 國家冰川凍土沙漠科學數據中心,冰川、凍土、沙漠,ncdc.ac.cn。
52. 國家林業數據中心,林業,forestdata.cn。
53. 國家人口健康科學數據中心,健康,ncmi.cn。
54. 中國地震信息網,地震、活動斷層,開放,csi.ac.cn。
55. 中國社會狀況綜合調查,社會發展,申請,css.cssn.cn。
56. 中國社會質量基礎資料庫,社會綜合狀況,公開,csqr.cass.cn。
57. 中國發展門戶網站(中國開發區),規劃,cn.chinagate.cn/zhuanti。
58. 中國開發區,規劃,cadz.org.cn。
59. 中國生物物種名錄,物種,注冊申請下載,sp2000.org.cn。
60. 中國家譜知識網,家譜,jiapu.library.sh.cn。
61. 中國科學院國家土壤信息服務平台,土壤數據,開放,soilinfo.cn/map。
62. 中國科學院國家土壤科學數據中心,土壤數據,開放,soil.geodata.cn。
63. 中國科學院中國土壤資料庫,土壤數據,開放,vdb3.soil.csdb.cn。
64. 中國科學院地球大數據科學工程,專項新聞、科研動態、項目動態、數據共享,注冊申請下載,casearth.com。
65. 中國科學院地球大數據科學工程數據共享服務系統,搜索數據集,開放,data.casearth.cn。
66. 中國科學院青藏高原科學數據中心,青藏高原相關地球科學數據,注冊申請下載,data.tpdc.ac.cn。
『肆』 常用的化學專業資料庫有哪些
大量的書本堆積於桌,查找困難,浪費時間?復雜的化合物越來越多,標準的系統名稱更復雜,如何查詢?進行實驗設計或理論研究時想查找化學反應信息,卻不全面?基於前人研究成果可以顯著減輕我們的工作量。然而,搜集和歸納文獻資料通常既耗時又費力。幸運的是,目前已經有不少研究者發布了各種各樣的資料庫,這些資料庫能夠讓我們便捷地「一站式」處理許多科研問題。
小編和朋友聊天的時候,他給我推薦了款化學專業資料庫,可以根據已知一種或多種物質作為產物、反應物、試劑、溶劑或催化劑,找到特定的反應。基於之前使用過的專業化學資料庫,小編對化學圈常見的化學專業資料庫進行了盤點梳理,在這里分享給大家。讀完本文,你將了解不同化學資料庫的功能、優缺點等特性。
1、摩熵化學MolAid
推薦理由:摩熵化學擁有數以億計的化學品數據,功能全面,檢索方式多樣,中文操作界面,貼合國人需求和習慣。支持查詢化合物、了解物質性質、尋找購買信息、查詢反應條件、設計反應路線、譜圖查詢、預測性質及譜圖等,非常實用。
核心功能:
反應信息查詢:這個算是摩熵化學資料庫的一款特色功能,可以一鍵檢索到相關化合物的反應信息,並且可以針對產物、反應物、產率等篩選項,對結果進行二次篩選。裡面的數據都是從文獻專利里提取出來的,還能直接追溯文獻來源。個人覺得這個功能很贊!
逆合成分析:這個功能,不少化學專業資料庫也有。把它單獨拎出來,是因為官方介紹他們從產物(目標分子)出發,逆向推導出可能的合成路徑和原料,直到最終得到易得或商業化的原料為止。而且合成結果支持導出,這對我個人來說,非常方便引用和實驗參考。
譜圖查詢:摩熵化學提供的譜圖類型豐富,包括氫譜、碳譜、紅外光譜、質譜、拉曼光譜。譜圖數據可視化支持懸停交互,提供峰位數據可一鍵下載方便作圖。為未知結構解析、化合物結構判斷提供了專業的事實依據。更有譜圖反向檢索和譜圖預測,能夠更精準的確認物質結構,這對於解析未知物結構和驗證實驗結果非常有幫助。
晶體信息查詢:收錄100萬條晶體信息,可查看晶體晶胞參數以及參考文獻。更酷的是,我可以在線查看和編輯晶體的3D結構圖,並在調整參數後導出。
物化性質模塊:物化性質幾乎是化學資料庫的標配了,摩熵化學它提供物化性質信息,包括沸點、熔點、密度等基本信息,同時也涉及葯物化學關注的LogP、解離常數、溶解度等性質。這些信息全面,我可以查詢化合物在不同測試條件下的實驗值,並且查看信息來源的文獻。
總結:上面推薦的五款都是小編用過的,不要問我為什麼沒有XX平台,或這款不怎樣等等,小編只想說我只介紹我用過的,沒用過的不敢隨便介紹。推薦指數也是根據我個人使用習慣打的,所以是帶有主觀性的,不是唯一的判斷標准。
整體對比下來,首推的是CAS SciFinder、Reaxys和摩熵化學。兩大化學巨頭應該不用說了,非常不錯,小編我剛開始接觸CAS SciFinder的時候,還搜索過「沒有CAS SciFinder賬號怎麼辦」,後來使用了,有時候有些專業術語還得靠翻譯。如果從使用角度來看的話,摩熵化學其實作為一個國產化學資料庫,在界面優化、語言支持方面,肯定更加適合國人的使用習慣。而且數據量也大,能夠查詢的東西也多,之前接觸到摩熵化學還是因為他家反應信息這個功能。ChEMBL資料庫拿來查詢臨床實驗葯物和批准葯物的治療靶標和適應症這些倒是非常不錯。ChemSpider載入比較慢,有些數據還沒有,倒是簡單用用還是挺可以的。
市面上化學專業資料庫很多的,要多了解、多使用,才能找到最適合自己的。好了,本期的推薦就到此結束,以上內容都是個人的觀點,哪裡措辭不當的還請大家多多指教!也歡迎大家推薦其他你覺得好用的化學專業資料庫,方便大家相互學習!(其實小編還使用過好多的~就等下次再介紹啦)