編程框架哪個好用

A. java 目前市面上比較火的框架有哪些

Java 始終排在第一位，這使它成為有史以來最著名的軟體編程語言之一。及時的更新和新版本發布使它成為一種充滿活力的、有競爭力的編程語言。

2020年最常用的java框架

十大常用框架：

• 一、SpringMVC

• 二、Spring

• 三、Mybatis

• 四、Dubbo

• 五、Maven

• 六、RabbitMQ

• 七、Log4j

• 八、Ehcache

• 九、Redis

• 十、Shiro

一、SpringMVC

Spring Web MVC是一種基於Java的實現了Web MVC設計模式的請求驅動類型的輕量級Web框架，即使用了MVC架構模式的思想，將web層進行職責解耦，基於請求驅動指的就是使用請求-響應模型，框架的目的就是幫助我們簡化開發，Spring Web MVC也是要簡化我們日常Web開發的。

• 模型（Model ）封裝了應用程序的數據和一般他們會組成的POJO。

• 視圖（View）是負責呈現模型數據和一般它生成的HTML輸出，客戶端的瀏覽器能夠解釋。

• 控制器（Controller ）負責處理用戶的請求，並建立適當的模型，並把它傳遞給視圖渲染。

• Spring的web模型 - 視圖 - 控制器（MVC）框架是圍繞著處理所有的HTTP請求和響應的DispatcherServlet的設計。

Spring Web MVC處理請求的流程



具體執行步驟如下：

1、 首先用戶發送請求————>前端控制器，前端控制器根據請求信息（如URL）來決定選擇哪一個頁面控制器進行處理並把請求委託給它，即以前的控制器的控制邏輯部分；圖2-1中的1、2步驟；

2、 頁面控制器接收到請求後，進行功能處理，首先需要收集和綁定請求參數到一個對象，這個對象在Spring Web MVC中叫命令對象，並進行驗證，然後將命令對象委託給業務對象進行處理；處理完畢後返回一個ModelAndView（模型數據和邏輯視圖名）；圖2-1中的3、4、5步驟；

3、 前端控制器收回控制權，然後根據返回的邏輯視圖名，選擇相應的視圖進行渲染，並把模型數據傳入以便視圖渲染；圖2-1中的步驟6、7；

4、 前端控制器再次收回控制權，將響應返回給用戶，圖2-1中的步驟8；至此整個結束。

二、Spring

2.1、IOC容器：

IOC容器就是具有依賴注入功能的容器，IOC容器負責實例化、定位、配置應用程序中的對象及建立這些對象間的依賴。應用程序無需直接在代碼中new相關的對象，應用程序由IOC容器進行組裝。在Spring中BeanFactory是IOC容器的實際代表者。

2.2、AOP：

簡單地說，就是將那些與業務無關，卻為業務模塊所共同調用的邏輯或責任封裝起來，便於減少系統的重復代碼，降低模塊間的耦合度，並有利於未來的可操作性和可維護性。AOP代表的是一個橫向的關系

AOP用來封裝橫切關注點，具體可以在下面的場景中使用:

• Authentication 許可權

• Caching 緩存

• Context passing 內容傳遞

• Error handling 錯誤處理

• Lazy loading懶載入

• Debugging 調試

• logging, tracing, profiling and monitoring記錄跟蹤優化校準

• Performance optimization性能優化

• Persistence 持久化

• Resource pooling資源池

• Synchronization同步

• Transactions 事務

三、Mybatis

MyBatis 是支持普通 SQL查詢，存儲過程和高級映射的優秀持久層框架。MyBatis 消除了幾乎所有的JDBC代碼和參數的手工設置以及結果集的檢索。MyBatis 使用簡單的 XML或註解用於配置和原始映射，將介面和 Java 的POJOs（Plain Old Java Objects，普通的 Java對象）映射成資料庫中的記錄。

總體流程：

(1)載入配置並初始化

觸發條件：載入配置文件

將SQL的配置信息載入成為一個個MappedStatement對象（包括了傳入參數映射配置、執行的SQL語句、結果映射配置），存儲在內存中。

(2)接收調用請求

觸發條件：調用Mybatis提供的API

傳入參數：為SQL的ID和傳入參數對象

處理過程：將請求傳遞給下層的請求處理層進行處理。

(3)處理操作請求

觸發條件：API介面層傳遞請求過來

傳入參數：為SQL的ID和傳入參數對象

處理過程：

(A)根據SQL的ID查找對應的MappedStatement對象。

(B)根據傳入參數對象解析MappedStatement對象，得到最終要執行的SQL和執行傳入參數。

©獲取資料庫連接，根據得到的最終SQL語句和執行傳入參數到資料庫執行，並得到執行結果。

(D)根據MappedStatement對象中的結果映射配置對得到的執行結果進行轉換處理，並得到最終的處理結果。

(E)釋放連接資源。

(4)返回處理結果將最終的處理結果返回

MyBatis 最強大的特性之一就是它的動態語句功能。如果您以前有使用JDBC或者類似框架的經歷，您就會明白把SQL語句條件連接在一起是多麼的痛苦，要確保不能忘記空格或者不要在columns列後面省略一個逗號等。動態語句能夠完全解決掉這些痛苦。

四、Dubbo

Dubbo是一個分布式服務框架，致力於提供高性能和透明化的RPC（遠程過程調用協議）遠程服務調用方案，以及SOA服務治理方案。簡單的說，bbo就是個服務框架，如果沒有分布式的需求，其實是不需要用的，只有在分布式的時候，才有bbo這樣的分布式服務框架的需求，並且本質上是個服務調用的東東，說白了就是個遠程服務調用的分布式框架。

1、透明化的遠程方法調用，就像調用本地方法一樣調用遠程方法，只需簡單配置，沒有任何API侵入。

2、軟負載均衡及容錯機制，可在內網替代F5等硬體負載均衡器，降低成本，減少單點。

3、 服務自動注冊與發現，不再需要寫死服務提供方地址，注冊中心基於介面名查詢服務提供者的IP地址，並且能夠平滑添加或刪除服務提供者。

節點角色說明：

• Provider: 暴露服務的服務提供方。

• Consumer: 調用遠程服務的服務消費方。

• Registry: 服務注冊與發現的注冊中心。

• Monitor: 統計服務的調用次調和調用時間的監控中心。

• Container: 服務運行容器。

五、Maven

Maven這個個項目管理和構建自動化工具，越來越多的開發人員使用它來管理項目中的jar包。但是對於我們程序員來說，我們最關心的是它的項目構建功能。

六、RabbitMQ

消息隊列一般是在項目中，將一些無需即時返回且耗時的操作提取出來，進行了非同步處理，而這種非同步處理的方式大大的節省了伺服器的請求響應時間，從而提高了系統的吞吐量。

RabbitMQ是用Erlang實現的一個高並發高可靠AMQP消息隊列伺服器。

Erlang是一門動態類型的函數式編程語言。對應到Erlang里，每個Actor對應著一個Erlang進程，進程之間通過消息傳遞進行通信。相比共享內存，進程間通過消息傳遞來通信帶來的直接好處就是消除了直接的鎖開銷(不考慮Erlang虛擬機底層實現中的鎖應用)。

AMQP(Advanced Message Queue Protocol)定義了一種消息系統規范。這個規范描述了在一個分布式的系統中各個子系統如何通過消息交互。

七、Log4j

日誌記錄的優先順序，分為OFF、FATAL、ERROR、WARN、INFO、DEBUG、ALL或者您定義的級別。

八、Ehcache

EhCache 是一個純Java的進程內緩存框架，具有快速、精乾等特點，是Hibernate中默認的CacheProvider。Ehcache是一種廣泛使用的開源Java分布式緩存。主要面向通用緩存,Java EE和輕量級容器。它具有內存和磁碟存儲，緩存載入器,緩存擴展，緩存異常處理程序，一個gzip緩存servlet過濾器，支持REST和SOAP api等特點。

優點：

1、 快速

2、 簡單

3、 多種緩存策略

4、緩存數據有兩級：內存和磁碟，因此無需擔心容量問題

5、 緩存數據會在虛擬機重啟的過程中寫入磁碟

6、可以通過RMI、可插入API等方式進行分布式緩存

7、 具有緩存和緩存管理器的偵聽介面

8、支持多緩存管理器實例，以及一個實例的多個緩存區域

9、提供Hibernate的緩存實現

缺點：

1、使用磁碟Cache的時候非常佔用磁碟空間：這是因為DiskCache的演算法簡單，該演算法簡單也導致Cache的效率非常高。它只是對元素直接追加存儲。因此搜索元素的時候非常的快。如果使用DiskCache的，在很頻繁的應用中，很快磁碟會滿。

2、不能保證數據的安全：當突然kill掉java的時候，可能會產生沖突，EhCache的解決方法是如果文件沖突了，則重建cache。這對於Cache數據需要保存的時候可能不利。當然，Cache只是簡單的加速，而不能保證數據的安全。如果想保證數據的存儲安全，可以使用Bekeley DB Java Edition版本。這是個嵌入式資料庫。可以確保存儲安全和空間的利用率。

九、Redis

redis是一個key-value存儲系統。和Memcached類似，它支持存儲的value類型相對更多，包括string(字元串)、list(鏈表)、set(集合)、zset(sorted set –有序集合)和hash（哈希類型）。這些數據類型都支持push/pop、add/remove及取交集並集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎上，redis支持各種不同方式的排序。與memcached一樣，為了保證效率，數據都是緩存在內存中。區別的是redis會周期性的把更新的數據寫入磁碟或者把修改操作寫入追加的記錄文件，並且在此基礎上實現了master-slave(主從)同步。

Redis資料庫完全在內存中，使用磁碟僅用於持久性。相比許多鍵值數據存儲，Redis擁有一套較為豐富的數據類型。Redis可以將數據復制到任意數量的從伺服器。

1.2、Redis優點：

（1）異常快速：Redis的速度非常快，每秒能執行約11萬集合，每秒約81000+條記錄。

（2）支持豐富的數據類型：Redis支持最大多數開發人員已經知道像列表，集合，有序集合，散列數據類型。這使得它非常容易解決各種各樣的問題，因為我們知道哪些問題是可以處理通過它的數據類型更好。

（3）操作都是原子性：所有Redis操作是原子的，這保證了如果兩個客戶端同時訪問的Redis伺服器將獲得更新後的值。

（4）多功能實用工具：Redis是一個多實用的工具，可以在多個用例如緩存，消息，隊列使用(Redis原生支持發布/訂閱)，任何短暫的數據，應用程序，如Web應用程序會話，網頁命中計數等。

1.3、Redis缺點：

（1）單線程

（2）耗內存

十、Shiro

Apache Shiro是Java的一個安全框架，旨在簡化身份驗證和授權。Shiro在JavaSE和JavaEE項目中都可以使用。它主要用來處理身份認證，授權，企業會話管理和加密等。Shiro的具體功能點如下：

（1）身份認證/登錄，驗證用戶是不是擁有相應的身份；

（2）授權，即許可權驗證，驗證某個已認證的用戶是否擁有某個許可權；即判斷用戶是否能做事情，常見的如：驗證某個用戶是否擁有某個角色。或者細粒度的驗證某個用戶對某個資源是否具有某個許可權；

（3）會話管理，即用戶登錄後就是一次會話，在沒有退出之前，它的所有信息都在會話中；會話可以是普通JavaSE環境的，也可以是如Web環境的；

（4）加密，保護數據的安全性，如密碼加密存儲到資料庫，而不是明文存儲；

（5）Web支持，可以非常容易的集成到Web環境；

Caching：緩存，比如用戶登錄後，其用戶信息、擁有的角色/許可權不必每次去查，這樣可以提高效率；

（6）shiro支持多線程應用的並發驗證，即如在一個線程中開啟另一個線程，能把許可權自動傳播過去；

（7）提供測試支持；

（8）允許一個用戶假裝為另一個用戶（如果他們允許）的身份進行訪問；

（9）記住我，這個是非常常見的功能，即一次登錄後，下次再來的話不用登錄了。

文字描述可能並不能讓猿友們完全理解具體功能的意思。下面我們以登錄驗證為例，向猿友們介紹Shiro的使用。至於其他功能點，猿友們用到的時候再去深究其用法也不遲。

十一、設計模式

這個算不上框架，可自行忽略，不過我認為設計模式的思想很有必要了解一下。

思想：

開閉原則：

開閉原則就是說對擴展開放，對修改關閉。在程序需要進行拓展的時候，不能去修改原有的代碼。

針對介面編程，針對介面編程，依賴於抽象而不依賴於具體。

盡量使用合成/聚合的方式，而不是使用繼承。

一個實體應當盡量少的與其他實體之間發生相互作用，使得系統功能模塊相對獨立。

使用多個隔離的介面，比使用單個介面要好。

里氏代換原則：

（1）子類的能力必須大於等於父類，即父類可以使用的方法，子類都可以使用。

（2）返回值也是同樣的道理。假設一個父類方法返回一個List，子類返回一個ArrayList，這當然可以。如果父類方法返回一個ArrayList，子類返回一個List，就說不通了。這里子類返回值的能力是比父類小的。

（3）還有拋出異常的情況。任何子類方法可以聲明拋出父類方法聲明異常的子類。 而不能聲明拋出父類沒有聲明的異常。

B. Python有哪些常見的，好用的爬蟲框架

目前實現爬蟲技術的編程環境有很多種，Java、Python、C++等都可以用來寫爬蟲。但很多人選擇Python來寫爬蟲，原因是Python確實很適合做爬蟲，豐富的第三方庫十分強大，簡單幾行代碼便可實現你想要的功能。更重要的，Python也是數據挖掘和分析的好能手。那麼，今天IPIDEA就帶大家來了解Python爬蟲一般用什麼框架比較好。

Beautiful Soup：整合了一些常用爬蟲需求。它是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的式.Beautiful Soup會幫你節省數小時甚至數天的工作時間。Beautiful Soup的缺點是不能載入JS。

selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。Selenium是自動化測試工具，它支持各種瀏覽器，包括 Chrome，Safari，Firefox等主流界面式瀏覽器，如果在這些瀏覽器裡面安裝一個 Selenium 的插件，可以方便地實現Web界面的測試. Selenium支持瀏覽器驅動。Selenium支持多種語言開發，比如 Java，C，Ruby等等，PhantomJS 用來渲染解析JS，Selenium 用來驅動以及與Python的對接，Python進行後期的處理。

Scrapy：Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。它是很強大的爬蟲框架，可以滿足簡單的頁面爬取，比如可以明確獲知url pattern的情況。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。它的特性有：HTML, XML源數據 選擇及提取 的內置支持；提供了一系列在spider之間共享的可復用的過濾器(即 Item Loaders)，對智能處理爬取數據提供了內置支持。

Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。

cola：是一個分布式的爬蟲框架，對於用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多台機器上，整個過程對用戶是透明的。項目整體設計有點糟，模塊間耦合度較高。

PySpider：一個國人編寫的強大的網路爬蟲系統並帶有強大的WebUI。採用Python語言編寫，分布式架構，支持多種資料庫後端，強大的WebUI支持腳本編輯器，任務監視器，項目管理器以及結果查看器。Python腳本控制，可以用任何你喜歡的html解析包。