<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          【推薦】7個強大實用的Python機器學(xué)習(xí)庫!

          共 5594字,需瀏覽 12分鐘

           ·

          2022-12-21 22:13

          點擊下方卡片,關(guān)注“新機器視覺”公眾號

          重磅干貨,第一時間送達(dá)


          來源:今日頭條-IT技術(shù)資源愛好者

          https://www.toutiao.com/article/7179178014276698662/

          我們總說“不要重復(fù)發(fā)明輪子”,python 中的第 3 方工具庫就是最好的例子。借助它們,我們可以用簡單的方式編寫復(fù)雜且耗時的代碼。在本篇內(nèi)容中給大家整理了 7 個有用的 Python 庫,如果大家從事機器學(xué)習(xí)工作,一定要來一起了解一下。
          1.Prophet

          Prophet 是 Facebook 開源的時間序列預(yù)測工具庫,基于 Stan 框架,可以自動檢測時間序列中的趨勢、周期性和節(jié)假日效應(yīng),并根據(jù)這些信息進(jìn)行預(yù)測。這個庫在 GitHub 上有超過 15k 星。

          Prophet 通常用于預(yù)測未來幾個月、幾年或幾十年的時間序列數(shù)據(jù),例如銷售額、市場份額等。它提供了 Python 和 R 兩個版本,可以跨平臺使用,支持 CPU 和 GPU 的并行運算。Prophet 的輸入數(shù)據(jù)格式要求是一個包含時間戳和目標(biāo)值的數(shù)據(jù)框,并支持給定時間范圍、預(yù)測期限和寬限期等參數(shù)進(jìn)行預(yù)測。Prophet 對缺失數(shù)據(jù)和趨勢變化很穩(wěn)健,通常可以很好地處理異常值。


          # Pythonforecast = m.predict(future)forecast[['ds', 'yhat', 'yhat_lower', 'yhat_upper']].tail()


           2.Deep Lake

          Deep Lake 是一種數(shù)據(jù)集格式,提供簡單的 API 以用于創(chuàng)建、存儲和協(xié)作處理任何規(guī)模的 AI 數(shù)據(jù)集。這個庫在 GitHub 上有超過 5k 星。
          Deep Lake 的數(shù)據(jù)布局可以在大規(guī)模訓(xùn)練模型的同時,實現(xiàn)數(shù)據(jù)的快速轉(zhuǎn)換和流式傳輸。谷歌、Waymo、紅十字會、牛津大學(xué)等都在使用 Deep Lake。
          for epoch in range(2):    running_loss = 0.0    for i, data in enumerate(deeplake_loader):    images, labels = data['images'], data['labels']     # zero the parameter gradients    optimizer.zero_grad()     # forward + backward + optimize    outputs = net(images)    loss = criterion(outputs, labels.reshape(-1))    loss.backward()    optimizer.step()     # print statistics    running_loss += loss.item()    if i % 100 == 99: #print every 100 mini-batches        print('[%d, %5d] loss: %.3f' %        (epoch + 1, i + 1, running_loss / 100))        running_loss = 0.0

           3.Optuna

          Optuna 是一個自動機器學(xué)習(xí)超參數(shù)調(diào)優(yōu)工具,可以幫助用戶通過使用各種規(guī)則自動調(diào)整機器學(xué)習(xí)模型的超參數(shù),以提高模型的性能。這個庫在 GitHub 上擁有超過 7k 顆星。

          Optuna 使用了貝葉斯優(yōu)化算法來自動調(diào)整超參數(shù),并使用基于樹的方法來探索參數(shù)空間。這使得 Optuna 能夠在訓(xùn)練機器學(xué)習(xí)模型時自動進(jìn)行超參數(shù)調(diào)整,從而提高模型的性能。Optuna 可以與各種機器學(xué)習(xí)框架集成使用,包括 TensorFlow、PyTorch、XGBoost 等。它還支持多種優(yōu)化目標(biāo),包括最小化損失函數(shù)、最大化準(zhǔn)確率等。
          總的來說,Optuna是一個強大的工具,可以幫助用戶提高機器學(xué)習(xí)模型的性能,提高模型的準(zhǔn)確率。它的易用性和可擴展性使它成為機器學(xué)習(xí)工作流中的一個重要工具。
          import ... # Define an objective function to be minimized.def objective(trial):     # Invoke suggest methods of a Trial object to generate hyperparameters     regressor_name = trial.suggest_categorical('regressor',['SVR', 'RandomForest'])    if regressor_name = 'SVR':        svr_c = trial.suggest_float('svr_c', 1e-10, 1e10, log=True)        regressor_obj = sklearn.svm.SVR(C=svr_c)    else:        rf_max_depth = trial.suggest_int('rf_max_depth', 2, 332)        regressor_obj = sklearn.ensemble.RandomForestRegressor(max_depth=rf_max_depth)     X, y = sklearn.datasets.fetch_california_housing(return_X_y=True)    X_train, X_val, y_train, y_val = sklearn.model_selection.train_test_split(X, y, random_state=0)     regressor_obj.fit(X_train, y_train) y_pred = regressor_obj.predict(X_val)     error = sklearn.metrics.mean_squared_error(y_val, y_pred)     return error # An objective value linked with the Trial object. study = optuna.create_study() # Create a neW studystudy.optimize(objective, n_trials=100) # Invoke opotimization of the objective function

           4.pycm

          pycm 是一個用于計算二分類和多分類指標(biāo)的 Python 庫。這個庫在 GitHub 上有超過 1k 星。

          它可以計算多種常用的指標(biāo),包括準(zhǔn)確率、召回率、F1值、混淆矩陣等。此外,pycm 還提供了一些額外的功能,例如可視化混淆矩陣、評估模型性能的指標(biāo)來源差異等。pycm是一個非常實用的庫,可以幫助快速評估模型的性能。

          from pycm import *y_actu = [2, 0, 2, 2, 0, 1, 1, 2, 2, 0, 1, 2] y_pred = [0, 0, 2, 1, 0, 2, 1, 0, 2, 2, 2, 2] cm = ConfusionMatrix(actual_vector=y_actu, predict_vector=y_pred) cm.classes cm.print_matrix()  cm.print_normalized_matrix()

           5.NannyML

          NannyML 是一個開源的 Python 庫,允許估算部署后的模型性能(而無需訪問目標(biāo)),檢測數(shù)據(jù)漂移,并智能地將數(shù)據(jù)漂移警報鏈接回模型性能的變化。這個庫在 GitHub 上有超過 1k 星。

          為數(shù)據(jù)科學(xué)家設(shè)計的 NannyML 具有易于使用的交互式可視化界面,目前支持所有表格式的用例(tabular use cases)、分類(classification)和回歸(regression)。NannyML 的核心貢獻(xiàn)者研發(fā)了多種用于估算模型性能的新算法:基于信心的性能估算(CBPE)與直接損失估算(DLE)等。NannyML 通過構(gòu)建“性能監(jiān)控+部署后數(shù)據(jù)科學(xué)”的閉環(huán),使數(shù)據(jù)科學(xué)家能夠快速理解并自動檢測靜默模型故障。通過使用 NannyML,數(shù)據(jù)科學(xué)家最終可以保持對他們部署的機器學(xué)習(xí)模型的完全可見性和信任。

          import nannyml as nmlfrom IPython.display import display # Load synthetic data reference, analysis, analysis_target = nml.load_synthnetic_binary_classification_dataset()display(reference.head())display(analysis.head()) # Choose a chunker or set a chunk sizechunk size = 5000 # initialize, specify required data columns,, fit estimator and estimateestimator = nml.CBPE(    y_pred_proba='y_pred_proba',    y_pred='y_pred',    y_true='work_home_actual',    metrics=['roc_auc'],    chunk_size=chunk_size,    problem_type='classification_binary',)estimator = estimator.fit(reference)estimated_performance = estimator.estimate(analysis) # Show resultsfigure = estimated_performance.plot(kind='performance', metric='roc_auc', plot_reference=True)figure.show()

           6.ColossalAI

          ColossalAI 是一個開源機器學(xué)習(xí)工具庫,用于構(gòu)建和部署高質(zhì)量的深度學(xué)習(xí)模型。這個庫在 GitHub 上有超過 6.5k 星。

          ColossalAI 提供了一系列預(yù)定義的模型和模型基礎(chǔ)架構(gòu),可用于快速構(gòu)建和訓(xùn)練模型。它還提供了一系列工具,用于模型評估,調(diào)優(yōu)和可視化,以確保模型的高質(zhì)量和準(zhǔn)確性。此外,ColossalAI 還支持部署模型,使其能夠通過各種不同的接口與其他系統(tǒng)集成。ColossalAI 的優(yōu)勢在于它易于使用,可以為數(shù)據(jù)科學(xué)家和機器學(xué)習(xí)工程師提供快速和有效的方法來構(gòu)建和部署高質(zhì)量的大型模型。

          from colossalai.logging import get_dist_loggerfrom colossalai.trainer import Trainer, hooks # build components and initialize with colossaalai.initialize... # create a logger so that trainer can log on thhe consolelogger = get_dist_logger() # create a trainer objecttrainer = Trainer(    engine=engine,    logger=logger)

           7.emcee

          emcee 是一個開源的 Python 庫,用于使用 Markov chain Monte Carlo(MCMC)方法進(jìn)行模型擬合和參數(shù)估計。這個庫在 GitHub 上有超過 1k 星。

          emcee 是面向?qū)ο蟮模⑶揖哂杏糜谠\斷和調(diào)試擬合過程的許多工具。它使用了一種叫做"決策樹結(jié)構(gòu)鏈"的方法,可以并行化擬合過程,提高擬合效率。emcee 非常適合處理復(fù)雜的非線性模型,并且可以輕松擴展到大型數(shù)據(jù)集。它也可以輕松與其他 Python 庫集成,如 NumPy、SciPy和Matplotlib。
          import numpy as npimport emcee def log_prob(x, ivar):    return -0.5 * np.sum(ivar * x ** 2)  ndim, nwalkers = 5, 100 ivar = 1./np.random.rand(ndim)p0 = np.random.randn(nwalkers, ndim) sampler = emcee.EnsembleSampler(nwalkers, ndim, log_prob, args=[ivar])sampler.run_mcmc(p0, 10000)

           總結(jié)

          以上就是給大家做的工具庫介紹,這7個工具庫都是非常有用的,對于機器學(xué)習(xí)工作者來說,它們可以大大提高工作效率,讓你能夠在簡單的方式下編寫復(fù)雜的代碼。所以,如果你還沒有了解這些工具庫的話,不妨花一點時間來了解一下。

          本文僅做學(xué)術(shù)分享,如有侵權(quán),請聯(lián)系刪文。

          —THE END—

          瀏覽 93
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  开心激情成人网站 | 日韩在线观看视频一区二区三区 | 在线观看免费一区 | AAA片视频 | 久久伊人777777 |