小米AIGC大模型實習面試題4道|含解析

12本七月在線內(nèi)部電子書在文末，自取~

公眾號福利

??回復【100題】領(lǐng)取《名企AI面試100題》PDF

??回復【干貨資料】領(lǐng)取NLP、CV、ML等AI方向干貨資料

問題1、講一下transformer的原理

transformer的主要組成部分包括自注意力機制和位置編碼。

• 自注意力機制（Self-Attention）：它允許模型在輸入序列中的不同位置之間建立關(guān)聯(lián)。通過計算每個位置與其他所有位置的相關(guān)性得分，模型可以學習到輸入序列中各個部分之間的依賴關(guān)系。

• 位置編碼（Positional Encoding）：Transformer通過將位置信息編碼到輸入向量中，使得模型能夠區(qū)分不同位置的詞語或標記。這樣，模型能夠利用位置信息更好地理解輸入序列。

• 多頭注意力機制（Multi-Head Attention）：為了增強模型對不同表示空間的關(guān)注，Transformer引入了多個注意力頭，允許模型并行地關(guān)注不同的表示子空間，從而提高了模型的表征能力。

• 前饋神經(jīng)網(wǎng)絡(luò)（Feed-Forward Neural Network）：每個注意力模塊之后都連接著一個前饋神經(jīng)網(wǎng)絡(luò)，它通過應(yīng)用全連接層和激活函數(shù)來對特征進行變換和組合。

通過這些組件的組合和堆疊，Transformer模型能夠捕捉長距離依賴關(guān)系，同時避免了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)中的序列依賴問題，使其在處理長序列時表現(xiàn)更好。

問題2、講一下微調(diào)方法p-tuning v2的原理

P-Tuning V2在P-Tuning V1的基礎(chǔ)上進行了下述改進：

• 在每一層都加入了Prompts tokens作為輸入，而不是僅僅加在輸入層，這與Prefix Tuning的做法相同。這樣得到了更多可學習的參數(shù)，且更深層結(jié)構(gòu)中的Prompt能給模型預測帶來更直接的影響。

• 去掉了重參數(shù)化的編碼器。在 P-tuning v2 中，作者發(fā)現(xiàn)重參數(shù)化的改進很小，尤其是對于較小的模型，同時還會影響模型的表現(xiàn)。

• 針對不同任務(wù)采用不同的提示長度。提示長度在提示優(yōu)化方法的超參數(shù)搜索中起著核心作用。在實驗中，我們發(fā)現(xiàn)不同的理解任務(wù)通常用不同的提示長度來實現(xiàn)其最佳性能，這與Prefix-Tuning中的發(fā)現(xiàn)一致，不同的文本生成任務(wù)可能有不同的最佳提示長度。

• 可選的多任務(wù)學習。先在多任務(wù)的Prompt上進行預訓練，然后再適配下游任務(wù)。一方面，連續(xù)提示的隨機慣性給優(yōu)化帶來了困難，這可以通過更多的訓練數(shù)據(jù)或與任務(wù)相關(guān)的無監(jiān)督預訓練來緩解；另一方面，連續(xù)提示是跨任務(wù)和數(shù)據(jù)集的特定任務(wù)知識的完美載體。

問題3、什么是bilstm-crf

BiLSTM-CRF是一種用于序列標注任務(wù)的神經(jīng)網(wǎng)絡(luò)模型，結(jié)合了雙向長短期記憶網(wǎng)絡(luò)（BiLSTM）和條件隨機場（CRF）。

• 雙向長短期記憶網(wǎng)絡(luò)（BiLSTM）：BiLSTM是一種循環(huán)神經(jīng)網(wǎng)絡(luò)變種，能夠有效地捕捉輸入序列中的長期依賴關(guān)系。通過同時考慮輸入序列的正向和反向信息，BiLSTM可以更好地理解整個序列的語境。

• 條件隨機場（CRF）：CRF是一種概率圖模型，常用于序列標注任務(wù)。它能夠?qū)π蛄兄械臉擞涍M行全局建模，利用標記之間的依賴關(guān)系來提高標注的一致性和準確性。

BiLSTM-CRF模型首先利用BiLSTM對輸入序列進行特征提取，然后將提取的特征作為CRF模型的輸入，利用CRF模型對序列進行標注。通過結(jié)合BiLSTM和CRF，BiLSTM-CRF模型能夠更好地處理序列標注任務(wù)，同時充分利用上下文信息和標記之間的依賴關(guān)系。

問題4、代碼題：給整數(shù)數(shù)組和target，找數(shù)組當中和為目標值的兩個整數(shù)返回下標。

使用一個字典來存儲遍歷過的數(shù)字及其下標，通過查找字典來判斷是否存在與當前數(shù)字配對的數(shù)字，從而實現(xiàn)尋找和為目標值的兩個數(shù)的功能。

          
            
              def two_sum(nums, target):
            
          
          
                num_dict = {}  # 用字典存儲數(shù)字和對應(yīng)的下標
          
          
                for i, num in enumerate(nums):
          
          
                    complement = target - num  # 計算目標值與當前值的差值
          
          
                    if complement in num_dict:  # 如果差值在字典中，則找到了符合條件的兩個數(shù)
          
          
                        return [num_dict[complement], i]
          
          
                    num_dict[num] = i  # 否則將當前數(shù)字及其下標存入字典
          
          
                return None  # 如果未找到符合條件的兩個數(shù)，則返回None
          
          
            
              

          
          
            
              # 示例
            
          
          
            nums = [2, 7, 11, 15]
          
          
            target = 9
          
          
            print(two_sum(nums, target))  # 輸出 [0, 1]，因為 nums[0] + nums[1] = 2 + 7 = 9
          
        

免費送

掃碼回復【999】免費領(lǐng)12本電子書

（或 找七月在線其他老師領(lǐng)取 ）

點擊“ 閱讀原文 ”搶新人 福利 ~