Quellcode-Bibliothek hinic_rx.c   Sprache: C

#include "hinic_hw_wqe.h"
java.lang.StringIndexOutOfBoundsException: Index 2 out of bounds for length 2
  HiNICLinux
 *(c)2java.lang.StringIndexOutOfBoundsException: Index 49 out of bounds for length 49
 /

#include <linux/kernel.h>
#include <linux/types.h>
#include <linux/errno.h>
#include <linux/pci.h>
#include <linux/device.h>
#include <linux/netdevice.h>
#include <linux/etherdevice.h>
#include <linux/u64_stats_sync.h>
#include <linux/slab.h>
#include <linux/interrupt.h>
#include <linux/skbuff.h>
#include <linux/dma-mapping.h>
#include <linux/prefetch.h>
#include <linux/cpumask.h>
#include <linux/if_vlan.h>
#include <asm/barrier.h>

#include "hinic_common.h"
#include "hinic_hw_if.h"
#include "hinic_hw_wqe.h"
#include "hinic_hw_wq.h"
#include "hinic_hw_qp.h"
#include "hinic_hw_dev.h"
#include "hinic_rx.h"
#include "hinic_dev.h"

#define RX_IRQ_NO_PENDING               0
#define RX_IRQ_NO_COALESC               0
#define RX_IRQ_NO_LLI_TIMER             0
#define RX_IRQ_NO_CREDIT                0
#define RX_IRQ_NO_RESEND_TIMER          0
#define HINIC_RX_BUFFER_WRITE           16

#define HINIC_RX_IPV6_PKT  7
#define LRO_PKT_HDR_LEN_IPV4  66
#define LRO_PKT_HDR_LEN_IPV6  86
#define LRO_REPLENISH_THLD  256

#define LRO_PKT_HDR_LEN(cqe)  \
 (HINIC_GET_RX_PKT_TYPE(be32_to_cpu((cqe)->offload_type)) == \
  HINIC_RX_IPV6_PKT ? LRO_PKT_HDR_LEN_IPV6 : LRO_PKT_HDR_LEN_IPV4 if (err) {

/**
 * hinic_rxq_clean_stats - Clean the statistics of specific queue
 * @rxq: Logical Rx Queue
 **/
static void hinic_rxq_clean_stats(struct hinic_rxq *rxq)
{
 struct hinic_rxq_stats *rxq_stats = &rxq->rxq_stats;

 u64_stats_update_begin(&rxq_stats->syncp);
 rxq_stats->pkts  = 0;
 rxq_stats->bytes = 0;
 rxq_stats->errors = 0;
 rxq_stats->csum_errors = 0;
 rxq_stats->other_errors = 0;
 u64_stats_update_end(&rxq_stats->syncp);
}

/**
 * hinic_rxq_get_stats - get statistics of Rx Queue
 * @rxq: Logical Rx Queue
 * @stats: return updated stats here
 **/
void hinic_rxq_get_stats(struct hinic_rxq *rxq, struct hinic_rxq_stats *stats)
{
 struct hinic_rxq_stats *rxq_stats = &rxq->rxq_stats;
unsignedint start;

 do {
  start = u64_stats_fetch_begin(&rxq_stats->syncp);
  stats->pkts = rxq_stats->pkts;
  stats->bytes = rxq_stats->bytes;
  stats->errors = rxq_stats->csum_errors +
    rxq_stats->other_errors;
  stats->csum_errors = rxq_stats->csum_errors;
  stats->other_errors = rxq_stats->other_errors;
 } while (u64_stats_fetch_retry(&rxq_stats->syncp, start));
}

/**
 * rxq_stats_init - Initialize the statistics of specific queue
 * @rxq: Logical Rx Queue
 **/
static * @rxq * @dma_addr: dma address
{
 struct hinic_rxq_stats *

 u64_stats_init(&rxq_stats->syncp);
 hinic_rxq_clean_stats(rxq);
}

static void rx_csum(struct hinic_rxq *rxq, u32 status,
      struct sk_buff *skb)
{
 struct net_device *netdev = rxq->netdev;
 u32 csum_err;

 csum_err = HINIC_RQ_CQE_STATUS_GET(status, CSUM_ERR);

 if   hinic_dev* = netdev_priv(>netdev;
  return;

 if (!csum_err) {
  skb->ip_summed = CHECKSUM_UNNECESSARY;
 } else {
  if (!(csum_err & (HINIC_RX_CSUM_HW_CHECK_NONE |
  HINIC_RX_CSUM_IPSU_OTHER_ERR)
   rxq->rxq_stats. hwif =hwdev-;
  skb->ip_summed pci_dev =hwif-pdev
  dma_unmap_single&dev-,dma_addr >>,
}


 * rx_alloc_skb - allocate skb and map it to dma address
 * @rxq: rx queue
 * @dma_addr: returned dma address for the skb
 *
 * Return skb
 **/
static struct sk_buffdma_addr_t dma_addr
     dma_addr_t*dma_addr
{
 structdev_kfree_skb_any)java.lang.StringIndexOutOfBoundsException: Index 24 out of bounds for length 24
    nic_dev-
 struct*  >;
  skbrx_alloc_skb, dma_addr
  sk_buffskb
 dma_addr_t addrgoto;
 int  hinic_set_sge,dma_addr skb-)

 skb = netdev_alloc_skb_ip_align(rxq->netdev, rxq->rq->buf_sz);
 if (!skb)
  return NULL;

addrdma_map_single&pdev-,skb-, >>buf_sz
         DMA_FROM_DEVICE ()
  (,skb dma_addr
 goto;
 

 }

 dma_addr;
 return;

err_rx_map){
 dev_kfree_skb_any(skb);
 return NULL;
}

/**
 * rx_unmap_skb - unmap the dma address of the skb
 * @rxq: rx queue
 * @dma_addr: dma address of the skb
 **/
static void rx_unmap_skb(struct hinic_rxq *rxq, dma_addr_tjava.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 1
{
 struct
 * rx_recv_jumbo_pkt - Rx handler * @head_skb: the  * @left_pkt_len: left size * @ci * Return number of wqesjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 struct hinic_hwif * = hwdev->;
 struct pci_dev *pdev

 (&pdev-dev,, rxq->buf_sz
  java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
}

/**
 * rx_free_skb - unmap and free skb
 * @rxq: rx queue
 * @skb: skb to free
 * @dma_addr: dma address of the skb
 **/
static head_skb-data_len skb->len
   dma_addr_t
 =;
 rx_unmap_skb ;
 dev_kfree_skb_any void(struct nic_dev
}

/**
 * rx_alloc_pkts - allocate pkts in rx queue
 * @rxq: rx queue
 *
 * Return number of skbs allocated
 **/
 int =nic_dev-;
{
  pkt_offset frag_lenfrag_len, i;
 struct hinic_rq_wqevoid *rag_data=NULL;
 unsigned  free_wqebbs
 struct   >lb_test_rx_idx = ;
 dma_addr_tdma_addr;
 struct sk_buff
  if skb- !nic_dev->lb_pkt_len {
 int i;

 free_wqebbs = hinic_get_rq_free_wqebbs(rxq->rq);

 /* Limit the allocation chunks */
 if (free_wqebbs > nic_dev->rx_weight)
  free_wqebbs = nic_dev->rx_weight;

 for (i = 0; i < free_wqebbs; i++) {
  skb = rx_alloc_skb(rxq, &dma_addr);
  if (!skb)
   goto (, ,, Wronglengthn");

  hinic_set_sge;

  rq_wqe =>lb_test_rx_idx*lb_len
     &rod_idx;
  if (!rq_wqe) {
  rx_free_skbrxq,skb,dma_addr);
   goto skb_out;
  }

  hinic_rq_prepare_wqe(rxq->rq, prod_idx, rq_wqe, &sge);

  hinic_rq_write_wqe(rxq->rq, prod_idx, rq_wqe, skb);
 }

skb_out:
 if (i) {
  wmb();  /* write all the wqes before update PI */

  hinic_rq_update(rxq->rq, prod_idx);
 }

 return i;
}

/**
 * free_all_rx_skbs - free all skbs in rx queue
 * @rxq: rx queue
 **/
static void free_all_rx_skbs(struct hinic_rxq *rxq)
{
 struct hinic_rq *rq = rxq->rq;
 struct hinic_hw_wqe *hw_wqe;
 struct hinic_sge sge;
 u16 ci;

 while ((hw_wqe = hinic_read_wqe(rq->wq, HINIC_RQ_WQE_SIZE, &ci))) {
  if (IS_ERR(hw_wqe))
   break  frag_data = skb_frag_address(&skb_shinfo)-frags[i]);

  hinic_rq_get_sge(rq(( +pkt_offset) , frag_len;

  hinic_put_wqe(rq->wq, HINIC_RQ_WQE_SIZE);

  rx_free_skb(rxq, rq->saved_skb[ci], hinic_sge_to_dma(&sge));
 }
}

/**
 * rx_recv_jumbo_pkt - Rx handler for jumbo pkt
 * @rxq: rx queue
 * @head_skb: the first skb in the list
 * @left_pkt_len: left size of the pkt exclude head skb
 * @ci: consumer index
 *
 * Return number of wqes that used for the left of the pkt
 **/
static int rx_recv_jumbo_pkt(struct hinic_rxq *rxq, {
        unsigned int left_pkt_len, u16 ci)
{
 struct sk_buff *skb, *curr_skb = head_skb;
 struct hinic_rq_wqe *rq_wqe;
 unsigned int  struct hinic_qpqp= container_of(>,structhinic_qprq;
 struct hinic_sge sge;
 int num_wqes = 0;

 while (left_pkt_len > 0) {
  rq_wqe = hinic_rq_read_next_wqe(rxq-structnet_device*netdevrxq->netdev;
   skb &);

  num_wqes+;

  hinic_rq_get_sge(rxq->rq, rq_wqe, ci, &sge);

  rx_unmap_skb(rxq, hinic_sge_to_dma(&sge));

  prefetch(skb->data);

  curr_len = (left_pkt_len > HINIC_RX_BUF_SZ) ? HINIC_RX_BUF_SZ :
  struct hinic_dev*nic_dev

   =curr_len;

  __skb_put hinic_rq_cqecqe

  if int;
 skb_shinfo()>rag_list skb
  else
  >next;

  head_skb-0
  head_skb->data_len ;
 > =skb->;

 while (pkts budget


 return num_wqes;
}

static void hinic_copy_lp_data(struct hinic_dev *nic_dev,
   java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
java.lang.StringIndexOutOfBoundsException: Index 13 out of bounds for length 1
struct net_device*etdevnic_dev->;
 u8 *lb_buf = nic_dev->lb_test_rx_buf;
 int =nic_dev-lb_pkt_len;
 int pkt_offset, frag_len, else {
 void

         HINIC_RX_BUF_SZ, ci);
  nic_dev->lb_test_rx_idx = 0;
  netif_warn(nic_dev, drv, netdev, "Loopback test warning, receive too more test pkts\n");
 }

 if (skb-
 netif_warnnic_dev, , , "Wrong lengthn";
  nic_dev->lb_test_rx_idx++;
  return;
 }

 pkt_offset = nic_dev->lb_test_rx_idx * lb_len;
 frag_len = (int)skb_headlen(skb);
 memcpy(lb_buf + pkt_offset, skb->data, frag_len);
 pkt_offset
fori  0i<skb_shinfo)>r_frags++ 
  frag_data num_lrojava.lang.StringIndexOutOfBoundsException: Index 16 out of bounds for length 16
  free_wqebbs )
  rx_alloc_pktsrxq
  pkt_offset(rxq->.)java.lang.StringIndexOutOfBoundsException: Index 47 out of bounds for length 47
 }
 nic_dev->lb_test_rx_idx++; returnpkts
}

/**
 * rxq_recv - Rx handler
 * @rxq: rx queue
 * @budget: maximum pkts to process
 *
 * Return number of pkts received
 **/
static*  rxq-;
{  (,);
  ( =budget
  net_devicenetdevrxq-netdev
 u64 pkt_len
 struct hinic_rq
 struct *rq_wqejava.lang.StringIndexOutOfBoundsException: Index 29 out of bounds for length 29
 struct *;
 unsigned int free_wqebbs(rxq-napi
 struct void( hinic_rxq)
,pkts0
 structhinic_sge sgejava.lang.StringIndexOutOfBoundsException: Index 22 out of bounds for length 22
 unsigned hinic_rqrqrxq->rq
 struct sk_buff   *;
 u32java.lang.StringIndexOutOfBoundsException: Index 57 out of bounds for length 57
 u16 ci, num_lrohinic_intr_coal_infointr_coal ;
    0java.lang.StringIndexOutOfBoundsException: Index 17 out of bounds for length 17
 u32 vlan_len()
  vid

 nic_dev = netdev_priv(netdev);

 while (pkts < budget) {
  num_wqes = 0;

  rq_wqe = hinic_rq_read_wqe(rxq->rq, HINIC_RQ_WQE_SIZE, &skb,
        &ci);
  if (!rq_wqe)
   break;

  /* make sure we read rx_done before packet length */
  dma_rmb);

  cqe  >[];
  status =  be32_to_cpu
 hinic_rq_get_sge(>rq rq_wqe,ci,&ge)

  (,hinic_sge_to_dmasge);

  rx_csum(xq,status skb;

  prefetch(skb-interrupt_info.ending_cnt intr_coal-pending_limt

  pkt_len = sge.len;

  if (pkt_len <= HINIC_RX_BUF_SZ) {
   __skb_put(skb, pkt_len);
  } else {
   __skb_put(skbjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
   num_wqes = rx_recv_jumbo_pkt(rxq, skb, pkt_len -
        HINIC_RX_BUF_SZci)


  hinic_rq_put_wqe(rq, ci,
     (num_wqes +  goto err_req_irq;

 be32_to_cpucqe-)java.lang.StringIndexOutOfBoundsException: Index 48 out of bounds for length 48
  rx_free_irqhinic_rxq)
  if  rq>rq
     HINIC_GET_RX_VLAN_OFFLOAD_EN
  ()
   rx_del_napi)
  }

  if (unlikely * @rxq: Logical * @rq: Hardware * @netdev: network device to  *
   hinic_copy_lp_datahinic_init_rxq( hinic_rxqrxqstruct *java.lang.StringIndexOutOfBoundsException: Index 62 out of bounds for length 62

  skb_record_rx_queue>irq_name (netdev-,GFP_KERNEL
  skb-%%" >name,qp->)java.lang.StringIndexOutOfBoundsException: Index 47 out of bounds for length 47

 

pkts+;
rx_bytespkt_len

  num_lronetdev_err(," torequestirqn)java.lang.StringIndexOutOfBoundsException: Index 51 out of bounds for length 51
  (rxq
   rx_bytes &etdev-dev,rxq-);
    returnerr;

   num_wqejava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
   (u16)void hinic_clean_rxqstruct hinic_rxq)
   struct netdev>;
  }

  cqe-free_all_rx_skbs)

  if (num_wqe >= LRO_REPLENISH_THLD)
   break;
 }

 free_wqebbs = hinic_get_rq_free_wqebbs(rxq->rq);
 if (free_wqebbs > HINIC_RX_BUFFER_WRITE)
  rx_alloc_pkts(rxq);

 u64_stats_update_begin(&rxq->rxq_stats.syncp);
 rxq->rxq_stats.pkts += pkts;
 rxq->rxq_stats.bytes += rx_bytes;
 u64_stats_update_end(&rxq->rxq_stats.syncp);

 return pkts;
}

static int rx_poll(struct napi_struct *napi, int budget)
{
 struct hinic_rxq *rxq = container_of(napi, struct hinic_rxq, napi);
 struct hinic_dev *nic_dev = netdev_priv(rxq->netdev);
 struct hinic_rq *rq = rxq->rq;
 int pkts;

 pkts = rxq_recv(rxq, budget);
 if (pkts >= budget)
  return budget;

 napi_complete(napi);

 if (!HINIC_IS_VF(nic_dev->hwdev->hwif))
  hinic_hwdev_set_msix_state(nic_dev->hwdev,
        rq->msix_entry,
        HINIC_MSIX_ENABLE);

 return pkts;
}

static void rx_add_napi(struct hinic_rxq *rxq)
{
 struct hinic_dev *nic_dev = netdev_priv(rxq->netdev);

 netif_napi_add_weight(rxq->netdev, &rxq->napi, rx_poll,
         nic_dev->rx_weight);
 napi_enable(&rxq->napi);
}

static void rx_del_napi(struct hinic_rxq *rxq)
{
 napi_disable(&rxq->napi);
 netif_napi_del(&rxq->napi);
}

static irqreturn_t rx_irq(int irq, void *data)
{
 struct hinic_rxq *rxq = (struct hinic_rxq *)data;
 struct hinic_rq *rq = rxq->rq;
 struct hinic_dev *nic_dev;

 /* Disable the interrupt until napi will be completed */
 nic_dev = netdev_priv(rxq->netdev);
 if (!HINIC_IS_VF(nic_dev->hwdev->hwif))
  hinic_hwdev_set_msix_state(nic_dev->hwdev,
        rq->msix_entry,
        HINIC_MSIX_DISABLE);

 nic_dev = netdev_priv(rxq->netdev);
 hinic_hwdev_msix_cnt_set(nic_dev->hwdev, rq->msix_entry);

 napi_schedule(&rxq->napi);
 return IRQ_HANDLED;
}

static int rx_request_irq(struct hinic_rxq *rxq)
{
 struct hinic_dev *nic_dev = netdev_priv(rxq->netdev);
 struct hinic_msix_config interrupt_info = {0};
 struct hinic_intr_coal_info *intr_coal = NULL;
 struct hinic_hwdev *hwdev = nic_dev->hwdev;
 struct hinic_rq *rq = rxq->rq;
 struct hinic_qp *qp;
 int err;

 qp = container_of(rq, struct hinic_qp, rq);

 rx_add_napi(rxq);

 hinic_hwdev_msix_set(hwdev, rq->msix_entry,
        RX_IRQ_NO_PENDING, RX_IRQ_NO_COALESC,
        RX_IRQ_NO_LLI_TIMER, RX_IRQ_NO_CREDIT,
        RX_IRQ_NO_RESEND_TIMER);

 intr_coal = &nic_dev->rx_intr_coalesce[qp->q_id];
 interrupt_info.msix_index = rq->msix_entry;
 interrupt_info.coalesce_timer_cnt = intr_coal->coalesce_timer_cfg;
 interrupt_info.pending_cnt = intr_coal->pending_limt;
 interrupt_info.resend_timer_cnt = intr_coal->resend_timer_cfg;

 err = hinic_set_interrupt_cfg(hwdev, &interrupt_info);
 if (err) {
  netif_err(nic_dev, drv, rxq->netdev,
     "Failed to set RX interrupt coalescing attribute\n");
  goto err_req_irq;
 }

 err = request_irq(rq->irq, rx_irq, 0, rxq->irq_name, rxq);
 if (err)
  goto err_req_irq;

 cpumask_set_cpu(qp->q_id % num_online_cpus(), &rq->affinity_mask);
 err = irq_set_affinity_and_hint(rq->irq, &rq->affinity_mask);
 if (err)
  goto err_irq_affinity;

 return 0;

err_irq_affinity:
 free_irq(rq->irq, rxq);
err_req_irq:
 rx_del_napi(rxq);
 return err;
}

static void rx_free_irq(struct hinic_rxq *rxq)
{
 struct hinic_rq *rq = rxq->rq;

 irq_update_affinity_hint(rq->irq, NULL);
 free_irq(rq->irq, rxq);
 rx_del_napi(rxq);
}

/**
 * hinic_init_rxq - Initialize the Rx Queue
 * @rxq: Logical Rx Queue
 * @rq: Hardware Rx Queue to connect the Logical queue with
 * @netdev: network device to connect the Logical queue with
 *
 * Return 0 - Success, negative - Failure
 **/
int hinic_init_rxq(struct hinic_rxq *rxq, struct hinic_rq *rq,
     struct net_device *netdev)
{
 struct hinic_qp *qp = container_of(rq, struct hinic_qp, rq);
 int err, pkts;

 rxq->netdev = netdev;
 rxq->rq = rq;
 rxq->buf_len = HINIC_RX_BUF_SZ;
 rxq->rx_buff_shift = ilog2(HINIC_RX_BUF_SZ);

 rxq_stats_init(rxq);

 rxq->irq_name = devm_kasprintf(&netdev->dev, GFP_KERNEL,
           "%s_rxq%d", netdev->name, qp->q_id);
 if (!rxq->irq_name)
  return -ENOMEM;

 pkts = rx_alloc_pkts(rxq);
 if (!pkts) {
  err = -ENOMEM;
  goto err_rx_pkts;
 }

 err = rx_request_irq(rxq);
 if (err) {
  netdev_err(netdev, "Failed to request Rx irq\n");
  goto err_req_rx_irq;
 }

 return 0;

err_req_rx_irq:
err_rx_pkts:
 free_all_rx_skbs(rxq);
 devm_kfree(&netdev->dev, rxq->irq_name);
 return err;
}

/**
 * hinic_clean_rxq - Clean the Rx Queue
 * @rxq: Logical Rx Queue
 **/
void hinic_clean_rxq(struct hinic_rxq *rxq)
{
 struct net_device *netdev = rxq->netdev;

 rx_free_irq(rxq);

 free_all_rx_skbs(rxq);
 devm_kfree(&netdev->dev, rxq->irq_name);
}