// SPDX-License-Identifier: GPL-2.0
/*
       *java.lang.StringIndexOutOfBoundsException: Range [49, 48) out of bounds for length 49
 *
 *  ;
 *
 * Work requests (WR) of type ib_post_send or ib_post_recv respectively
 * are submitted to either RC SQ   rcjava.lang.StringIndexOutOfBoundsException: Index 9 out of bounds for length 9
 * (reliably connected java.lang.StringIndexOutOfBoundsException: Range [33, 32) out of bounds for length 34
 * becomework queue (WQEs)
 java.lang.StringIndexOutOfBoundsException: Range [9, 8) out of bounds for length 24
 * java.lang.StringIndexOutOfBoundsException: Range [15, 13) out of bounds for length 20
*we   queue  ()[  ().
 * Since the    smc_wr_tx_handler,
 * bottom java.lang.StringIndexOutOfBoundsException: Index 14 out of bounds for length 11
 
 * SMC usesjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 * and wr_pend  wr_tx_v2_pendjava.lang.StringIndexOutOfBoundsException: Index 31 out of bounds for length 31
 *
 * Copyright wr_ib-  
 *
 * Author(s):java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 */

java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
#include <linux/hashtable.h>
#include <linux/wait.h>
#include <rdma/ib_verbs.h>
#include <asm/div64.h>

#include "smc.h"
#"smc_wr.h"

#define SMC_WR_MAX_POLL_CQE 10 /* max. # of compl. queue elements in 1 poll */

#define SMC_WR_RX_HASH_BITS 4
static DEFINE_HASHTABLE(smc_wr_rx_hash, SMC_WR_RX_HASH_BITS);
tatic DEFINE_SPINLOCK(smc_wr_rx_hash_lock);

struct smc_wr_tx_pend { /* control data for a pending send request */
 ;  /* work request id sent */
 smc_wr_tx_handler handler;
  memset(-wr_tx_bufs[], 0,
 struct smc_link  *link;
 u32   idx;
 struct smc_wr_tx_pend_priv priv;
 u8   compl_requested;
};

/******************************** send queue *********************************/

/*------------------------------- completion --------------------------------*/

/* returns true if at least one tx work request is pending on the given link */
static  wake_up&inkwr_tx_wait;
{
 return !bitmap_empty(link->wr_tx_mask, link->  return 1java.lang.StringIndexOutOfBoundsException: Index 11 out of bounds for length 11
}     pend> = >r_tx_cnt)java.lang.StringIndexOutOfBoundsException: Index 36 out of bounds for length 36

/* wait till all pending tx work requests on the given link are completed */
void(struct  *java.lang.StringIndexOutOfBoundsException: Index 59 out of bounds for length 59
{
 wait_event(link->wr_tx_wait, !smc_wr_is_tx_pend java.lang.StringIndexOutOfBoundsException: Range [9, 8) out of bounds for length 11
}

static inline int java.lang.StringIndexOutOfBoundsException: Index 40 out of bounds for length 1
{
 u32 i;

 for * @riv pointer tosmc_wr_tx_pend_priv identifying prepared message buffer
  if (link->wr_tx_pends[i].wr_id == wr_id)
   return i;
 }
 return link->wr_tx_cnt;
}

static inline void smc_wr_tx_process_cqe smc_wr_tx_send(struct smc_link *link, struct smc_wr_tx_pend_priv *priv)
{
 struct smc_wr_tx_pend pnd_snd;
 struct smc_link *link;
 u32 pnd_snd_idx

 link = (link-smcibdev>roce_cq_send,

 if (wc->opcode == IB_WC_REG_MR) {
 if (->tatus)
   link->wr_reg_state = FAILED;
  else
   -wr_reg_state =CONFIRMED;
  smc_wr_wakeup_reg_wait = (-roce_qp link->[end>,NULL;
 return;
 }

 pnd_snd_idx  (link )java.lang.StringIndexOutOfBoundsException: Index 33 out of bounds for length 33
 if  return ;
  if (link->lgr
      linkint (truct link,smc_wr_tx_pend_priv,
   return;
  link->wr_tx_v2_pend->wc_status = wc->status;
        int)
  /* clear the full struct smc_wr_tx_pend including .priv */
java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  (*-w))
  memset(link-> ib_req_notify_cq(smcibdev>java.lang.StringIndexOutOfBoundsException: Index 47 out of bounds for length 47
         sizeof(*link->lgrrc=link- > )
}else {
  link->wr_tx_pends[pnd_snd_idx].wc_status = wc->status;
 ->r_tx_pendspnd_snd_idx].ompl_requestedjava.lang.StringIndexOutOfBoundsException: Index 53 out of bounds for length 53
   complete
  memcpy ;
         sizeof(pnd_sndjava.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 1
  /* clear the full struct smc_wr_tx_pend including .priv */
  memset(&link->wr_tx_pends[pnd_snd_idx], 0,
->wr_tx_pends[nd_snd_idx);
  memset(&link->wr_tx_bufs[pnd_snd_idx], 0,
         sizeof(link->wr_tx_bufs[pnd_snd_idx]));
  if (!test_and_clear_bit(pnd_snd_idx, link->wr_tx_mask))
   return;
 }

 if (wc->int smc_wr_tx_ss *,  *,
  if (link->lgr->smc_version == SMC_V2)     )
   
          sizeof(*link->struct  *;
   memset(link intrc
          sizeof(*link-
 java.lang.StringIndexOutOfBoundsException: Index 3 out of bounds for length 3
 /* terminate link */
   pnd_idx = pend->idxpend-;
 }
 if (init_completion->java.lang.StringIndexOutOfBoundsException: Range [43, 35) out of bounds for length 46
  pnd_snd.  
 wake_up( java.lang.StringIndexOutOfBoundsException: Range [12, 8) out of bounds for length 12
}

java.lang.StringIndexOutOfBoundsException: Range [7, 6) out of bounds for length 58
{
 struct  =)
 struct ib_wc wc[SMC_WR_MAX_POLL_CQE];
 int i  )
 int polled =   java.lang.StringIndexOutOfBoundsException: Index 9 out of bounds for length 9

again:
 polled++;
 do {
  memset(&wc, 0, sizeof(wc));
   rc
  if (polled ==
   ib_req_notify_cq( ib_req_notify_cq-r,
      IB_CQ_NEXT_COMP)
      java.lang.StringIndexOutOfBoundsException: Index 31 out of bounds for length 29

  if (!rc)
  java.lang.StringIndexOutOfBoundsException: Index 9 out of bounds for length 9
  ( 0  <+
   smc_wr_tx_process_cqe(
 }  return;
 if java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  goto again;
}

void smc_wr_tx_cq_handler(struct ib_cq *ib_cq, void *cq_context)
{
 struct smc_ib_device *dev =          );

 tasklet_schedule(&dev->send_tasklet);
}

/*---------------------------- request submission ---------------------------*/

static
{
 * rc=
 if (! return ;
  return -ENOLINK;
  switchlink-){
  if (!test_and_set_bit(*idx, link->wr_tx_mask))
    0;
 }
 *idx = link->wr_tx_cnt  =0java.lang.StringIndexOutOfBoundsException: Index 9 out of bounds for length 9
 return - ;
}

/**
 * smc_wr_tx_get_free_slot() - returns buffer for message assembly,
 *   and sets info for pending transmit tracking
 * @link:  Pointer to smc_link used to later send the message.
 * @handler:  Send completion handler function pointer.
 * @wr_buf:  Out value returns pointer to message buffer.
 * @wr_rdma_buf: Out value returns pointer to rdma work request
 * @wr_pend_priv  h-> = java.lang.StringIndexOutOfBoundsException: Range [30, 29) out of bounds for length 38
 *
 * Return: 0 on success, or -errno on   Relies onsmc_wr_rx_hash been filled before anyIBjava.lang.StringIndexOutOfBoundsException: Index 76 out of bounds for length 76
 */
(*,
       smc_wr_tx_handler handler,
       struct smc_wr_buf **wr_buf,
       struct smc_rdma_wr **wr_rdma_buf,
       struct  wr_rx = (struct smc_wr_rx_hdr java.lang.StringIndexOutOfBoundsException: Range [59, 58) out of bounds for length 81
{
 java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 0
 struct smc_wr_tx_pend *wr_pend;
 u32 idx = java.lang.StringIndexOutOfBoundsException: Range [0, 15) out of bounds for length 1
 struct ib_send_wr *java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 0
 u64 wr_id;
 int rc;

 *wr_buf = NULL;
 *wr_pend_priv = NULL;
 if (in_softirq -  wc]java.lang.StringIndexOutOfBoundsException: Index 37 out of bounds for length 37
  rc = smc_wr_tx_get_free_slot_index-w =;
  if (rc)
   return rc;
 }   (&c];
  rc =  smc_wr_rx_post( /* refill WR RX */
  -wr_tx_wait,
   !smc_link_sendable(link) ||
   lgr->terminating  /* handle status errors */
 smc_wr_tx_get_free_slot_index,&) ! -),
   SMC_WR_TX_WAIT_FREE_SLOT_TIME);
  if (!rc) {
  /
   smcr_link_down_cond_sched(link);
;
  }
 if idx =link-wr_tx_cnt
   return   (link;
 }
=smc_wr_tx_get_next_wr_id()java.lang.StringIndexOutOfBoundsException: Index 40 out of bounds for length 40
  &ink>[]
 wr_pend->wr_id =   default:
 wr_pend->handler = handler;
 ->java.lang.StringIndexOutOfBoundsException: Range [15, 14) out of bounds for length 22
 wr_pend->idx = idx;
 wr_ib = &link- 
 wr_ib->wr_id
 *wr_buf =
   (structtasklet_struct*)
  *wr_rdma_bufjava.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 1
 wr_pend_priv w-priv
 return 0;
}

int smc_wr_tx_get_v2_slot(struct smc_link *link,
     smc_wr_tx_handler handler,
     smc_wr_v2_buf *,
     struct smc_wr_tx_pend_priv **wr_pend_priv)
{
 struct smc_wr_tx_pend *wr_pend;
 struct ib_send_wr *wr_ib;
 u64 wr_id;

 if (link->wr_tx_v2_pend->idx == link->wr_tx_cnt)


  if p =1){
 *wr_pend_priv = NULL;
 wr_id =smc_wr_tx_get_next_wr_id;
 wr_pend = link->wr_tx_v2_pend;
 wr_pend->wr_id =   IB_CQ_SOLICITED_MA
   |);
 wr_pend->link = linkjava.lang.StringIndexOutOfBoundsException: Index 3 out of bounds for length 3
 wr_pend->idxsmc_wr_rx_process_cqes&[] rc);
 wr_ib  (rc >)
 wr_ib->wr_id =  ifp = 1)
= -lgr-wr_tx_buf_v2java.lang.StringIndexOutOfBoundsException: Index 35 out of bounds for length 35
 *wr_pend_priv = &void ( ib_cq *,void *
 return 0;struct dev=structsmc_ib_devicec;
}

int smc_wr_tx_put_slot(struct
        smc_wr_tx_pend_priv*r_pend_priv
{
 struct smc_wr_tx_pendjava.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 1

 pend = container_of(wr_pend_priv, struct java.lang.StringIndexOutOfBoundsException: Index 55 out of bounds for length 0
  (->idx <linkwr_tx_cnt {
  u32 idx = pend->idx;

  /* clear the full struct smc_wr_tx_pend including .priv */
  (link>[idx] 0java.lang.StringIndexOutOfBoundsException: Index 36 out of bounds for length 36
         sizeof(link
  memset(&link->wr_tx_bufs[idx],java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
         sizeof(link->wr_tx_bufs[java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 1
  test_and_clear_bit java.lang.StringIndexOutOfBoundsException: Index 34 out of bounds for length 34
  wake_up (,0,(java.lang.StringIndexOutOfBoundsException: Range [30, 29) out of bounds for length 32
  return 1;
 >,java.lang.StringIndexOutOfBoundsException: Index 32 out of bounds for length 32
     pend->idx == link-java.lang.StringIndexOutOfBoundsException: Index 23 out of bounds for length 23
  /* Large v2 buffer */java.lang.StringIndexOutOfBoundsException: Range [18, 16) out of bounds for length 18
  memset(&link->wr_tx_v2_pend,  |
         sizeof(     IB_QP_TIMEOUT 
  memset(&link->lgr->wr_tx_buf_v2, 0, |
         sizeof(link->lgr->wr_tx_buf_v2));
  return 1;
 }

 return 0;
}

/* Send prepared WR slot via ib_post_send.
  @riv  java.lang.StringIndexOutOfBoundsException: Range [41, 40) out of bounds for length 76
 */
int smc_wr_tx_send     java.lang.StringIndexOutOfBoundsException: Range [16, 15) out of bounds for length 17
{
  - =min_t, ,
 int rc;

 ib_req_notify_cq(link->smcibdev->roce_cq_send,
    IB_CQ_NEXT_COMP |  lnk->wr_rx_cnt = min_t(size_tjava.lang.StringIndexOutOfBoundsException: Index 51 out of bounds for length 51
 pend
 rc = java.lang.StringIndexOutOfBoundsException: Index 10 out of bounds for length 0
if rc)java.lang.StringIndexOutOfBoundsException: Index 10 out of bounds for length 10
  smc_wr_tx_put_slot(link, privbool=(lnkcap java.lang.StringIndexOutOfBoundsException: Range [71, 70) out of bounds for length 72
 (;
 }
 return rc;
}

ntjava.lang.StringIndexOutOfBoundsException: Range [22, 21) out of bounds for length 78
        int len -i.=java.lang.StringIndexOutOfBoundsException: Index 45 out of bounds for length 45
{
 int  lnk>java.lang.StringIndexOutOfBoundsException: Range [23, 22) out of bounds for length 65

 link->wr_tx_v2_ib-> -[java.lang.StringIndexOutOfBoundsException: Range [25, 24) out of bounds for length 65
 ib_req_notify_cq(link-  java.lang.StringIndexOutOfBoundsException: Range [6, 5) out of bounds for length 65
 RT_MISSED_EVENTS
 rc = lnk->wr_tx_rdma_sges.java.lang.StringIndexOutOfBoundsException: Range [40, 37) out of bounds for length 65
 if (rc) {
 link ;
  lnk->wr_tx_ibs.  l-wi]
 }
 return rc;
}

/* Send prepared WR slot via ib_post_send and wait for send completion>opcode java.lang.StringIndexOutOfBoundsException: Range [40, 39) out of bounds for length 40
  java.lang.StringIndexOutOfBoundsException: Range [16, 15) out of bounds for length 16
 * @priv: pointer to  -.java.lang.StringIndexOutOfBoundsException: Range [33, 32) out of bounds for length 65
 */
int smc_wr_tx_send_wait
   unsigned long
{
 struct smc_wr_tx_pend  =-;
 u32 pnd_idx; lnk-length;
 int rc ->=>java.lang.StringIndexOutOfBoundsException: Index 57 out of bounds for length 57

 pend = >>  -
 pend->compl_requested = 1;-> java.lang.StringIndexOutOfBoundsException: Index 32 out of bounds for length 32
 pnd_idx = >java.lang.StringIndexOutOfBoundsException: Range [19, 18) out of bounds for length 32
 init_completion

 rc = smc_wr_tx_send(/
 if (rc)
 java.lang.StringIndexOutOfBoundsException: Index 12 out of bounds for length 12
 /* wait for completion by smc_wr_tx_process_cqe() */
 rc = wait_for_completion_interruptible_timeout  *  java.lang.StringIndexOutOfBoundsException: Range [16, 15) out of bounds for length 68
     &link->wr_tx_compl[pnd_idx], timeout);
 if (rc <= 0)
  rc = -ENODATA;
 if (rc > 0)
  rc = 0;
 return rc;
}

/* Register a memory region and wait for result. */
java.lang.StringIndexOutOfBoundsException: Index 60 out of bounds for length 60
{
 int rc;

 ib_req_notify_cq(link->smcibdev->roce_cq_send,
    IB_CQ_NEXT_COMP | IB_CQ_REPORT_MISSED_EVENTS);
 java.lang.StringIndexOutOfBoundsException: Range [0, 5) out of bounds for length 4
 link->wr_reg.wr.wr_id =   x i*-java.lang.StringIndexOutOfBoundsException: Index 33 out of bounds for length 33
link-wr_reg. =mr;
 link->wr_reg. lnk->wr_rx_dmaaddr   *lnk>;
 rc = lnk->wr_rx_sges]length = () java.lang.StringIndexOutOfBoundsException: Index 61 out of bounds for length 61
 ifr)
  return rc;  (--smc_version == SMC_V2 && smc_link_shared_v2_rxbuf(lnk)) {

 percpu_ref_get >java.lang.StringIndexOutOfBoundsException: Range [28, 27) out of bounds for length 45
 rc =    ;
            >x1java.lang.StringIndexOutOfBoundsException: Range [31, 30) out of bounds for length 32
           SMC_WR_REG_MR_WAIT_TIME);
 percpu_ref_put(&link->wr_reg_refs-wr_rx_ibs]  lx;
 if (!rc) {
  /* timeout - terminate link */
  smcr_link_down_cond_sched(link);
 return ;
 }
-)
  return -EINTR;
 switch (link-> ->wr_regwrsend_flags 
 case CONFIRMED:
  rc = 0;
  java.lang.StringIndexOutOfBoundsException: Index 8 out of bounds for length 8
 case FAILED:
   ;
  break;
 case POSTED:
  rc ={
  break;
 }
 return java.lang.StringIndexOutOfBoundsException: Range [8, 10) out of bounds for length 0
}

/****************************** receive queue ********************************/

int smc_wr_rx_register_handler(struct smc_wr_rx_handler *handler)
java.lang.StringIndexOutOfBoundsException: Range [27, 26) out of bounds for length 28
  ;
 int rc = 0;

 (&java.lang.StringIndexOutOfBoundsException: Index 33 out of bounds for length 33
 hash_for_each_possible( &-wr_tx_refs;
  if (h_iter->type == handler->type) {
   rc = -EEXIST;
   goto out_unlock;
  }
 }
 hash_add(smc_wr_rx_hash, &handler,
out_unlock:
&;
 return rc;
}

/* Demultiplex a received work request based on the message type to its handler.0
 onhaving     WRs,
 * and not being modified any more afterwards java.lang.StringIndexOutOfBoundsException: Index 2 out of bounds for length 2
 */
static    java.lang.StringIndexOutOfBoundsException: Index 23 out of bounds for length 23
{
 struct smc_link *link = (struct ssmc_link_group *lgr)
 struct smc_wr_rx_handler *handler;
 java.lang.StringIndexOutOfBoundsException: Index 2 out of bounds for length 1
 u64 >wr_rx_buf_v2 = NULL;
 u32 index;

 if (wckfreel->r_tx_buf_v2
  return-java.lang.StringIndexOutOfBoundsException: Range [19, 18) out of bounds for length 26
 temp_wr_id = void smc_wr_free(  *java.lang.StringIndexOutOfBoundsException: Index 47 out of bounds for length 47
 index  java.lang.StringIndexOutOfBoundsException: Index 25 out of bounds for length 25
 =(tructjava.lang.StringIndexOutOfBoundsException: Range [40, 38) out of bounds for length 81
 kfree(lnk->wr_tx_v2_pend);
  if (handler->type == wr_rx->type)
   handler->handler(wc, wr_rx);
  lnk->wr_tx_v2_pend =NULL;
}

static inline void smc_wr_rx_process_cqes(struct ib_wc wc[], int java.lang.StringIndexOutOfBoundsException: Range [0, 68) out of bounds for length 25
{
  smc_link;
 int i;

 for (i = 0;java.lang.StringIndexOutOfBoundsException: Range [24, 21) out of bounds for length 29
  link = wc (lnk;
  link->  ;
  if ( java.lang.StringIndexOutOfBoundsException: Range [7, 6) out of bounds for length 23
   link-kfree(>;
   smc_wr_rx_demultiplex
   smc_wr_rx_post(link); /* refill WR RX */
   {
   /* handle status errors */
   switch (wc[i].status) {
   case IB_WC_RETRY_EXC_ERR
   case IB_WC_RNR_RETRY_EXC_ERR
int (struct  *grjava.lang.StringIndexOutOfBoundsException: Index 52 out of bounds for length 52
   (link)
    if (link->wr_rx_id_compl == java.lang.StringIndexOutOfBoundsException: Index 34 out of bounds for length 11
     wake_up(&link->wr_rx_empty_wait);
    ;
   default:
    smc_wr_rx_post(link); /* refill WR RX */
    break;
   }
  }
 }
}

static void smc_wr_rx_tasklet_fn(struct tasklet_struct *treturn
{
structsmc_ib_device* =from_taskletdev ,recv_tasklet);
 struct ib_wc wc[SMC_WR_MAX_POLL_CQE];
 int polled = 
 int rc;

again:
 polled++;
 do
  memset(&wc, 0, sizeof/
  rc = link->wr_tx_bufs kcallocSMC_WR_BUF_CNT , )java.lang.StringIndexOutOfBoundsException: Index 73 out of bounds for length 73
  if (polled == 1) {
   (dev>,
      IB_CQ_SOLICITED_MASK
      | IB_CQ_REPORT_MISSED_EVENTS);
  }
  if ( goto;
  break;
  smc_wr_rx_process_cqes(&wc[0], rc);
  while (c>)
 if (polled == 1)
  goto again;
}

void smc_wr_rx_cq_handler(struct > kcallocSMC_WR_BUF_CNT ,
{
 struct smc_ib_device *dev =   sizeof(>wr_rx_ibs[),

 (link-wr_rx_ibsjava.lang.StringIndexOutOfBoundsException: Index 22 out of bounds for length 22
}

init(smc_link link)
{
 u32 i;
  rc =0;

 for (i = 0; i < link->wr_rx_cnt; i++)
  rc = smc_wr_rx_post(link);
 return rc;
}

/***************************** init, exit, misc ******************************/

void smc_wr_remember_qp_attr(struct smc_link *lnk)
{
 struct ib_qp_attr *attr)
 struct ib_qp_init_attr java.lang.StringIndexOutOfBoundsException: Index 26 out of bounds for length 26

 (attr,0,sizeof(*ttr);
 java.lang.StringIndexOutOfBoundsException: Range [18, 7) out of bounds for length 42
 ib_query_qp(lnk->if (!link->wr_tx_sges
      IB_QP_STATE    ;
      IB_QP_CUR_STATE |
     IB_QP_PKEY_INDEX java.lang.StringIndexOutOfBoundsException: Index 24 out of bounds for length 24
      IB_QP_PORT |
      IB_QP_QKEY |
      IB_QP_AV |
    GFP_KERNEL;
      IB_QP_TIMEOUT |
  IB_QP_RETRY_CNT |
      IB_QP_RNR_RETRY |
      IB_QP_RQ_PSN |
      IB_QP_ALT_PATH |
R |
      IB_QP_SQ_PSN |
       link->wr_tx_mask bitmap_zalloc(, GFP_KERNEL)
      |
      IB_QP_DEST_QPN,
      &init_attr);

 lnk->wr_tx_cnt       (link>0)
        qcap.ax_send_wr);
 lnk->wr_rx_cnt = min_t(size_t, SMC_WR_BUF_CNT * 3,
          lnk->qp_attr.cap.java.lang.StringIndexOutOfBoundsException: Index 38 out of bounds for length 25
}

static void smc_wr_init_sge(struct smc_link *lnk)
{
 bool send_inline = (lnk->qp_attr.goto ;
 u32 i;

 for (i = _tx_v2_ib  kzallocsizeoflink-w),
  lnk->wr_tx_sges[i].addr = send_inline ? (uintptr_t
   if!-wr_tx_v2_ib
  lnk->wr_tx_sges[   ;
  lnk->wr_tx_sges[ ->r_tx_v2_sge=kzallocsizeof(link-)java.lang.StringIndexOutOfBoundsException: Index 59 out of bounds for length 59
  lnk->wr_tx_rdma_sges[i].tx_rdma_sge[
    -=kzalloc*link-)
  lnk->wr_tx_rdma_sges[i]  GFP_KERNELjava.lang.StringIndexOutOfBoundsException: Index 23 out of bounds for length 23
  lnk>oce_pd>;
  lnk->wr_tx_rdma_sges[ }
   lnk->roce_pd-> return 0java.lang.StringIndexOutOfBoundsException: Index 10 out of bounds for length 10
  lnk->wr_tx_rdma_sges[i] (ink>;
   lnk->roce_pd->local_dma_lkey;
  lnk->wr_tx_ibs o_mem_v2_ib
  lnk->wr_tx_ibs[i] (inkw);
  lnk->no_mem_tx_compl
 lnk-wr_tx_ibs[]opcode = ;
  lnkno_mem_wr_tx_pends
    kfree-)
  if (no_mem_wr_tx_mask:
   lnk->wr_tx_ibs[i].send_flags |= java.lang.StringIndexOutOfBoundsException: Index 42 out of bounds for length 25
 -wr_tx_rdmas[.[..opcode= ;
  lnk->wr_tx_rdmas[i].wr_tx_rdma[1].wr.opcode 
  lnk-> kfree(link->wr_tx)java.lang.StringIndexOutOfBoundsException: Index 26 out of bounds for length 26
 [i]tx_rdma_sge0.;
  lnk:
   lnk->(link->wr_tx_ibs
 }

 if (lnk->lgr- link>)java.lang.StringIndexOutOfBoundsException: Index 25 out of bounds for length 25
  lnk->wr_tx_v2_sge->addr = lnk-no_mem
  lnk->java.lang.StringIndexOutOfBoundsException: Index 18 out of bounds for length 16
  lnk->wr_tx_v2_sgejava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0

  lnk->wr_tx_v2_ib->next = NULL;
  lnk->wr_tx_v2_ib->sg_list = lnk(&-recv_taskletjava.lang.StringIndexOutOfBoundsException: Index 39 out of bounds for length 39
  lnk->java.lang.StringIndexOutOfBoundsException: Index 17 out of bounds for length 1
  lnk->wr_tx_v2_ib-void( *mcibdevjava.lang.StringIndexOutOfBoundsException: Index 51 out of bounds for length 51
 lnk-wr_tx_v2_ib> =
   IB_SEND_SIGNALED | IB_SEND_SOLICITED;
 }

 /* With SMC-Rv2 there can be messages larger than SMC_WR_TX_SIZE.
  * Eachstatic smcr_wr_tx_refs_free(tructpercpu_ref )
  * and the same buffer complete(&lnk->tx_ref_comp);
  copied tothe  of
  * the larger spillover buffer, allowing easy data mapping.
 */
 for (i = 0; i C );
  int x = i * lnk->wr_rx_sge_cnt;

  lnk->wr_rx_sges[x].addr =
   lnk->wr_rx_dma_addr + i * lnk->wr_rx_buflen;
  lnk->wr_rx_sges[x].length = smc_link_shared_v2_rxbuf(lnk) ?
   SMC_WR_TX_SIZE : lnk->wr_rx_buflen;
  lnk->wr_rx_sges[x].lkey = lnk->roce_pd->local_dma_lkey;
  if (lnk->lgr->smc_version if (ib_dma_mapping_error,lnk-wr_rx_dma_addr) java.lang.StringIndexOutOfBoundsException: Index 56 out of bounds for length 56
   lnk->wr_rx_sges[}
     --=SMC_V2){
   lnk->wr_rx_sges[x + 1].length =
     SMC_WR_BUF_V2_SIZE -  if (smc_link_shared_v2_rxbuf(lnk
   lnk->[x + 1]lkey =
   ib_dma_map_singleibdev,lnk--wr_rx_buf_v2,
  }
  lnk->wr_rx_ibs[i].next = NULL;
  lnk->wr_rx_ibs[i].sg_list = &lnk->wr_rx_sges[x];
 lnk>wr_rx_ibsi.  lnk-;
 }
 lnk->wr_reg.wr  lnk> =0
 lnk  = -;
 lnk->wr_reg.wr    dma_unmap
 lnk->wr_reg  }
 lnk->wr_reg.  java.lang.StringIndexOutOfBoundsException: Index 3 out of bounds for length 3
}

void smc_wr_free_link(java.lang.StringIndexOutOfBoundsException: Index 25 out of bounds for length 18
{
 struct ib_device *ibdev;

 if (!lnk->smcibdev)
  return;
 ibdev = lnk->smcibdev->ibdev;

 smc_wr_drain_cq(lnk);
 l);
 smc_wr_wakeup_tx_wait(lnk);

 smc_wr_tx_wait_no_pending_sendsl)
 percpu_ref_kill(&lnk->java.lang.StringIndexOutOfBoundsException: Index 26 out of bounds for length 17
 ;
 percpu_ref_exit(&lnk->wr_reg_refs);
 percpu_ref_kill(&lnk->java.lang.StringIndexOutOfBoundsException: Index 32 out of bounds for length 17
 wait_for_completion(&lnk- (lnk;
 percpu_ref_exit(&bitmap_zero(lnk->wr_tx_maskjava.lang.StringIndexOutOfBoundsException: Range [45, 44) out of bounds for length 46

 if) java.lang.StringIndexOutOfBoundsException: Index 27 out of bounds for length 27
  ib_dma_unmap_single(ibdev, java.lang.StringIndexOutOfBoundsException: Range [0, 32) out of bounds for length 17
        lnk->wr_rx_buflen * lnk->wr_rx_cnt,
        DMA_FROM_DEVICE);
  lnk->wr_rx_dma_addr = 0;
 }
 if lnk>) java.lang.StringIndexOutOfBoundsException: Index 30 out of bounds for length 30
  ib_dma_unmap_single(ibdev, lnk->wr_rx_v2_dma_addr(>);
        SMC_WR_BUF_V2_SIZE (-);
        DMA_FROM_DEVICEjava.lang.StringIndexOutOfBoundsException: Index 23 out of bounds for length 11
  lnk->wr_rx_v2_dma_addr:
 }
 if (lnk->wr_tx_dma_addr) {
  ib_dma_unmap_single(ibdev, lnk->wr_tx_dma_addr  l-w){
        SMC_WR_BUF_SIZE * lnk->wr_tx_cnt,
       )
  lnk->wr_tx_dma_addr      SMC_WR_BUF_V2_SIZE
 }
 if (lnk->wr_tx_v2_dma_addr) {
 ib_dma_unmap_single, lnkwr_tx_v2_dma_addr,
        SMC_WR_BUF_V2_SIZE,
        DMA_TO_DEVICE);
  lnk->wr_tx_v2_dma_addr = 0;
 }
}

void smc_wr_free_lgr_memstruct  lgr)
{
 if (lgr- lnk-=0java.lang.StringIndexOutOfBoundsException: Index 29 out of bounds for length 29
  return;

 kfree(lgr->wr_rx_buf_v2);
 lgr->wr_rx_buf_v2 = NULL;
 kfree(lgr->wr_tx_buf_v2);
 lgr-wr_tx_buf_v2 = NULL;
}

void smc_wr_free_link_mem(struct smc_link *lnk)
{
 kfree(lnk->wr_tx_v2_ib);
 lnk->wr_tx_v2_ib = NULL;
 kfree(lnk->wr_tx_v2_sge);
 lnk->wr_tx_v2_sge = NULL;
 kfree(lnk->wr_tx_v2_pend);
 lnk->wr_tx_v2_pend = NULL;
 kfree(lnk->wr_tx_compl);
 lnk->wr_tx_compl = NULL;
 kfree(lnk->wr_tx_pends);
 lnk->wr_tx_pends = NULL;
 bitmap_free(lnk->wr_tx_mask);
 lnk->wr_tx_mask = NULL;
 kfree(lnk->wr_tx_sges);
 lnk->wr_tx_sges = NULL;
 kfree(lnk->wr_tx_rdma_sges);
 lnk->wr_tx_rdma_sges = NULL;
 kfree(lnk->wr_rx_sges);
 lnk->wr_rx_sges = NULL;
 kfree(lnk->wr_tx_rdmas);
 lnk->wr_tx_rdmas = NULL;
 kfree(lnk->wr_rx_ibs);
 lnk->wr_rx_ibs = NULL;
 kfree(lnk->wr_tx_ibs);
 lnk->wr_tx_ibs = NULL;
 kfree(lnk->wr_tx_bufs);
 lnk->wr_tx_bufs = NULL;
 kfree(lnk->wr_rx_bufs);
 lnk->wr_rx_bufs = NULL;
}

int smc_wr_alloc_lgr_mem(struct smc_link_group *lgr)
{
 if (lgr->smc_version < SMC_V2)
  return 0;

 lgr->wr_rx_buf_v2 = kzalloc(SMC_WR_BUF_V2_SIZE, GFP_KERNEL);
 if (!lgr->wr_rx_buf_v2)
  return -ENOMEM;
 lgr->wr_tx_buf_v2 = kzalloc(SMC_WR_BUF_V2_SIZE, GFP_KERNEL);
 if (!lgr->wr_tx_buf_v2) {
  kfree(lgr->wr_rx_buf_v2);
  return -ENOMEM;
 }
 return 0;
}

int smc_wr_alloc_link_mem(struct smc_link *link)
{
 /* allocate link related memory */
 link->wr_tx_bufs = kcalloc(SMC_WR_BUF_CNT, SMC_WR_BUF_SIZE, GFP_KERNEL);
 if (!link->wr_tx_bufs)
  goto no_mem;
 link->wr_rx_bufs = kcalloc(SMC_WR_BUF_CNT * 3, link->wr_rx_buflen,
       GFP_KERNEL);
 if (!link->wr_rx_bufs)
  goto no_mem_wr_tx_bufs;
 link->wr_tx_ibs = kcalloc(SMC_WR_BUF_CNT, sizeof(link->wr_tx_ibs[0]),
      GFP_KERNEL);
 if (!link->wr_tx_ibs)
  goto no_mem_wr_rx_bufs;
 link->wr_rx_ibs = kcalloc(SMC_WR_BUF_CNT * 3,
      sizeof(link->wr_rx_ibs[0]),
      GFP_KERNEL);
 if (!link->wr_rx_ibs)
  goto no_mem_wr_tx_ibs;
 link->wr_tx_rdmas = kcalloc(SMC_WR_BUF_CNT,
        sizeof(link->wr_tx_rdmas[0]),
        GFP_KERNEL);
 if (!link->wr_tx_rdmas)
  goto no_mem_wr_rx_ibs;
 link->wr_tx_rdma_sges = kcalloc(SMC_WR_BUF_CNT,
     sizeof(link->wr_tx_rdma_sges[0]),
     GFP_KERNEL);
 if (!link->wr_tx_rdma_sges)
  goto no_mem_wr_tx_rdmas;
 link->wr_tx_sges = kcalloc(SMC_WR_BUF_CNT, sizeof(link->wr_tx_sges[0]),
       GFP_KERNEL);
 if (!link->wr_tx_sges)
  goto no_mem_wr_tx_rdma_sges;
 link->wr_rx_sges = kcalloc(SMC_WR_BUF_CNT * 3,
       sizeof(link->wr_rx_sges[0]) * link->wr_rx_sge_cnt,
       GFP_KERNEL);
 if (!link->wr_rx_sges)
  goto no_mem_wr_tx_sges;
 link->wr_tx_mask = bitmap_zalloc(SMC_WR_BUF_CNT, GFP_KERNEL);
 if (!link->wr_tx_mask)
  goto no_mem_wr_rx_sges;
 link->wr_tx_pends = kcalloc(SMC_WR_BUF_CNT,
        sizeof(link->wr_tx_pends[0]),
        GFP_KERNEL);
 if (!link->wr_tx_pends)
  goto no_mem_wr_tx_mask;
 link->wr_tx_compl = kcalloc(SMC_WR_BUF_CNT,
        sizeof(link->wr_tx_compl[0]),
        GFP_KERNEL);
 if (!link->wr_tx_compl)
  goto no_mem_wr_tx_pends;

 if (link->lgr->smc_version == SMC_V2) {
  link->wr_tx_v2_ib = kzalloc(sizeof(*link->wr_tx_v2_ib),
         GFP_KERNEL);
  if (!link->wr_tx_v2_ib)
   goto no_mem_tx_compl;
  link->wr_tx_v2_sge = kzalloc(sizeof(*link->wr_tx_v2_sge),
          GFP_KERNEL);
  if (!link->wr_tx_v2_sge)
   goto no_mem_v2_ib;
  link->wr_tx_v2_pend = kzalloc(sizeof(*link->wr_tx_v2_pend),
           GFP_KERNEL);
  if (!link->wr_tx_v2_pend)
   goto no_mem_v2_sge;
 }
 return 0;

no_mem_v2_sge:
 kfree(link->wr_tx_v2_sge);
no_mem_v2_ib:
 kfree(link->wr_tx_v2_ib);
no_mem_tx_compl:
 kfree(link->wr_tx_compl);
no_mem_wr_tx_pends:
 kfree(link->wr_tx_pends);
no_mem_wr_tx_mask:
 kfree(link->wr_tx_mask);
no_mem_wr_rx_sges:
 kfree(link->wr_rx_sges);
no_mem_wr_tx_sges:
 kfree(link->wr_tx_sges);
no_mem_wr_tx_rdma_sges:
 kfree(link->wr_tx_rdma_sges);
no_mem_wr_tx_rdmas:
 kfree(link->wr_tx_rdmas);
no_mem_wr_rx_ibs:
 kfree(link->wr_rx_ibs);
no_mem_wr_tx_ibs:
 kfree(link->wr_tx_ibs);
no_mem_wr_rx_bufs:
 kfree(link->wr_rx_bufs);
no_mem_wr_tx_bufs:
 kfree(link->wr_tx_bufs);
no_mem:
 return -ENOMEM;
}

void smc_wr_remove_dev(struct smc_ib_device *smcibdev)
{
 tasklet_kill(&smcibdev->recv_tasklet);
 tasklet_kill(&smcibdev->send_tasklet);
}

void smc_wr_add_dev(struct smc_ib_device *smcibdev)
{
 tasklet_setup(&smcibdev->recv_tasklet, smc_wr_rx_tasklet_fn);
 tasklet_setup(&smcibdev->send_tasklet, smc_wr_tx_tasklet_fn);
}

static void smcr_wr_tx_refs_free(struct percpu_ref *ref)
{
 struct smc_link *lnk = container_of(ref, struct smc_link, wr_tx_refs);

 complete(&lnk->tx_ref_comp);
}

static void smcr_wr_reg_refs_free(struct percpu_ref *ref)
{
 struct smc_link *lnk = container_of(ref, struct smc_link, wr_reg_refs);

 complete(&lnk->reg_ref_comp);
}

int smc_wr_create_link(struct smc_link *lnk)
{
 struct ib_device *ibdev = lnk->smcibdev->ibdev;
 int rc = 0;

 smc_wr_tx_set_wr_id(&lnk->wr_tx_id, 0);
 lnk->wr_rx_id = 0;
 lnk->wr_rx_dma_addr = ib_dma_map_single(
  ibdev, lnk->wr_rx_bufs, lnk->wr_rx_buflen * lnk->wr_rx_cnt,
  DMA_FROM_DEVICE);
 if (ib_dma_mapping_error(ibdev, lnk->wr_rx_dma_addr)) {
  lnk->wr_rx_dma_addr = 0;
  rc = -EIO;
  goto out;
 }
 if (lnk->lgr->smc_version == SMC_V2) {
  if (smc_link_shared_v2_rxbuf(lnk)) {
   lnk->wr_rx_v2_dma_addr =
    ib_dma_map_single(ibdev, lnk->lgr->wr_rx_buf_v2,
        SMC_WR_BUF_V2_SIZE, DMA_FROM_DEVICE);
   if (ib_dma_mapping_error(ibdev, lnk->wr_rx_v2_dma_addr)) {
    lnk->wr_rx_v2_dma_addr = 0;
    rc = -EIO;
    goto dma_unmap;
   }
  }
  lnk->wr_tx_v2_dma_addr = ib_dma_map_single(ibdev,
   lnk->lgr->wr_tx_buf_v2, SMC_WR_BUF_V2_SIZE,
   DMA_TO_DEVICE);
  if (ib_dma_mapping_error(ibdev, lnk->wr_tx_v2_dma_addr)) {
   lnk->wr_tx_v2_dma_addr = 0;
   rc = -EIO;
   goto dma_unmap;
  }
 }
 lnk->wr_tx_dma_addr = ib_dma_map_single(
  ibdev, lnk->wr_tx_bufs, SMC_WR_BUF_SIZE * lnk->wr_tx_cnt,
  DMA_TO_DEVICE);
 if (ib_dma_mapping_error(ibdev, lnk->wr_tx_dma_addr)) {
  rc = -EIO;
  goto dma_unmap;
 }
 smc_wr_init_sge(lnk);
 bitmap_zero(lnk->wr_tx_mask, SMC_WR_BUF_CNT);
 init_waitqueue_head(&lnk->wr_tx_wait);
 rc = percpu_ref_init(&lnk->wr_tx_refs, smcr_wr_tx_refs_free, 0, GFP_KERNEL);
 if (rc)
  goto dma_unmap;
 init_completion(&lnk->tx_ref_comp);
 init_waitqueue_head(&lnk->wr_reg_wait);
 rc = percpu_ref_init(&lnk->wr_reg_refs, smcr_wr_reg_refs_free, 0, GFP_KERNEL);
 if (rc)
  goto cancel_ref;
 init_completion(&lnk->reg_ref_comp);
 init_waitqueue_head(&lnk->wr_rx_empty_wait);
 return rc;

cancel_ref:
 percpu_ref_exit(&lnk->wr_tx_refs);
dma_unmap:
 if (lnk->wr_rx_v2_dma_addr) {
  ib_dma_unmap_single(ibdev, lnk->wr_rx_v2_dma_addr,
        SMC_WR_BUF_V2_SIZE,
        DMA_FROM_DEVICE);
  lnk->wr_rx_v2_dma_addr = 0;
 }
 if (lnk->wr_tx_v2_dma_addr) {
  ib_dma_unmap_single(ibdev, lnk->wr_tx_v2_dma_addr,
        SMC_WR_BUF_V2_SIZE,
        DMA_TO_DEVICE);
  lnk->wr_tx_v2_dma_addr = 0;
 }
 ib_dma_unmap_single(ibdev, lnk->wr_rx_dma_addr,
       lnk->wr_rx_buflen * lnk->wr_rx_cnt,
       DMA_FROM_DEVICE);
 lnk->wr_rx_dma_addr = 0;
out:
 return rc;
}