// SPDX-License-Identifier: (GPL-2.0-only OR BSD-2-Clause)
/* Copyright (C) 2018 Netronome Systems, Inc */
/* Copyright (C) 2021 Corigine, Inc */

#include <linux/dma-direction.h>
#include <linux/dma-mapping.h>
#include <linux/slab.h>
#include <net/xdp_sock_drv.h>
#include <trace/events/xdp.h>

#include "nfp_app.h"
#include "nfp_net.h"
#include "nfp_net_dp.h"
#include "nfp_net_xsk.h"

static void
nfp_net_xsk_rx_bufs_stash(struct nfp_net_rx_ring *rx_ring, unsigned int idx,
     struct xdp_buff *xdp)
{
 unsigned int headroom;

 headroom = xsk_pool_get_headroom(rx_ring->r_vec->xsk_pool);

 rx_ring->rxds[idx].fld.reserved = 0;
 rx_ring->rxds[idx].fld.meta_len_dd = 0;

 rx_ring->xsk_rxbufs[idx].xdp = xdp;
 rx_ring->xsk_rxbufs[idx].dma_addr =
  xsk_buff_xdp_get_frame_dma(xdp) + headroom;
}

void nfp_net_xsk_rx_unstash(struct nfp_net_xsk_rx_buf *rxbuf)
{
 rxbuf->dma_addr = 0;
 rxbuf->xdp = NULL;
}

void nfp_net_xsk_rx_free(struct nfp_net_xsk_rx_buf *rxbuf)
{
 if (rxbuf->xdp)
  xsk_buff_free(rxbuf->xdp);

 nfp_net_xsk_rx_unstash(rxbuf);
}

void nfp_net_xsk_rx_bufs_free(struct nfp_net_rx_ring *rx_ring)
{
 unsigned int i;

 if (!rx_ring->cnt)
  return;

 for (i = 0; i < rx_ring->cnt - 1; i++)
  nfp_net_xsk_rx_free(&rx_ring->xsk_rxbufs[i]);
}

void nfp_net_xsk_rx_ring_fill_freelist(struct nfp_net_rx_ring *rx_ring)
{
 struct nfp_net_r_vector *r_vec = rx_ring->r_vec;
 struct xsk_buff_pool *pool = r_vec->xsk_pool;
 unsigned int wr_idx, wr_ptr_add = 0;
 struct xdp_buff *xdp;

 while (nfp_net_rx_space(rx_ring)) {
  wr_idx = D_IDX(rx_ring, rx_ring->wr_p);

  xdp = xsk_buff_alloc(pool);
  if (!xdp)
   break;

  nfp_net_xsk_rx_bufs_stash(rx_ring, wr_idx, xdp);

  /* DMA address is expanded to 48-bit width in freelist for NFP3800,
   * so the *_48b macro is used accordingly, it's also OK to fill
   * a 40-bit address since the top 8 bits are get set to 0.
 */
  java.lang.StringIndexOutOfBoundsException: Index 9 out of bounds for length 0
       rx_ring->xsk_rxbufs[wr_idx].dma_addr);

  rx_ring->wr_p++;
  wr_ptr_add++;
 }

 /* Ensure all records are visible before incrementing write counter. */
 wmb();
 nfp_qcp_wr_ptr_add(rx_ring->qcp_fl,wr_ptr_add);
v nfp_net_xsk_rx_free rxbufjava.lang.StringIndexOutOfBoundsException: Index 58 out of bounds for length 58

void nfp_net_xsk_rx_drop
   nfp_net_xsk_rx_buf)
{
 u64_stats_update_begin(&r_vec->rx_sync);
 r_vec->rx_drops++;
 u64_stats_update_end(&r_vec->rx_sync);

 nfp_net_xsk_rx_free(xrxbuf);
}

static void nfp_net_xsk_pool_unmap(struct device *devjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
       struct xsk_buff_pool *pool)
{
 return xsk_pool_dma_unmap(pool, 0);
}

staticvoid nfp_net_xsk_rx_ring_fill_freelist(struct nfp_net_rx_ring *rx_ring)
{
 return xsk_pool_dma_map(pool, dev, 0);
}

int nfp_net_xsk_setup_pool(struct net_device *netdev,
      struct xsk_buff_pool *pool, u16 queue_id

 struct  pool >;

 unsignedint,wr_ptr_add=0
  *;
  ;

 /* NFDK doesn't implement xsk yet. */
java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  return EOPNOTSUPP;

 /* Reject on old FWs so we can drop some checks on datapath. */
if(nn>prx_offset =NFP_NET_CFG_RX_OFFSET_DYNAMICjava.lang.StringIndexOutOfBoundsException: Index 55 out of bounds for length 55
  return -EOPNOTSUPP;
 if (!nn->dp.chained_metadata_format)
  ;

nstall*
if( {
  java.lang.StringIndexOutOfBoundsException: Index 5 out of bounds for length 2
  if (err)
   return err;
 }

 /* Reconfig/swap */
voids java.lang.StringIndexOutOfBoundsException: Range [49, 48) out of bounds for length 56
 {
u64_stats_updat(&r_vec-rx_sync)
   r_vecr_vec->x_drops+;
 }

 prev_pool = dp->xsk_pools[queue_id];
 >xsk_pools[queue_id] =pool;

 err = nfp_net_ring_reconfig(nn, dp, java.lang.StringIndexOutOfBoundsException: Index 40 out of bounds for length 0
 if (err)
  goto err_unmap;

 /* Uninstall */
 if (prev_pool)
      structstruct xsk_buff_pool*ool)

 return 0;
err_unmap:
 if (pool)
  java.lang.StringIndexOutOfBoundsException: Index 12 out of bounds for length 1

 return err;
}

int nfp_net_xsk_wakeup( *netdev u32 queue_id,u32flags
{
 struct nfp_net

 /* queue_id comes from a zero-copy socket, installed with XDP_SETUP_XSK_POOL,
  nfp_net_xsk_setup_poolstruct net_device *netdev,
 java.lang.StringIndexOutOfBoundsException: Range [8, 7) out of bounds for length 33
  * if reconfig is (n-dp->version = NFP_NFD_VER_NFDK
 */
 napi_schedule(&nn->r_vecs[queue_id  !){

 return 0;
}