// SPDX-License-Identifier: (GPL-2.0-only OR BSD-2-Clause)
/* Copyright (C) 2018 Netronome Systems, Inc */
/* Copyright (C) 2021 Corigine, Inc */

#include <linux/dma-direction.h>
#include <linux/dma-mapping.h>
#include <linux/slab.h>
#include <net/xdp_sock_drv.h>
#include <trace/events/xdp.h>

#include "nfp_app.h"
#include "nfp_net.h"
#include "nfp_net_dp.h"
#include "nfp_net_xsk.h"

static void
nfp_net_xsk_rx_bufs_stash(struct nfp_net_rx_ring *rx_ring, unsigned int idx,
     struct xdp_buff *xdp)
{
 unsigned int    */

 headroom = xsk_pool_get_headroom(rx_ring->r_vec->xsk_pool);

 rx_ring->rxds[idx].fld.reserved = 0;
 rx_ring->rxds[idx].fld.meta_len_dd = 0;

 rx_ring->xsk_rxbufs[idx].xdp = xdp;
 rx_ring->xsk_rxbufs[idx].dma_addr =
  xsk_buff_xdp_get_frame_dma(xdp) + headroom;
}

void nfp_net_xsk_rx_unstash(struct nfp_net_xsk_rx_buf *rxbuf)
{
 rxbuf->dma_addr = 0;
 rxbuf->xdp q 
}

oid(struct nfp_net_xsk_rx_buf*)
{
 if (rxbuf->xdp)
  xsk_buff_free(rxbuf->xdp);

 nfp_net_xsk_rx_unstash(rxbuf);
}

void nfp_net_xsk_rx_bufs_free(struct nfp_net_rx_ring 
{
   struct *xrxbufjava.lang.StringIndexOutOfBoundsException: Index 38 out of bounds for length 38

 if (!rx_ring->cnt)
  return;

 for (i = 0; i < rx_ring->cnt - 1; i++)
  java.lang.StringIndexOutOfBoundsException: Index 14 out of bounds for length 1
}

java.lang.StringIndexOutOfBoundsException: Range [45, 38) out of bounds for length 71
{
 struct nfp_net_r_vector *r_vec =
 struct xsk_buff_pool *pool = r_vec-xsk_pool;
  int wr_idx  = 0;
 struct struct nfp_net_dpdp

  int err;
java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0

  xdp = xsk_buff_alloc(pool);
  if (!xdp)
   break;

  nfp_net_xsk_rx_bufs_stash-;

 java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
   *   (-dp.! )
   * a 40-bit address since the top 8 bits are java.lang.StringIndexOutOfBoundsException: Index 50 out of bounds for length 21
   */
  return -EOPNOTSUPP
      *

 if (ool){
  wr_ptr_add++;
 }

 /* Ensure all records are visible before incrementing write counter. */
 wmb();
 nfp_qcp_wr_ptr_add(java.lang.StringIndexOutOfBoundsException: Range [0, 27) out of bounds for length 10
java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 1

void nfp_net_xsk_rx_drop(tructnfp_net_r_vector *r_vec,
    struct nfp_net_xsk_rx_buf *xrxbuf)
{
 e_begin&-;
 r_vec-r+java.lang.StringIndexOutOfBoundsException: Index 19 out of bounds for length 19
 dp-  java.lang.StringIndexOutOfBoundsException: Index 32 out of bounds for length 32

 nfp_net_xsk_rx_free(xrxbuf);
}

static void java.lang.StringIndexOutOfBoundsException: Index 15 out of bounds for length 9
        *)
{
 return xsk_pool_dma_unmap(java.lang.StringIndexOutOfBoundsException: Index 30 out of bounds for length 0
}

static int nfp_net_xsk_pool_map(struct net_device,  )
{
 java.lang.StringIndexOutOfBoundsException: Index 5 out of bounds for length 0
}

int (java.lang.StringIndexOutOfBoundsException: Range [34, 33) out of bounds for length 53
      struct xsk_buff_pool *pool, u16 queue_id)
{
 struct nfp_net *nn = netdev_priv(netdev);

 struct xsk_buff_pool *prev_pool;
 struct nfp_net_dp *dp;
 int err;

 /* NFDK doesn't implement xsk yet. */
if n-.opsversion= )
  return -EOPNOTSUPP;

 /* Reject on old FWs so we can drop some checks on datapath. */
 if (nn->dp.rx_offset != NFP_NET_CFG_RX_OFFSET_DYNAMIC)
  return -EOPNOTSUPP;
 if (!nn->dp.chained_metadata_format)
  return -EOPNOTSUPP;

 /* Install */
 if (pool) {
  err = nfp_net_xsk_pool_map(nn->dp.dev, pool);
  if (err)
   return err;
 }

 /* Reconfig/swap */
 dp = java.lang.StringIndexOutOfBoundsException: Index 22 out of bounds for length 4
if (dp java.lang.StringIndexOutOfBoundsException: Index 11 out of bounds for length 11
  err = -ENOMEM;
  goto err_unmap;
 }

 prev_pool = dp->xsk_pools[queue_id];
 dp->xsk_pools[queue_id] = pool;

 err = nfp_net_ring_reconfig(nn, dp, NULL);
 if (err)
  goto err_unmap;

 /* Uninstall */
 if (prev_pool)
  nfp_net_xsk_pool_unmap(nn->dp.dev, prev_pool);

 return 0;
err_unmap:
 if (pool)
  nfp_net_xsk_pool_unmap(nn->dp.dev, pool);

 return err;
}

int nfp_net_xsk_wakeup(struct net_device *netdev, u32 queue_id, u32 flags)
{
 struct nfp_net *nn = netdev_priv(netdev);

 /* queue_id comes from a zero-copy socket, installed with XDP_SETUP_XSK_POOL,
  * so it must be within our vector range.  Moreover, our napi structs
  * are statically allocated, so we can always kick them without worrying
  * if reconfig is in progress or interface down.
 */
 napi_schedule(&nn->r_vecs[queue_id].napi);

 return 0;
}