Quelle  mcu.c   Sprache: C

// SPDX-License-Identifier: ISC
/*
 * Copyright (C) 2022 MediaTek Inc.
 */

#include <linux/firmware.h>
#include <linux/fs.h>
#include "mt7996.h"
#include "mcu.h"
#include "mac.h"
#include "eeprom.h"

#define fw_name(_dev, name, ...) ({   \
 char *_fw;      \
 switch (mt76_chip(&(_dev)->mt76)) {   \
 case MT7992_DEVICE_ID:      \
  switch ((_dev)->var.type) {   \
  case MT7992_VAR_TYPE_23:   \
   _fw = MT7992_##name##_23;  \
   break;     \
  default:     \
   _fw = MT7992_##name;   \
  }      \
  break;      \
 case MT7990_DEVICE_ID:     \
  _fw = MT7990_##name;    \
  break;      \
 case MT7996_DEVICE_ID:      \
 default:      \
  switch ((_dev)->var.type) {   \
  case MT7996_VAR_TYPE_233:   \
   _fw = MT7996_##name##_233;  \
   break;     \
  default:     \
   _fw = MT7996_##name;   \
  }      \
  break;      \
 }       \
 _fw;       \
})

struct mt7996_patch_hdr {
 char build_date[16];
 char platform[4];
 __be32 hw_sw_ver;
 __be32 patch_ver;
 __be16 checksum;
 u16 reserved;
 struct {
  __be32 patch_ver;
  __be32 subsys;
  __be32 feature;
  __be32 n_region;
  __be32 crc;
  u32 reserved[11];
 } desc;
} __packed;

struct mt7996_patch_sec {
 __be32 type;
 __be32 offs;
 __be32 size;
 union {
  __be32 spec[13];
  struct {
   __be32 addr;
   __be32 len;
   __be32 sec_key_idx;
   __be32 align_len;
   u32 reserved[9];
  } info;
 };
} __packed;

struct mt7996_fw_trailer {
 u8 chip_id;
 u8 eco_code;
 u8 n_region;
 u8 format_ver;
 u8 format_flag;
 u8 reserved[2];
 char fw_ver[10];
 char build_date[15];
 u32 crc;
} __packed;

struct mt7996_fw_region {
 __le32 decomp_crc;
 __le32 decomp_len;
 __le32 decomp_blk_sz;
 u8 reserved[4];
 __le32 addr;
 __le32 len;
 u8 feature_set;
 u8 reserved1[15];
} __packed;

#define MCU_PATCH_ADDRESS  0x200000

#define HE_PHY(p, c)   u8_get_bits(c, IEEE80211_HE_PHY_##p)
#define HE_MAC(m, c)   u8_get_bits(c, IEEE80211_HE_MAC_##m)
#define EHT_PHY(p, c)   u8_get_bits(c, IEEE80211_EHT_PHY_##p)

static bool sr_scene_detect = true;
module_param(sr_scene_detect, bool, 0644);
MODULE_PARM_DESC(sr_scene_detect, "Enable firmware scene detection algorithm");

static u8
mt7996_mcu_get_sta_nss(u16 mcs_map)
{
 u8 nss;

 for (nss = 8; nss > 0; nss--) {
  u8 nss_mcs = (mcs_map >> (2 * (nss - 1))) & 3;

  if (nss_mcs != IEEE80211_VHT_MCS_NOT_SUPPORTED)
   break;
 }

 return nss - 1;
}

static void
mt7996_mcu_set_sta_he_mcs(struct ieee80211_link_sta *link_sta,
     struct mt7996_vif_link *link,
     __le16 *he_mcs, u16 mcs_map)
{
 int nss, max_nss = link_sta->rx_nss > 3 ? 4 : link_sta->rx_nss;
 enum nl80211_band band = link->phy->mt76->chandef.chan->band;
 const u16 *mask = link->bitrate_mask.control[band].he_mcs;

 for (nss = 0; nss < max_nss; nss++) {
  int mcs;

  switch ((mcs_map >> (2 * nss)) & 0x3) {
  case IEEE80211_HE_MCS_SUPPORT_0_11:
   mcs = GENMASK(11, 0);
   break;
  case IEEE80211_HE_MCS_SUPPORT_0_9:
   mcs = GENMASK(9, 0);
   break;
  case IEEE80211_HE_MCS_SUPPORT_0_7:
   mcs = GENMASK(7, 0);
   break;
  default:
   mcs = 0;
  }

  mcs = mcs ? fls(mcs & mask[nss]) - 1 : -1;

  switch (mcs) {
  case 0 ... 7:
   mcs = IEEE80211_HE_MCS_SUPPORT_0_7;
   break;
  case 8 ... 9:
   mcs = IEEE80211_HE_MCS_SUPPORT_0_9;
   break;
  case 10 ... 11:
   mcs = IEEE80211_HE_MCS_SUPPORT_0_11;
   break;
  default:
   mcs = IEEE80211_HE_MCS_NOT_SUPPORTED;
   break;
  }
  mcs_map &= ~(0x3 << (nss * 2));
  mcs_map |= mcs << (nss * 2);
 }

 *he_mcs = cpu_to_le16(mcs_map);
}

static void
mt7996_mcu_set_sta_vht_mcs(struct ieee80211_link_sta *link_sta,
      __le16 *vht_mcs, const u16 *mask)
{
 u16 mcs, mcs_map = le16_to_cpu(link_sta->vht_cap.vht_mcs.rx_mcs_map);
 int nss, max_nss = link_sta->rx_nss > 3 ? 4 : link_sta->rx_nss;

 for (nss = 0; nss < max_nss; nss++, mcs_map >>= 2) {
  switch (mcs_map & 0x3) {
  case IEEE80211_VHT_MCS_SUPPORT_0_9:
   mcs = GENMASK(9, 0);
   break;
  case IEEE80211_VHT_MCS_SUPPORT_0_8:
   mcs = GENMASK(8, 0);
   break;
  case IEEE80211_VHT_MCS_SUPPORT_0_7:
   mcs = GENMASK(7, 0);
   break;
  default:
   mcs = 0;
  }

  vht_mcs[nss] = cpu_to_le16(mcs & mask[nss]);
 }
}

static void
mt7996_mcu_set_sta_ht_mcs(struct ieee80211_link_sta *link_sta,
     u8 *ht_mcs, const u8 *mask)
{
 int nss, max_nss = link_sta->rx_nss > 3 ? 4 : link_sta->rx_nss;

 for (nss = 0; nss < max_nss; nss++)
  ht_mcs[nss] = link_sta->ht_cap.mcs.rx_mask[nss] & mask[nss];
}

static int
mt7996_mcu_parse_response(struct mt76_dev *mdev, int cmd,
     struct sk_buff *skb, int seq)
{
 struct mt7996_mcu_rxd *rxd;
 struct mt7996_mcu_uni_event *event;
 int mcu_cmd = FIELD_GET(__MCU_CMD_FIELD_ID, cmd);
 int ret = 0;

 if (!skb) {
  dev_err(mdev->dev, "Message %08x (seq %d) timeout\n",
   cmd, seq);
  return -ETIMEDOUT;
 }

 rxd = (struct mt7996_mcu_rxd *)skb->data;
 if (seq != rxd->seq)
  return -EAGAIN;

 if (cmd == MCU_CMD(PATCH_SEM_CONTROL)) {
  skb_pull(skb, sizeof(*rxd) - 4);
  ret = *skb->data;
 } else if ((rxd->option & MCU_UNI_CMD_EVENT) &&
      rxd->eid == MCU_UNI_EVENT_RESULT) {
  skb_pull(skb, sizeof(*rxd));
  event = (struct mt7996_mcu_uni_event *)skb->data;
  ret = le32_to_cpu(event->status);
  /* skip invalid event */
  if (mcu_cmd != event->cid)
   ret = -EAGAIN;
 } else {
  skb_pull(skb, sizeof(struct mt7996_mcu_rxd));
 }

 return ret;
}

static int
mt7996_mcu_send_message(struct mt76_dev *mdev, struct sk_buff *skb,
   int cmd, int *wait_seq)
{
 struct mt7996_dev *dev = container_of(mdev, struct mt7996_dev, mt76);
 int txd_len, mcu_cmd = FIELD_GET(__MCU_CMD_FIELD_ID, cmd);
 struct mt76_connac2_mcu_uni_txd *uni_txd;
 struct mt76_connac2_mcu_txd *mcu_txd;
 enum mt76_mcuq_id qid;
 __le32 *txd;
 u32 val;
 u8 seq;

 mdev->mcu.timeout = 20 * HZ;

 seq = ++dev->mt76.mcu.msg_seq & 0xf;
 if (!seq)
  seq = ++dev->mt76.mcu.msg_seq & 0xf;

 if (cmd == MCU_CMD(FW_SCATTER)) {
  qid = MT_MCUQ_FWDL;
  goto exit;
 }

 txd_len = cmd & __MCU_CMD_FIELD_UNI ? sizeof(*uni_txd) : sizeof(*mcu_txd);
 txd = (__le32 *)skb_push(skb, txd_len);
 if (test_bit(MT76_STATE_MCU_RUNNING, &dev->mphy.state) && mt7996_has_wa(dev))
  qid = MT_MCUQ_WA;
 else
  qid = MT_MCUQ_WM;

 val = FIELD_PREP(MT_TXD0_TX_BYTES, skb->len) |
       FIELD_PREP(MT_TXD0_PKT_FMT, MT_TX_TYPE_CMD) |
       FIELD_PREP(MT_TXD0_Q_IDX, MT_TX_MCU_PORT_RX_Q0);
 txd[0] = cpu_to_le32(val);

 val = FIELD_PREP(MT_TXD1_HDR_FORMAT, MT_HDR_FORMAT_CMD);
 txd[1] = cpu_to_le32(val);

 if (cmd & __MCU_CMD_FIELD_UNI) {
  uni_txd = (struct mt76_connac2_mcu_uni_txd *)txd;
  uni_txd->len = cpu_to_le16(skb->len - sizeof(uni_txd->txd));
  uni_txd->cid = cpu_to_le16(mcu_cmd);
  uni_txd->s2d_index = MCU_S2D_H2CN;
  uni_txd->pkt_type = MCU_PKT_ID;
  uni_txd->seq = seq;

  if (cmd & __MCU_CMD_FIELD_QUERY)
   uni_txd->option = MCU_CMD_UNI_QUERY_ACK;
  else
   uni_txd->option = MCU_CMD_UNI_EXT_ACK;

  if ((cmd & __MCU_CMD_FIELD_WA) && (cmd & __MCU_CMD_FIELD_WM))
   uni_txd->s2d_index = MCU_S2D_H2CN;
  else if (cmd & __MCU_CMD_FIELD_WA)
   uni_txd->s2d_index = MCU_S2D_H2C;
  else if (cmd & __MCU_CMD_FIELD_WM)
   uni_txd->s2d_index = MCU_S2D_H2N;

  goto exit;
 }

 mcu_txd = (struct mt76_connac2_mcu_txd *)txd;
 mcu_txd->len = cpu_to_le16(skb->len - sizeof(mcu_txd->txd));
 mcu_txd->pq_id = cpu_to_le16(MCU_PQ_ID(MT_TX_PORT_IDX_MCU,
            MT_TX_MCU_PORT_RX_Q0));
 mcu_txd->pkt_type = MCU_PKT_ID;
 mcu_txd->seq = seq;

 mcu_txd->cid = FIELD_GET(__MCU_CMD_FIELD_ID, cmd);
 mcu_txd->set_query = MCU_Q_NA;
 mcu_txd->ext_cid = FIELD_GET(__MCU_CMD_FIELD_EXT_ID, cmd);
 if (mcu_txd->ext_cid) {
  mcu_txd->ext_cid_ack = 1;

  if (cmd & __MCU_CMD_FIELD_QUERY)
   mcu_txd->set_query = MCU_Q_QUERY;
  else
   mcu_txd->set_query = MCU_Q_SET;
 }

 if (cmd & __MCU_CMD_FIELD_WA)
  mcu_txd->s2d_index = MCU_S2D_H2C;
 else
  mcu_txd->s2d_index = MCU_S2D_H2N;

exit:
 if (wait_seq)
  *wait_seq = seq;

 return mt76_tx_queue_skb_raw(dev, mdev->q_mcu[qid], skb, 0);
}

int mt7996_mcu_wa_cmd(struct mt7996_dev *dev, int cmd, u32 a1, u32 a2, u32 a3)
{
 struct {
  u8 _rsv[4];

  __le16 tag;
  __le16 len;
  __le32 args[3];
 } __packed req = {
  .args = {
   cpu_to_le32(a1),
   cpu_to_le32(a2),
   cpu_to_le32(a3),
  },
 };

 if (mt7996_has_wa(dev))
  return mt76_mcu_send_msg(&dev->mt76, cmd, &req.args,
      sizeof(req.args), false);

 req.tag = cpu_to_le16(cmd == MCU_WA_PARAM_CMD(QUERY) ? UNI_CMD_SDO_QUERY :
              UNI_CMD_SDO_SET);
 req.len = cpu_to_le16(sizeof(req) - 4);

 return mt76_mcu_send_msg(&dev->mt76, MCU_WA_UNI_CMD(SDO), &req,
     sizeof(req), false);
}

static void
mt7996_mcu_csa_finish(void *priv, u8 *mac, struct ieee80211_vif *vif)
{
 if (!vif->bss_conf.csa_active || vif->type == NL80211_IFTYPE_STATION)
  return;

 ieee80211_csa_finish(vif, 0);
}

static void
mt7996_mcu_rx_radar_detected(struct mt7996_dev *dev, struct sk_buff *skb)
{
 struct mt76_phy *mphy = &dev->mt76.phy;
 struct mt7996_mcu_rdd_report *r;

 r = (struct mt7996_mcu_rdd_report *)skb->data;

 switch (r->rdd_idx) {
 case MT_RDD_IDX_BAND2:
  mphy = dev->mt76.phys[MT_BAND2];
  break;
 case MT_RDD_IDX_BAND1:
  mphy = dev->mt76.phys[MT_BAND1];
  break;
 case MT_RDD_IDX_BACKGROUND:
  if (!dev->rdd2_phy)
   return;
  mphy = dev->rdd2_phy->mt76;
  break;
 default:
  dev_err(dev->mt76.dev, "Unknown RDD idx %d\n", r->rdd_idx);
  return;
 }

 if (!mphy)
  return;

 if (r->rdd_idx == MT_RDD_IDX_BACKGROUND)
  cfg80211_background_radar_event(mphy->hw->wiphy,
      &dev->rdd2_chandef,
      GFP_ATOMIC);
 else
  ieee80211_radar_detected(mphy->hw, NULL);
 dev->hw_pattern++;
}

static void
mt7996_mcu_rx_log_message(struct mt7996_dev *dev, struct sk_buff *skb)
{
#define UNI_EVENT_FW_LOG_FORMAT 0
 struct mt7996_mcu_rxd *rxd = (struct mt7996_mcu_rxd *)skb->data;
 const char *data = (char *)&rxd[1] + 4, *type;
 struct tlv *tlv = (struct tlv *)data;
 int len;

 if (!(rxd->option & MCU_UNI_CMD_EVENT)) {
  len = skb->len - sizeof(*rxd);
  data = (char *)&rxd[1];
  goto out;
 }

 if (le16_to_cpu(tlv->tag) != UNI_EVENT_FW_LOG_FORMAT)
  return;

 data += sizeof(*tlv) + 4;
 len = le16_to_cpu(tlv->len) - sizeof(*tlv) - 4;

out:
 switch (rxd->s2d_index) {
 case 0:
  if (mt7996_debugfs_rx_log(dev, data, len))
   return;

  type = "WM";
  break;
 case 2:
  type = "WA";
  break;
 default:
  type = "unknown";
  break;
 }

 wiphy_info(mt76_hw(dev)->wiphy, "%s: %.*s", type, len, data);
}

static void
mt7996_mcu_cca_finish(void *priv, u8 *mac, struct ieee80211_vif *vif)
{
 if (!vif->bss_conf.color_change_active || vif->type == NL80211_IFTYPE_STATION)
  return;

 ieee80211_color_change_finish(vif, 0);
}

static void
mt7996_mcu_ie_countdown(struct mt7996_dev *dev, struct sk_buff *skb)
{
#define UNI_EVENT_IE_COUNTDOWN_CSA 0
#define UNI_EVENT_IE_COUNTDOWN_BCC 1
 struct header {
  u8 band;
  u8 rsv[3];
 };
 struct mt76_phy *mphy = &dev->mt76.phy;
 struct mt7996_mcu_rxd *rxd = (struct mt7996_mcu_rxd *)skb->data;
 const char *data = (char *)&rxd[1], *tail;
 struct header *hdr = (struct header *)data;
 struct tlv *tlv = (struct tlv *)(data + 4);

 if (hdr->band >= ARRAY_SIZE(dev->mt76.phys))
  return;

 if (hdr->band && dev->mt76.phys[hdr->band])
  mphy = dev->mt76.phys[hdr->band];

 tail = skb->data + skb->len;
 data += sizeof(struct header);
 while (data + sizeof(struct tlv) < tail && le16_to_cpu(tlv->len)) {
  switch (le16_to_cpu(tlv->tag)) {
  case UNI_EVENT_IE_COUNTDOWN_CSA:
   ieee80211_iterate_active_interfaces_atomic(mphy->hw,
     IEEE80211_IFACE_ITER_RESUME_ALL,
     mt7996_mcu_csa_finish, mphy->hw);
   break;
  case UNI_EVENT_IE_COUNTDOWN_BCC:
   ieee80211_iterate_active_interfaces_atomic(mphy->hw,
     IEEE80211_IFACE_ITER_RESUME_ALL,
     mt7996_mcu_cca_finish, mphy->hw);
   break;
  }

  data += le16_to_cpu(tlv->len);
  tlv = (struct tlv *)data;
 }
}

static int
mt7996_mcu_update_tx_gi(struct rate_info *rate, struct all_sta_trx_rate *mcu_rate)
{
 switch (mcu_rate->tx_mode) {
 case MT_PHY_TYPE_CCK:
 case MT_PHY_TYPE_OFDM:
  break;
 case MT_PHY_TYPE_HT:
 case MT_PHY_TYPE_HT_GF:
 case MT_PHY_TYPE_VHT:
  if (mcu_rate->tx_gi)
   rate->flags |= RATE_INFO_FLAGS_SHORT_GI;
  else
   rate->flags &= ~RATE_INFO_FLAGS_SHORT_GI;
  break;
 case MT_PHY_TYPE_HE_SU:
 case MT_PHY_TYPE_HE_EXT_SU:
 case MT_PHY_TYPE_HE_TB:
 case MT_PHY_TYPE_HE_MU:
  if (mcu_rate->tx_gi > NL80211_RATE_INFO_HE_GI_3_2)
   return -EINVAL;
  rate->he_gi = mcu_rate->tx_gi;
  break;
 case MT_PHY_TYPE_EHT_SU:
 case MT_PHY_TYPE_EHT_TRIG:
 case MT_PHY_TYPE_EHT_MU:
  if (mcu_rate->tx_gi > NL80211_RATE_INFO_EHT_GI_3_2)
   return -EINVAL;
  rate->eht_gi = mcu_rate->tx_gi;
  break;
 default:
  return -EINVAL;
 }

 return 0;
}

static void
mt7996_mcu_rx_all_sta_info_event(struct mt7996_dev *dev, struct sk_buff *skb)
{
 struct mt7996_mcu_all_sta_info_event *res;
 u16 i;

 skb_pull(skb, sizeof(struct mt7996_mcu_rxd));

 res = (struct mt7996_mcu_all_sta_info_event *)skb->data;

 for (i = 0; i < le16_to_cpu(res->sta_num); i++) {
  u8 ac;
  u16 wlan_idx;
  struct mt76_wcid *wcid;

  switch (le16_to_cpu(res->tag)) {
  case UNI_ALL_STA_TXRX_RATE:
   wlan_idx = le16_to_cpu(res->rate[i].wlan_idx);
   wcid = mt76_wcid_ptr(dev, wlan_idx);

   if (!wcid)
    break;

   if (mt7996_mcu_update_tx_gi(&wcid->rate, &res->rate[i]))
    dev_err(dev->mt76.dev, "Failed to update TX GI\n");
   break;
  case UNI_ALL_STA_TXRX_ADM_STAT:
   wlan_idx = le16_to_cpu(res->adm_stat[i].wlan_idx);
   wcid = mt76_wcid_ptr(dev, wlan_idx);

   if (!wcid)
    break;

   for (ac = 0; ac < IEEE80211_NUM_ACS; ac++) {
    wcid->stats.tx_bytes +=
     le32_to_cpu(res->adm_stat[i].tx_bytes[ac]);
    wcid->stats.rx_bytes +=
     le32_to_cpu(res->adm_stat[i].rx_bytes[ac]);
   }
   break;
  case UNI_ALL_STA_TXRX_MSDU_COUNT:
   wlan_idx = le16_to_cpu(res->msdu_cnt[i].wlan_idx);
   wcid = mt76_wcid_ptr(dev, wlan_idx);

   if (!wcid)
    break;

   wcid->stats.tx_packets +=
    le32_to_cpu(res->msdu_cnt[i].tx_msdu_cnt);
   wcid->stats.rx_packets +=
    le32_to_cpu(res->msdu_cnt[i].rx_msdu_cnt);
   break;
  default:
   break;
  }
 }
}

static void
mt7996_mcu_rx_thermal_notify(struct mt7996_dev *dev, struct sk_buff *skb)
{
#define THERMAL_NOTIFY_TAG 0x4
#define THERMAL_NOTIFY 0x2
 struct mt76_phy *mphy = &dev->mt76.phy;
 struct mt7996_mcu_thermal_notify *n;
 struct mt7996_phy *phy;

 n = (struct mt7996_mcu_thermal_notify *)skb->data;

 if (le16_to_cpu(n->tag) != THERMAL_NOTIFY_TAG)
  return;

 if (n->event_id != THERMAL_NOTIFY)
  return;

 if (n->band_idx > MT_BAND2)
  return;

 mphy = dev->mt76.phys[n->band_idx];
 if (!mphy)
  return;

 phy = (struct mt7996_phy *)mphy->priv;
 phy->throttle_state = n->duty_percent;
}

static void
mt7996_mcu_rx_ext_event(struct mt7996_dev *dev, struct sk_buff *skb)
{
 struct mt7996_mcu_rxd *rxd = (struct mt7996_mcu_rxd *)skb->data;

 switch (rxd->ext_eid) {
 case MCU_EXT_EVENT_FW_LOG_2_HOST:
  mt7996_mcu_rx_log_message(dev, skb);
  break;
 default:
  break;
 }
}

static void
mt7996_mcu_rx_unsolicited_event(struct mt7996_dev *dev, struct sk_buff *skb)
{
 struct mt7996_mcu_rxd *rxd = (struct mt7996_mcu_rxd *)skb->data;

 switch (rxd->eid) {
 case MCU_EVENT_EXT:
  mt7996_mcu_rx_ext_event(dev, skb);
  break;
 case MCU_UNI_EVENT_THERMAL:
  mt7996_mcu_rx_thermal_notify(dev, skb);
  break;
 default:
  break;
 }
 dev_kfree_skb(skb);
}

static void
mt7996_mcu_wed_rro_event(struct mt7996_dev *dev, struct sk_buff *skb)
{
 struct mt7996_mcu_wed_rro_event *event = (void *)skb->data;

 if (!dev->has_rro)
  return;

 skb_pull(skb, sizeof(struct mt7996_mcu_rxd) + 4);

 switch (le16_to_cpu(event->tag)) {
 case UNI_WED_RRO_BA_SESSION_STATUS: {
  struct mt7996_mcu_wed_rro_ba_event *e;

  while (skb->len >= sizeof(*e)) {
   struct mt76_rx_tid *tid;
   struct mt76_wcid *wcid;
   u16 idx;

   e = (void *)skb->data;
   idx = le16_to_cpu(e->wlan_id);
   wcid = mt76_wcid_ptr(dev, idx);
   if (!wcid || !wcid->sta)
    break;

   if (e->tid >= ARRAY_SIZE(wcid->aggr))
    break;

   tid = rcu_dereference(wcid->aggr[e->tid]);
   if (!tid)
    break;

   tid->id = le16_to_cpu(e->id);
   skb_pull(skb, sizeof(*e));
  }
  break;
 }
 case UNI_WED_RRO_BA_SESSION_DELETE: {
  struct mt7996_mcu_wed_rro_ba_delete_event *e;

  while (skb->len >= sizeof(*e)) {
   struct mt7996_wed_rro_session_id *session;

   e = (void *)skb->data;
   session = kzalloc(sizeof(*session), GFP_ATOMIC);
   if (!session)
    break;

   session->id = le16_to_cpu(e->session_id);

   spin_lock_bh(&dev->wed_rro.lock);
   list_add_tail(&session->list, &dev->wed_rro.poll_list);
   spin_unlock_bh(&dev->wed_rro.lock);

   ieee80211_queue_work(mt76_hw(dev), &dev->wed_rro.work);
   skb_pull(skb, sizeof(*e));
  }
  break;
 }
 default:
  break;
 }
}

static void
mt7996_mcu_uni_rx_unsolicited_event(struct mt7996_dev *dev, struct sk_buff *skb)
{
 struct mt7996_mcu_rxd *rxd = (struct mt7996_mcu_rxd *)skb->data;

 switch (rxd->eid) {
 case MCU_UNI_EVENT_FW_LOG_2_HOST:
  mt7996_mcu_rx_log_message(dev, skb);
  break;
 case MCU_UNI_EVENT_IE_COUNTDOWN:
  mt7996_mcu_ie_countdown(dev, skb);
  break;
 case MCU_UNI_EVENT_RDD_REPORT:
  mt7996_mcu_rx_radar_detected(dev, skb);
  break;
 case MCU_UNI_EVENT_ALL_STA_INFO:
  mt7996_mcu_rx_all_sta_info_event(dev, skb);
  break;
 case MCU_UNI_EVENT_WED_RRO:
  mt7996_mcu_wed_rro_event(dev, skb);
  break;
 default:
  break;
 }
 dev_kfree_skb(skb);
}

void mt7996_mcu_rx_event(struct mt7996_dev *dev, struct sk_buff *skb)
{
 struct mt7996_mcu_rxd *rxd = (struct mt7996_mcu_rxd *)skb->data;

 if (rxd->option & MCU_UNI_CMD_UNSOLICITED_EVENT) {
  mt7996_mcu_uni_rx_unsolicited_event(dev, skb);
  return;
 }

 /* WA still uses legacy event*/
 if (rxd->ext_eid == MCU_EXT_EVENT_FW_LOG_2_HOST ||
     !rxd->seq)
  mt7996_mcu_rx_unsolicited_event(dev, skb);
 else
  mt76_mcu_rx_event(&dev->mt76, skb);
}

static struct tlv *
mt7996_mcu_add_uni_tlv(struct sk_buff *skb, u16 tag, u16 len)
{
 struct tlv *ptlv = skb_put_zero(skb, len);

 ptlv->tag = cpu_to_le16(tag);
 ptlv->len = cpu_to_le16(len);

 return ptlv;
}

static void
mt7996_mcu_bss_rfch_tlv(struct sk_buff *skb, struct mt7996_phy *phy)
{
 static const u8 rlm_ch_band[] = {
  [NL80211_BAND_2GHZ] = 1,
  [NL80211_BAND_5GHZ] = 2,
  [NL80211_BAND_6GHZ] = 3,
 };
 struct cfg80211_chan_def *chandef = &phy->mt76->chandef;
 struct bss_rlm_tlv *ch;
 struct tlv *tlv;
 int freq1 = chandef->center_freq1;

 tlv = mt7996_mcu_add_uni_tlv(skb, UNI_BSS_INFO_RLM, sizeof(*ch));

 ch = (struct bss_rlm_tlv *)tlv;
 ch->control_channel = chandef->chan->hw_value;
 ch->center_chan = ieee80211_frequency_to_channel(freq1);
 ch->bw = mt76_connac_chan_bw(chandef);
 ch->tx_streams = hweight8(phy->mt76->antenna_mask);
 ch->rx_streams = hweight8(phy->mt76->antenna_mask);
 ch->band = rlm_ch_band[chandef->chan->band];

 if (chandef->width == NL80211_CHAN_WIDTH_80P80) {
  int freq2 = chandef->center_freq2;

  ch->center_chan2 = ieee80211_frequency_to_channel(freq2);
 }
}

static void
mt7996_mcu_bss_ra_tlv(struct sk_buff *skb, struct mt7996_phy *phy)
{
 struct bss_ra_tlv *ra;
 struct tlv *tlv;

 tlv = mt7996_mcu_add_uni_tlv(skb, UNI_BSS_INFO_RA, sizeof(*ra));

 ra = (struct bss_ra_tlv *)tlv;
 ra->short_preamble = true;
}

static void
mt7996_mcu_bss_he_tlv(struct sk_buff *skb, struct ieee80211_vif *vif,
        struct ieee80211_bss_conf *link_conf,
        struct mt7996_phy *phy)
{
#define DEFAULT_HE_PE_DURATION  4
#define DEFAULT_HE_DURATION_RTS_THRES 1023
 const struct ieee80211_sta_he_cap *cap;
 struct bss_info_uni_he *he;
 struct tlv *tlv;

 cap = mt76_connac_get_he_phy_cap(phy->mt76, vif);

 tlv = mt7996_mcu_add_uni_tlv(skb, UNI_BSS_INFO_HE_BASIC, sizeof(*he));

 he = (struct bss_info_uni_he *)tlv;
 he->he_pe_duration = link_conf->htc_trig_based_pkt_ext;
 if (!he->he_pe_duration)
  he->he_pe_duration = DEFAULT_HE_PE_DURATION;

 he->he_rts_thres = cpu_to_le16(link_conf->frame_time_rts_th);
 if (!he->he_rts_thres)
  he->he_rts_thres = cpu_to_le16(DEFAULT_HE_DURATION_RTS_THRES);

 he->max_nss_mcs[CMD_HE_MCS_BW80] = cap->he_mcs_nss_supp.tx_mcs_80;
 he->max_nss_mcs[CMD_HE_MCS_BW160] = cap->he_mcs_nss_supp.tx_mcs_160;
 he->max_nss_mcs[CMD_HE_MCS_BW8080] = cap->he_mcs_nss_supp.tx_mcs_80p80;
}

static void
mt7996_mcu_bss_mbssid_tlv(struct sk_buff *skb, struct ieee80211_bss_conf *link_conf,
     bool enable)
{
 struct bss_info_uni_mbssid *mbssid;
 struct tlv *tlv;

 if (!link_conf->bssid_indicator && enable)
  return;

 tlv = mt7996_mcu_add_uni_tlv(skb, UNI_BSS_INFO_11V_MBSSID, sizeof(*mbssid));

 mbssid = (struct bss_info_uni_mbssid *)tlv;

 if (enable) {
  mbssid->max_indicator = link_conf->bssid_indicator;
  mbssid->mbss_idx = link_conf->bssid_index;
  mbssid->tx_bss_omac_idx = 0;
 }
}

static void
mt7996_mcu_bss_bmc_tlv(struct sk_buff *skb, struct mt76_vif_link *mlink,
         struct mt7996_phy *phy)
{
 struct bss_rate_tlv *bmc;
 struct cfg80211_chan_def *chandef = &phy->mt76->chandef;
 enum nl80211_band band = chandef->chan->band;
 struct tlv *tlv;
 u8 idx = mlink->mcast_rates_idx ?
   mlink->mcast_rates_idx : mlink->basic_rates_idx;

 tlv = mt7996_mcu_add_uni_tlv(skb, UNI_BSS_INFO_RATE, sizeof(*bmc));

 bmc = (struct bss_rate_tlv *)tlv;

 bmc->short_preamble = (band == NL80211_BAND_2GHZ);
 bmc->bc_fixed_rate = idx;
 bmc->mc_fixed_rate = idx;
}

static void
mt7996_mcu_bss_txcmd_tlv(struct sk_buff *skb, bool en)
{
 struct bss_txcmd_tlv *txcmd;
 struct tlv *tlv;

 tlv = mt7996_mcu_add_uni_tlv(skb, UNI_BSS_INFO_TXCMD, sizeof(*txcmd));

 txcmd = (struct bss_txcmd_tlv *)tlv;
 txcmd->txcmd_mode = en;
}

static void
mt7996_mcu_bss_mld_tlv(struct sk_buff *skb,
         struct ieee80211_bss_conf *link_conf,
         struct mt7996_vif_link *link)
{
 struct ieee80211_vif *vif = link_conf->vif;
 struct mt7996_vif *mvif = (struct mt7996_vif *)vif->drv_priv;
 struct bss_mld_tlv *mld;
 struct tlv *tlv;

 tlv = mt7996_mcu_add_uni_tlv(skb, UNI_BSS_INFO_MLD, sizeof(*mld));
 mld = (struct bss_mld_tlv *)tlv;
 mld->own_mld_id = link->mld_idx;
 mld->link_id = link_conf->link_id;

 if (ieee80211_vif_is_mld(vif)) {
  mld->group_mld_id = mvif->mld_group_idx;
  mld->remap_idx = mvif->mld_remap_idx;
  memcpy(mld->mac_addr, vif->addr, ETH_ALEN);
 } else {
  mld->group_mld_id = 0xff;
  mld->remap_idx = 0xff;
 }
}

static void
mt7996_mcu_bss_sec_tlv(struct sk_buff *skb, struct mt76_vif_link *mlink)
{
 struct bss_sec_tlv *sec;
 struct tlv *tlv;

 tlv = mt7996_mcu_add_uni_tlv(skb, UNI_BSS_INFO_SEC, sizeof(*sec));

 sec = (struct bss_sec_tlv *)tlv;
 sec->cipher = mlink->cipher;
}

static int
mt7996_mcu_muar_config(struct mt7996_dev *dev, struct mt76_vif_link *mlink,
         const u8 *addr, bool bssid, bool enable)
{
#define UNI_MUAR_ENTRY 2
 u32 idx = mlink->omac_idx - REPEATER_BSSID_START;
 struct {
  struct {
   u8 band;
   u8 __rsv[3];
  } hdr;

  __le16 tag;
  __le16 len;

  bool smesh;
  u8 bssid;
  u8 index;
  u8 entry_add;
  u8 addr[ETH_ALEN];
  u8 __rsv[2];
 } __packed req = {
  .hdr.band = mlink->band_idx,
  .tag = cpu_to_le16(UNI_MUAR_ENTRY),
  .len = cpu_to_le16(sizeof(req) - sizeof(req.hdr)),
  .smesh = false,
  .index = idx * 2 + bssid,
  .entry_add = true,
 };

 if (enable)
  memcpy(req.addr, addr, ETH_ALEN);

 return mt76_mcu_send_msg(&dev->mt76, MCU_WM_UNI_CMD(REPT_MUAR), &req,
     sizeof(req), true);
}

static void
mt7996_mcu_bss_ifs_timing_tlv(struct sk_buff *skb, struct mt7996_phy *phy)
{
 struct bss_ifs_time_tlv *ifs_time;
 struct tlv *tlv;
 bool is_2ghz = phy->mt76->chandef.chan->band == NL80211_BAND_2GHZ;

 tlv = mt7996_mcu_add_uni_tlv(skb, UNI_BSS_INFO_IFS_TIME, sizeof(*ifs_time));

 ifs_time = (struct bss_ifs_time_tlv *)tlv;
 ifs_time->slot_valid = true;
 ifs_time->sifs_valid = true;
 ifs_time->rifs_valid = true;
 ifs_time->eifs_valid = true;

 ifs_time->slot_time = cpu_to_le16(phy->slottime);
 ifs_time->sifs_time = cpu_to_le16(10);
 ifs_time->rifs_time = cpu_to_le16(2);
 ifs_time->eifs_time = cpu_to_le16(is_2ghz ? 78 : 84);

 if (is_2ghz) {
  ifs_time->eifs_cck_valid = true;
  ifs_time->eifs_cck_time = cpu_to_le16(314);
 }
}

static int
mt7996_mcu_bss_basic_tlv(struct sk_buff *skb,
    struct ieee80211_vif *vif,
    struct ieee80211_bss_conf *link_conf,
    struct mt76_vif_link *mvif,
    struct mt76_phy *phy, u16 wlan_idx,
    bool enable)
{
 struct cfg80211_chan_def *chandef = &phy->chandef;
 struct mt76_connac_bss_basic_tlv *bss;
 u32 type = CONNECTION_INFRA_AP;
 u16 sta_wlan_idx = wlan_idx;
 struct ieee80211_sta *sta;
 struct tlv *tlv;
 int idx;

 switch (vif->type) {
 case NL80211_IFTYPE_MESH_POINT:
 case NL80211_IFTYPE_AP:
 case NL80211_IFTYPE_MONITOR:
  break;
 case NL80211_IFTYPE_STATION:
  if (enable) {
   rcu_read_lock();
   sta = ieee80211_find_sta(vif, vif->bss_conf.bssid);
   /* TODO: enable BSS_INFO_UAPSD & BSS_INFO_PM */
   if (sta) {
    struct mt76_wcid *wcid;

    wcid = (struct mt76_wcid *)sta->drv_priv;
    sta_wlan_idx = wcid->idx;
   }
   rcu_read_unlock();
  }
  type = CONNECTION_INFRA_STA;
  break;
 case NL80211_IFTYPE_ADHOC:
  type = CONNECTION_IBSS_ADHOC;
  break;
 default:
  WARN_ON(1);
  break;
 }

 tlv = mt7996_mcu_add_uni_tlv(skb, UNI_BSS_INFO_BASIC, sizeof(*bss));

 bss = (struct mt76_connac_bss_basic_tlv *)tlv;
 bss->bcn_interval = cpu_to_le16(link_conf->beacon_int);
 bss->dtim_period = link_conf->dtim_period;
 bss->bmc_tx_wlan_idx = cpu_to_le16(wlan_idx);
 bss->sta_idx = cpu_to_le16(sta_wlan_idx);
 bss->conn_type = cpu_to_le32(type);
 bss->omac_idx = mvif->omac_idx;
 bss->band_idx = mvif->band_idx;
 bss->wmm_idx = mvif->wmm_idx;
 bss->conn_state = !enable;
 bss->active = enable;

 idx = mvif->omac_idx > EXT_BSSID_START ? HW_BSSID_0 : mvif->omac_idx;
 bss->hw_bss_idx = idx;

 if (vif->type == NL80211_IFTYPE_MONITOR) {
  memcpy(bss->bssid, phy->macaddr, ETH_ALEN);
  return 0;
 }

 memcpy(bss->bssid, link_conf->bssid, ETH_ALEN);
 bss->bcn_interval = cpu_to_le16(link_conf->beacon_int);
 bss->dtim_period = vif->bss_conf.dtim_period;
 bss->phymode = mt76_connac_get_phy_mode(phy, vif,
      chandef->chan->band, NULL);
 bss->phymode_ext = mt76_connac_get_phy_mode_ext(phy, &vif->bss_conf,
       chandef->chan->band);

 return 0;
}

static struct sk_buff *
__mt7996_mcu_alloc_bss_req(struct mt76_dev *dev, struct mt76_vif_link *mvif, int len)
{
 struct bss_req_hdr hdr = {
  .bss_idx = mvif->idx,
 };
 struct sk_buff *skb;

 skb = mt76_mcu_msg_alloc(dev, NULL, len);
 if (!skb)
  return ERR_PTR(-ENOMEM);

 skb_put_data(skb, &hdr, sizeof(hdr));

 return skb;
}

int mt7996_mcu_add_bss_info(struct mt7996_phy *phy, struct ieee80211_vif *vif,
       struct ieee80211_bss_conf *link_conf,
       struct mt76_vif_link *mlink,
       struct mt7996_sta_link *msta_link, int enable)
{
 struct mt7996_dev *dev = phy->dev;
 struct sk_buff *skb;

 if (mlink->omac_idx >= REPEATER_BSSID_START) {
  mt7996_mcu_muar_config(dev, mlink, link_conf->addr, false, enable);
  mt7996_mcu_muar_config(dev, mlink, link_conf->bssid, true, enable);
 }

 skb = __mt7996_mcu_alloc_bss_req(&dev->mt76, mlink,
      MT7996_BSS_UPDATE_MAX_SIZE);
 if (IS_ERR(skb))
  return PTR_ERR(skb);

 /* bss_basic must be first */
 mt7996_mcu_bss_basic_tlv(skb, vif, link_conf, mlink, phy->mt76,
     msta_link->wcid.idx, enable);
 mt7996_mcu_bss_sec_tlv(skb, mlink);

 if (vif->type == NL80211_IFTYPE_MONITOR)
  goto out;

 if (enable) {
  struct mt7996_vif_link *link;

  mt7996_mcu_bss_rfch_tlv(skb, phy);
  mt7996_mcu_bss_bmc_tlv(skb, mlink, phy);
  mt7996_mcu_bss_ra_tlv(skb, phy);
  mt7996_mcu_bss_txcmd_tlv(skb, true);
  mt7996_mcu_bss_ifs_timing_tlv(skb, phy);

  if (vif->bss_conf.he_support)
   mt7996_mcu_bss_he_tlv(skb, vif, link_conf, phy);

  /* this tag is necessary no matter if the vif is MLD */
  link = container_of(mlink, struct mt7996_vif_link, mt76);
  mt7996_mcu_bss_mld_tlv(skb, link_conf, link);
 }

 mt7996_mcu_bss_mbssid_tlv(skb, link_conf, enable);

out:
 return mt76_mcu_skb_send_msg(&dev->mt76, skb,
         MCU_WMWA_UNI_CMD(BSS_INFO_UPDATE), true);
}

int mt7996_mcu_set_timing(struct mt7996_phy *phy, struct ieee80211_vif *vif,
     struct ieee80211_bss_conf *link_conf)
{
 struct mt7996_dev *dev = phy->dev;
 struct mt76_vif_link *mlink = mt76_vif_conf_link(&dev->mt76, vif, link_conf);
 struct sk_buff *skb;

 skb = __mt7996_mcu_alloc_bss_req(&dev->mt76, mlink,
      MT7996_BSS_UPDATE_MAX_SIZE);
 if (IS_ERR(skb))
  return PTR_ERR(skb);

 mt7996_mcu_bss_ifs_timing_tlv(skb, phy);

 return mt76_mcu_skb_send_msg(&dev->mt76, skb,
         MCU_WMWA_UNI_CMD(BSS_INFO_UPDATE), true);
}

static int
mt7996_mcu_sta_ba(struct mt7996_dev *dev, struct mt76_vif_link *mvif,
    struct ieee80211_ampdu_params *params,
    struct mt76_wcid *wcid, bool enable, bool tx)
{
 struct sta_rec_ba_uni *ba;
 struct sk_buff *skb;
 struct tlv *tlv;

 skb = __mt76_connac_mcu_alloc_sta_req(&dev->mt76, mvif, wcid,
           MT7996_STA_UPDATE_MAX_SIZE);
 if (IS_ERR(skb))
  return PTR_ERR(skb);

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_BA, sizeof(*ba));

 ba = (struct sta_rec_ba_uni *)tlv;
 ba->ba_type = tx ? MT_BA_TYPE_ORIGINATOR : MT_BA_TYPE_RECIPIENT;
 ba->winsize = cpu_to_le16(params->buf_size);
 ba->ssn = cpu_to_le16(params->ssn);
 ba->ba_en = enable << params->tid;
 ba->amsdu = params->amsdu;
 ba->tid = params->tid;
 ba->ba_rdd_rro = !tx && enable && dev->has_rro;

 return mt76_mcu_skb_send_msg(&dev->mt76, skb,
         MCU_WMWA_UNI_CMD(STA_REC_UPDATE), true);
}

/** starec & wtbl **/
int mt7996_mcu_add_tx_ba(struct mt7996_dev *dev,
    struct ieee80211_ampdu_params *params,
    struct mt7996_vif_link *link,
    struct mt7996_sta_link *msta_link, bool enable)
{
 if (enable && !params->amsdu)
  msta_link->wcid.amsdu = false;

 return mt7996_mcu_sta_ba(dev, &link->mt76, params, &msta_link->wcid,
     enable, true);
}

int mt7996_mcu_add_rx_ba(struct mt7996_dev *dev,
    struct ieee80211_ampdu_params *params,
    struct mt7996_vif_link *link,
    struct mt7996_sta_link *msta_link, bool enable)
{
 return mt7996_mcu_sta_ba(dev, &link->mt76, params, &msta_link->wcid,
     enable, false);
}

static void
mt7996_mcu_sta_he_tlv(struct sk_buff *skb,
        struct ieee80211_link_sta *link_sta,
        struct mt7996_vif_link *link)
{
 struct ieee80211_he_cap_elem *elem = &link_sta->he_cap.he_cap_elem;
 struct ieee80211_he_mcs_nss_supp mcs_map;
 struct sta_rec_he_v2 *he;
 struct tlv *tlv;
 int i = 0;

 if (!link_sta->he_cap.has_he)
  return;

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_HE_V2, sizeof(*he));

 he = (struct sta_rec_he_v2 *)tlv;
 for (i = 0; i < 11; i++) {
  if (i < 6)
   he->he_mac_cap[i] = elem->mac_cap_info[i];
  he->he_phy_cap[i] = elem->phy_cap_info[i];
 }

 mcs_map = link_sta->he_cap.he_mcs_nss_supp;
 switch (link_sta->bandwidth) {
 case IEEE80211_STA_RX_BW_160:
  if (elem->phy_cap_info[0] &
      IEEE80211_HE_PHY_CAP0_CHANNEL_WIDTH_SET_80PLUS80_MHZ_IN_5G)
   mt7996_mcu_set_sta_he_mcs(link_sta, link,
        &he->max_nss_mcs[CMD_HE_MCS_BW8080],
        le16_to_cpu(mcs_map.rx_mcs_80p80));

  mt7996_mcu_set_sta_he_mcs(link_sta, link,
       &he->max_nss_mcs[CMD_HE_MCS_BW160],
       le16_to_cpu(mcs_map.rx_mcs_160));
  fallthrough;
 default:
  mt7996_mcu_set_sta_he_mcs(link_sta, link,
       &he->max_nss_mcs[CMD_HE_MCS_BW80],
       le16_to_cpu(mcs_map.rx_mcs_80));
  break;
 }

 he->pkt_ext = 2;
}

static void
mt7996_mcu_sta_he_6g_tlv(struct sk_buff *skb,
    struct ieee80211_link_sta *link_sta)
{
 struct sta_rec_he_6g_capa *he_6g;
 struct tlv *tlv;

 if (!link_sta->he_6ghz_capa.capa)
  return;

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_HE_6G, sizeof(*he_6g));

 he_6g = (struct sta_rec_he_6g_capa *)tlv;
 he_6g->capa = link_sta->he_6ghz_capa.capa;
}

static void
mt7996_mcu_sta_eht_tlv(struct sk_buff *skb,
         struct ieee80211_link_sta *link_sta)
{
 struct mt7996_sta *msta = (struct mt7996_sta *)link_sta->sta->drv_priv;
 struct ieee80211_vif *vif = container_of((void *)msta->vif,
       struct ieee80211_vif, drv_priv);
 struct ieee80211_eht_mcs_nss_supp *mcs_map;
 struct ieee80211_eht_cap_elem_fixed *elem;
 struct sta_rec_eht *eht;
 struct tlv *tlv;

 if (!link_sta->eht_cap.has_eht)
  return;

 mcs_map = &link_sta->eht_cap.eht_mcs_nss_supp;
 elem = &link_sta->eht_cap.eht_cap_elem;

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_EHT, sizeof(*eht));

 eht = (struct sta_rec_eht *)tlv;
 eht->tid_bitmap = 0xff;
 eht->mac_cap = cpu_to_le16(*(u16 *)elem->mac_cap_info);
 eht->phy_cap = cpu_to_le64(*(u64 *)elem->phy_cap_info);
 eht->phy_cap_ext = cpu_to_le64(elem->phy_cap_info[8]);

 if (vif->type != NL80211_IFTYPE_STATION &&
     (link_sta->he_cap.he_cap_elem.phy_cap_info[0] &
      (IEEE80211_HE_PHY_CAP0_CHANNEL_WIDTH_SET_40MHZ_IN_2G |
       IEEE80211_HE_PHY_CAP0_CHANNEL_WIDTH_SET_40MHZ_80MHZ_IN_5G |
       IEEE80211_HE_PHY_CAP0_CHANNEL_WIDTH_SET_160MHZ_IN_5G |
       IEEE80211_HE_PHY_CAP0_CHANNEL_WIDTH_SET_80PLUS80_MHZ_IN_5G)) == 0) {
  memcpy(eht->mcs_map_bw20, &mcs_map->only_20mhz,
         sizeof(eht->mcs_map_bw20));
  return;
 }

 memcpy(eht->mcs_map_bw80, &mcs_map->bw._80, sizeof(eht->mcs_map_bw80));
 memcpy(eht->mcs_map_bw160, &mcs_map->bw._160, sizeof(eht->mcs_map_bw160));
 memcpy(eht->mcs_map_bw320, &mcs_map->bw._320, sizeof(eht->mcs_map_bw320));
}

static void
mt7996_mcu_sta_ht_tlv(struct sk_buff *skb, struct ieee80211_link_sta *link_sta)
{
 struct sta_rec_ht_uni *ht;
 struct tlv *tlv;

 if (!link_sta->ht_cap.ht_supported)
  return;

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_HT, sizeof(*ht));

 ht = (struct sta_rec_ht_uni *)tlv;
 ht->ht_cap = cpu_to_le16(link_sta->ht_cap.cap);
 ht->ampdu_param = u8_encode_bits(link_sta->ht_cap.ampdu_factor,
      IEEE80211_HT_AMPDU_PARM_FACTOR) |
     u8_encode_bits(link_sta->ht_cap.ampdu_density,
      IEEE80211_HT_AMPDU_PARM_DENSITY);
}

static void
mt7996_mcu_sta_vht_tlv(struct sk_buff *skb, struct ieee80211_link_sta *link_sta)
{
 struct sta_rec_vht *vht;
 struct tlv *tlv;

 /* For 6G band, this tlv is necessary to let hw work normally */
 if (!link_sta->he_6ghz_capa.capa && !link_sta->vht_cap.vht_supported)
  return;

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_VHT, sizeof(*vht));

 vht = (struct sta_rec_vht *)tlv;
 vht->vht_cap = cpu_to_le32(link_sta->vht_cap.cap);
 vht->vht_rx_mcs_map = link_sta->vht_cap.vht_mcs.rx_mcs_map;
 vht->vht_tx_mcs_map = link_sta->vht_cap.vht_mcs.tx_mcs_map;
}

static void
mt7996_mcu_sta_amsdu_tlv(struct mt7996_dev *dev, struct sk_buff *skb,
    struct ieee80211_vif *vif,
    struct ieee80211_link_sta *link_sta,
    struct mt7996_sta_link *msta_link)
{
 struct sta_rec_amsdu *amsdu;
 struct tlv *tlv;

 if (vif->type != NL80211_IFTYPE_STATION &&
     vif->type != NL80211_IFTYPE_MESH_POINT &&
     vif->type != NL80211_IFTYPE_AP)
  return;

 if (!link_sta->agg.max_amsdu_len)
  return;

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_HW_AMSDU, sizeof(*amsdu));
 amsdu = (struct sta_rec_amsdu *)tlv;
 amsdu->max_amsdu_num = 8;
 amsdu->amsdu_en = true;
 msta_link->wcid.amsdu = true;

 switch (link_sta->agg.max_amsdu_len) {
 case IEEE80211_MAX_MPDU_LEN_VHT_11454:
  amsdu->max_mpdu_size =
   IEEE80211_VHT_CAP_MAX_MPDU_LENGTH_11454;
  return;
 case IEEE80211_MAX_MPDU_LEN_HT_7935:
 case IEEE80211_MAX_MPDU_LEN_VHT_7991:
  amsdu->max_mpdu_size = IEEE80211_VHT_CAP_MAX_MPDU_LENGTH_7991;
  return;
 default:
  amsdu->max_mpdu_size = IEEE80211_VHT_CAP_MAX_MPDU_LENGTH_3895;
  return;
 }
}

static void
mt7996_mcu_sta_muru_tlv(struct mt7996_dev *dev, struct sk_buff *skb,
   struct ieee80211_bss_conf *link_conf,
   struct ieee80211_link_sta *link_sta)
{
 struct ieee80211_he_cap_elem *elem = &link_sta->he_cap.he_cap_elem;
 struct sta_rec_muru *muru;
 struct tlv *tlv;

 if (link_conf->vif->type != NL80211_IFTYPE_STATION &&
     link_conf->vif->type != NL80211_IFTYPE_AP)
  return;

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_MURU, sizeof(*muru));

 muru = (struct sta_rec_muru *)tlv;
 muru->cfg.mimo_dl_en = link_conf->eht_mu_beamformer ||
          link_conf->he_mu_beamformer ||
          link_conf->vht_mu_beamformer ||
          link_conf->vht_mu_beamformee;
 muru->cfg.ofdma_dl_en = true;

 if (link_sta->vht_cap.vht_supported)
  muru->mimo_dl.vht_mu_bfee =
   !!(link_sta->vht_cap.cap & IEEE80211_VHT_CAP_MU_BEAMFORMEE_CAPABLE);

 if (!link_sta->he_cap.has_he)
  return;

 muru->mimo_dl.partial_bw_dl_mimo =
  HE_PHY(CAP6_PARTIAL_BANDWIDTH_DL_MUMIMO, elem->phy_cap_info[6]);

 muru->mimo_ul.full_ul_mimo =
  HE_PHY(CAP2_UL_MU_FULL_MU_MIMO, elem->phy_cap_info[2]);
 muru->mimo_ul.partial_ul_mimo =
  HE_PHY(CAP2_UL_MU_PARTIAL_MU_MIMO, elem->phy_cap_info[2]);

 muru->ofdma_dl.punc_pream_rx =
  HE_PHY(CAP1_PREAMBLE_PUNC_RX_MASK, elem->phy_cap_info[1]);
 muru->ofdma_dl.he_20m_in_40m_2g =
  HE_PHY(CAP8_20MHZ_IN_40MHZ_HE_PPDU_IN_2G, elem->phy_cap_info[8]);
 muru->ofdma_dl.he_20m_in_160m =
  HE_PHY(CAP8_20MHZ_IN_160MHZ_HE_PPDU, elem->phy_cap_info[8]);
 muru->ofdma_dl.he_80m_in_160m =
  HE_PHY(CAP8_80MHZ_IN_160MHZ_HE_PPDU, elem->phy_cap_info[8]);

 muru->ofdma_ul.t_frame_dur =
  HE_MAC(CAP1_TF_MAC_PAD_DUR_MASK, elem->mac_cap_info[1]);
 muru->ofdma_ul.mu_cascading =
  HE_MAC(CAP2_MU_CASCADING, elem->mac_cap_info[2]);
 muru->ofdma_ul.uo_ra =
  HE_MAC(CAP3_OFDMA_RA, elem->mac_cap_info[3]);
 muru->ofdma_ul.rx_ctrl_frame_to_mbss =
  HE_MAC(CAP3_RX_CTRL_FRAME_TO_MULTIBSS, elem->mac_cap_info[3]);
}

static inline bool
mt7996_is_ebf_supported(struct mt7996_phy *phy,
   struct ieee80211_bss_conf *link_conf,
   struct ieee80211_link_sta *link_sta, bool bfee)
{
 int sts = hweight16(phy->mt76->chainmask);

 if (link_conf->vif->type != NL80211_IFTYPE_STATION &&
     link_conf->vif->type != NL80211_IFTYPE_AP)
  return false;

 if (!bfee && sts < 2)
  return false;

 if (link_sta->eht_cap.has_eht) {
  struct ieee80211_sta_eht_cap *pc = &link_sta->eht_cap;
  struct ieee80211_eht_cap_elem_fixed *pe = &pc->eht_cap_elem;

  if (bfee)
   return link_conf->eht_su_beamformee &&
          EHT_PHY(CAP0_SU_BEAMFORMER, pe->phy_cap_info[0]);
  else
   return link_conf->eht_su_beamformer &&
          EHT_PHY(CAP0_SU_BEAMFORMEE, pe->phy_cap_info[0]);
 }

 if (link_sta->he_cap.has_he) {
  struct ieee80211_he_cap_elem *pe = &link_sta->he_cap.he_cap_elem;

  if (bfee)
   return link_conf->he_su_beamformee &&
          HE_PHY(CAP3_SU_BEAMFORMER, pe->phy_cap_info[3]);
  else
   return link_conf->he_su_beamformer &&
          HE_PHY(CAP4_SU_BEAMFORMEE, pe->phy_cap_info[4]);
 }

 if (link_sta->vht_cap.vht_supported) {
  u32 cap = link_sta->vht_cap.cap;

  if (bfee)
   return link_conf->vht_su_beamformee &&
          (cap & IEEE80211_VHT_CAP_SU_BEAMFORMER_CAPABLE);
  else
   return link_conf->vht_su_beamformer &&
          (cap & IEEE80211_VHT_CAP_SU_BEAMFORMEE_CAPABLE);
 }

 return false;
}

static void
mt7996_mcu_sta_sounding_rate(struct sta_rec_bf *bf, struct mt7996_phy *phy)
{
 bf->sounding_phy = MT_PHY_TYPE_OFDM;
 bf->ndp_rate = 0;    /* mcs0 */
 if (is_mt7996(phy->mt76->dev))
  bf->ndpa_rate = MT7996_CFEND_RATE_DEFAULT; /* ofdm 24m */
 else
  bf->ndpa_rate = MT7992_CFEND_RATE_DEFAULT; /* ofdm 6m */

 bf->rept_poll_rate = MT7996_CFEND_RATE_DEFAULT; /* ofdm 24m */
}

static void
mt7996_mcu_sta_bfer_ht(struct ieee80211_link_sta *link_sta,
         struct mt7996_phy *phy, struct sta_rec_bf *bf,
         bool explicit)
{
 struct ieee80211_mcs_info *mcs = &link_sta->ht_cap.mcs;
 u8 n = 0;

 bf->tx_mode = MT_PHY_TYPE_HT;

 if ((mcs->tx_params & IEEE80211_HT_MCS_TX_RX_DIFF) &&
     (mcs->tx_params & IEEE80211_HT_MCS_TX_DEFINED))
  n = FIELD_GET(IEEE80211_HT_MCS_TX_MAX_STREAMS_MASK,
         mcs->tx_params);
 else if (mcs->rx_mask[3])
  n = 3;
 else if (mcs->rx_mask[2])
  n = 2;
 else if (mcs->rx_mask[1])
  n = 1;

 bf->nrow = hweight8(phy->mt76->antenna_mask) - 1;
 bf->ncol = min_t(u8, bf->nrow, n);
 bf->ibf_ncol = explicit ? min_t(u8, MT7996_IBF_MAX_NC, bf->ncol) :
      min_t(u8, MT7996_IBF_MAX_NC, n);
}

static void
mt7996_mcu_sta_bfer_vht(struct ieee80211_link_sta *link_sta,
   struct mt7996_phy *phy, struct sta_rec_bf *bf,
   bool explicit)
{
 struct ieee80211_sta_vht_cap *pc = &link_sta->vht_cap;
 struct ieee80211_sta_vht_cap *vc = &phy->mt76->sband_5g.sband.vht_cap;
 u16 mcs_map = le16_to_cpu(pc->vht_mcs.rx_mcs_map);
 u8 nss_mcs = mt7996_mcu_get_sta_nss(mcs_map);
 u8 tx_ant = hweight8(phy->mt76->antenna_mask) - 1;

 bf->tx_mode = MT_PHY_TYPE_VHT;

 if (explicit) {
  u8 sts, snd_dim;

  mt7996_mcu_sta_sounding_rate(bf, phy);

  sts = FIELD_GET(IEEE80211_VHT_CAP_BEAMFORMEE_STS_MASK,
    pc->cap);
  snd_dim = FIELD_GET(IEEE80211_VHT_CAP_SOUNDING_DIMENSIONS_MASK,
        vc->cap);
  bf->nrow = min_t(u8, min_t(u8, snd_dim, sts), tx_ant);
  bf->ncol = min_t(u8, nss_mcs, bf->nrow);
  bf->ibf_ncol = min_t(u8, MT7996_IBF_MAX_NC, bf->ncol);

  if (link_sta->bandwidth == IEEE80211_STA_RX_BW_160)
   bf->nrow = 1;
 } else {
  bf->nrow = tx_ant;
  bf->ncol = min_t(u8, nss_mcs, bf->nrow);
  bf->ibf_ncol = min_t(u8, MT7996_IBF_MAX_NC, nss_mcs);

  if (link_sta->bandwidth == IEEE80211_STA_RX_BW_160)
   bf->ibf_nrow = 1;
 }
}

static void
mt7996_mcu_sta_bfer_he(struct ieee80211_link_sta *link_sta,
         struct ieee80211_vif *vif, struct mt7996_phy *phy,
         struct sta_rec_bf *bf, bool explicit)
{
 struct ieee80211_sta_he_cap *pc = &link_sta->he_cap;
 struct ieee80211_he_cap_elem *pe = &pc->he_cap_elem;
 const struct ieee80211_sta_he_cap *vc =
  mt76_connac_get_he_phy_cap(phy->mt76, vif);
 const struct ieee80211_he_cap_elem *ve = &vc->he_cap_elem;
 u16 mcs_map = le16_to_cpu(pc->he_mcs_nss_supp.rx_mcs_80);
 u8 nss_mcs = mt7996_mcu_get_sta_nss(mcs_map);
 u8 snd_dim, sts;

 if (!vc)
  return;

 bf->tx_mode = MT_PHY_TYPE_HE_SU;

 mt7996_mcu_sta_sounding_rate(bf, phy);

 bf->trigger_su = HE_PHY(CAP6_TRIG_SU_BEAMFORMING_FB,
    pe->phy_cap_info[6]);
 bf->trigger_mu = HE_PHY(CAP6_TRIG_MU_BEAMFORMING_PARTIAL_BW_FB,
    pe->phy_cap_info[6]);
 snd_dim = HE_PHY(CAP5_BEAMFORMEE_NUM_SND_DIM_UNDER_80MHZ_MASK,
    ve->phy_cap_info[5]);
 sts = HE_PHY(CAP4_BEAMFORMEE_MAX_STS_UNDER_80MHZ_MASK,
       pe->phy_cap_info[4]);
 bf->nrow = min_t(u8, snd_dim, sts);
 bf->ncol = min_t(u8, nss_mcs, bf->nrow);
 bf->ibf_ncol = explicit ? min_t(u8, MT7996_IBF_MAX_NC, bf->ncol) :
      min_t(u8, MT7996_IBF_MAX_NC, nss_mcs);

 if (link_sta->bandwidth != IEEE80211_STA_RX_BW_160)
  return;

 /* go over for 160MHz and 80p80 */
 if (pe->phy_cap_info[0] &
     IEEE80211_HE_PHY_CAP0_CHANNEL_WIDTH_SET_160MHZ_IN_5G) {
  mcs_map = le16_to_cpu(pc->he_mcs_nss_supp.rx_mcs_160);
  nss_mcs = mt7996_mcu_get_sta_nss(mcs_map);

  bf->ncol_gt_bw80 = nss_mcs;
 }

 if (pe->phy_cap_info[0] &
     IEEE80211_HE_PHY_CAP0_CHANNEL_WIDTH_SET_80PLUS80_MHZ_IN_5G) {
  mcs_map = le16_to_cpu(pc->he_mcs_nss_supp.rx_mcs_80p80);
  nss_mcs = mt7996_mcu_get_sta_nss(mcs_map);

  if (bf->ncol_gt_bw80)
   bf->ncol_gt_bw80 = min_t(u8, bf->ncol_gt_bw80, nss_mcs);
  else
   bf->ncol_gt_bw80 = nss_mcs;
 }

 snd_dim = HE_PHY(CAP5_BEAMFORMEE_NUM_SND_DIM_ABOVE_80MHZ_MASK,
    ve->phy_cap_info[5]);
 sts = HE_PHY(CAP4_BEAMFORMEE_MAX_STS_ABOVE_80MHZ_MASK,
       pe->phy_cap_info[4]);

 bf->nrow_gt_bw80 = min_t(int, snd_dim, sts);
}

static void
mt7996_mcu_sta_bfer_eht(struct ieee80211_link_sta *link_sta,
   struct ieee80211_vif *vif, struct mt7996_phy *phy,
   struct sta_rec_bf *bf, bool explicit)
{
 struct ieee80211_sta_eht_cap *pc = &link_sta->eht_cap;
 struct ieee80211_eht_cap_elem_fixed *pe = &pc->eht_cap_elem;
 struct ieee80211_eht_mcs_nss_supp *eht_nss = &pc->eht_mcs_nss_supp;
 const struct ieee80211_sta_eht_cap *vc =
  mt76_connac_get_eht_phy_cap(phy->mt76, vif);
 const struct ieee80211_eht_cap_elem_fixed *ve = &vc->eht_cap_elem;
 u8 nss_mcs = u8_get_bits(eht_nss->bw._80.rx_tx_mcs9_max_nss,
     IEEE80211_EHT_MCS_NSS_RX) - 1;
 u8 snd_dim, sts;

 bf->tx_mode = MT_PHY_TYPE_EHT_MU;

 mt7996_mcu_sta_sounding_rate(bf, phy);

 bf->trigger_su = EHT_PHY(CAP3_TRIG_SU_BF_FDBK, pe->phy_cap_info[3]);
 bf->trigger_mu = EHT_PHY(CAP3_TRIG_MU_BF_PART_BW_FDBK, pe->phy_cap_info[3]);
 snd_dim = EHT_PHY(CAP2_SOUNDING_DIM_80MHZ_MASK, ve->phy_cap_info[2]);
 sts = EHT_PHY(CAP0_BEAMFORMEE_SS_80MHZ_MASK, pe->phy_cap_info[0]) +
       (EHT_PHY(CAP1_BEAMFORMEE_SS_80MHZ_MASK, pe->phy_cap_info[1]) << 1);
 bf->nrow = min_t(u8, snd_dim, sts);
 bf->ncol = min_t(u8, nss_mcs, bf->nrow);
 bf->ibf_ncol = explicit ? min_t(u8, MT7996_IBF_MAX_NC, bf->ncol) :
      min_t(u8, MT7996_IBF_MAX_NC, nss_mcs);

 if (link_sta->bandwidth < IEEE80211_STA_RX_BW_160)
  return;

 switch (link_sta->bandwidth) {
 case IEEE80211_STA_RX_BW_160:
  snd_dim = EHT_PHY(CAP2_SOUNDING_DIM_160MHZ_MASK, ve->phy_cap_info[2]);
  sts = EHT_PHY(CAP1_BEAMFORMEE_SS_160MHZ_MASK, pe->phy_cap_info[1]);
  nss_mcs = u8_get_bits(eht_nss->bw._160.rx_tx_mcs9_max_nss,
          IEEE80211_EHT_MCS_NSS_RX) - 1;

  bf->nrow_gt_bw80 = min_t(u8, snd_dim, sts);
  bf->ncol_gt_bw80 = nss_mcs;
  break;
 case IEEE80211_STA_RX_BW_320:
  snd_dim = EHT_PHY(CAP2_SOUNDING_DIM_320MHZ_MASK, ve->phy_cap_info[2]) +
     (EHT_PHY(CAP3_SOUNDING_DIM_320MHZ_MASK,
       ve->phy_cap_info[3]) << 1);
  sts = EHT_PHY(CAP1_BEAMFORMEE_SS_320MHZ_MASK, pe->phy_cap_info[1]);
  nss_mcs = u8_get_bits(eht_nss->bw._320.rx_tx_mcs9_max_nss,
          IEEE80211_EHT_MCS_NSS_RX) - 1;

  bf->nrow_gt_bw80 = min_t(u8, snd_dim, sts) << 4;
  bf->ncol_gt_bw80 = nss_mcs << 4;
  break;
 default:
  break;
 }
}

static void
mt7996_mcu_sta_bfer_tlv(struct mt7996_dev *dev, struct sk_buff *skb,
   struct ieee80211_bss_conf *link_conf,
   struct ieee80211_link_sta *link_sta,
   struct mt7996_vif_link *link)
{
#define EBF_MODE BIT(0)
#define IBF_MODE BIT(1)
#define BF_MAT_ORDER 4
 struct ieee80211_vif *vif = link_conf->vif;
 struct mt7996_phy *phy = link->phy;
 int tx_ant = hweight16(phy->mt76->chainmask) - 1;
 struct sta_rec_bf *bf;
 struct tlv *tlv;
 static const u8 matrix[BF_MAT_ORDER][BF_MAT_ORDER] = {
  {0, 0, 0, 0},
  {1, 1, 0, 0}, /* 2x1, 2x2, 2x3, 2x4 */
  {2, 4, 4, 0}, /* 3x1, 3x2, 3x3, 3x4 */
  {3, 5, 6, 0} /* 4x1, 4x2, 4x3, 4x4 */
 };
 bool ebf;

 if (!(link_sta->ht_cap.ht_supported || link_sta->he_cap.has_he))
  return;

 ebf = mt7996_is_ebf_supported(phy, link_conf, link_sta, false);
 if (!ebf && !dev->ibf)
  return;

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_BF, sizeof(*bf));
 bf = (struct sta_rec_bf *)tlv;

 /* he/eht: eBF only, except mt7992 that has 5T on 5GHz also supports iBF
 * vht: support eBF and iBF
 * ht: iBF only, since mac80211 lacks of eBF support
 */
 if (link_sta->eht_cap.has_eht)
  mt7996_mcu_sta_bfer_eht(link_sta, vif, link->phy, bf, ebf);
 else if (link_sta->he_cap.has_he)
  mt7996_mcu_sta_bfer_he(link_sta, vif, link->phy, bf, ebf);
 else if (link_sta->vht_cap.vht_supported)
  mt7996_mcu_sta_bfer_vht(link_sta, link->phy, bf, ebf);
 else if (link_sta->ht_cap.ht_supported)
  mt7996_mcu_sta_bfer_ht(link_sta, link->phy, bf, ebf);
 else
  return;

 bf->bf_cap = ebf ? EBF_MODE : (dev->ibf ? IBF_MODE : 0);
 if (is_mt7992(&dev->mt76) && tx_ant == 4)
  bf->bf_cap |= IBF_MODE;

 bf->bw = link_sta->bandwidth;
 bf->ibf_dbw = link_sta->bandwidth;
 bf->ibf_nrow = tx_ant;

 if (link_sta->eht_cap.has_eht || link_sta->he_cap.has_he)
  bf->ibf_timeout = is_mt7996(&dev->mt76) ? MT7996_IBF_TIMEOUT :
         MT7992_IBF_TIMEOUT;
 else if (!ebf && link_sta->bandwidth <= IEEE80211_STA_RX_BW_40 && !bf->ncol)
  bf->ibf_timeout = MT7996_IBF_TIMEOUT_LEGACY;
 else
  bf->ibf_timeout = MT7996_IBF_TIMEOUT;

 if (bf->ncol < BF_MAT_ORDER) {
  if (ebf)
   bf->mem_20m = tx_ant < BF_MAT_ORDER ?
          matrix[tx_ant][bf->ncol] : 0;
  else
   bf->mem_20m = bf->nrow < BF_MAT_ORDER ?
          matrix[bf->nrow][bf->ncol] : 0;
 }

 switch (link_sta->bandwidth) {
 case IEEE80211_STA_RX_BW_160:
 case IEEE80211_STA_RX_BW_80:
  bf->mem_total = bf->mem_20m * 2;
  break;
 case IEEE80211_STA_RX_BW_40:
  bf->mem_total = bf->mem_20m;
  break;
 case IEEE80211_STA_RX_BW_20:
 default:
  break;
 }
}

static void
mt7996_mcu_sta_bfee_tlv(struct mt7996_dev *dev, struct sk_buff *skb,
   struct ieee80211_bss_conf *link_conf,
   struct ieee80211_link_sta *link_sta,
   struct mt7996_vif_link *link)
{
 struct mt7996_phy *phy = link->phy;
 int tx_ant = hweight8(phy->mt76->antenna_mask) - 1;
 struct sta_rec_bfee *bfee;
 struct tlv *tlv;
 u8 nrow = 0;

 if (!(link_sta->vht_cap.vht_supported || link_sta->he_cap.has_he))
  return;

 if (!mt7996_is_ebf_supported(phy, link_conf, link_sta, true))
  return;

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_BFEE, sizeof(*bfee));
 bfee = (struct sta_rec_bfee *)tlv;

 if (link_sta->he_cap.has_he) {
  struct ieee80211_he_cap_elem *pe = &link_sta->he_cap.he_cap_elem;

  nrow = HE_PHY(CAP5_BEAMFORMEE_NUM_SND_DIM_UNDER_80MHZ_MASK,
         pe->phy_cap_info[5]);
 } else if (link_sta->vht_cap.vht_supported) {
  struct ieee80211_sta_vht_cap *pc = &link_sta->vht_cap;

  nrow = FIELD_GET(IEEE80211_VHT_CAP_SOUNDING_DIMENSIONS_MASK,
     pc->cap);
 }

 /* reply with identity matrix to avoid 2x2 BF negative gain */
 bfee->fb_identity_matrix = (nrow == 1 && tx_ant == 2);
}

static void
mt7996_mcu_sta_tx_proc_tlv(struct sk_buff *skb)
{
 struct sta_rec_tx_proc *tx_proc;
 struct tlv *tlv;

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_TX_PROC, sizeof(*tx_proc));

 tx_proc = (struct sta_rec_tx_proc *)tlv;
 tx_proc->flag = cpu_to_le32(0);
}

static void
mt7996_mcu_sta_hdrt_tlv(struct mt7996_dev *dev, struct sk_buff *skb)
{
 struct sta_rec_hdrt *hdrt;
 struct tlv *tlv;

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_HDRT, sizeof(*hdrt));

 hdrt = (struct sta_rec_hdrt *)tlv;
 hdrt->hdrt_mode = 1;
}

static void
mt7996_mcu_sta_hdr_trans_tlv(struct mt7996_dev *dev, struct sk_buff *skb,
        struct ieee80211_vif *vif, struct mt76_wcid *wcid)
{
 struct sta_rec_hdr_trans *hdr_trans;
 struct tlv *tlv;

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_HDR_TRANS, sizeof(*hdr_trans));
 hdr_trans = (struct sta_rec_hdr_trans *)tlv;
 hdr_trans->dis_rx_hdr_tran = true;

 if (vif->type == NL80211_IFTYPE_STATION)
  hdr_trans->to_ds = true;
 else
  hdr_trans->from_ds = true;

 if (!wcid)
  return;

 hdr_trans->dis_rx_hdr_tran = !test_bit(MT_WCID_FLAG_HDR_TRANS, &wcid->flags);
 if (test_bit(MT_WCID_FLAG_4ADDR, &wcid->flags)) {
  hdr_trans->to_ds = true;
  hdr_trans->from_ds = true;
 }

 if (vif->type == NL80211_IFTYPE_MESH_POINT) {
  hdr_trans->to_ds = true;
  hdr_trans->from_ds = true;
  hdr_trans->mesh = true;
 }
}

static enum mcu_mmps_mode
mt7996_mcu_get_mmps_mode(enum ieee80211_smps_mode smps)
{
 switch (smps) {
 case IEEE80211_SMPS_OFF:
  return MCU_MMPS_DISABLE;
 case IEEE80211_SMPS_STATIC:
  return MCU_MMPS_STATIC;
 case IEEE80211_SMPS_DYNAMIC:
  return MCU_MMPS_DYNAMIC;
 default:
  return MCU_MMPS_DISABLE;
 }
}

int mt7996_mcu_set_fixed_rate_ctrl(struct mt7996_dev *dev,
       void *data, u16 version)
{
 struct uni_header hdr = {};
 struct ra_fixed_rate *req;
 struct sk_buff *skb;
 struct tlv *tlv;
 int len;

 len = sizeof(hdr) + sizeof(*req);

 skb = mt76_mcu_msg_alloc(&dev->mt76, NULL, len);
 if (!skb)
  return -ENOMEM;

 skb_put_data(skb, &hdr, sizeof(hdr));

 tlv = mt7996_mcu_add_uni_tlv(skb, UNI_RA_FIXED_RATE, sizeof(*req));
 req = (struct ra_fixed_rate *)tlv;
 req->version = cpu_to_le16(version);
 memcpy(&req->rate, data, sizeof(req->rate));

 return mt76_mcu_skb_send_msg(&dev->mt76, skb,
         MCU_WM_UNI_CMD(RA), true);
}

int mt7996_mcu_set_fixed_field(struct mt7996_dev *dev, struct mt7996_sta *msta,
          void *data, u8 link_id, u32 field)
{
 struct mt7996_vif *mvif = msta->vif;
 struct mt7996_sta_link *msta_link;
 struct sta_rec_ra_fixed_uni *ra;
 struct sta_phy_uni *phy = data;
 struct mt76_vif_link *mlink;
 struct sk_buff *skb;
 int err = -ENODEV;
 struct tlv *tlv;

 rcu_read_lock();

 mlink = rcu_dereference(mvif->mt76.link[link_id]);
 if (!mlink)
  goto error_unlock;

 msta_link = rcu_dereference(msta->link[link_id]);
 if (!msta_link)
  goto error_unlock;

 skb = __mt76_connac_mcu_alloc_sta_req(&dev->mt76, mlink,
           &msta_link->wcid,
           MT7996_STA_UPDATE_MAX_SIZE);
 if (IS_ERR(skb)) {
  err = PTR_ERR(skb);
  goto error_unlock;
 }

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_RA_UPDATE, sizeof(*ra));
 ra = (struct sta_rec_ra_fixed_uni *)tlv;

 switch (field) {
 case RATE_PARAM_AUTO:
  break;
 case RATE_PARAM_FIXED:
 case RATE_PARAM_FIXED_MCS:
 case RATE_PARAM_FIXED_GI:
 case RATE_PARAM_FIXED_HE_LTF:
  if (phy)
   ra->phy = *phy;
  break;
 case RATE_PARAM_MMPS_UPDATE: {
  struct ieee80211_sta *sta = wcid_to_sta(&msta_link->wcid);
  struct ieee80211_link_sta *link_sta;

  link_sta = rcu_dereference(sta->link[link_id]);
  if (!link_sta) {
   dev_kfree_skb(skb);
   goto error_unlock;
  }

  ra->mmps_mode = mt7996_mcu_get_mmps_mode(link_sta->smps_mode);
  break;
 }
 default:
  break;
 }
 ra->field = cpu_to_le32(field);

 rcu_read_unlock();

 return mt76_mcu_skb_send_msg(&dev->mt76, skb,
         MCU_WMWA_UNI_CMD(STA_REC_UPDATE), true);
error_unlock:
 rcu_read_unlock();

 return err;
}

static int
mt7996_mcu_add_rate_ctrl_fixed(struct mt7996_dev *dev, struct mt7996_sta *msta,
          struct ieee80211_vif *vif, u8 link_id)
{
 struct ieee80211_link_sta *link_sta;
 struct cfg80211_bitrate_mask mask;
 struct mt7996_sta_link *msta_link;
 struct mt7996_vif_link *link;
 struct sta_phy_uni phy = {};
 struct ieee80211_sta *sta;
 int ret, nrates = 0, idx;
 enum nl80211_band band;
 bool has_he;

#define __sta_phy_bitrate_mask_check(_mcs, _gi, _ht, _he)   \
 do {         \
  u8 i, gi = mask.control[band]._gi;    \
  gi = (_he) ? gi : gi == NL80211_TXRATE_FORCE_SGI;  \
  phy.sgi = gi;       \
  phy.he_ltf = mask.control[band].he_ltf;    \
  for (i = 0; i < ARRAY_SIZE(mask.control[band]._mcs); i++) { \
   if (!mask.control[band]._mcs[i])   \
    continue;     \
   nrates += hweight16(mask.control[band]._mcs[i]); \
   phy.mcs = ffs(mask.control[band]._mcs[i]) - 1;  \
   if (_ht)      \
    phy.mcs += 8 * i;    \
  }        \
 } while (0)

 rcu_read_lock();

 link = mt7996_vif_link(dev, vif, link_id);
 if (!link)
  goto error_unlock;

 msta_link = rcu_dereference(msta->link[link_id]);
 if (!msta_link)
  goto error_unlock;

 sta = wcid_to_sta(&msta_link->wcid);
 link_sta = rcu_dereference(sta->link[link_id]);
 if (!link_sta)
  goto error_unlock;

 band = link->phy->mt76->chandef.chan->band;
 has_he = link_sta->he_cap.has_he;
 mask = link->bitrate_mask;
 idx = msta_link->wcid.idx;

 if (has_he) {
  __sta_phy_bitrate_mask_check(he_mcs, he_gi, 0, 1);
 } else if (link_sta->vht_cap.vht_supported) {
  __sta_phy_bitrate_mask_check(vht_mcs, gi, 0, 0);
 } else if (link_sta->ht_cap.ht_supported) {
  __sta_phy_bitrate_mask_check(ht_mcs, gi, 1, 0);
 } else {
  nrates = hweight32(mask.control[band].legacy);
  phy.mcs = ffs(mask.control[band].legacy) - 1;
 }

 rcu_read_unlock();

#undef __sta_phy_bitrate_mask_check

 /* fall back to auto rate control */
 if (mask.control[band].gi == NL80211_TXRATE_DEFAULT_GI &&
     mask.control[band].he_gi == GENMASK(7, 0) &&
     mask.control[band].he_ltf == GENMASK(7, 0) &&
     nrates != 1)
  return 0;

 /* fixed single rate */
 if (nrates == 1) {
  ret = mt7996_mcu_set_fixed_field(dev, msta, &phy, link_id,
       RATE_PARAM_FIXED_MCS);
  if (ret)
   return ret;
 }

 /* fixed GI */
 if (mask.control[band].gi != NL80211_TXRATE_DEFAULT_GI ||
     mask.control[band].he_gi != GENMASK(7, 0)) {
  u32 addr;

  /* firmware updates only TXCMD but doesn't take WTBL into
 * account, so driver should update here to reflect the
 * actual txrate hardware sends out.
 */
  addr = mt7996_mac_wtbl_lmac_addr(dev, idx, 7);
  if (has_he)
   mt76_rmw_field(dev, addr, GENMASK(31, 24), phy.sgi);
  else
   mt76_rmw_field(dev, addr, GENMASK(15, 12), phy.sgi);

  ret = mt7996_mcu_set_fixed_field(dev, msta, &phy, link_id,
       RATE_PARAM_FIXED_GI);
  if (ret)
   return ret;
 }

 /* fixed HE_LTF */
 if (mask.control[band].he_ltf != GENMASK(7, 0)) {
  ret = mt7996_mcu_set_fixed_field(dev, msta, &phy, link_id,
       RATE_PARAM_FIXED_HE_LTF);
  if (ret)
   return ret;
 }

 return 0;

error_unlock:
 rcu_read_unlock();

 return -ENODEV;
}

static void
mt7996_mcu_sta_rate_ctrl_tlv(struct sk_buff *skb, struct mt7996_dev *dev,
        struct ieee80211_vif *vif,
        struct ieee80211_bss_conf *link_conf,
        struct ieee80211_link_sta *link_sta,
        struct mt7996_vif_link *link)
{
#define INIT_RCPI 180
 struct mt76_phy *mphy = link->phy->mt76;
 struct cfg80211_chan_def *chandef = &mphy->chandef;
 struct cfg80211_bitrate_mask *mask = &link->bitrate_mask;
 u32 cap = link_sta->sta->wme ? STA_CAP_WMM : 0;
 enum nl80211_band band = chandef->chan->band;
 struct sta_rec_ra_uni *ra;
 struct tlv *tlv;
 u32 supp_rate = link_sta->supp_rates[band];

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_RA, sizeof(*ra));
 ra = (struct sta_rec_ra_uni *)tlv;

 ra->valid = true;
 ra->auto_rate = true;
 ra->phy_mode = mt76_connac_get_phy_mode(mphy, vif, band, link_sta);
 ra->channel = chandef->chan->hw_value;
 ra->bw = (link_sta->bandwidth == IEEE80211_STA_RX_BW_320) ?
   CMD_CBW_320MHZ : link_sta->bandwidth;
 ra->phy.bw = ra->bw;
 ra->mmps_mode = mt7996_mcu_get_mmps_mode(link_sta->smps_mode);

 if (supp_rate) {
  supp_rate &= mask->control[band].legacy;
  ra->rate_len = hweight32(supp_rate);

  if (band == NL80211_BAND_2GHZ) {
   ra->supp_mode = MODE_CCK;
   ra->supp_cck_rate = supp_rate & GENMASK(3, 0);

   if (ra->rate_len > 4) {
    ra->supp_mode |= MODE_OFDM;
    ra->supp_ofdm_rate = supp_rate >> 4;
   }
  } else {
   ra->supp_mode = MODE_OFDM;
   ra->supp_ofdm_rate = supp_rate;
  }
 }

 if (link_sta->ht_cap.ht_supported) {
  ra->supp_mode |= MODE_HT;
  ra->af = link_sta->ht_cap.ampdu_factor;
  ra->ht_gf = !!(link_sta->ht_cap.cap & IEEE80211_HT_CAP_GRN_FLD);

  cap |= STA_CAP_HT;
  if (link_sta->ht_cap.cap & IEEE80211_HT_CAP_SGI_20)
   cap |= STA_CAP_SGI_20;
  if (link_sta->ht_cap.cap & IEEE80211_HT_CAP_SGI_40)
   cap |= STA_CAP_SGI_40;
  if (link_sta->ht_cap.cap & IEEE80211_HT_CAP_TX_STBC)
   cap |= STA_CAP_TX_STBC;
  if (link_sta->ht_cap.cap & IEEE80211_HT_CAP_RX_STBC)
   cap |= STA_CAP_RX_STBC;
  if (link_conf->ht_ldpc &&
      (link_sta->ht_cap.cap & IEEE80211_HT_CAP_LDPC_CODING))
   cap |= STA_CAP_LDPC;

  mt7996_mcu_set_sta_ht_mcs(link_sta, ra->ht_mcs,
       mask->control[band].ht_mcs);
  ra->supp_ht_mcs = *(__le32 *)ra->ht_mcs;
 }

 if (link_sta->vht_cap.vht_supported) {
  u8 af;

  ra->supp_mode |= MODE_VHT;
  af = FIELD_GET(IEEE80211_VHT_CAP_MAX_A_MPDU_LENGTH_EXPONENT_MASK,
          link_sta->vht_cap.cap);
  ra->af = max_t(u8, ra->af, af);

  cap |= STA_CAP_VHT;
  if (link_sta->vht_cap.cap & IEEE80211_VHT_CAP_SHORT_GI_80)
   cap |= STA_CAP_VHT_SGI_80;
  if (link_sta->vht_cap.cap & IEEE80211_VHT_CAP_SHORT_GI_160)
   cap |= STA_CAP_VHT_SGI_160;
  if (link_sta->vht_cap.cap & IEEE80211_VHT_CAP_TXSTBC)
   cap |= STA_CAP_VHT_TX_STBC;
  if (link_sta->vht_cap.cap & IEEE80211_VHT_CAP_RXSTBC_1)
   cap |= STA_CAP_VHT_RX_STBC;
  if ((vif->type != NL80211_IFTYPE_AP || link_conf->vht_ldpc) &&
      (link_sta->vht_cap.cap & IEEE80211_VHT_CAP_RXLDPC))
   cap |= STA_CAP_VHT_LDPC;

  mt7996_mcu_set_sta_vht_mcs(link_sta, ra->supp_vht_mcs,
        mask->control[band].vht_mcs);
 }

 if (link_sta->he_cap.has_he) {
  ra->supp_mode |= MODE_HE;
  cap |= STA_CAP_HE;

  if (link_sta->he_6ghz_capa.capa)
   ra->af = le16_get_bits(link_sta->he_6ghz_capa.capa,
            IEEE80211_HE_6GHZ_CAP_MAX_AMPDU_LEN_EXP);
 }
 ra->sta_cap = cpu_to_le32(cap);

 memset(ra->rx_rcpi, INIT_RCPI, sizeof(ra->rx_rcpi));
}

int mt7996_mcu_add_rate_ctrl(struct mt7996_dev *dev, struct mt7996_sta *msta,
        struct ieee80211_vif *vif, u8 link_id,
        bool changed)
{
 struct ieee80211_bss_conf *link_conf;
 struct ieee80211_link_sta *link_sta;
 struct mt7996_sta_link *msta_link;
 struct mt7996_vif_link *link;
 struct ieee80211_sta *sta;
 struct sk_buff *skb;
 int ret = -ENODEV;

 rcu_read_lock();

 link = mt7996_vif_link(dev, vif, link_id);
 if (!link)
  goto error_unlock;

 msta_link = rcu_dereference(msta->link[link_id]);
 if (!msta_link)
  goto error_unlock;

 sta = wcid_to_sta(&msta_link->wcid);
 link_sta = rcu_dereference(sta->link[link_id]);
 if (!link_sta)
  goto error_unlock;

 link_conf = rcu_dereference(vif->link_conf[link_id]);
 if (!link_conf)
  goto error_unlock;

 skb = __mt76_connac_mcu_alloc_sta_req(&dev->mt76, &link->mt76,
           &msta_link->wcid,
           MT7996_STA_UPDATE_MAX_SIZE);
 if (IS_ERR(skb)) {
  ret = PTR_ERR(skb);
  goto error_unlock;
 }

 /* firmware rc algorithm refers to sta_rec_he for HE control.
 * once dev->rc_work changes the settings driver should also
 * update sta_rec_he here.
 */
 if (changed)
  mt7996_mcu_sta_he_tlv(skb, link_sta, link);

 /* sta_rec_ra accommodates BW, NSS and only MCS range format
 * i.e 0-{7,8,9} for VHT.
 */
 mt7996_mcu_sta_rate_ctrl_tlv(skb, dev, vif, link_conf, link_sta, link);

 rcu_read_unlock();

 ret = mt76_mcu_skb_send_msg(&dev->mt76, skb,
        MCU_WMWA_UNI_CMD(STA_REC_UPDATE), true);
 if (ret)
  return ret;

 return mt7996_mcu_add_rate_ctrl_fixed(dev, msta, vif, link_id);

error_unlock:
 rcu_read_unlock();

 return ret;
}

static int
mt7996_mcu_add_group(struct mt7996_dev *dev, struct ieee80211_vif *vif,
       struct ieee80211_sta *sta)
{
#define MT_STA_BSS_GROUP  1
 struct mt7996_vif *mvif = (struct mt7996_vif *)vif->drv_priv;
 struct mt7996_sta_link *msta_link;
 struct mt7996_sta *msta;
 struct {
  u8 __rsv1[4];

  __le16 tag;
  __le16 len;
  __le16 wlan_idx;
  u8 __rsv2[2];
  __le32 action;
  __le32 val;
  u8 __rsv3[8];
 } __packed req = {
  .tag = cpu_to_le16(UNI_VOW_DRR_CTRL),
  .len = cpu_to_le16(sizeof(req) - 4),
  .action = cpu_to_le32(MT_STA_BSS_GROUP),
  .val = cpu_to_le32(mvif->deflink.mt76.idx % 16),
 };

 msta = sta ? (struct mt7996_sta *)sta->drv_priv : NULL;
 msta_link = msta ? &msta->deflink : &mvif->deflink.msta_link;
 req.wlan_idx = cpu_to_le16(msta_link->wcid.idx);

 return mt76_mcu_send_msg(&dev->mt76, MCU_WM_UNI_CMD(VOW), &req,
     sizeof(req), true);
}

static void
mt7996_mcu_sta_mld_setup_tlv(struct mt7996_dev *dev, struct sk_buff *skb,
        struct ieee80211_vif *vif,
        struct ieee80211_sta *sta)
{
 struct mt7996_sta *msta = (struct mt7996_sta *)sta->drv_priv;
 unsigned int nlinks = hweight16(sta->valid_links);
 struct mld_setup_link *mld_setup_link;
 struct ieee80211_link_sta *link_sta;
 struct sta_rec_mld_setup *mld_setup;
 struct mt7996_sta_link *msta_link;
 unsigned int link_id;
 struct tlv *tlv;

 msta_link = mt76_dereference(msta->link[msta->deflink_id], &dev->mt76);
 if (!msta_link)
  return;

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_MLD,
          sizeof(struct sta_rec_mld_setup) +
          sizeof(struct mld_setup_link) * nlinks);

 mld_setup = (struct sta_rec_mld_setup *)tlv;
 memcpy(mld_setup->mld_addr, sta->addr, ETH_ALEN);
 mld_setup->setup_wcid = cpu_to_le16(msta_link->wcid.idx);
 mld_setup->primary_id = cpu_to_le16(msta_link->wcid.idx);

 if (nlinks > 1) {
  link_id = __ffs(sta->valid_links & ~BIT(msta->deflink_id));
  msta_link = mt76_dereference(msta->link[link_id], &dev->mt76);
  if (!msta_link)
   return;
 }
 mld_setup->seconed_id = cpu_to_le16(msta_link->wcid.idx);
 mld_setup->link_num = nlinks;

 mld_setup_link = (struct mld_setup_link *)mld_setup->link_info;
 for_each_sta_active_link(vif, sta, link_sta, link_id) {
  struct mt7996_vif_link *link;

  msta_link = mt76_dereference(msta->link[link_id], &dev->mt76);
  if (!msta_link)
   continue;

  link = mt7996_vif_link(dev, vif, link_id);
  if (!link)
   continue;

  mld_setup_link->wcid = cpu_to_le16(msta_link->wcid.idx);
  mld_setup_link->bss_idx = link->mt76.idx;
  mld_setup_link++;
 }
}

static void
mt7996_mcu_sta_eht_mld_tlv(struct mt7996_dev *dev, struct sk_buff *skb,
      struct ieee80211_sta *sta)
{
 struct sta_rec_eht_mld *eht_mld;
 struct tlv *tlv;
 int i;

 tlv = mt76_connac_mcu_add_tlv(skb, STA_REC_EHT_MLD, sizeof(*eht_mld));
 eht_mld = (struct sta_rec_eht_mld *)tlv;

 for (i = 0; i < ARRAY_SIZE(eht_mld->str_cap); i++)
  eht_mld->str_cap[i] = 0x7;
}

int mt7996_mcu_add_sta(struct mt7996_dev *dev,
         struct ieee80211_bss_conf *link_conf,
         struct ieee80211_link_sta *link_sta,
         struct mt7996_vif_link *link,
         struct mt7996_sta_link *msta_link,
         int conn_state, bool newly)
{
 struct mt76_wcid *wcid = msta_link ? &msta_link->wcid : link->mt76.wcid;
 struct ieee80211_sta *sta = link_sta ? link_sta->sta : NULL;
 struct sk_buff *skb;
 int ret;

 skb = __mt76_connac_mcu_alloc_sta_req(&dev->mt76, &link->mt76, wcid,
           MT7996_STA_UPDATE_MAX_SIZE);
 if (IS_ERR(skb))
  return PTR_ERR(skb);

 /* starec basic */
 mt76_connac_mcu_sta_basic_tlv(&dev->mt76, skb, link_conf, link_sta,
          conn_state, newly);

 if (conn_state == CONN_STATE_DISCONNECT)
  goto out;

 /* starec hdr trans */
 mt7996_mcu_sta_hdr_trans_tlv(dev, skb, link_conf->vif, wcid);
 /* starec tx proc */
 mt7996_mcu_sta_tx_proc_tlv(skb);

 /* tag order is in accordance with firmware dependency. */
 if (link_sta) {
  /* starec hdrt mode */
  mt7996_mcu_sta_hdrt_tlv(dev, skb);
  if (conn_state == CONN_STATE_CONNECT) {
   /* starec bfer */
   mt7996_mcu_sta_bfer_tlv(dev, skb, link_conf, link_sta,
      link);
   /* starec bfee */
   mt7996_mcu_sta_bfee_tlv(dev, skb, link_conf, link_sta,
      link);
  }
  /* starec ht */
  mt7996_mcu_sta_ht_tlv(skb, link_sta);
  /* starec vht */
  mt7996_mcu_sta_vht_tlv(skb, link_sta);
  /* starec uapsd */
  mt76_connac_mcu_sta_uapsd(skb, link_conf->vif, sta);
  /* starec amsdu */
  mt7996_mcu_sta_amsdu_tlv(dev, skb, link_conf->vif, link_sta,
      msta_link);
  /* starec he */
  mt7996_mcu_sta_he_tlv(skb, link_sta, link);
  /* starec he 6g*/
  mt7996_mcu_sta_he_6g_tlv(skb, link_sta);
  /* starec eht */
  mt7996_mcu_sta_eht_tlv(skb, link_sta);
  /* starec muru */
  mt7996_mcu_sta_muru_tlv(dev, skb, link_conf, link_sta);

  if (sta->mlo) {
   mt7996_mcu_sta_mld_setup_tlv(dev, skb, link_conf->vif,
           sta);
   mt7996_mcu_sta_eht_mld_tlv(dev, skb, sta);
  }
 }

 ret = mt7996_mcu_add_group(dev, link_conf->vif, sta);
 if (ret) {
  dev_kfree_skb(skb);
  return ret;
 }
out:
 return mt76_mcu_skb_send_msg(&dev->mt76, skb,
         MCU_WMWA_UNI_CMD(STA_REC_UPDATE), true);
}

int mt7996_mcu_teardown_mld_sta(struct mt7996_dev *dev,
    struct mt7996_vif_link *link,
--> --------------------

--> maximum size reached

--> --------------------