net/ipv4/fib_rules.c

   1 // SPDX-License-Identifier: GPL-2.0-or-later
   2 /*
   3  * INET         An implementation of the TCP/IP protocol suite for the LINUX
   4  *              operating system.  INET is implemented using the  BSD Socket
   5  *              interface as the means of communication with the user level.
   6  *
   7  *              IPv4 Forwarding Information Base: policy rules.
   8  *
   9  * Authors:     Alexey Kuznetsov, <[email protected]>
  10  *              Thomas Graf <[email protected]>
  11  *
  12  * Fixes:
  13  *              Rani Assaf      :       local_rule cannot be deleted
  14  *              Marc Boucher    :       routing by fwmark
  15  */
  16
  17 #include <linux/types.h>
  18 #include <linux/kernel.h>
  19 #include <linux/netdevice.h>
  20 #include <linux/netlink.h>
  21 #include <linux/inetdevice.h>
  22 #include <linux/init.h>
  23 #include <linux/list.h>
  24 #include <linux/rcupdate.h>
  25 #include <linux/export.h>
  26 #include <net/inet_dscp.h>
  27 #include <net/ip.h>
  28 #include <net/route.h>
  29 #include <net/tcp.h>
  30 #include <net/ip_fib.h>
  31 #include <net/nexthop.h>
  32 #include <net/fib_rules.h>
  33 #include <linux/indirect_call_wrapper.h>
  34
  35 struct fib4_rule {
  36         struct fib_rule         common;
  37         u8                      dst_len;
  38         u8                      src_len;
  39         dscp_t                  dscp;
  40         u8                      dscp_full:1;    /* DSCP or TOS selector */
  41         __be32                  src;
  42         __be32                  srcmask;
  43         __be32                  dst;
  44         __be32                  dstmask;
  45 #ifdef CONFIG_IP_ROUTE_CLASSID
  46         u32                     tclassid;
  47 #endif
  48 };
  49
  50 static bool fib4_rule_matchall(const struct fib_rule *rule)
  51 {
  52         struct fib4_rule *r = container_of(rule, struct fib4_rule, common);
  53
  54         if (r->dst_len || r->src_len || r->dscp)
  55                 return false;
  56         return fib_rule_matchall(rule);
  57 }
  58
  59 bool fib4_rule_default(const struct fib_rule *rule)
  60 {
  61         if (!fib4_rule_matchall(rule) || rule->action != FR_ACT_TO_TBL ||
  62             rule->l3mdev)
  63                 return false;
  64         if (rule->table != RT_TABLE_LOCAL && rule->table != RT_TABLE_MAIN &&
  65             rule->table != RT_TABLE_DEFAULT)
  66                 return false;
  67         return true;
  68 }
  69 EXPORT_SYMBOL_GPL(fib4_rule_default);
  70
  71 int fib4_rules_dump(struct net *net, struct notifier_block *nb,
  72                     struct netlink_ext_ack *extack)
  73 {
  74         return fib_rules_dump(net, nb, AF_INET, extack);
  75 }
  76
  77 unsigned int fib4_rules_seq_read(const struct net *net)
  78 {
  79         return fib_rules_seq_read(net, AF_INET);
  80 }
  81
  82 int __fib_lookup(struct net *net, struct flowi4 *flp,
  83                  struct fib_result *res, unsigned int flags)
  84 {
  85         struct fib_lookup_arg arg = {
  86                 .result = res,
  87                 .flags = flags,
  88         };
  89         int err;
  90
  91         /* update flow if oif or iif point to device enslaved to l3mdev */
  92         l3mdev_update_flow(net, flowi4_to_flowi(flp));
  93
  94         err = fib_rules_lookup(net->ipv4.rules_ops, flowi4_to_flowi(flp), 0, &arg);
  95 #ifdef CONFIG_IP_ROUTE_CLASSID
  96         if (arg.rule)
  97                 res->tclassid = ((struct fib4_rule *)arg.rule)->tclassid;
  98         else
  99                 res->tclassid = 0;
 100 #endif
 101
 102         if (err == -ESRCH)
 103                 err = -ENETUNREACH;
 104
 105         return err;
 106 }
 107 EXPORT_SYMBOL_GPL(__fib_lookup);
 108
 109 INDIRECT_CALLABLE_SCOPE int fib4_rule_action(struct fib_rule *rule,
 110                                              struct flowi *flp, int flags,
 111                                              struct fib_lookup_arg *arg)
 112 {
 113         int err = -EAGAIN;
 114         struct fib_table *tbl;
 115         u32 tb_id;
 116
 117         switch (rule->action) {
 118         case FR_ACT_TO_TBL:
 119                 break;
 120
 121         case FR_ACT_UNREACHABLE:
 122                 return -ENETUNREACH;
 123
 124         case FR_ACT_PROHIBIT:
 125                 return -EACCES;
 126
 127         case FR_ACT_BLACKHOLE:
 128         default:
 129                 return -EINVAL;
 130         }
 131
 132         rcu_read_lock();
 133
 134         tb_id = fib_rule_get_table(rule, arg);
 135         tbl = fib_get_table(rule->fr_net, tb_id);
 136         if (tbl)
 137                 err = fib_table_lookup(tbl, &flp->u.ip4,
 138                                        (struct fib_result *)arg->result,
 139                                        arg->flags);
 140
 141         rcu_read_unlock();
 142         return err;
 143 }
 144
 145 INDIRECT_CALLABLE_SCOPE bool fib4_rule_suppress(struct fib_rule *rule,
 146                                                 int flags,
 147                                                 struct fib_lookup_arg *arg)
 148 {
 149         struct fib_result *result = arg->result;
 150         struct net_device *dev = NULL;
 151
 152         if (result->fi) {
 153                 struct fib_nh_common *nhc = fib_info_nhc(result->fi, 0);
 154
 155                 dev = nhc->nhc_dev;
 156         }
 157
 158         /* do not accept result if the route does
 159          * not meet the required prefix length
 160          */
 161         if (result->prefixlen <= rule->suppress_prefixlen)
 162                 goto suppress_route;
 163
 164         /* do not accept result if the route uses a device
 165          * belonging to a forbidden interface group
 166          */
 167         if (rule->suppress_ifgroup != -1 && dev && dev->group == rule->suppress_ifgroup)
 168                 goto suppress_route;
 169
 170         return false;
 171
 172 suppress_route:
 173         if (!(arg->flags & FIB_LOOKUP_NOREF))
 174                 fib_info_put(result->fi);
 175         return true;
 176 }
 177
 178 INDIRECT_CALLABLE_SCOPE int fib4_rule_match(struct fib_rule *rule,
 179                                             struct flowi *fl, int flags)
 180 {
 181         struct fib4_rule *r = (struct fib4_rule *) rule;
 182         struct flowi4 *fl4 = &fl->u.ip4;
 183         __be32 daddr = fl4->daddr;
 184         __be32 saddr = fl4->saddr;
 185
 186         if (((saddr ^ r->src) & r->srcmask) ||
 187             ((daddr ^ r->dst) & r->dstmask))
 188                 return 0;
 189
 190         /* When DSCP selector is used we need to match on the entire DSCP field
 191          * in the flow information structure. When TOS selector is used we need
 192          * to mask the upper three DSCP bits prior to matching to maintain
 193          * legacy behavior.
 194          */
 195         if (r->dscp_full && r->dscp != inet_dsfield_to_dscp(fl4->flowi4_tos))
 196                 return 0;
 197         else if (!r->dscp_full && r->dscp &&
 198                  !fib_dscp_masked_match(r->dscp, fl4))
 199                 return 0;
 200
 201         if (rule->ip_proto && (rule->ip_proto != fl4->flowi4_proto))
 202                 return 0;
 203
 204         if (fib_rule_port_range_set(&rule->sport_range) &&
 205             !fib_rule_port_inrange(&rule->sport_range, fl4->fl4_sport))
 206                 return 0;
 207
 208         if (fib_rule_port_range_set(&rule->dport_range) &&
 209             !fib_rule_port_inrange(&rule->dport_range, fl4->fl4_dport))
 210                 return 0;
 211
 212         return 1;
 213 }
 214
 215 static struct fib_table *fib_empty_table(struct net *net)
 216 {
 217         u32 id = 1;
 218
 219         while (1) {
 220                 if (!fib_get_table(net, id))
 221                         return fib_new_table(net, id);
 222
 223                 if (id++ == RT_TABLE_MAX)
 224                         break;
 225         }
 226         return NULL;
 227 }
 228
 229 static int fib4_nl2rule_dscp(const struct nlattr *nla, struct fib4_rule *rule4,
 230                              struct netlink_ext_ack *extack)
 231 {
 232         if (rule4->dscp) {
 233                 NL_SET_ERR_MSG(extack, "Cannot specify both TOS and DSCP");
 234                 return -EINVAL;
 235         }
 236
 237         rule4->dscp = inet_dsfield_to_dscp(nla_get_u8(nla) << 2);
 238         rule4->dscp_full = true;
 239
 240         return 0;
 241 }
 242
 243 static int fib4_rule_configure(struct fib_rule *rule, struct sk_buff *skb,
 244                                struct fib_rule_hdr *frh,
 245                                struct nlattr **tb,
 246                                struct netlink_ext_ack *extack)
 247 {
 248         struct net *net = sock_net(skb->sk);
 249         int err = -EINVAL;
 250         struct fib4_rule *rule4 = (struct fib4_rule *) rule;
 251
 252         if (!inet_validate_dscp(frh->tos)) {
 253                 NL_SET_ERR_MSG(extack,
 254                                "Invalid dsfield (tos): ECN bits must be 0");
 255                 goto errout;
 256         }
 257         /* IPv4 currently doesn't handle high order DSCP bits correctly */
 258         if (frh->tos & ~IPTOS_TOS_MASK) {
 259                 NL_SET_ERR_MSG(extack, "Invalid tos");
 260                 goto errout;
 261         }
 262         rule4->dscp = inet_dsfield_to_dscp(frh->tos);
 263
 264         if (tb[FRA_DSCP] &&
 265             fib4_nl2rule_dscp(tb[FRA_DSCP], rule4, extack) < 0)
 266                 goto errout;
 267
 268         /* split local/main if they are not already split */
 269         err = fib_unmerge(net);
 270         if (err)
 271                 goto errout;
 272
 273         if (rule->table == RT_TABLE_UNSPEC && !rule->l3mdev) {
 274                 if (rule->action == FR_ACT_TO_TBL) {
 275                         struct fib_table *table;
 276
 277                         table = fib_empty_table(net);
 278                         if (!table) {
 279                                 err = -ENOBUFS;
 280                                 goto errout;
 281                         }
 282
 283                         rule->table = table->tb_id;
 284                 }
 285         }
 286
 287         if (frh->src_len)
 288                 rule4->src = nla_get_in_addr(tb[FRA_SRC]);
 289
 290         if (frh->dst_len)
 291                 rule4->dst = nla_get_in_addr(tb[FRA_DST]);
 292
 293 #ifdef CONFIG_IP_ROUTE_CLASSID
 294         if (tb[FRA_FLOW]) {
 295                 rule4->tclassid = nla_get_u32(tb[FRA_FLOW]);
 296                 if (rule4->tclassid)
 297                         atomic_inc(&net->ipv4.fib_num_tclassid_users);
 298         }
 299 #endif
 300
 301         if (fib_rule_requires_fldissect(rule))
 302                 net->ipv4.fib_rules_require_fldissect++;
 303
 304         rule4->src_len = frh->src_len;
 305         rule4->srcmask = inet_make_mask(rule4->src_len);
 306         rule4->dst_len = frh->dst_len;
 307         rule4->dstmask = inet_make_mask(rule4->dst_len);
 308
 309         net->ipv4.fib_has_custom_rules = true;
 310
 311         err = 0;
 312 errout:
 313         return err;
 314 }
 315
 316 static int fib4_rule_delete(struct fib_rule *rule)
 317 {
 318         struct net *net = rule->fr_net;
 319         int err;
 320
 321         /* split local/main if they are not already split */
 322         err = fib_unmerge(net);
 323         if (err)
 324                 goto errout;
 325
 326 #ifdef CONFIG_IP_ROUTE_CLASSID
 327         if (((struct fib4_rule *)rule)->tclassid)
 328                 atomic_dec(&net->ipv4.fib_num_tclassid_users);
 329 #endif
 330         net->ipv4.fib_has_custom_rules = true;
 331
 332         if (net->ipv4.fib_rules_require_fldissect &&
 333             fib_rule_requires_fldissect(rule))
 334                 net->ipv4.fib_rules_require_fldissect--;
 335 errout:
 336         return err;
 337 }
 338
 339 static int fib4_rule_compare(struct fib_rule *rule, struct fib_rule_hdr *frh,
 340                              struct nlattr **tb)
 341 {
 342         struct fib4_rule *rule4 = (struct fib4_rule *) rule;
 343
 344         if (frh->src_len && (rule4->src_len != frh->src_len))
 345                 return 0;
 346
 347         if (frh->dst_len && (rule4->dst_len != frh->dst_len))
 348                 return 0;
 349
 350         if (frh->tos &&
 351             (rule4->dscp_full ||
 352              inet_dscp_to_dsfield(rule4->dscp) != frh->tos))
 353                 return 0;
 354
 355         if (tb[FRA_DSCP]) {
 356                 dscp_t dscp;
 357
 358                 dscp = inet_dsfield_to_dscp(nla_get_u8(tb[FRA_DSCP]) << 2);
 359                 if (!rule4->dscp_full || rule4->dscp != dscp)
 360                         return 0;
 361         }
 362
 363 #ifdef CONFIG_IP_ROUTE_CLASSID
 364         if (tb[FRA_FLOW] && (rule4->tclassid != nla_get_u32(tb[FRA_FLOW])))
 365                 return 0;
 366 #endif
 367
 368         if (frh->src_len && (rule4->src != nla_get_in_addr(tb[FRA_SRC])))
 369                 return 0;
 370
 371         if (frh->dst_len && (rule4->dst != nla_get_in_addr(tb[FRA_DST])))
 372                 return 0;
 373
 374         return 1;
 375 }
 376
 377 static int fib4_rule_fill(struct fib_rule *rule, struct sk_buff *skb,
 378                           struct fib_rule_hdr *frh)
 379 {
 380         struct fib4_rule *rule4 = (struct fib4_rule *) rule;
 381
 382         frh->dst_len = rule4->dst_len;
 383         frh->src_len = rule4->src_len;
 384
 385         if (rule4->dscp_full) {
 386                 frh->tos = 0;
 387                 if (nla_put_u8(skb, FRA_DSCP,
 388                                inet_dscp_to_dsfield(rule4->dscp) >> 2))
 389                         goto nla_put_failure;
 390         } else {
 391                 frh->tos = inet_dscp_to_dsfield(rule4->dscp);
 392         }
 393
 394         if ((rule4->dst_len &&
 395              nla_put_in_addr(skb, FRA_DST, rule4->dst)) ||
 396             (rule4->src_len &&
 397              nla_put_in_addr(skb, FRA_SRC, rule4->src)))
 398                 goto nla_put_failure;
 399 #ifdef CONFIG_IP_ROUTE_CLASSID
 400         if (rule4->tclassid &&
 401             nla_put_u32(skb, FRA_FLOW, rule4->tclassid))
 402                 goto nla_put_failure;
 403 #endif
 404         return 0;
 405
 406 nla_put_failure:
 407         return -ENOBUFS;
 408 }
 409
 410 static size_t fib4_rule_nlmsg_payload(struct fib_rule *rule)
 411 {
 412         return nla_total_size(4) /* dst */
 413                + nla_total_size(4) /* src */
 414                + nla_total_size(4) /* flow */
 415                + nla_total_size(1); /* dscp */
 416 }
 417
 418 static void fib4_rule_flush_cache(struct fib_rules_ops *ops)
 419 {
 420         rt_cache_flush(ops->fro_net);
 421 }
 422
 423 static const struct fib_rules_ops __net_initconst fib4_rules_ops_template = {
 424         .family         = AF_INET,
 425         .rule_size      = sizeof(struct fib4_rule),
 426         .addr_size      = sizeof(u32),
 427         .action         = fib4_rule_action,
 428         .suppress       = fib4_rule_suppress,
 429         .match          = fib4_rule_match,
 430         .configure      = fib4_rule_configure,
 431         .delete         = fib4_rule_delete,
 432         .compare        = fib4_rule_compare,
 433         .fill           = fib4_rule_fill,
 434         .nlmsg_payload  = fib4_rule_nlmsg_payload,
 435         .flush_cache    = fib4_rule_flush_cache,
 436         .nlgroup        = RTNLGRP_IPV4_RULE,
 437         .owner          = THIS_MODULE,
 438 };
 439
 440 static int fib_default_rules_init(struct fib_rules_ops *ops)
 441 {
 442         int err;
 443
 444         err = fib_default_rule_add(ops, 0, RT_TABLE_LOCAL);
 445         if (err < 0)
 446                 return err;
 447         err = fib_default_rule_add(ops, 0x7FFE, RT_TABLE_MAIN);
 448         if (err < 0)
 449                 return err;
 450         err = fib_default_rule_add(ops, 0x7FFF, RT_TABLE_DEFAULT);
 451         if (err < 0)
 452                 return err;
 453         return 0;
 454 }
 455
 456 int __net_init fib4_rules_init(struct net *net)
 457 {
 458         int err;
 459         struct fib_rules_ops *ops;
 460
 461         ops = fib_rules_register(&fib4_rules_ops_template, net);
 462         if (IS_ERR(ops))
 463                 return PTR_ERR(ops);
 464
 465         err = fib_default_rules_init(ops);
 466         if (err < 0)
 467                 goto fail;
 468         net->ipv4.rules_ops = ops;
 469         net->ipv4.fib_has_custom_rules = false;
 470         net->ipv4.fib_rules_require_fldissect = 0;
 471         return 0;
 472
 473 fail:
 474         /* also cleans all rules already added */
 475         fib_rules_unregister(ops);
 476         return err;
 477 }
 478
 479 void __net_exit fib4_rules_exit(struct net *net)
 480 {
 481         fib_rules_unregister(net->ipv4.rules_ops);
 482 }