core/service: minor coding style tweak

Merge pull request #34251 from DaanDeMeyer/multiq

network: Add support for multiq qdisc

network: Add support for mq qdisc

network: Add support for multiq qdisc

Merge pull request #34205 from yuwata/pretty-print-buffering

pretty-print: introduce WITH_BUFFERED_STDERR macro to enable buffering

Merge pull request #34224 from yuwata/network-make-qdisc-reconfigurable

network: make qdisc reconfigurable

Merge pull request #32487 from YHNdnzj/bind-journal-sockets

core: introduce BindJournalSockets=

build(deps): bump softprops/action-gh-release from 2.0.5 to 2.0.8

Bumps [softprops/action-gh-release](https://github.com/softprops/action-gh-release) from 2.0.5 to 2.0.8.
- [Release notes](https://github.com/softprops/action-gh-release/releases)
- [Changelog](https://github.com/softprops/action-gh-release/blob/master/CHANGELOG.md)
- [Commits](https://github.com/softprops/action-gh-release/compare/69320dbe05506a9a39fc8ae11030b214ec2d1f87...c062e08bd532815e2082a85e87e3ef29c3e6d191)

---
updated-dependencies:
- dependency-name: softprops/action-gh-release
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump super-linter/super-linter from 6.6.0 to 7.1.0

Bumps [super-linter/super-linter](https://github.com/super-linter/super-linter) from 6.6.0 to 7.1.0.
- [Release notes](https://github.com/super-linter/super-linter/releases)
- [Changelog](https://github.com/super-linter/super-linter/blob/main/CHANGELOG.md)
- [Commits](https://github.com/super-linter/super-linter/compare/88ea3923a7e1f89dd485d079f6eb5f5e8f937589...b92721f792f381cedc002ecdbb9847a15ece5bb8)

---
updated-dependencies:
- dependency-name: super-linter/super-linter
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

TEST-50-DISSECT: add explicit coverage for BindJournalSockets=

test: drop unneeded journal socket bind mounts
(where BindJournalSockets=yes is implied)

portable/profile: use BindJournalSockets=

core/namespace: create /dev/log only if journal socket is present

core: introduce BindJournalSockets=

Closes #32478

build(deps): bump systemd/mkosi

Bumps [systemd/mkosi](https://github.com/systemd/mkosi) from 8c2f828701a1bdb3dc9b80d6f2ab979f0430a6b8 to 31b4e756c1484c302435653da5d3b9bdfae38518.
- [Release notes](https://github.com/systemd/mkosi/releases)
- [Changelog](https://github.com/systemd/mkosi/blob/main/NEWS.md)
- [Commits](https://github.com/systemd/mkosi/compare/8c2f828701a1bdb3dc9b80d6f2ab979f0430a6b8...31b4e756c1484c302435653da5d3b9bdfae38518)

---
updated-dependencies:
- dependency-name: systemd/mkosi
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #34240 from DaanDeMeyer/mkosi

mkosi: Rework debian/ubuntu prepare script to install dependencies

mkosi: Use apt patterns to install dependencies on Debian/Ubuntu

Instead of parsing the human readable output of apt-cache, let's
use apt patterns to figure out the dependencies.

We also filter out virtual packages as apt will fail and say we need
to install an implementation of the virtual package even if a package
that provides the virtual package is already installed.

mkosi: Make systemd package filtering more robust

Let's not just filter everything with systemd in the name, but instead
use the same list of volatile packages that we install to do the
filtering.

Merge pull request #34236 from DaanDeMeyer/manager-split

json-util: Add more builders

json-util: Add JSON_BUILD_PAIR_UNSIGNED_NOT_EQUAL()

json-util: Add JSON_BUILD_TRISTATE() and friends

json-util: Add JSON_BUILD_PAIR_BASE64_NON_EMPTY() and friends

json-util: Add JSON_BUILD_PAIR_BYTE_ARRAY_NON_EMPTY()

json-util: Add JSON_BUILD_PAIR_INTEGER_NON_NEGATIVE()

json-util: Add JSON_BUILD_PAIR_INTEGER_NON_ZERO()

json-util: Add JSON_BUILD_PAIR_CALLBACK_NON_NULL()

Like JSON_BUILD_PAIR_CALLBACK(), but doesn't add anything to the variant
if the callback doesn't put anything in the return argument.

json-util: Add JSON_BUILD_PAIR_DUAL_TIMESTAMP_NON_NULL()

json-util: Add JSON_BUILD_PAIR_DUAL_TIMESTAMP()

json-util: Add JSON_BUILD_RATELIMIT()

json-util: Add JSON_BUILD_STRING_ORDERED_SET()

Merge pull request #34190 from DaanDeMeyer/repart-compress

repart: Add compression support

Merge pull request #34228 from poettering/uki-with-many-prep1

Two preparatory EFI library additions

repart: Add compression support

Now that mkfs.btrfs is adding support for compressing the generated
filesystem (https://github.com/kdave/btrfs-progs/pull/882), let's
add general support for specifying the compression algorithm and
compression level to use.

We opt to not parse the specified compression algorithm and instead
pass it on as is to the mkfs tool. This has a few benefits:

- We support every compression algorithm supported by every tool
  automatically.
- Users don't need to modify systemd-repart if a mkfs tool learns a
  new compression algorithm in the future
- We don't need to maintain a bunch of tables for filesystem to map
  from our generic compression algorithm enum to the filesystem specific
  names.

We don't add support for btrfs just yet until the corresponding PR
in btrfs-progs is merged.

TEST-58-REPART: Only skip part of testcase_minimize() that requires root

TEST-58-REPART: Always run TEST-58-REPART in virtual machine

Required for various tests in TEST-58-REPART.

mkosi: Don't create sanitizer wrappers for every mkfs binary

mksquashfs for some reason ends up in nss_systemd and mkfs.btrfs
links against libudev. The others don't need a sanitizer wrapper
script.

Merge pull request #34149 from DaanDeMeyer/btrfs

repart: Switch to new mkfs.btrfs subvolume API

resolve: fix typo

Follow-up for 67d0ce8843d612a2245d0966197d4f528b911b66.

resolved: include Varlink error on inconsistent DNS-SD services in introspection data

Let's also rename the error slightly, since what happens here is that a
a valid service RR name is CNAME'd onto an invalid one. That's an
inconsistency on the server side, which we really should report as such.

Follow-up for: b48ab08732a76b7337628e1e716f11c687000903

pretty-print: introduce WITH_BUFFERED_STDERR macro to enable buffering

Then, the buffer will be flushed and buffering will be disabled on
exiting from the scope.

pretty-print: rename {draw,clear}_progress_bar_unbuffered() -> {draw,clear}_progress_bar_impl()

Addresses https://github.com/systemd/systemd/pull/34205#discussion_r1739648525.
Follow-ups for 5f9dd9c64d20e7cdf8b509421e28cfebf31b7c32.

Merge pull request #34140 from yuwata/conf-parser-log-message

conf-parser: introduce log_syntax_parse_error() and use it

Merge pull request #34202 from AdrianVovk/sysupdated-fixups

sysupdated: Bugfixes & improvements

test: don't install Python scripts from systemd-test RPM

The original regex didn't cover the `run-unit-tests.py` script that
made the old framework pull in Python into the test image, which in turn
allowed the new TEST-69-SHUTDOWN Python script to get executed in the
old framework's image, causing unexpected fails with latest Python on
Rawhide.

sysupdated: Improve logging about jobs

If someone runs `updatectl update`, sysupdate will be running multiple
update jobs at the same time, which can make reasoning about the output
in the journal quite difficult. Especially if things go wrong: the error
messages didn't mention which job failed. Nor was there any link between
job ID and the PID of the worker process logging to the journal. This
is all fixed here!

sysupdated: Cleanup handling of notifications

Cuts out some `strdup`s, and also avoids a rather weird case of donating
memory to a function. Basically just duplicates the solution I just
implemented for sysupdate's callout handler.

sysupdate: Don't ignore callout binary failure

Previously, if the callout binary (i.e. sd-pull, sd-import) failed
gracefully, we'd return its exit status from the event loop and thus
from run_callout(). Of course, exit status is a positive number in the
event of failure. Which means that we completely ignore the callout
binary failing, and instead continue using whatever it managed to
download before failing.

This is bad for obvious reasons, not the least of which is installing
a half-downloaded OS. This also means that we would completely ignore
failed signature checks 😬️

portable: ensure PORTABLE_FORCE_ATTACH works even when there is a leftover unit

Force means force, we skip checks with PID1 for existing units, but
then bail out with EEXIST if the files are actually there. Overwrite
everything instead.

efi: add file_handle_read() helper that reads from a file handle

efi: return pointer to processed string in strtolower8()/strtolower16()

networkd: Replace existing objects instead of doing nothing if they exist

Currently, if for example a traffic control object already exist, networkd
will silently do nothing, even if the settings in the network file for the
traffic control object have changed. Let's instead replace the object if it
already exists so that new settings from the network file are applied as
expected.

Fixes #31226

network/tclass: do not save tclass to Link before it is configured

Otherwise, if the same kind of tclass is already assigned, parameters
configured in .network file will not be used. So, let's first copy the
tclass and put it on Request, then on success generate a new copy based
on the netlink notification and store it to Link.

This is the same as 0a0c2672dbd22dc85d660e5baa7e1bef701beb88,
65f5f581568448d6098358b704cae10a656d09f0, and friends, but for tclass.

network/qdisc: do not save qdisc to Link before it is configured

Otherwise, if the same kind of qdisc is already assigned, parameters
configured in .network file will not be used. So, let's first copy the
qdisc and put it on Request, then on success generate a new copy based
on the netlink notification and store it to Link.

This is the same as 0a0c2672dbd22dc85d660e5baa7e1bef701beb88,
65f5f581568448d6098358b704cae10a656d09f0, and friends, but for qdisc.

Preparation for fixing #31226.

network/tclass: make tclass_drop() static

This also drops unused constant return value.

network/qdisc: make qdisc_drop() static

This also drops unused constant return value.

network/tclass: skip requesting tclass if it is already requested

network/qdisc: skip requesting qdisc if it is already requested

network/neighbor: skip requesting neighbor if it is already requested

network/tclass: introduce tclass_ref() and tclass_unref()

No functional change, just refactoring and preparation for later change.

network/qdisc: introduce qdisc_ref() and qdisc_unref()

No functional change, just refactoring and preparation for later change.

conf-parser: use log_syntax_parse_error() and friends more

This also makes all conf parsers defined in conf-parser.c return 1
on success, 0 on non-critical error.
Also, use free_and_strdup_warn() where applicable.

conf-parser: several cleanups for DEFINE_CONFIG_PARSE_ENUMV() macro

- use GREEDY_REALLOC() and FOREACH_ARRAY(),
- do not set an array with only terminating 'invalid' value.

Note, this macro is only used by parsing NamePolicy= and AlternativeNamesPolicy=
in .link files. and udevd correctly handles both an empty array and an
array with only 'invalid'. Hence, this does not change any behavior.

tree-wide: drop msg argument for DEFINE_CONFIG_PARSE() macro and friends

This makes the macros use log_syntax_parse_error(), hopefully which provides
more informative log message in general, and reduces binary size.

log: protect errno from log_syntax_invalid_utf8_internal()

Potentially, utf8_escape_invalid() called by
log_syntax_invalid_utf8_internal() may update errno.

log: introduce log_syntax_parse_error()

This provides generic error message for failures in conf parsers.
Currently this is not used, but will be used later.

test: modernize test-networkd-conf

test: modernize test-conf-parser.c

conf-parser: make config_parse_strv() stricter and optionally drop duplicated entries

conf-parser: fix memleak in config_parse_calendar()

Fixes a bug introduced by 0e10c3d8724b0a5d07871c9de71565ac91dd55b7 (#25049).

network/route: fix typo

Follow-up for c8dbf9acc10939f2d6c4bdd8cdee1d2ff9a4204e.

Merge pull request #34213 from yuwata/network-route-fix-weight

network/route: fix adjustment of nexthop weight

network/route: fix adjustment of nexthop weight

Fixes #34167.

network/route: also update source, status, and so on EEXIST

Otherwise, an existing route may be labeled as foreign even after we
reconfigure it.

network/route: also show weight of gateway in debugging logs

basic/raw-clone: refuse CLONE_PIDFD too

docs/UIDS-GIDS: drop obsolete comment about Fedora

https://fedoraproject.org/wiki/Changes/RenameNobodyUser, 2018:
> Use "nobody:nobody" as the names for the kernel overflow UID:GID pair, and
> retire the old "nfsnobody" name and the old "nobody:nobody" pair with 99:99
> numbers.

test-network: use the same MTU bytes for veth interfaces

Hopefully fixes #34204.

labeler: set network label when tests for networkd or friends are updated

Merge pull request #34198 from AdrianVovk/updatectl-bugfixes

updatectl: Bugfixes

man: fix typos

Closes #34199.

Signed-off-by: Christoph Anton Mitterer <mail@christoph.anton.mitterer.name>

progress-bar: Add unbuffered variant

The progress_bar functions do their own buffering: they reconfigure
stderr, then print, then flush and disable buffering on their own. In
situations where multiple progress bars are being drawn at a time (for
example, in updatectl), it's even more efficient to hoist the buffering
and flushing to the call site, and avoid drawing each progress bar
individually.

To that end, new _unbuffered variants of the progress_bar functions. And
we use them in updatectl.

updatectl: Improve behavior of progress logging

This applies a couple of aesthetic changes to the way updatectl renders
progress information

1. We invert from "ICON TARGET MESSAGE" to "TARGET: ICON MESSAGE" to
   better fit in with the systemd progress bars, which look like
   "TARGET [==========---------] XX%". The original version of the
   sysupdated PR implemented its own progress bars that were oriented
   differently: "[==========---------] TARGET XX%". When we swapped
   the progress bar we didn't swap the status messages

2. When a target finishes updating, instead of leaving a 100% progress
   bar on screen for potentially extended periods of time (which implies
   to the user that the update isn't actually done...), we show a status
   message saying the target is done updating.

3. Fixed a minor bug where an extra newline would be printed after the
   total progress bar. At the top of the rendering function, we scroll
   the terminal's scroll-back just enough to fit a line for each target,
   and one for the total. This means that we should not print an
   additional line after the total, or else it'll scroll the terminal's
   buffer by an additional character. This bug was introduced at some
   point during review

4. Clears the Total progress bar before quitting. By the time we're
   quitting, that progress bar will be showing no useful status for the
   user. Also, the fix in point 3 will cause the shell's prompt to
   appear on the same line as the Total progress bar, partially
   overwriting it and leaving the shell in a glitchy state.

man: fix typo

Follow-up for 1ff0164be5978b824d2213bc546dac66619e1a48.

updatectl: Ensure we clear the progress bar

Otherwise we end up half-overwriting the progress bar, which looks buggy

sysupdated: Register known error types

This fixes a bug introduced during review of sysupdated. Originally,
we just returned EALREADY verbatim to signify that the target is
already up-to-date. Then we switched this to a proper error
(org.freedesktop.sysupdate1.NoCandidate) during review. But that now
maps to EIO, not EALREADY. Thus, whenever there's nothing to update,
updatectl would report I/O errors to the user, even though nothing
actually went wrong.

progress-bar: Put a space after the prefix

We always want a space there. So let's just put one in the drawing
routine, and adjust the call cites to avoid adding a second one.

Merge pull request #34189 from poettering/cryptenroll-slot-fix

cryptenroll: don't return slot 0 when we have no policy to search for

repart: Keep existing directory timestamps intact when copying

Otherwise, when merging multiple directory trees, the output becomes
unreproducible as the directory timestamps will be changed to the current
time when copying identical directories from the second tree.

We introduce a new copy flag to achieve this behavior.

Use correct error code in log message in pkcs11_token_find_x509_certificate (#34187)

test: when refusing to run slow tests, mention how to run them

Let's be helpful and provide an actionable hint.

crypenroll: make slot wiping on pin change a bit more explicit

cryptenroll: don't return slot 0 when we have no policy to search for

If the policy hash is empty we shouldn't return "0" from
search_policy_hash(), because that is understood as slot index 0, but
that's unlikely to match the policy.

Hence, return -ENOENT instead, indicating that we can't find a matching
slot.

cryptenroll: iovec'ify a few more things

mkosi: update debian commit reference

* bb6db3edfe Install new sd-sysupdated files in systemd-container

repart: Switch to new mkfs.btrfs subvolume API

In https://github.com/kdave/btrfs-progs/pull/877 the API is changing
to "--subvol <path>:ro,default" so let's adapt our usage to match.

This also adds support for read-only subvolumes.

Fixes #34134

repart: Remove unused Context argument from make_subvolumes_set()

repart: Fix memory leak

image-policy: Fix size assertion

We're going to write a null pointer to l[m] so we need to make sure
m is smaller than the size of the array, not m + 1.

image-policy: Fix strv size calculation

We want the logarithm of the next power of two, which is the same
as the mask + 1, so add one to the mask to make sure the size is
sufficient to fit all flags.

treewide: use sd_json_variant_un{hex|base64}() pervasively

Use these helpers whenever appropriate. Drop separate string checks,
since these helpers already do them anyway.

No actual code change, just a rework to make use of a nice helper we
have already.